微积分笔记05：矩阵求导在深度学习中的应用

微积分笔记05：矩阵求导在深度学习中的应用

5.1 算法简述

设存在一张像素大小为\(\sqrt n \times \sqrt n\)的样本图片，即该图片总像素个数\(=n\)
现需采用神经网络对其举行识别，过程如下：

（1）生成向量\(X_{1\times n}\)：

设存在向量\(X_{1\times n}\)，则可将图片的\(n\)个像素存入向量\(X\)，记为：

\[\tag{1}X_{1\times n}=\begin {bmatrix}x_1&x_2&x_3&...&x_n\end {bmatrix}\]

（2）生成隐层：

生成隐层需将矩阵X变换为512列的矩阵Y，设存在矩阵\(W_{n\times512}\)，则有：

\[\tag{2}Y_{1\times 512}=X_{1 \times n}\cdot W_{n \times 512}=\begin {bmatrix}y_1&y_2&y_3&...&y_{512}\end {bmatrix}\]
设存在函数：

\[relu(x)=\begin{cases}x&x\geq 0\\0&x