深度学习之微积分预备知识点
极限（Limit）[*]定义：表示某一点处函数趋近于某一特定值的过程，一般记为 https://latex.csdn.net/eq?%5Clim_%7Bx%20%5Cto%20a%7Df%28x%29%20%3DL
极限是一种变革状态的描述，核心思想是无穷靠近而永远不能到达
[*]公式：https://latex.csdn.net/eq?%5Clim_%7Bx%20%5Cto%20a%7D%20f%28x%29 表示 x 趋向 a 时 f(x) 的极限。
知识点口诀解释极限的存在左右极限需相等左极限等于右极限，极限才存在极限求值小数接近分母带分子分母消掉无关，末了代入极限值无穷极限无穷大趋向无穷多x 趋向无穷大时，函数会无界常数极限常数极限还是常常数不随 x 变革，其极限为常数自己 总结：
[*]极限是“左等于右”，常数不变小数带。
导数（Derivative）
[*]定义：函数的局部性质，导数表示函数变革率，即在某一点的斜率。
对函数y = f(x)来说，其导数可以用符号f'(x)来表示。也可记为https://latex.csdn.net/eq?%5Cfrac%7B%5Cmathrm%7Bdf%28x%29%29%7D%20%7D%7B%5Cmathrm%7Bd%7D%20x%7D
[*]公式：https://latex.csdn.net/eq?%5Cfrac%7Bdy%7D%7Bdx%7D%20%3D%20%5Clim_%7B%5CDelta%20x%20%5Cto%200%7D%20%5Cfrac%7B%5CDelta%20y%7D%7B%5CDelta%20x%7D。
知识点口诀解释导数定义式变革速率刹时看导数即函数在某点的变革率斜率斜率即导数曲线的导数等于该点处切线的斜率导数存在条件一连光滑无跳变函数在该点必须一连且光滑 总结：
[*]导数看斜率，曲线随点变。
微分（Differentiation）
[*] 定义：微分是导数的线性近似，表示函数在小变革下的增量。
[*]公式：https://latex.csdn.net/eq?dy%20%3D%20f%27%28x%29%20dx，表示 dx 的微小变革引起 dy 的变革。
微分近似小变大，导差线性接着算。
[*] 知识点口诀解释微分近似小变大差线性算微分表示函数的增量，是导数的线性近似一阶微分导数导差就是微分微分与导数等价于线性变革总结：
[*] 微分近似小变大，导差线性接着算。
[*]导数表示变革率，微分表示变革量
偏导数（Partial Derivative）
[*]定义：偏导数表示多元函数在某一点处关于某一变量的导数，其他变量保持不变。
[*]公式：符号https://latex.csdn.net/eq?%5Cfrac%7B%5Cpartial%20f%28x%2Cy%29%7D%7B%5Cpartial%20x%7D 来表示多元函数https://latex.csdn.net/eq?z%20%3D%20f%28x%2Cy%29 ，关于x的偏导数 即：https://latex.csdn.net/eq?%5Cfrac%7B%5Cpartial%20f%28x%2Cy%29%7D%7B%5Cpartial%20x%7D%20%3D%20%5Clim_%7Bh%20%5Cto%200%7D%5Cfrac%7Bf%28x+h%2Cy%29-f%28x%2Cy%29%7D%7Bh%7D
知识点口诀解释偏导数看谁变革锁其他偏导数只看一个变量，其他变量保持不变偏导数几何意义高维斜率看切面在多维空间中，偏导数表示函数沿某轴的斜率计算方法变量固定逐个求对每个变量分别求导 总结：
[*]偏导锁定一变量，高维斜率看切面。
梯度（Gradient）
[*]定义：梯度是函数在多维空间中变革最快的方向，一个包含所有偏导数的向量。符号是https://latex.csdn.net/eq?%5Ctriangledown
[*]公式： 对函数 https://latex.csdn.net/eq?z%20%3D%20f%28x%2Cy%29%3Dx%5E2%20+%20y%5E2 来说，其梯度向量是 https://latex.csdn.net/eq?%5Ctriangledown%20f%28x%2Cy%29%20%3D%20%282x%2C2y%29 梯度下降算法中，参数更新公式为 https://latex.csdn.net/eq?%5Ctheta%20_%7Bt+1%7D%20%3D%5Ctheta_%7Bt%7D%20-%20%5Ceta%20%5Ctriangledown%20_%7B%5Ctheta%7DJ%28%5Ctheta_%7Bt%7D%29
知识点口诀解释梯度定义快速上升靠梯度梯度表示函数变革最快的方向梯度计算多维偏导排成队梯度是各个偏导数排列成的向量梯度方向梯度方向最快升梯度方向表示函数上升最快的方向 总结：
[*]梯度导快升，列队各偏导。
链式求导法则（Chain Rule）
[*]定义：链式法则用于复合函数的求导，即导数分为外层函数和内层函数分别求导。
假设对实数x,有可微函数f 和 g,其中z = f(y) ,y = g(x)，那么，链式法则公式如下 https://latex.csdn.net/eq?%5Cfrac%7B%5Cmathrm%7Bd%7Dz%20%7D%7B%5Cmathrm%7Bd%7D%20y%7D%20*%20%5Cfrac%7B%5Cmathrm%7Bd%7Dy%20%7D%7B%5Cmathrm%7Bd%7D%20x%7D
所谓链式法则，就是一层一层增加可以互相抵消的分子分母
例子：
有函数 https://latex.csdn.net/eq?f%28x%29%20%3D%20x%5E2 和 https://latex.csdn.net/eq?g%28x%29%20%3D%20x+1, 计算 https://latex.csdn.net/eq?h%28x%29%20%3D%20f%28g%28x%29%29%20%3D%20%28x+1%29%5E2 的导数，可得
https://latex.csdn.net/eq?h%27%28x%29%20%3D%20f%27%28g%28x%29%29*g%27%28x%29%20%5C%5C%20%5C%20%3D%202%28x+1%29*1%20%5C%5C%20%5C%20%3D%202x%20+2
[*]公式：https://latex.csdn.net/eq?%5Cfrac%7B%5Cmathrm%7Bd%7D%20%7D%7B%5Cmathrm%7Bd%7D%20x%7Df%28g%28x%29%29%20%3Df%27%28g%28x%29%29*g%27%28x%29
知识点口诀解释链式法则内外分导再相乘外层函数的导数乘以内层函数的导数链式求导应用多层复合层层解对于多层复合函数，逐层求导 总结：
[*]链式分内外，逐层导相乘。
记忆口诀
[*]极限：“左等于右，常数不变小数带”，极限必要左右一致，小数极限直接代入。
[*]导数：“导数看斜率，曲线随点变”，导数表示函数在一点的斜率，函数外形随点变革。
[*]微分：“微分近似小变大，导差线性接着算”，微分表示函数的线性近似，是导数的进一步延伸。
[*]偏导数：“偏导锁定一变量，高维斜率看切面”，多变量函数中只看一个变量的变革，其余固定。
[*]梯度：“梯度导快升，列队各偏导”，梯度表示函数上升最快的方向，是各偏导数的组合。
[*]链式法则：“链式分内外，逐层导相乘”，链式法则用于复合函数的求导，逐层求导并相乘。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]