BFGS 的其实就是一种改良后的牛顿法，因为盘算二阶导数 Hessian 矩阵所需的盘算资源是比较大的，复杂度为 O ( 2 ⋅ n 2 ) \mathcal{O}(2 \cdot n^2) O(2⋅n2) , 此中 n n n 为函数中的变量数目，当 n n n 比较大时，盘算量就相当大了。BFGS 的思路就是，既然更新公式中须要的是 Hessian 矩阵的逆，那我们通过某种方法来拟合它不就好了
p k = − G k − 1 ⋅ g k p_k = -G_k^{-1} \cdot g_k pk=−Gk−1⋅gk
经过数学家们的推导，Hessian 矩阵的逆 G k − 1 G_k^{-1} Gk−1 可以近似为
D k + 1 = ( I − s k ⋅ y k T y k T ⋅ s k ) D k ( I − y k ⋅ s k T y k T ⋅ s k ) + s k ⋅ s k T y k T ⋅ s k D_{k+1} = (I - \frac{\mathbf{s}_k \cdot \mathbf{y}_k^{\mathrm{T}}}{\mathbf{y}_k^{\mathrm{T}} \cdot \mathbf{s}_k}) D_k (I - \frac{\mathbf{y}_k \cdot \mathbf{s}_k^{\mathrm{T}}}{\mathbf{y}_k^{\mathrm{T}} \cdot \mathbf{s}_k}) + \frac{\mathbf{s}_k \cdot \mathbf{s}_k^{\mathrm{T}}}{\mathbf{y}_k^{\mathrm{T}} \cdot \mathbf{s}_k} Dk+1=(I−ykT⋅sksk⋅ykT)Dk(I−ykT⋅skyk⋅skT)+ykT⋅sksk⋅skT
此中， s k = x k − x k − 1 \mathbf{s}_k = \mathbf{x}_k - \mathbf{x}_{k-1}
