优化方法介绍（二）

优化方法介绍（二）

本博客是一个系列博客，主要是介绍各种优化方法，使用 matlab 实现，包括方法介绍，公式推导和优化过程可视化

1 BFGS 方法介绍

BFGS 的其实就是一种改良后的牛顿法，因为计算二阶导数 Hessian 矩阵所需的计算资源是比较大的，复杂度为 $\mathcal{O}(2\cdot n^2)$ , 其中 $n$ 为函数中的变量数量，当 $n$ 比较大时，计算量就相当大了。BFGS 的思路就是，既然更新公式中需要的是 Hessian 矩阵的逆，那我们通过某种方法来拟合它不就好了

$$p_k=-G_k^{-1}\cdot g_k$$

经过数学家们的推导，Hessian 矩阵的逆 $G_k^{-1}$ 可以近似为

$$D_{k+1}=(I-\frac{{\mathbf{s}}_k\cdot {\mathbf{y}}_k^{\mathrm{T}}}{{\mathbf{y}}_k^{\mathrm{T}}\cdot {\mathbf{s}}_k})D_k(I-\frac{{\mathbf{y}}_k\cdot {\mathbf{s}}_k^{\mathrm{T}}}{{\mathbf{y}}_k^{\mathrm{T}}\cdot {\mathbf{s}}_k})+\frac{{\mathbf{s}}_k\cdot {\mathbf{s}}_k^{\mathrm{T}}}{{\mathbf{y}}_k^{\mathrm{T}}\cdot {\mathbf{s}}_k}$$

其中， s k = x k − x k − 1 \mathbf{s}_k = \mathbf{x}_k - \mathbf{x}_{k-1}