数值优化（Numerical Optimization）学习系列-03-共轭梯度方法（Conjugate Gradient）

概述共轭梯度（Conjugate Gradient，简称 CG）算法在最优化问题中备受关注，主要有两层用途：一是可以求解对称正定线性方程组Ax=bAx=bAx=b；二是可以求解与之等价的最优化问题。相对于最速下降法，它不需要额外存储矩阵（不用像牛顿法那样存 Hessian），收敛速度却明显更快——理想情况下最多