李倩,导师:夏铁成,共轭梯度法,(Conjugate Gradient)50年代初期由Hestenes和Stiefel首先提出的,是介于最速下降法与牛顿法之间的一个方法,它仅需利用一阶导数信息,但克服了最速下降法收敛慢的缺点,又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点,共轭梯度法不仅是解决大型线性方程组最有用的方法之一,也是解大型非线性最优化最有效的算法之一。,共轭梯度法,1. 共轭方向和共轭方向法,共轭是正交的推广。,几何意义,共轭方向法,2. 共轭梯度法,如何选取一组共轭方向?,以下分析算法的具体步骤。,3. 用于一般函数的共轭梯度法,