1、 模式识别课程小论文论文题目： 梯度下降算法的学习学 院： 专 业： 学 号： 姓 名： 指导教师： 二一二年十二月二十六日摘 要梯度法， 又 名 最 速 下 降 法 。 早 的 求 解 无 约 束 多元函数极 值 的 数 值 方 法 ，早 在 1847 年 就 已 由 柯西( Cauchy)提 出 。 它 是 导 出 其 他 更 为 实 用 、 更 为 有 效的 优 化 方 法 的 理 论 基 础 。 因 此 ， 梯 度 法 是 无 约 束 优 化 方 法 中 最 基 本 的 方 法 之一 。 梯 度 下 降 法 ， 就 是 利 用 负 梯 度 方 向 来 决 定 每 次 迭 代 的 新 的
2、 搜 索 方 向 ， 使得 每 次 迭 代 能 使 待 优 化 的 目 标 函 数 逐 步 减 小 。关键词：梯度下降法，负梯度，迭代1、 引 言 ： 模 式 识 别 (Pattern Recognition)是 人 类 的 一 项 基 本 智 能 ， 在 日常 生 活 中 ， 人 们 经 常 在 进 行 “模 式 识 别 ”。 随 着 20 世 纪 40 年 代 计 算 机 的 出现 以 及 50 年 代 人 工 智 能 的 兴 起 ， 人 们 当 然 也 希 望 能 用 计 算 机 来 代 替 或 扩 展人 类 的 部 分 脑 力 劳 动 。 模 式 识 别 在 20 世 纪 60 年 代
3、 初 迅 速 发 展 并 成 为 一 门新 学 科 。 模 式 识 别 (Pattern Recognition)是 指 对 表 征 事 物 或 现 象 的 各 种 形 式 的(数 值 的 、 文 字 的 和 逻 辑 关 系 的 )信 息 进 行 处 理 和 分 析 ,以 对 事 物 或 现 象 进 行描 述 、 辨 认 、 分 类 和 解 释 的 过 程 ,是 信 息 科 学 和 人工智能的 重 要 组 成 部 分 。2、 梯 度 下 降 法 原 理 ：一个可微函数某点处的梯度给出了函数在该点的变化率取最大方向，梯度模等于这个方向的方向导数。负梯度方向给出了函数下降最快的方向。对于有极小值的
4、函数来说，我们采用梯度下降法沿负梯度方向选择适当的步长进行搜索，求解函数的极小值点 w*。采用最优化技术求线性判别函数中的增广权矢量时，首先需要构造准则函数。构造准则函数： (k0) （1）)()xwkJ当 时， ；当 时， ，0xw02 x0xw有极小值 ，所以对于已符号规范化的训练模式，应当寻求使)(JminJ取极小时的 ,因此时的 满足 。令 ，求得准则函数的梯度wx21k（2）J)sgn(21)(为防止 取极小值时出现 的情况，这里令符号函数)(J0x0,1)sgn(xw由梯度下降法，增广权矢量的修正迭代公式为（3）0;)(,)(sgn2)()(1kkkkkxwJkw若若当 为常数时，
5、上面准则下的梯度下降法的迭代公式与感知器训练算法是k一致的。表明，感知器算法是梯度下降法的一种情况。 取常数时，这种梯度k下降法也称为固定增量法。若 取得较小，收敛速度就较慢；若 取得较大，收敛加快，但当搜索接近极值点时可能产生过调引起振荡。一般的， 应随着k搜索步数的增加而逐渐变小。在迭代过程中 随 而变化，则称为可变增量法。k在迭代中，我们希望用 修正 ，使 有kx)(w)1(0kx迭代式 两边和 数积并利用上式，可得步长应满足kxkw)(1(（4）2)(kkw在上述算法中，每次迭代时，我们只考虑用一个训练模式修正权矢量，实际上，我们也可以几个训练模式一起考虑。设分属 和 类的训练模式 ，
6、1w21x 已符号规范化，如果他们是线性可分的，则存在 使2xN（5）Nixwi.,21,0设在训练中只有一部分训练模式满足上述不等式，而另一些训练模式不满足不等式，这部分模式我们记为集合 ，即mX,( ) （6）0jxwj我们构造准则函数（7）mjXxjJ)()(易知， 非负，因 被错分，则必有 ，亦即 。在求)(wJj 0jxw0jxw得最佳解 之前的迭代过程中，总有 （集合中的元素是渐少的）使*mj，即 总是大于零并逐渐变小。当所求得的 使所有的不等式0jx)(J *（5）成立， 成为空集， 取其最小值 。对于一次准则函数mX)(wJ0)(minwJ采用梯度下降法，梯度（8）mjXxjJ
7、)()()(梯度下降法迭代公式为（9）mjXxjkkwJwk)()(1(式中的 是被 错分类的模式集。这个迭代式称为批量修正， （3）式mX称为单样本修正。3、结束语通过对课程的学习，我对模式识别这门课程有了初步的认识。现在只是大概了解其概况，知道模式识别的基本过程和原理。还需要进一步的学习和理解。在这里特别感谢吴老师的指导，课堂上引领我们，还带领我们回顾以往的知识，了解自己的不足。附：用最速下降法求解问题：取初始点 ，通过 Matlab 编程实现22112minf(x)4x3(1)Tx,求解过程。公用函数如下：1、function f= fun( X )%所求问题目标函数f=X(1)2-2*
8、X(1)*X(2)+4*X(2)2+X(1)-3*X(2);end2、function g= gfun( X )%所求问题目标函数梯度g=2*X(1)-2*X(2)+1,-2*X(1)+8*X(2)-3;end3、function He = Hess( X )%所求问题目标函数Hesse矩阵n=length(X);He=zeros(n,n);He=2,-2;-2,4;End最速下降法function x,val,k = grad( fun,gfun,x0 )%功能：用最速下降法求无约束问题最小值%输入：x0是初始点，fun和gfun分别是目标函数和梯度%输出：x、val分别是最优点和最优值，k
9、 是迭代次数maxk=5000;%最大迭代次数rho=0.5;sigma=0.4;k=0;eps=10e-6;while(kmaxk)g=feval(gfun,x0);%计算梯度d=-g;%计算搜索方向if(norm(d)eps)break;endm=0;mk=0;while(m20)if(feval(fun,x0+rhom*d)feval(fun,x0)+sigma*rhom*g*d)mk=m;break;endm=m+1;endx0=x0+rhomk*d;k=k+1;endx=x0;val=feval(fun,x0);end参考文献：1傅鹂，龚劬，刘琼荪，何中市.数学实验.北京：科学出版社
10、.2000.2袁亚湘，孙文瑜.最优化理论与方法.北京：科学出版社，1997.3M.Rafikov and J.M Balthazar.Optimal control problem in population dynamics,Computational and Applied Mathematics,2005.4Zoutendijk G.Nonlinear programming computational methods c.In:J Abadic(Ed.),IntergerandNonlincar ProgrammingA.North-Holland,Amsterdam,1970.5陈小君，王德人，解无约束极小问题的一个并行共轭方向法J.高等学校计算数学学报.1986.6孙即祥，现代模式识别，国防科技大学出版社 长沙M. 2002.7栗塔山等编著，最优化计算原理与算法程序，长沙，国防科技大学出版社，2001.
