1、第三章前馈型神经网络,感知器算法 BP算法,感知器算法（Perceptron Approach）,感知器（perceptron）是一个具有单层计算单元的人工神经网络。感知器训练算法就是由这种神经网络演变来的。,感知器概念,美国学者F.Rosenblatt在1957年提出了感知器的模型，如下图。,感知器实质上是一种神经元模型，是一个多输入/单输出的非线性器件。用一个数学表达式表示，就是：,感知器概念（续）,这种神经元没有内部状态的转变，而且函数为一个阶跃函数，即为阈值型。因此，它实质上是一种线性阈值计算单元，如下图：,输出表达式：,也可以写成：,感知器概念（续）,感知器训练算法,已知感知器输出函
2、数 ：,( 是判决函数）,分别表示两种类型，则感知器输出函数变为,感知器训练算法,感知器算法（续）,条件：设给定一个增广的训练模式集x1, x2,xN,其中每个类别已知，它们分属于1,2。 步骤:,(1)置步数k=1,令增量=某正的常数，分别赋予初始增广权矢量w(1)的各分量较小的任意值。,(2)输入训练模式xk,计算判别函数值w(k)xk ;,(3)调整增广权矢量，规则是：,如果xk1和w(k)xk0,则w(k+1)=w(k)+xk,如果xk2和w(k)xk0,则w(k+1)=w(k)-xk,如果xk1和w(k)xk0,或xk2和w(k)xk0,则w(k+1)=w(k),(4)如果kN,令k
3、=k+1,返至(2)。如果k=N,则检验判别函数wx对x1, x2 xN,是否都能正确分类。若是，结束；若不是，令k=1,返至(2),调整规则： xk1和w(k)xk0，,说明对xk作了错误分类，应校正权矢量，使w(k+1)=w(k)+xk,w(k+1)xk =w(k)+xk xk=w(k) xk+ xk xk w(k) xk,如果xk2和w(k)xk0,w(k+1)xk =w(k)-xk xk=w(k) xk- xk xkw(k) xk,如果xk1和w(k)xk0,或xk2和w(k)xk0,分类正确，不需校正。w(k+1)=w(k),如果训练模式已经符号规范化，即xk2已乘以-1，包括增广分
4、量1，则校正权矢量的规则可统一写成,收敛性分析,收敛定理：如果训练模式是线性可分的，感知器训练算法在有限次迭代后便可以收敛到正确的解矢量w*,为证明方便又不影响结论的正确性，设=1， x2已乘以-1，并设在感知器训练过程中，错判的模式为xi1, xi2 xik,第k步权矢量w(k)等于初始权矢量w(1)用xij（j=1,2,k）校正，按感知器算法，有,w(k+1)= w(k)+ xik,收敛性分析,由于训练模式是线性可分的，所以存在使wxj0成立的解矢量，设为w*,改变w的尺度并不影响判别结果，适当选取尺度使,上式表明，调整后的增广权矢量比前一个增广权矢量更接近问题的解矢量w*，即算法收敛于解矢量w* 。,
