模式识别感知器算法求判别函数.doc

1、感知器算法求判别函数一、 实验目的掌握判别函数的概念和性质，并熟悉判别函数的分类方法，通过实验更深入的了解判别函数及感知器算法用于多类的情况，为以后更好的学习模式识别打下基础。二、 实验内容学习判别函数及感知器算法原理，在 MATLAB 平台设计一个基于感知器算法进行训练得到三类分布于二维空间的线性可分模式的样本判别函数的实验，并画出判决面，分析实验结果并做出总结。三、 实验原理3.1 判别函数概念直接用来对模式进行分类的准则函数。若分属于 1， 2 的两类模式可用一方程 d(X) =0 来划分，那么称 d(X) 为判别函数，或称判决函数、决策函数。如，一个二维的两类判别问题，模式分布如图示，

2、这些分属于 1， 2 两类的模式可用一直线方程 d(X)=0 来划分。其中(1) 0)(321wxd为坐标变量。21,x将某一未知模式 X 代入（1）中：若 ，则 类；0)(d1若 ，则 类；2若 ，则 或拒绝)(21或维数=3 时：判别边界为一平面。维数3 时：判别边界为一超平面1。3.2 感知器算法1958 年，(美)F.Rosenblatt 提出，适于简单的模式分类问题。感知器算法是对一种分类学习机模型的称呼，属于有关机器学习的仿生学领域中的问题，由于无法实现非线性分类而下马。但“赏罚概念（ reward-punishment concept）” 得到广泛应用，感知器算法就是一种赏罚过程

3、2。两类线性可分的模式类 ，设 其中，21,XWdT)(， 应具有性质 T121,nwWT21,nxX（2）对样本进行规范化处理，即 2 类样本全部乘以(1) ，则有： （3）感知器算法通过对已知类别的训练样本集的学习，寻找一个满足上式的权向量。感知器算法步骤： （1）选择 N 个分属于 1和 2类的模式样本构成训练样本集 X1 , XN 构成增广向量形式，并进行规范化处理。任取权向量初始值 W(1)，开始迭代。迭代次数 k=1。（2）用全部训练样本进行一轮迭代，计算 WT(k)Xi 的值，并修正权向量。分两种情况，更新权向量的值：1. 分类器对第 i 个模式做了错误分类，权向量校正为：，若

4、0TikXWc：正的校正增量。ic12. 若 分类正确，权向量不变： ,统一写为：，i k1（4）（3）分析分类结果：只要有一个错误分类，回到（2），直至对所有样本正确分类。感知器算法是一种赏罚过程：分类正确时，对权向量“赏”这里用“不罚”，即权向量不变；分类错误时，对权向量“罚” 对其修改，向正确的方向转换3。3.3 感知器算法的流程及框图1、确 1 定样本：输入向量 P、目标向量 T。 2、网络大小：根据向量的维数来选择网络规模。 21,0)( XW若若d3、初始化：W、b 取随机值，范围-1, +1。4、 网络输出：根据 P、W、b 来计算网络的输出 Y。5、学习偏差：E=T-Y。6、新

5、的网络参数：W = W + EPT 、 = + E （5）反复训练，直到达到目标，或达到最大的训练次数。图 1 感知器算法流程图四、 实验结果与分析本次实验先产生了三组服从正态分布的样本，通过感知器算法画出了他们的判别函数如图 2 所示：图 2 画出的判别面得到的判别函数分别是:d1=47.2296x1-92.9167x2+20.0000d2=55.4429x1-80.6872 x2-48.0000d3=-252.8807x1-224.7119x2 -72.0000通过分析上述实验结果，虽然由于感知器算法是俩俩比较，并且是线性分类，所以第三条判别函数可能会穿过第三类样本，但可以看出判别函数把三

6、类样本两两分开，达到了实验的目的，也掌握了感知器算法的原理。五、 总结 本文通过研究基于感知器算法进行样本分类，用 MATLAB 语言设计了程序，结果表明该系统基本实现了要求的功能，但系统也存在第三条判别函数不理想的情况，这也是感知器算法无法实验非线性分类的结果，以后学习其他算法后可以改进。参考文献1夏东盛, 李永涛 , 张晓,等. 模式线性可分时的一种单层感知器算法 C/ 中国计算机学会第一届全国 Web 信息系统及其应用学术会议. 2004:29-31.2刘建伟, 申芳林 , 罗雄麟. 感知器学习算法研究J. 计算机工程, 2010, 第 7 期(7):190-192.3易中凯. 感知器网

7、络学习算法研究与应用D. 北京理工大学 , 2001.附录程序源代码clear;clc;mu1=1 2;S1=0.25 0;0 0.7 ;data1=mvnrnd(mu1,S1,100);mu2=4 6;S2=0.5 0 ;0 0.45 ;data2=mvnrnd(mu2,S2,100);mu3=-5 5;S3=0.7 0;0 0.4 ;data3=mvnrnd(mu3,S3,100);data=data1;data2;data3;%生成三组服从正态分布的样本one=zeros(100,1);one(:,1)=1;X1=data1 one;X2=data2 one;X3=data3 one;%

8、增广矩阵W1=0,0,0;W2=0,0,0;W3=0,0,0;%初始权向量while truecounter=0;for i=1:100%对第一组训练样本迭代d11=W1*X1(i,:); d12=W2*X1(i,:); d13=W3*X1(i,:);if d11d12elseW1=W1+2*X1(i,:);W2=W2-2*X1(i,:);W3=W3-2*X1(i,:);endendfor i=1:100%对第二组训练样本迭代d21=W1*X2(i,:); d22=W2*X2(i,:); d23=W3*X2(i,:);if d22d21elseW1=W1-2*X2(i,:);W2=W2+2*X

9、2(i,:);W3=W3-2*X2(i,:);endendfor i=1:100%对第三组训练样本迭代d31=W1*X3(i,:); d32=W2*X3(i,:); d33=W3*X3(i,:);if d33d31elseW1=W1-2*X3(i,:);W2=W2-2*X3(i,:);W3=W3+2*X3(i,:);endendif counter=300breakendendplot(data(:,1),data(:,2),b.,MarkerSize,6);%绘出三组聚类点hold on;a1=W1(:,1);b1=W1(:,2);c1=W1(:,3);a2=W2(:,1);b2=W2(:,

10、2);c2=W2(:,3);a3=W3(:,1);b3=W3(:,2);c3=W3(:,3);x=linspace(-10,25,1000);y1=-(a1-a3)*x/(b1-b3)-(c1-c3)/(b1-b3);%生成函数y2=-(a2-a1)*x/(b2-b1)-(c2-c1)/(b2-b1);y3=-(a3-a2)*x/(b3-b2)-(c3-c2)/(b3-b2);hold on;plot(x,y1,c,x,y2,r,x,y3,b)%绘出判决面axis(-10 10 -2 10);hold on; grid on;7 Too late 为时太晚The plane was late

11、and detectives were waiting at the airport all morning. They were expecting a valuable parcel of diamonds from South Africa. Afew hours earlier, someone had told the police that thieves would try to steal the diamonds.When the plane arrived, some of the detectives were waiting inside the main buildi

12、ng while others were waiting on the airfield. Two men took the parcel off the plane and carried it into the Customs House. While two detectives were keeping guard at the door, two others opened the parcel.To their surprise, the precious parcel was full of stones and sand! 飞机误点了，侦探们在机场等了整整一上午。他们正期待从南

13、非钻石的贵重包裹。几个小时前，有人告诉警察，小偷想偷钻石。当飞机到达时，一些侦探等候在主楼内，另一部分则等在停机坪。两个男人带着包裹下了飞机，进了海关。当两个侦探把住门口，另外两个打开包裹。令他们吃惊的是，那珍贵的包裹里面装的全是石头和沙子！The best and the worst 最好的和最差的 Joe Sanders has the most beautiful garden in our town. Nearly everybody enters for The Nicest Garden Competition each year, but Joe wins every time.

14、 Bill Friths garden is larger than Joes. Bill works harder than Joe and grows more flowers and vegetables, but Joes garden is more interesting. He has made neat paths and has built a wooden bridge over a pool.I like gardens too, but I do not like hard work. Every year I enter for the garden competition too, and I always win a little prize for the worst garden in the town! 乔桑德斯拥有我们镇上最漂亮的花园。几乎每个人都参加每年举办的最佳花园竞赛，而每次都是乔获胜。比尔弗里斯的花园比乔。比尔比乔工作努力，种植了更多的花和蔬菜，但乔的花园更有趣。他修筑了一条条整洁的小路，池塘上架了一座小木桥。我也喜欢花园，但是我不喜欢辛苦的工作。每年的花园竞赛我也参加，我总因是镇上最差的花园！