1、智能信息处理技术实验报告学院（部）： 班 级： 学 号： 姓 名： 指导老师： 实验一 感知器实验一、实验目的1、理解线性分类器的分类原理2、掌握感知器算法，利用它对输入的数据进行分类二、实验原理感知器算法是通过训练模式的迭代和学习算法，产生线性可分的模式判别函数。感知器算法就是通过对训练模式样本集的“学习”得出判别函数的系数解。三、实验内容（1）简单分类问题（Percept1）：设计单一感知器神经元来解决一个简单的分类问题：将 4 个输入向量分为两类，其中两个输入向量对应的目标值为 1，另两个对应的目标值为 0.输入向量为：P=-1 -0.5 0.2 -0.1;-0.3 0.5 -0.5 1
2、.0目标向量为：T=1 1 0 0程序如下：P=-1 -0.5 0.2 -0.1;-0.3 0.5 -0.5 1.00;T=1 1 0 0;plotpv(P,T);pause;net=newp(-1 1; -1 1,1);watchon;cla;plotpv(P,T);linehandle=plotpc(net.IW1,net.b1);E=1;net=init(net);linehandle=plotpc(net.IW1,net.b1);while(sse(E)net,Y,E=adapt(net,P,T);linehandle=plotpc(net.IW1,net.b1);drawnow;en
3、d;pause;watchoff;p=-0.5;1.2;a=sim(net,p);plotpv(p,a);ThePoint=findobj(gca,type,line);set(ThePoint,Color,red);hold on;plotpv(P,T);plotpc(net.IW1,net.b1);hold off;disp(End of percept1);实验截图：（2）多个感知器神经元的分类问题（Percept2）：将上例的输入向量扩充为 10 组，将输入向量分为4 类，即输入向量为：P=0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5;1.2 1
4、.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3 输出向量为：T=1 1 1 0 0 1 1 1 0 0;0 0 0 0 0 1 1 1 1 1程序如下：P=0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5;1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3;T=1 1 1 1 1 0 0 0 0 0;0 0 0 0 0 1 1 1 1 1;plotpv(P,T);net=newp(-1.5 1;-1.5 1,2);figure;watchon;cla;plotpv(P,T);linehandle=pl
5、otpc(net.IW1,net.b1);E=1;net=init(net);linehandle=plotpc(net.IW1,net.b1);while(sse(E)net,Y,E=adapt(net,P,T);linehandle=plotpc(net.IW1,net.b1,linehandle);drawnow;end;watchoff;figure;p=2;-1;a=sim(net,p);plotpv(p,a);ThePoint=findobj(gca,type,line);set(ThePoint,Color,red);hold on;plotpv(P,T);plotpc(net.
6、IW1,net.b1);hold off;disp(End of percept2);实验截图：（3）输入奇异样本对网络训练的影响（Percept3）当网络的输入样本中存在奇异样本时（即该样本向量相对其他所有样本向量特别大或特别小） ，此时网络训练时间将大大增加，如：输入向量为：P=-0.5 -0.5 0.3 -0.1 -40;-0.5 0.5 -0.5 1.0 50 ;输出向量为：T=1 1 0 0 1;解决此问题只需用标准化感知器学习规则训练即可大大缩短训练时间原始感知器学习规则的权值调整为：Tepatw)(标准化感知器学习规则的权值调整为： ，由函数 learnpn()实现peatwTT
7、)(实验程序：P=-0.5 -0.5 0.3 -0.1 -40;-0.5 0.5 -0.5 1.0 50;T=1 1 0 0 1;plotpv(P,T);net=newp(-40 1; -1 50,1);pause;plotpv(P,T);linehandle=plotpc(net.IW1,net.b1);cla;plotpv(P,T);linehandle=plotpc(net.IW1,net.b1);E=1;net.adaptParam.passes=1net=init(net);linehandle=plotpc(net.IW1,net.b1);while(sse(E)net,Y,E=a
8、dapt(net,P,T);linehandle=plotpc(net.IW1,net.b1,linehandle);drawnow;end;pause;p=0.7;1.2;a=sim(net,p);plotpv(p,a);ThePoint=findobj(gca,type,line);set(ThePoint,Color,red);hold on;plotpv(P,T);plotpc(net.IW1,net.b1);hold off;pause;axis(-2 2 -2 2);disp(End of percept3);（4）线性不可分的输入向量（Percept5）定义向量P=-0.5 -0
9、.5 0.3 -0.1 -0.8;-0.5 0.5 -0.5 1.0 0.0 ;T=1 1 0 0 0;用感知器对其分类程序如下：P=-0.5 -0.5 0.3 -0.1 -400;-0.5 0.5 -0.5 1.0 500;T=1 1 0 0 1;plotpv(P,T);pause;net=newp(-400 1; -1 500,1,hardlim,learnpn);%net=newp(-400 1; -1 500,1);cla;plotpv(P,T);linehandle=plotpc(net.IW1,net.b1); E=1;net.adaptParam.passes=1;net=ini
10、t(net);linehandle=plotpc(net.IW1,net.b1);while(sse(E)net,Y,E=adapt(net,P,T);linehandle=plotpc(net.IW1,net.b1,linehandle);drawnow;end;pause;p=0.7;1.2;a=sim(net,p);plotpv(p,a);ThePoint=findobj(gca,type,line);set(ThePoint,Color,red);hold on;plotpv(P,T);plotpc(net.IW1,net.b1);hold off;pause;axis(-2 2 -2
11、 2);disp(End of percept4);（5）实验练习：1、设计一个 matlab 程序实现教材 p25 例 3.12、即输入向量为：P=0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5;1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3输出向量为：T=1 1 1 0 0 1 1 1 0 0对其进行分类程序如下：P=0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5;1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3T=1 1 1 0 0 1 1 1
12、 0 0plotpv(P,T);net=newp(-40 1; -1 50,1);pause;plotpv(P,T);linehandle=plotpc(net.IW1,net.b1);cla;plotpv(P,T);linehandle=plotpc(net.IW1,net.b1);E=1;net.adaptParam.passes=1net=init(net);linehandle=plotpc(net.IW1,net.b1);while(sse(E)net,Y,E=adapt(net,P,T);linehandle=plotpc(net.IW1,net.b1,linehandle);dr
13、awnow;end;pause;p=0.7;1.2;a=sim(net,p);plotpv(p,a);ThePoint=findobj(gca,type,line);set(ThePoint,Color,red);hold on;plotpv(P,T);plotpc(net.IW1,net.b1);hold off;pause;axis(-2 2 -2 2);disp(End of percept3);实验二 BP 感知器一、实验目的1.理解线性分类器的分类原理。2.掌握 BP 算法，利用它对输入的数据进行分类。3.理解 BP 算法，使用 BP 算法对输入数据进行分类。二、实验原理由于硬限幅函
14、数是非可微函数,不能实现多层神经网络的一种有效的 LMS 学习算法。而 BP 算法中所用到的是Sigmoid 型函数，它既具有完成分类所需的非线性特性，又具有实现 LMS 算法所需的可微特性。采用 S 型函数的神经元的输入和输出之间的关系为 四、 实验内容1根据实验内容推导出输出的计算公式以及误差的计算公式2使用 Matlab 编程实现 BP 多层感知器3调节学习率 及隐结点的个数，观察对于不同的学习率、不同的隐结点个数时算法的收敛速度4改用批处理的方法实验权值的收敛，并加入动量项来观察批处理以及改进的的算法对结果和收敛速度的影响。内容一程序如下：close all clear echo on
15、 clc pause clc P=-1, -1, 2, 1; -1, 4, 5, -3;T=0, 1, 1, 0;pause; clc net=newff(minmax(P),3,1,tansig,purelin,traingdm)inputWeights=net.IW1,1 inputbias=net.b1 layerWeights=net.LW2,1 layerbias=net.b2 pause clc net.trainParam.show = 50; net.trainParam.lr = 0.05; net.trainParam.mc = 0.9; net.trainParam.ep
16、ochs = 600; net.trainParam.goal = 1e-9 ; pause clc net,tr=train(net,P,T); pause clc A = sim(net,P) E = T - A MSE=mse(E) pause clc echo off figure;plot(1:4),T,-*,(1:4),A,-o);figure;plot(1:4),T,*,(1:4),A,o);实验截图：内容二实验程序：close all clear echo on clc pause clc P = -1:0.05:1; randn(seed,78341223); T = sin
17、(2*pi*P)+0.1*randn(size(P);plot(P,T,+); echo off hold on; plot(P,sin(2*pi*P),-); echo on clc pause clc pause clc net=newff(minmax(P),5,1,tansig,purelin,traingdx); pause clc net.trainParam.epochs = 5000; net = init(net); pause clc net,tr=train(net,P,T); pause clc A = sim(net,P); E = T - A; MSE=mse(E)
18、 pause clc close all; plot(P,A,P,T,*,P,sin(2*pi*P),+); pause; clc echo off 实验截图：实验三 聚类分析实验一、实验目的在科学技术、经济管理中常常要按一定的标准（相似程度或亲疏关系）进行分类。例如，根据生物的某些性状可对生物分类，根据土壤的性质可对土壤分类等。对所研究的事物按一定标准进行分类的数学方法称为聚类分析，它是多元统计“物以类聚”的一种分类方法。由于科学技术、经济管理中的分类界限往往不分明，因此采用模糊聚类方法通常比较符合实际。二、模糊聚类分析的一般步骤1、第一步：数据标准化（1） 数据矩阵设论域 为被分类对象，每
19、个对象又有 个指标表示其性状，即12,nUx m，iiim (1,2)in于是，得到原始数据矩阵为。121212mnnxxxx其中 表示第 个分类对象的第 个指标的原始数据。nmx（2） 数据标准化在实际问题中，不同的数据一般有不同的量纲，为了使不同的量纲也能进行比较，通常需要对数据做适当的变换。但是，即使这样，得到的数据也不一定在区间 上。因此，这里说的数据标准化，就是要根据模糊矩阵的要求，0,1将数据压缩到区间 上。通常有以下几种变换：0,1 平移标准差变换ikixs(1,2;,)inkm 其中 ， 。1nkik21()kikix经过变换后，每个变量的均值为 0，标准差为 1，且消除了量纲
20、的影响。但是，再用得到的 还不一定在区间ikx上。0,1 平移极差变换，11minaxikkikiiii x(1,2)m显然有 ，而且也消除了量纲的影响。0ik 对数变换lgikikx(1,2;,)nk 取对数以缩小变量间的数量级。2、第二步：标定（建立模糊相似矩阵）设论域 ， ，依照传统聚类方法确定相似系数，建立模糊相似矩阵， 与12,nUx 12,iiimxx ix的相似程度 。确定 的方法主要借用传统聚类的相似系数法、距离法以及其他方法。具jx(,)ijijrRx(,)ijijrRx体用什么方法，可根据问题的性质，选取下列公式之一计算。（1） 相似系数法 夹角余弦法。122mikjiji
21、kjkxrA 最大最小法。1()mikjijijkxr 算术平均最小法。12()mikjijijkxr 几何平均最小法。12()mikjijijkxrA以上 3 种方法中要求 ，否则也要做适当变换。0ijx 数量积法，1,mijikjijrxMA其中 。1a()ikjij 相关系数法，1221()()mikijkjij mikijkjxxrA其中 ， 。1miikx1jjkx 指数相似系数法，21()3exp4mikjijkxrsA其中 ，21()nkikiis而 。1nkikx(,)m（2） 距离法 直接距离法，1(,)ijijrcdx其中 为适当选取的参数，使得 ， 表示他们之间的距离。经
22、常用的距离有c01ijr(,)ijdx 海明距离。1(,)mijikjdxx 欧几里得距离。21(,)()mijikjdxx 切比雪夫距离。1(,)mijikjxx 倒数距离法。,(,)ijijijMrdx其中 为适当选取的参数，使得 。01ijr 指数距离法。exp(,)ijijrd3、第三步：聚类（求动态聚类图）（1）基于模糊等价矩阵聚类方法 传递闭包法根据标定所得的模糊矩阵 还要将其改造称模糊等价矩阵 。用二次方法求 的传递闭包，即 = 。再让R*RR()tR*由大变小，就可形成动态聚类图。 布尔矩阵法布尔矩阵法的理论依据是下面的定理：定理 2.2.1 设 是 上的一个相似的布尔矩阵，则
23、 具有传递性（当 是等价布尔矩阵时）R12,nUx RR矩阵 在任一排列下的矩阵都没有形如 的特殊子矩阵。101,0布尔矩阵法的具体步骤如下： 求模糊相似矩阵的 截矩阵 .R 若 按定理 2.2.1 判定为等价的，则由 可得 在 水平上的分类，若 判定为不等价，则 在某一排R URR列下有上述形式的特殊子矩阵，此时只要将其中特殊子矩阵的 0 一律改成 1 直到不再产生上述形式的子矩阵即可。如此得到的 为等价矩阵。因此，由 可得 水平上的分类*R（2） 直接聚类法所谓直接聚类法，是指在建立模糊相似矩阵之后，不去求传递闭包 ，也不用布尔矩阵法，而是直接从模糊相()tR似矩阵出发求得聚类图。其步骤如
24、下： 取 （最大值） ，对每个 作相似类 ，且1ixiRx= ，iRx|1jir即将满足 的 与 放在一类，构成相似类。相似类与等价类的不同之处是，不同的相似类可能有公共元素，即ijrij可出现, , .iRikxiRjkxijx此时只要将有公共元素的相似类合并，即可得 水平上的等价分类。1 取 为次大值，从 中直接找出相似度为 的元素对 （即 ） ，将对应于 的等价分类中22(,)ijx2ijr1所在的类与 所在的类合并，将所有的这些情况合并后，即得到对应于 的等价分类。ixjx 取 为第三大值，从 中直接找出相似度为 的元素对 （即 ） ，将对应于 的等价分类中3R3(,)ijx3ijr2
25、所在的类与 所在的类合并，将所有的这些情况合并后，即得到对应于 的等价分类。ixjx 3 以此类推，直到合并到 成为一类为止。U三、最佳阈值 的确定在模糊聚类分析中对于各个不同的 ，可得到不同的分类，许多实际问题需要选择某个阈值 ，确定样本0,1 的一个具体分类，这就提出了如何确定阈值 的问题。一般有以下两个方法： 按实际需要，在动态聚类图中，调整 的值以得到适当的分类，而不需要事先准确地估计好样本应分成几类。当然，也可由具有丰富经验的专家结合专业知识确定阈值 ，从而得出在 水平上的等价分类 用 F 统计量确定 最佳值。 11设论域 为样本空间（样本总数为 ） ，而每个样本 有 个特征： ，1
26、2,nUx nixm12,iiimxx。于是得到原始数据矩阵，如下表所示，其中 ， 称为总体样本的中心向(1,2)in 1(,2)nkikxm x量。四、实验内容实验程序：X=276,324,159,413,292,258,311,303,175,243,320;251 ,287,349,344,310,454,285,451,402,307,470;192 ,433,290,563,479,502,221,220,320,411,232;246 ,232,243,281,267,310,273,315,285,327,352;291,311,502,388,330,410,352,267,6
27、03,290,292;466 ,158,224,178,164,203,502,320,240,278,350;258,327,432,401,361,381,301,413,402,199,421;453,365,357,452,384,420,482,228,360,316,252;158,271,410,308,283,410,201,179,430,342,185;BX=zscore(X)%; %标准化数据矩阵 BX = (xmean(x)./std(x) Y=pdist(BX)%;%用欧氏距离计算两两之间的距离,Y 的生成：首先生成一个 BX 的距离方阵，由于该方阵是对称的，且对角线
28、上的元素为 0，所以取此方阵的下三角元素，按照 Matlab中矩阵的按列存储原则，此下三角各元素的索引排列即为(2,1), (3,1), ., (m,1), (3,2), ., (m,2), ., (m,m1).D=squareform(Y)%;%欧氏距离矩阵,squareform(Y)将行向量 Y转换为原距离方阵. Z = linkage(Y)%;% 最短距离法T = cluster(Z,3)%; %根据 linkage函数的输出 Z创建分类,等价于 T=clusterdata(X,3) %find(T=3); %第 3类集合中的元素 H,T=dendrogram(Z) %画聚类图,可视化聚类树实验截图：
