1、模式识别 实 验 指 导 书甘肃农业大学信息学院前 言模式识别是地理信息系统专业的任选课程，主要介绍主要讨论统计模式识别理论和方法，包括 贝叶斯决策理论、 线性和非线性判别函数、近邻规则、 经验风险最小化、特征提取和选择，以及聚类分析、人工神经网络、模糊模式识别、模拟退火和遗传算法，以及 统计 学习理论和支持向量机等内容，还介绍了模式识别 在人脸识别、 说话人语 音识别及字符识别等中的应用实例。通过本课程的学习使学生初步掌握模式识别的方法和思想，并有一定的理解决实际问题的能力。模式识别与智能系统学科探讨与发展新一代的智能机器，包括如何提高计算机认知感知能力和思维决策能力，使其具有模式识别和模仿
2、人处理复杂环境与事物的能力， 该学科正成为一门理论性强、应用广泛的综合性交叉新兴学科，在控制科学和计算机科学领域中具有十分重要的地位。本课程安排了一些习题，以及适量的实验，以便学生能通过做练习与实验进一步掌握课堂知识，学 习了本课程后，大部分学生能处理一些简单模式识别问题，如设计获取信息的手段，选择要识别 事物的描述方法以及进行分类器设计。部分同学可在此基础上进一步深造。本实验指导书，是根据模式识别课程教学大纲的要求而编写的，目的是让学生能够进一步了解模式识别的基本概念、原理，通过综合性、 验证性和设计性等实验，熟练 掌握人工智能的思想和运行机理，从而通过实验进一步提高学生的动手能力和综合运用
3、先修课程的能力。根据实验大纲要求，包含 4 个必做综合性、设计性实验。由于编写仓促，难免有错误和不足之处， 恳请读者不吝赐教。实验一 Bayes 分类器设计实验学时：3 学时实验类型：设计实验要求：必修一、实验目的通过本实验的学习，使学生了解或掌握对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理，从而强化学生对在限定一类错误率条件下使另一类错误率为最小的两类别决策的了解和应用，为模式识别课程的后续环节奠定基础。二、实验内容本实验主要涉及以下知识点：1分类问题描述；2Bayes 分类器设计的原理； 三、实验原理、方法和手段1、 分类问题
4、描述：、假定某个局部区域细胞识别中正常（ ）和非正常（ ）两类先验概率分别为12正常状态：P（ ）=0.9 ；1异常状态：P（ ）=0.1 。现有一系列待观察的细胞，其观察值为 ：x-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752 -3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532 已知先验概率是的曲线如下图：-6 -4 -2
5、0 2 4 600.10.20.30.40.50.60.70.8类条件概率分布正态分布分别为（-2.0.5） （2,2）试对观)|(1xp)|(2察的结果进行分类。2、 在限定一类错误率条件下使另一类错误率为最小的两类别决策的原理在两类别问题中，可能会出现两种错误分类的情况。利用(2-9)式，平均错误率 P(e)可按下式计算如令：,则上式又可写成(2-19)由于先验概率 P(1)与 P(2)在具体问题中往往是确定的，因此一般称 P1(e)，P2(e)为两类错误率。实际中，有时要求将其中某一类错误率限制在某个常数之下而使另一类错误率尽可能小。例如在癌细胞识别中，希望将异常细胞错判的概率 P2(e
6、)限制在很小的值，如 P2(e)=0 为一个很小的常数，同时又使 P1(e)尽可能小。这种决策要求可看成是在 P2(e)=0 条件下，求 P1(e)极小值的条件极值问题，因此可以用求条件极值的拉格朗日乘子法解决。为此我们写出如下算式(2-20)其中 为拉格朗日乘子，目的是求 的极小值。按定义(2-21)2-22)其中 R1 与 R2 分别是 1 与 2 的决策域，而 R1 与 R2 组成整个特征空间 R，且彼此互不交迭。因此如果被识别样本 X 落入 R1 中，就被判定为 1，反之属 2。由于 R1 与 R2 不相交并组成整个特征空间，应有(2-23)将式(2-21)，(2-22) 代入(2-2
7、0)，并考虑到(2-23)可得(2-24)将(2-24) 式分别对 X 和 求导，并令 ，及 ，可得(2-25)、(2-26)(2-25) 与(2-26)的方程式就决定了这样一个分界面 ，它使 P2(e)=0，同时又在该条件下使 P1(e)尽可能小。该分界面上 X 值具有这样一个特点，即它们的两类条件密度函数之比是一个常数，该比值就是拉格朗日乘子。这种决策规则可写成：如果 ,则 (227)或如果 ，则 (228)这种在限定某一类错误为常数而使另一类错误率最小的决策也称 Neyman-Pearson 决策规则。如果将(2-28)与最小错误率决策规则(2-24)相对比，可以看出Neyman-Pea
8、rson 决策规则也是以似然比为基础的，但两者所使用的阈值不同。最小错误率决策使用 为阈值，而 Neyman-Pearosn 决策则使用由(2-25)与(2-26)方程的解获得的一个常数 。管(2-25) 与 (2-26)提供了该种决策的决策面方程，但在高维时，即 d 较大时，直接求解是不容易的。一般可利用 P2(e)与 值之间存在的单调函数关系，采用选择一些 值的试探法，最终找到一合适的 值，既能使 P2(e)=0 条件满足，又能使P1(e)尽可能小。四、实验要求1. 用 matlab 完成基于最小错误率的贝叶斯分类器的设计，要求程序相应语句有说明文字，要求有子程序的调用过程。2. 根据例子
9、画出后验概率的分布曲线以及分类的结果示意图。3. 如果是最小风险贝叶斯决策，决策表如下：最小风险贝叶斯决策表：状态决策 121 0 42 2 0请重新设计程序，完成基于最小风险的贝叶斯分类器，画出相应的条件风险的分布曲线和分类结果,并比较两个结果。五、思考题无六、实验报告详细内容参见附录。七、其它学生在实验期间，请遵守实验室管理的相关规定及安全事项等内容。 实验二 基于 Fisher 准则线性分类器设计实验学时：3 学时实验类型：设计实验要求：必修一、实验目的本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解 Fisher 准则方法确定最佳线性分界面
10、方法的原理，以及 Lagrande 乘子求解的原理。二、实验内容本实验主要涉及以下知识点： 1、分类问题描述；2、Fisher 准则方法原理；三、实验原理、方法和手段线性判别函数的一般形式可表示成其中0)(wXWgTd 21dxX 1根据 Fisher 选择投影方向 W 的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向 W 的函数为： 21)()SmJF)(21*mSW上面的公式是使用 Fisher 准则求最佳法线向量的解，该式比较重要。另外，该式这种形式的运算，我们称为线性变换，其中 21m式一个向量， 是 的1WS逆矩阵，如 是
11、 d 维， 和 都是 dd 维，得到的 也是一个 d 维的21WS1*向量。向量 就是使 Fisher 准则函数 达极大值的解，也就是按 Fisher 准* )(JF则将 d 维 X 空间投影到一维 Y 空间的最佳投影方向，该向量 的各分量值是对原*Wd 维特征向量求加权和的权值。以上讨论了线性判别函数加权向量 W 的确定方法，并讨论了使 Fisher 准则函数极大的 d 维向量 * 的计算方法，但是判别函数中的另一项 尚未确定，一般可采0用以下几种方法确定 如0210mW或者 mN210 或当 与 已知时可用1)(p2)(/ln210 pmW当 W0确定之后，则可按以下规则分类，201XwT
12、使用 Fisher 准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。四、实验要求1. 用 matlab 完成基于 Fisher 准则的设计，要求程序相应语句有说明文字，要求有子程序的调用过程。2. 基本数据如下：x1 =0.2331 1.5207 0.6499 0.7757 1.0524 1.19740.2908 0.2518 0.6682 0.5622 0.9023 0.1333-0.5431 0.9407 -0.2126 0.0507 -0.0810 0.73150.3345 1.0650 -0.0247 0.1043 0.3122 0.6655
13、0.5838 1.1653 1.2653 0.8137 -0.3399 0.51520.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.2099;x2 =2.3385 2.1946 1.6730 1.6365 1.7844 2.01552.0681 2.1213 2.4797 1.5118 1.9692 1.83401.8704 2.2948 1.7714 2.3939 1.5648 1.93292.2027 2.4568 1.7523 1.6991 2.4883 1.72592.0466 2.0226 2.3757 1.7987 2.0828 2.07981.9
14、449 2.3801 2.2373 2.1614 1.9235 2.2604;x3 =0.5338 0.8514 1.0831 0.4164 1.1176 0.55360.6071 0.4439 0.4928 0.5901 1.0927 1.07561.0072 0.4272 0.4353 0.9869 0.4841 1.09921.0299 0.7127 1.0124 0.4576 0.8544 1.12750.7705 0.4129 1.0085 0.7676 0.8418 0.87840.9751 0.7840 0.4158 1.0315 0.7533 0.9548;五、 思考题无六、
15、实验报告详细内容参见附录。七、 其它学生在实验期间，请遵守实验室管理的相关规定及安全事项等内容。 实验三 安装并使用模式识别工具箱实验学时：3 学时实验类型：设计实验要求：必修一、实验目的掌握安装模式识别工具箱的技巧，能熟练使用工具箱中的各项功能；熟练使用最小错误率贝叶斯决策器对样本分类；熟练使用感知准则对样本分类；熟练使用最小平方误差准则对样本分类；了解近邻法的分类过程，了解参数 K 值对分类性能的影响（选做） ；了解不同的特征提取方法对分类性能的影响（选做） 。二、实验内容本实验主要涉及以下知识点：1、 安装模式识别工具箱的技巧；三、实验原理、方法和手段1模式识别工具箱模式识别工具箱是学习
16、模式识别基本原理、灵活应用既有的模式识别方法、开发研制新的识别方法、提高学生分析和解决问题能力的一个良好平台。本实验采用的模式识别工具箱是由Elad Yom-Tov，Hilit Serby和David G. Storka等人开发的。2最小错误率贝叶斯决策器在模式识别领域，贝叶斯决策通常利用一些决策规则来判定样本的类别。最常见的决策规则有最大后验概率决策和最小风险决策等。设共有 个类别，各类别用K符号 代表。假设 类出现的先验概率 以及类条件概率密度kcK,21kckPc是已知的，那么应该把 划分到哪一类才合适呢？若采用最大后验概率决|Pxx策规则，首先计算 属于 类的后验概率xkc1|kkkk
17、 KPcPx然后将 判决为属于 类，其中xkc1argmx|kkKP若采用最小风险决策，则首先计算将 判决为 类所带来的风险 ，再将kc,kRcx判决为属于 类，其中xkcmin,kkRcx可以证明在采用 0-1 损失函数的前提下，两种决策规则是等价的。贝叶斯决策器在先验概率 以及类条件概率密度 已知的前提下，利kP|kPcx用上述贝叶斯决策规则确定分类面。贝叶斯决策器得到的分类面是最优的，它是最优分类器。但贝叶斯决策器在确定分类面前需要预知 与 ，这在实际k|k运用中往往不可能，因为 一般是未知的。因此贝叶斯决策器只是一个理论|kPcx上的分类器，常用作衡量其它分类器性能的标尺。3感知准则设
18、有一组样本 ，其中 是规范化增广样本向量。现欲寻找一个解Nx,21 n向量 ，使得 。感知准则通过使a0nT0RTPJxa最小而求出向量 ，其中 是被解向量 错分的样本集。上式一般用梯度下降法求a解。4最小平方误差准则设有一组样本 ，其中 是规范化增广样本向量。现欲寻找一个解Nx,21 n向量 ，使得 。最小平方误差准则通过使a0nTbxNnnTsbJ12xa最小而求出向量 。上式一般用最小二乘法求解。a5近邻法原理近邻法是一种经典的模式识别方法。正如其名所示，近邻法在分类时运用如下“最近邻分类规则”对测试样本 进行分类：在 的周围找出离其最近的 个近邻xxk样本，该 个样本中最频繁出现的那一
19、类样本所对应的类别就是 所属的类别。以k x图 1-1 为例，图中存在两类样本，第一类记为 并用黑点表示，第二类记为 并用1c2c方框表示。现欲用 NN 判决 是属于 类还是 类。假设取 ，则可找出 的 5x1c25k个近邻样本并用圆圈围住，圆圈中有 3 个样本属于 类（目标值 ， ） ，1c1nt,232 个样本属于 类（目标值 ， ） ，那么 根据规则应属于 类。2c1nt4,5x1c1,tx2,tx3,1tx4,1tx5,1tx,?t图 1-1 近邻法的分类原理示意图6特征提取特征提取是模式识别中的关键一环。因为原始的特征数量可能很大，或者说样本处于一个高维空间中，因此可以通过映射或变换
20、的办法在低维空间中来表示样本，这个过程就是特征提取。常见的特征提取方法有主成分分析（PCA）与主曲线等。四、实验要求能够利用模式识别工具箱完成前面两个实验中的操作。1安装模式识别工具箱。首先将工具箱文件拷贝至指定文件夹里，然后在MATLAB 环境下将该文件夹设置成“current directory”（即当前文件夹） ；最后在 MATLAB 命令行状态下，键入 Classifier 并按回车键；则可得到如图 1-2所示主界面。在该主界面上，可以装入样本文件（见界面“Filename”处） ，可以选择特征提取方式（见界面“preprocessing”处） ，可以选择不同的模式识别方法（见界面“a
21、lgorithms”处） ，识别结果（识别错误率）显示在界面“classification errors”处。图 模式识别工具箱主界面2用最小错误率贝叶斯决策器对呈正态分布的两类样本分类。首先点击界面“Filename”处的下拉式菜单，在文件列表中选择双螺旋样本文件 XOR.mat；然后在界面“preprocessing”处下拉式菜单中选择“None” ，在界面“Algorithm”处下拉式菜单中选择“None” ，最后点击界面上的“Start”按钮，得到如图 1-3 所示的分类结果。使用屏幕拷贝方式将该分类结果保存于WORD 文档里，并如实记录界面“classification errors
22、”处显示的分类错误率。图 最小错误率贝叶斯决策器的分类结果3用感知准则对两类可分样本进行分类。首先点击界面“Filename”处的下拉式菜单，在文件列表中选择可分样本文件 Seperable.mat；然后在界面“preprocessing”处下拉式菜单中选择 “None”，在界面“Algorithm”处下拉式菜单中选择“Perceptron”，在界面“Num of iteration”处填入数字“300”，最后点击界面上的“Start”按钮，得到如图所示的分类结果。使用屏幕拷贝方式将该分类结果保存于 WORD 文档里，并如实记录 界面“classification errors”处显示的分类错
23、误率。图 用感知准则对两类可分样本分类后的结果现在界面“Num of iteration”处重新填入数字“10000”，然后点击界面上的“Start”按钮，可得到新的分类结果。使用屏幕拷贝方式将该分类结果保存于WORD 文档里，并如实记录界面“classification errors”处显示的分类错误率。最后比较不同迭代次数情形下分类效果的异同。4用最小平方误差准则对两类样本进行分类。首先点击界面“Filename”处的下拉式菜单，在文件列表中选择可分样本文件 Clouds.mat；然后在界面“preprocessing”处下拉式菜单中选择 “None”，在界面“Algorithm”处下拉式
24、菜单中选择“LS” ，最后 点击界面上的“Start” 按钮，得到如图 1-5 所示的分类结果，其中黑线为最小平方误差准则的分类结果，红线为贝叶斯决策器的分类结果。将这两种分类结果的比较（分类效果好坏，能否将样本完全分开等）记录下来，并使用屏幕拷贝方式将分类结果保存于 WORD 文档里，最后如实记录 界面“classification errors” 处显示的分类错误率。图 用最小平方误差准则对两类可分样本分类后的结果5用近邻法对双螺旋样本进行分类。首先点击界面“Filename”处的下拉式菜单，在文件列表中选择双螺旋样本文件 Spiral.mat；然后在界面“preprocessing”处下
25、拉式菜单中选择“None” ，在界面“Algorithm”处下拉式菜单中选择“Nearest Neighbor”，在界面“Num of nearest neighbor”处填入数字“3”，最后点击界面上的“Start”按钮，得到如图所示的分类结果。使用屏幕拷贝方式将该分类结果保存于 WORD 文档里，并记录界面“classification errors”处显示的分类错误率。图 近邻法对双螺旋样本分类后的结果在界面“Num of nearest neighbor”处重新填入数字“12”，然后点击界面上的“Start”按钮，可得到新的分类结果。使用屏幕拷贝方式将该分类结果保存于WORD 文档里，
26、并如实记录界面“classification errors”处显示的分类错误率。最后比较“k=3” 与“k=12” 两种情形下分类效果的异同。6特征提取方法对分类效果的影响。用感知准则对两类可分样本进行分类。首先点击界面“Filename” 处的下拉式菜单，在文件列表中选择可分样本文件XOR.mat；然后在界面“preprocessing” 处下拉式菜单中选择“PCA” ，在界面“New data dimension”处填入数字 2，在界面“Algorithm”处下拉式菜单中选择“Nearest Neighbor”，在界面“Num of nearest neighbor”处填入数字“3” ，最
27、后点击界面上的“Start”按钮，得到如图（ a）所示的分类结果。使用屏幕拷贝方式将该分类结果保存于 WORD 文档里，并如实记录界面“classification errors”处显示的分类错误率。现在界面“New data dimension”处重新填入数字 1，其它条件不变，然后点击界面上的“Start”按钮，可得到新的分类结果如图（b）所示。使用屏幕拷贝方式将该分类结果保存于 WORD 文档里，并如实记录界面“classification errors”处显示的分类错误率。最后比较提取的特征数目不同的情形下分类效果（即图（a） （b）两个图）的异同。（a）主成分分析 提取 2 个特征
28、（b）主成分分析 提取 1 个特征图 特征提取方法对分类结果的影响五、 思考题无六、 实验报告详细内容参见附录。七、 其它学生在实验期间，请遵守实验室管理的相关规定及安全事项等内容。 实验四 用人工神经网络对二维样本分类实验学时：3 学时实验类型：设计实验要求：必修一、 实验目的1掌握人工神经网络的运行机理、参数设置和模型选择等；2熟悉感知器的原理、特性与功能；3熟悉误差反传网的原理、特性与功能；4熟悉径向基函数网的原理、特性与功能；二、 实验内容本实验主要涉及以下知识点： 1观察人工神经元的输出随权值 与 的变化；wb2生成两类样本，然后用感知器对两类样本进行分类；3用误差反传网实现函数逼近
29、，观察参数设置和拓扑结构对逼近性能的影响；4用径向基函数网逼近任意函数；三 、 实验原理、方法和手段1 人工神经网络：人工神经网络（artificial neural networks, ANN）学习，在模式识别领域占有重要地位。现在的计算机尽管有很高的计算速度与超大的存储容量，但它却缺乏感知、识别、联想、决策和适应环境等人脑具备的能力，因此能否让计算机象人脑那样工作多少年来一直是不同领域的学者试图认识并回答的问题。人脑是由极大量的的生物神经元经过复杂的相互连接而成的一种非线性并行信息处理系统，尽管单个生物神经元的反应速度比构成计算机的基本单元逻辑门慢五六个数量级，但人脑中神经元数目巨大且连接
30、复杂，因此对有些问题的处理速度比计算机还快。由此看来人脑的组织结构和运行机制有其绝妙的特点，从模仿人脑出发，探究更接近人类智能的信息处理系统具有重大意义，这促使人们大力研究人工神经网络学习方法与模型。人工神经网络是用大量的简单计算-处理单元（神经元）构成的非线性系统，它具有学习能力、记忆能力、计算能力以及各种智能处理功能，在不同程度和层次上模仿人脑神经系统的信息处理、存储及检索功能。当然这种模拟是粗略而且简单的，无论是在规模上还是功能上都与人脑差得太远，但这并不妨碍它在一些实际工程应用领域显示出威力。2 一个典型的人工神经元模型：生物神经元是生物神经系统总最基本的单元，是构成生物神经系统的基石
31、。它由细胞体、树突和轴突组成，轴突与其它神经元形成功能性接触。当外界刺激达到一定阈值时，神经元处于兴奋状态并经轴突输出，否则处于抑制状态。人工神经元是生物神经元的某种简化和抽象，下面以 M-P 神经元为例介绍其基本原理。图 2-1（a）是一个 M-P 神经元模型，它有 个输入结点，一个输出结点。若d输入 ，则输出 ，其中 为第 个输入结点与输(1),Tidx 1iiyfwxbi出结点间的连接权值， 为激活函数， 为激活阈值。fa b cdx 1x1x 1x2x2x 2xdxdx1w2nwy 1ymy 1wmyKK图 2-1 神经网络模型拓扑结构图。 （a）M-P 神经元； （b）感知器； （c
32、）径向基函数网3 两个重要的学习规则：学习是神经网络最重要的特征之一。神经网络通过学习改变其内部状态，使输入与输出呈现出某种规律性。学习是按照一定的学习规则进行的，Hebb 规则和误差修正规则是两种最重要的规则。Hebb 规则可以归结为：如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元间的连接强度（权值）应增强。假设第和 个神经元的状态分别为 和 ，则两个神经元间的权值修正量为ij iuj， 称为学习因子。误差修正规则的最终目的是使网络中某一神经元jiijuw的实际输出在均方意义上最逼近于期望输出，令第 个神经元的期望输出为 ，实j je际输出为 ，则第 个
33、输入结点与第 个神经元间的权值修正量为jyij。iijjwex4 三种经典的网络模型：在神经网络的研究中经常提到神经网络学习模型的概念，神经网络模型是关于一个神经网络的综合描述，包括网络的拓扑结构、信息传递方式、学习方式和学习算法等。目前人们已提出了上百种神经网络模型，表 2-1 列出了其中最经典的三种。神经网络模型按学习方式可分为有监督学习和无监督学习；按拓扑结构可分为前向网和反馈网，前向网有明显的层次，信息的流向由输入层到输出层，反馈网没有明显的层次，存在输出单元到输入单元的反馈连接；按网络活动方式可分为确定型网和随机型网，确定型网由确定性输入经确定性作用函数，产生确定性输出，随机型网由随
34、机输入或随机作用函数，产生遵从一定概率分布的随机输出。网络模型 感知器 误差反传网 径向基函数网英文缩写 BP RBF提出时间 1957 1986 1988学习方式 有监督 有监督 有监督拓扑结构 前向 前向 前向活动方式 确定型 确定型 确定型表 2-1 三种经典的神经网络模型比较 感知器感知器在神经网络乃至整个机器学习领域都有重要意义。即使是对其持激烈批评态度的 Minsky，在 1988 年重版其名著感知器时也在扉页上写上了“仅以此纪念 Rosenblatt”。图 2-1（b）就是一个感知器示意图，它是一个双层网络，输入层有 个结点，输出层有 个计算单元，采用误差修正规则作为学习准则。n
35、m误差反传网误差反传网（BP 网）得名于运行其上的 BP 算法，它又名多层前向网或者多层感知器（multi-layer perceptron， MLP） 。与经典的感知器只有输入层与输出层相比，BP 网在输入层与输出层间还有若干隐层，通过 BP 算法从后向前修正各层之间的连接权值，能求解感知器所不能解决的问题。经典的感知器的收敛性不受权值的初值影响，但 BP 网权值的初值选择会影响收敛速度，而且有时会陷入局部极小点，不能保证收敛到全局最优点；当 BP 网的层数大于三层时，陷入局部极小点的可能性很大，此时需利用先验知识缩小搜索范围。另外 BP 网的输入层与输出层结点数由问题本身决定，例如在模式识
36、别中输入层结点数为特征维数，输出层结点数为类别数；但中间隐层的结点数只能靠经验确定。一般而言，要解决的问题越复杂，需要的隐层的结点数越多，但过多的结点会导致“过学习”，从而使网络的泛化能力变差。径向基函数网1988 年 Broomhead 等将径向基函数（radial basis function, RBF）首先用于神经网络设计，从而构成了 RBF 网。RBF 网如图 2-1（c）所示，它与感知器很相似，只是感知器多了一个隐层，因此是一种三层网。隐层单元采用径向基函数 作为其K输出特性，输入层到隐层的权值固定为 1，输出结点为线性求和单元，隐层到输出结点间的权值 可调。假设 RBF 网输入层有
37、 个结点，隐层有 个结点，若输入iwdm， ， 是基函数的中心， 为基函数的(1),Tidx 2,exp/ccKcx宽度，则输出为 。一个函数可以表示成一组基211, /mmiciciyfwf函数的加权和，因此 RBF 网可以看作是用隐层单元的输出函数构成的一组基去逼近一个函数。四、实验要求1在 MATLAB 命令行状态下，键入 DEMO 并按回车键；得到如图 2-2 所示的界面。然后点击“Toolboxes”，打开 MATLAB 工具箱。再点击“Neural networks”，选定神经网络工具箱，如图 2-3 所示。图 2-2 打开 MATLAB 工具箱图 2-3 选定神经网络工具箱2观察
38、并记录人工神经元（Neurons）的特性与功能。首先在如图2-3 所示界面上，将鼠标移至“simple neuron and transfer function”并双击之，得到如图 2-4 所示界面。然后双击如图 2-4 所示界面上的文字“run this demo”,得到图 2-5。图 2-4 选定神经元演示程序Neural NetworkDESIGN One-Input NeuronAlter the weight, biasand input by draggingthe triangular shapedindicators.Pick the transferfunction with
39、 theF menu.Watch the change tothe neuron functionand its output.Chapter 21p wbaInput Linear Neuron: a = purelin(w*p+b)F:-2 0 2 w-2 0 2 b-4 -2 0 2 4-4-2024pa图 2-5 神经元演示模块在如图 2-5 所示界面上，拖动与 与 对应的“”符号，从而改变wb与 的值，观察神经元的输出随权值 与 的变化情况，并将改变后的wb wb界面保存下来（在菜单“Edit”中选择“Copy figure”,再粘贴至 WORD 文档中） 。3观察并记录感知器（Pe
40、rceptrons）的特性与功能。在如图 2-3 所示界面上，将鼠标移至“Decisions Boundaries”并双击之，得到一个界面；然后双击界面上的文字“run this demo”,得到图 2-6。仔细阅读该图上的英文说明，并照该说明一步步操作，以此实现用感知器对两类样本分类的目标，最后将分类结果保存下来。Neural NetworkDESIGN Decision BoundariesMove the perceptrondecision boundary bydragging its handles.Try to divide thecircles so that noneof t
41、heir edges are red.The weights and biaswill take on valuesassociated with thechosen boundary.Drag the white andblack dots to definedifferent problems.Chapter 4W= 1.79 0.894 b= 1.79-3 -2 -1 0 1 2 3-3-2-10123W图 2-6 感知器演示模块4观察并记录误差反传网（Back propagation Networks）的特性与功能。在如图 2-3 所示界面上，将鼠标移至“Generalization”
42、上并双击之，得到一个界面；然后双击界面上的文字“run this demo”,得到图 2-7。仔细阅读该图上的英文说明，并照该说明进行操作，以此达到用误差反传网逼近函数的目标，最后将逼近结果保存下来。Neural NetworkDESIGN GeneralizationClick the Trainbutton to train thelogsig-linearnetwork on thedata points at left.Use the slide barto choose thenumber of neuronsin the hidden layer.Chapter 11Number
43、of Hidden Neurons S1: 31 9Difficulty Index: 11 9-2 -1.5 -1 -0.5 0 0.5 1 1.5 200.511.52InputTargetFunction Approximation图 2-7 误差反传网演示模块5观察并记录径向基函数网（Radial Basis Networks）的特性与功能。在如图 2-3 所示界面上，将鼠标移至“Radial basis approximation”并双击之，得到图 2-8。现将该图上的所有源代码拷贝至一个新文件“Raba.m”中，并在 MATLAB 命令行状态下执行 Raba，以此实现用径向基函数网
44、逼近函数的目标，最后将逼近结果保存下来。图 2-8 径向基函数网演示模块实验五 用支持向量机进行人脸识别实验学时：3 学时实验类型：设计实验要求：必修一 、实验目的1掌握支持向量机（SVM）的原理、核函数类型选择以及核参数选择原则等；2熟悉人脸识别的一般流程与常见识别方法；3熟悉不同的特征提取方法在人脸识别的应用；4了解在实际的人脸识别中，学习样本数等参数对识别率的影响；5了解非人脸学习样本库的构建在人脸识别的重要作用。二、 实验内容1构建非人脸学习样本库；2观测不同的特征提取方法对人脸识别率的影响；3观测不同的学习样本数对人脸识别率的影响；4观测支持向量机选用不同的核函数（线性核或径向基核）
45、后对人脸识别率的影响；5观测支持向量机选用不同的核参数后对人脸识别率的影响。三 、 实验原理、方法和手段1 人脸识别：人脸识别也就是利用计算机分析人脸图象，进而从中提取出有效的识别信息,用来“ 辨认” 身份的一门技术。人脸识别技术应用背景广泛，可用于公安系统的罪犯身份识别、驾驶执照及护照等与实际持证人的核对、银行及海关的监控系统及自动门卫系统等。常见的人脸识别方法包括基于 KL 变换的特征脸识别、基于形状和灰度分离的可变形模型识别、基于小波特征的弹性匹配、基于传统的部件建模识别、基于神经网络的识别、基于支持向量机的识别等。其中特征脸方法、神经网络方法、基于支持向量机的方法等是基于整体人脸的识别，而基于提取眼睛等部件特征而形成特征向量的方法就是基于人脸特征的识别。虽然人类的人脸识别能力很强，能够记住并辨别上千个不同人脸，可是计算机则困难多了。其表现在：人脸表情丰富；人脸随年龄增长而变化；人脸所成图象受光照、成象角度及成象距离等影响；而且从二维图象重建三维人脸是病态过程，目前尚没有很好的描述人脸的三维模型。
