1、第10章 神经网络模式识别法,10.1 人工神经网络发展概况 10.2 神经网络基本概念 10.3 前馈神经网络 10.4 反馈网络模型Hopfield网络 10.5 神经网络模式识别,第10章 神经网络模式识别法,10.1 人工神经网络发展概况,人工神经网络(Artificial Neural Networks，ANN)：简称神经网络。,模拟人脑神经细胞的工作特点：,与目前按串行安排程序指令的计算机结构截然不同。,* 单元间的广泛连接； * 并行分布式的信息存贮与处理； * 自适应的学习能力等。,优点：,(1) 较强的容错性;,(2) 很强的自适应学习能力；,(3) 可将识别和若干预处理融为
2、一体进行；,(4) 并行工作方式；,(5) 对信息采用分布式记忆，具有鲁棒性。,四个发展阶段：,第一阶段：启蒙期，始于1943年。,形式神经元的数学模型提出。,第二阶段：低潮期，始于1969年。,感知器(Perceptions)一书出版，指出局限性 。,第三阶段：复兴期，从1982年到1986年。,Hopfield的两篇论文提出新的神经网络模型；,并行分布处理出版，提出反向传播算法。,第四个阶段：1987年至今，趋于平稳。,回顾性综述文章“神经网络与人工智能” 。,10.2 神经网络基本概念,10.2.1 生物神经元,1生物神经元的结构,细胞体、树突、轴突和突触。,2生物神经元的工作机制,兴奋
3、和抑制两种状态。,抑制状态的神经元 由树突和细胞体 接收传来的兴奋电位,不应期,产生输出脉冲,输入兴奋总 量超过阈值,神经元被激发 进入兴奋状态,由突触传递给其它神经元,10.2.2 人工神经元及神经网络,人工神经元：生物神经元的简化模拟。,人工神经元间的互连：信息传递路径轴突-突触-树突的简化；,连接的权值：两个互连的神经元之间相互作用的强弱。,图8.2 人工神经元模型,接收的信息 (其它神经元的输出),互连强度,作比较 的阈值,n维输入向量X,输出,输出函数,神经元的动作：,输出函数 f：也称作用函数，非线性。,阈值型,S型,伪线性型,f 为阈值型函数时：,设 ，点积形式：,式中，,10.
4、2.3 神经网络的学习,学习：,同一个训练集的样本输入输出模式反复作用于网络，网 络按照一定的训练规则自动调节神经元之间的连接强度或拓 扑结构，使实际输出满足期望的要求或者趋于稳定。,实质：,1Hebb学习规则,典型的权值修正方法： Hebb学习规则、误差修正学习,如果神经网络中某一神经元与另一直接与其相连的神经 元同时处于兴奋状态，那么这两个神经元之间的连接强度应 该加强。,神经网络的最重要特征之一。,wij(t+1)：修正一次后的某一权值； ：学习因子，表示学习速率的比例常数； yj(t)，yi(t)：分别表示t时刻第j个和第i个神经元的状态（输出）。,由 有：,神经元间的连接,2. 学习
5、规则,（3）更新权值，阈值可视为输入恒为（1）的一个权值；,（1）选择一组初始权值wij(1)；,（2）计算某一输入模式对应的实际输出与期望输出的误差；,式中，,（4）返回 (2) ，直到对所有训练模式网络输出均能满足要求。,dj，yj(t)：第j个神经元的期望输出与实际输出；,xi(t)：第j个神经元的第i个输入。,神经网络的学习体现在：,：学习因子；,权值变化； 网络结构变化。,10.2.4 神经网络的结构分类,分层结构,有明显层次，信息流向由输入层到输出层。, 前馈网络,没有明显层次，任意两个神经元之间可达，具有输出 单元到隐层单元或输入单元的反馈连接 。, 反馈网络,相互连接结构,10
6、.3 前馈神经网络,10.3.1 感知器,感知器（Perceptron）：FRosenblatt于1957年提出。,感知器结构示意图,* 双层（输入层、输出层）； * 两层单元之间为全互连； * 连接权值可调。,结构特点：,* 输出层神经元个数等于类别数（两类问题时输出层为一个神经元）。,设输入模式向量， ，共M类。,输出层第j个神经元对应第j个模式类，,j：第j个神经元的阈值；,wij：输入模式第i个分量与输出层第j个神经元间的连接权。,令 。取,有,输出为,输出单元对所有输入数值加权求和，经阈值型输出函数 产生一组输出模式。,M类问题判决规则( 神经元的输出函数) 为,* 正确判决的关键：
7、,输出层每个神经元必须有一组合适的权值。,* 感知器采用监督学习算法得到权值；,* 权值更新方法：学习规则。,算法描述,第一步：设置初始权值wij(1)，w(n+1)j(1)为第j个神经元的阈值。,第二步：输入新的模式向量。,第三步：计算神经元的实际输出。,设第k次输入的模式向量为Xk，与第j个神经元相连的权向量为,第j个神经元的实际输出为,第四步：修正权值。,dj：第j个神经元的期望输出。,第五步：转到第二步。,当全部学习样本都能正确分类时，学习过程结束。,经验证明，当随k的增加而减小时，算法一定收敛。,10.3.2 BP网络,BP网络：采用BP算法（Back-Propagation Tra
8、ining Algorithm）的多层感知器。,误差反向传播算法,认识最清楚、应用最广泛。,性能优势：识别、分类,1多层感知器,针对感知器学习 算法的局限性：模式类必须线性可分。,输入层,第一隐层,第二隐层,输出层,中间层为一层或多层处理单元；,前馈网络；,结构：,只允许一层连接权可调。,2BP算法,两个 阶段,正向传播阶段：逐层状态更新,反向传播阶段：误差,BP算法的学习过程,设：某层任一神经元j的输入为netj，输出为yj；相邻低一层中任一神经元i的输出为yi。,wij：神经元i与j之间的连接权；,f()：神经元的输出函数。,S型输出函数：,j：神经元阈值；h0：修改输出函数形状的参数。,
9、设：输出层中第k个神经元的实际输出为yk，输入为netk；与输出层相邻的隐层中任一神经元j的输出为yj。,对输入模式Xp，若输出层中第k个神经元的期望输出为 dpk，实际输出为ypk。输出层的输出方差 ：,若输入N个模式，网络的系统均方差为：,当输入Xp时，wjk的修正增量：,其中，,由 式得到：,令 ，可得,输出单元的误差：,输出单元的修正增量：,对于与输出层相邻的隐层中的神经元j和该隐层前低一层 中的神经元i ：,输出层中神经元输出的误差反向传播到前面各层，对各 层之间的权值进行修正。,BP算法步骤：,第一步：对权值和神经元阈值初始化：(0，1)上分布的随机数。,第二步：输入样本，指定输出
10、层各神经元的希望输出值。,第三步：依次计算每层神经元的实际输出，直到输出层。,第四步：从输出层开始修正每个权值，直到第一隐层。,若j是输出层神经元，则：,若j是隐层神经元，则：,第五步：转到第二步，循环至权值稳定为止。,改进的权值修正：, 收敛快、权值平滑变化,：平滑因子，01。,BP算法存在问题：,* 存在局部极小值问题； * 算法收敛速度慢； * 隐层单元数目的选取无一般指导原则； * 新加入的学习样本影响已学完样本的学习结果。,* 输出层各单元之间相互用较大的负权值输入对方，构成正反馈。,10.3.3 竞争学习神经网络,1竞争学习,典型的非监督学习策略。,与二层前馈网络类似；,结构特点：
11、,输出层具有侧抑制。,竞争层： 竞争学习 网络的核心,侧抑制：,加强自身,* 具有最高输入总和的单元的输出状态为1，其他单元为0。,2汉明(Hamming)网分类器,结构：,仿效生物神经网“中心激励，侧向抑制”的功能。,工作原理：,* 每个模式类由一个典型样本代表；,* 匹配网计算输入样本与各类典型样本的匹配度，由匹配度决定匹配网的输出；,* 由最大网给出输入样本所在类别号（分类）。,匹配度= n输入样本与典型样本之间的汉明距离,xij：第j类典型样本的第i个分量；,xi ：输入样本的第i个分量；,n：样本向量的维数。,二值模式向量 (分量：+1, -1),分类准则：样本间汉明距离最小。,匹配
12、网上层每个神经元的输出：,：输入样本第i个分量与匹配网上层第j个神经元的连接权；,：第j个神经元的阈值。,wij由第j类典型样本的各分量确定。,匹配网输出函数f()：,汉明网算法步骤：,第一步：设置权值和神经元阈值。,wlk：最大网中第l个神经元和第k个神经元的连接权；,最大网中神经元的阈值为零。,xij：第j类典型样本的第i个分量；,wij：匹配网上层神经元j和输入样本第i个分量的连接权;,j ：神经元j的阈值。,第三步，进行迭代运算直到收敛。,第四步：转到第二步。,第二步：输入未知样本，计算匹配网上层各神经元的输出sj，设置最大网中神经元输出的初始值。,设最大网中第j个神经元在t时刻的输出
13、为y(t)，则,3自组织特征映射神经网络 （SOM网络 ）,图8.10 神经元之间相互作用与距离的关系,神经网络中邻近的各神经元通过侧向交互作用彼此相互竞争，自适应地发展成检测不同信号的特殊检测器。,T. Kohonen关于自组织特征映射的含义：,输入层：每个神经元与输出层所有神经元连接。输入连续值模式向量。,SOM网络结构：,输出层：广泛连接，格阵形式。,竞争学习算法：由交互作用函数取代简单的侧抑制。,自组织特征映射算法步骤：,第一步：设置初始权值，定义输出层神经元的邻域。,第二步：输入新的模式向量 。,第三步：计算输入模式到每个输出层神经元j的距离dj。,wij(t)：t时刻输入层神经元i
14、到输出层神经元j之间的连接权。,第四步：选择与输入模式距离最小的输出层神经元 j*。,第五步：修改与j*及其邻域中神经元连接的权值。,设t时刻神经元j*的邻域用 表示，权值修改为：,：修正参数， ，随t的增加而减小。,第六步：转到第二步。,聚类中心：存储在与神经元j*连接的权值上。,输出层神经元邻域的选择：,初始邻域选择大些，随算法的进行逐步收缩。,10.4 反馈网络模型Hopfield网络,寻找记忆：,模拟人脑联想记忆功能的神经网络模型。,网络由初始状态向稳定状态演化的过程。,初始输出模式向量,单层全互连、权值对称的神经网络。,结构：,Hopfield网络 （HNN）,离散型HNN(DHNN
15、)： M-P模型二值神经元,连续型HNN(CHNN)： 神经元为连续时间输出。,* 每个神经元的输出通过加权与其余神经元的输入端连接； * 输入模式向量的各分量及神经元的输出值取(+1)或(-1)； * 神经元的个数与输入模式向量的维数相同； * 记忆样本记忆在神经元之间的连接权上。,DHNN：,* 每个模式类有一个记忆样本，是网络的一个稳定输出状态。,设 是第s类的记忆样本。为了存储 M个记忆样本，神经元i和神经元j之间的权值wij为,设有M 类模式，则有M个记忆样本，分别是网络的M个稳定输出状态。,若神经元i的输入为ui，输出为 ，则,式中，,若输入一个未知类别的模式X，网络初始状态由X决
16、定，根 据上述算法，网络从初始状态开始逐步演化，最终趋向于一个稳定状态，即输出一个与未知类别模式相似的记忆样本。,说明：,定义网络的能量函数,由某一神经元的状态的变化量 引起的E变化量为,式中， ， 。,E0，E有界，网络最终可达到一个不随时间变化的稳定状态。,算法步骤：,第一步：给神经元的连接权赋值，即存贮记忆样本。,第二步：用输入的未知类别的模式 设置网络的初始状态。,若 表示神经元i在t时刻的输出状态，则初始值：,第三步：迭代计算 至算法收敛。,第四步：转到第二步，输入新模式。,神经元输出与未知模式匹配最好的记忆样本。,Hopfield神经网络的局限性：,* 网络能记忆和正确回忆的样本数
17、相当有限；,* 如果记忆中的某一样本的某些分量与别的记忆样本的对应分量相同，这个记忆样本可能是一个不稳定的平衡点。,已证明：当记忆不同模式类的样本数小于网络中神经元个数（或模式向量的维数）的0.15倍时，收敛 于伪样本的情况才不会发生。,可以利用正交算法消除。,10.5 神经网络模式识别,神经网络模式识别的基本思想神经网络用于模式识别时，输入神经元用来模式或表征模式的特征向量，输出神经元的输出对应分类结果。通常神经网络模式识别分为训练和识别两个阶段。（1）训练阶段根据训练样本集，按照一定 的学习规则调整权系数，使权系数收敛到最优值，得到神经网络分类器。,（2）识别阶段利用训练阶段得到的神经网络
18、分类器，对输入模式进行识别，生成分类结果。 下面以前馈神经网络为例，介绍神经网络模式识别方法 在各种人工神经网络模型中，前馈神经网络在模式识别领域应用较多，特别是BP网络和RBF网络。前馈神经网络用于模式识别时网络输入是表征模式的特征向量，每一个输入节点对应样本的一个特征，网络的输出值对应分类结果。 根据输出节点的数量分为多输出型和单输出型,多输出型多输出型网络的输出层节点表示类别，可以有两种方式：第一种方式是每一类对应一个输出节点；第二种方式为用输出节点的某中编码方式来代表类别。 单输出型 单输出型方式，即网络的输出层只有一个神经元。一个单输出型网络只能判断输入样本是否属于某个类别，对每个类别都要构建一个网络，且要对每个网络分别进行训练。,结束,
