1、第四章 神经网络基本理论,4.1 人工神经元模型,人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。,生物神经元模型,生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超过某个阈值，神经元将产生冲动。,4.1 人工神经元模型,人工神经元模型,模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型,x1,xnT为输入向量，y为输出，f()为激发函数，为阈值。 Wi为神经元与其它神经元的连接强度，也称权值。,4.1 人工神
2、经元模型,常用的激发函数f 的种类 ：,1）阈值型函数,4.1 人工神经元模型,2）饱和型函数,3）双曲函数,4.1 人工神经元模型,4）S型函数,5）高斯函数,4.2 神经网络的定义和特点,神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。,定义,特点,（1）非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。 （2）自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。 （3） 并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式
3、是大规模并行的，可以大大加快对信息处理的速度。 （4）分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。 （5）便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。,4.3 感知器模型,感知器(Perceptron)是由美国学者F.Rosenblatt于1957年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。,激发函数为阈值型函数，当其输入的加权和大于或等于阈值
4、时，输出为1，否则为0或-1。 它的权系W可变，这样它就可以学习。,感知器的结构,感知器的学习算法,感知器的学习是有导师学习。感知器的训练算法的基本原理来源于著名的Hebb学习律。基本思想：逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵。,离散单输出感知器训练算法,二值网络：自变量及其函数的值、向量分量的值只取0和1 权向量：W=(w1，w2，wn) 输入向量：X=(x1，x2，xn) 训练样本集： (X，Y)|Y为输入向量X对应的输出,离散单输出感知器训练算法,1. 初始化权向量W； 2. 重复下列过程，直到训练完成：2.1 对每个样本（X，Y），重
5、复如下过程：2.1.1 输入X；2.1.2 计算o=F（XW）；2.1.3 如果输出不正确，则当o=0时，取 W=W+X，当o=1时，取 W=W-X,离散多输出感知器训练算法,样本集：(X,Y)|Y为输入向量X对应的输出 输入向量：X=(x1,x2,xn) 理想输出向量：Y=(y1,y2,ym) 激活函数：F 权矩阵W=(wij) 实际输出向量：O=(o1,o2,om),离散多输出感知器训练算法,1.初始化权矩阵W； 2.重复下列过程，直到训练完成：2.1 对每个样本（X，Y），重复如下过程：2.1.1 输入X；2.1.2 计算O=F（XW）；2.1.3 for j=1 to m do 执行如
6、下操作：if oj yj thenif oi = 0 then for i = 1 to n wij=wij+xielse for i= 1 to n dowij=wij-xi,离散多输出感知器训练算法,算法思想：将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。 第1步，权矩阵的初始化：一系列小伪随机数。,离散多输出感知器训练算法,第2步，循环控制。 方法1：循环次数控制法：对样本集执行规定次数的迭代 改进分阶段迭代控制：设定一个基本的迭代次数N，每当训练完成N次迭代后，就给出一个中间结果,离散多输出感知器训练算法,方法2：精度控制法：给定一个精度控制参数 精度度量：实际
7、输出向量与理想输出向量的对应分量的差的绝对值之和； 实际输出向量与理想输出向量的欧氏距离的和;“死循环”：网络无法表示样本所代表的问题;,离散多输出感知器训练算法,方法3：综合控制法：将这两种方法结合起来使用 注意：精度参数的设置。根据实际问题选定；初始测试阶段，精度要求低，测试完成后，再给出实际的精度要求。,连续多输出感知器训练算法,用公式wij=wij+（yj-oj）xi取代了算法3-2 第2.1.3步中的多个判断 yj与oj之间的差别对wij的影响由（yj-oj）xi表现出来 好处：不仅使得算法的控制在结构上更容易理解，而且还使得它的适应面更宽,连续多输出感知器训练算法,1用适当的小伪随
8、机数初始化权矩阵W； 2. 初置精度控制参数，学习率，精度控制变量d=+1； 3While d do3.1 d=0；3.2 for 每个样本（X，Y）do3.2.1 输入X（=(x1，x2，xn)）；3.2.2 求O=F（XW）；3.2.3 修改权矩阵W：for i=1 to n，j=1 to m dowij=wij+(yj-oj)xi；3.2.4 累积误差for j = 1 to m dod=d+(yj-oj)2,线性不可分问题,异或(Exclusive OR)问题,用于求解XOR的单神经元感知器,线性不可分函数,线性不可分函数,R. O. Windner 1960年,线性不可分问题的克服,
9、用多个单级网组合在一起，并用其中的一个去综合其它单级网的结果，我们就可以构成一个两级网络，该网络可以被用来在平面上划分出一个封闭或者开放的凸域来 一个非凸域可以拆分成多个凸域。按照这一思路，三级网将会更一般一些，我们可以用它去识别出一些非凸域来。 解决好隐藏层的联接权的调整问题是非常关键的,4.4 神经网络的构成和分类,构成,从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。状态方程描述每个神经元的输入、输出、权值间的函数关系。学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输入输出关系。,分类,（1）从结构上划分,通常所
10、说的网络结构，主要是指它的联接方式。神经网络从拓扑结构上来说，主要分为层状和网状结构。,4.4 神经网络的构成和分类,层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内神经元不能联接。,前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每个神经元从前一层接收输入，发送输出给下一层。,4.4 神经网络的构成和分类,网状结构：网络中任何两个神经元之间都可能双向联接。,反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。,混合型网络：前向网络的同一层神经元之间有
11、互联的网络。,4.4 神经网络的构成和分类,（2）从激发函数的类型上划分,高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等,（3）从网络的学习方式上划分,有导师学习神经网络 为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼近样本数据的输入输出关系。 无导师学习神经网络 不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提取出来。,（4）从学习算法上来划分：,基于BP算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。,4.4 多层前向BP神经网络,最早由werbos在1974年提出的，1985年由Rumelhart再次进行发展
12、。,多层前向神经网络的结构,多层前向神经网络由输入层、隐层（不少于1层）、输出层组成，信号沿输入输出的方向逐层传递。,4.4 多层前向BP神经网络,沿信息的传播方向，给出网络的状态方程，用Inj(i)， Outj(i)表示第i层第j个神经元的输入和输出，则各层的输入输出关系可描述为：,第一层（输入层）：将输入引入网络,第二层（隐层）,第三层（输出层）,4.4 多层前向BP神经网络,网络的学习,学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可能接近期望的输出。,假设有M个样本:,将第k个样本Xk输入网络，得到的网络输出为,定义学习的目标函数为 ：,4.4 多层前向BP神经网络,
13、为使目标函数最小，训练算法是：,令,则,4.4 多层前向BP神经网络,学习的步骤：,（3）计算,（4）计算,如果样本数少，则学习知识不够；如果样本多，则需计算更多的dJk/dw, ，训练时间长。可采用随机学习法每次以样本中随机选取几个样本，计算 dJk/dw, ，调整权值。,例4.1 多层前向BP网络训练,训练样本SISO： SampleInput=0 0.1 0.2 0.3 0.4; SampleOutput=4 2 2 2 2;,网络结构：,网络输入输出关系：,需训练的量：,训练算法：,训练初始参数：,W1=rand(1,5); W2=rand(1,5); theta=rand(1,5);
14、 beta=rand(1,5); LearningRate1=0.2; LearningRate2=0.4; LearningRate3=0.2; LearningRate4=0.2;,训练后参数：,W1-0.4059 8.5182 -0.5994 -0.1153 -1.1916; W2=0.6245 2.8382 0.6632 0.5783 3.5775; Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858; Theta=1.5832 0.1900 1.5406 1.6665 -0.1441;,训练1000次目标函数的变化曲线：,训练结束后神经网络的输出与样本
15、的拟和情况,4.4 多层前向BP神经网络,前向网络进一步需研究的问题,局部最优问题，（网络初值选取不恰当）。 学习算法收敛速度慢，Sigmaid函数本身存在无穷多闪导数，而BP算法只用了一次导数，致使收敛速度慢。 网络的运行是单向传播，没有反馈，是一个非浅性映射，而不是非浅性动力系统。 网络隐层节点个数和初始权值的选取，尚无理论指导。,4.5 大脑自组织神经网络,是一种无导师学习的网络,脑神经科学研究表明：传递感觉的神经元排列是按某种规律有序进行的，这种排列往往反映所感受的外部刺激的某些物理特征。,大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对不同的模式具有不同的响应特征
16、，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的有序排列,在这种网络中，输出节点与其邻域其他节点广泛相连，并互相激励。输入节点和输出节点之间通过强度wij(t)相连接。通过某种规则，不断地调整wij(t)，使得在稳定时，每一邻域的所有节点对某种输入具有类似的输出，并且这种聚类的概率分布与输入模式的概率分布相接近。,4.5 大脑自组织神经网络,自组织学习算法：,权值初始化并选定领域的大小；,(2) 输入模式；,(3) 计算空间距离,式中xi(t)是t时刻i节点的输入，wij(t)是输入节点i与输出节点j 的连接强度，N为输入节点的数目；,(4) 选择节点j*，它满足,(
17、5) 按下式改变j*和其领域节点的连接强度wij(t+1)= wij(t)+(t)xi(t)- wij(t), jj*的领域，0iN-1 式中(t)称之为衰减因子。,(6) 返回到第(2)步，直至满足xi(t)- wij(t)2(为给定的误差)。,4.5 大脑自组织神经网络,例4.2 大脑自组织网络的训练,输入模式：Xx1,x2,x3 网络节点数量：9 邻域：1 网络初始权值： W= 0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.5208 0.4608 0.44350.4433 0.6641 0.2618 0.9862 0.4511 0.1663 0.
18、7181 0.4453 0.36630.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.5692 0.0877 0.3025;,4.5 大脑自组织神经网络,1. 单模式训练情况,输入为：X=0 0 1 结果：W= 0.1122 0.0000 0.0000 0.0000 0.9028 0.8289 0.5208 0.4608 0.44350.4433 0.0000 0.0000 0.0000 0.4511 0.1663 0.7181 0.4453 0.36630.4668 1.0000 1.0000 1.0000 0.8045 0.3939 0.5692 0.
19、0877 0.3025,输入为：X=0 1 0 结果：W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.0000 0.0000 0.00000.4433 0.6641 0.2618 0.9862 0.4511 0.1663 1.0000 1.0000 1.00000.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.0000 0.0000 0.0000,4.5 大脑自组织神经网络,2. 多模式训练情况,训练结果：,W,网络输出：,Output=Input*W=,模式1,模式2,模式3,模式2,模式1,模式3,模式1,模
20、式2,模式3,4.6 小脑神经网络,小脑模型关节控制器（CMAC）是由Albus最初于1975年基于神经生理学提出的，它是一种基于局部逼近的简单快速的神经网络，能够学习任意多维非线性映射, 迄今已广泛用于许多领域。,CMAC具有优点： 具有局部逼近能力，每次修正的权值极少，学习速度快，适合于在线学习； 一定的泛化能力，相近输入给出相近输出，不同输入给出不同输出；,4.6 小脑神经网络,CMAC的原理,CMAC是一种模仿人类小脑的学习结构。在这种技术里，每个状态变量被量化并且输入空间被划分成离散状态。量化的输入构成的向量指定了一个离散状态并且被用于产生地址来激活联想单元中存储的联想强度从而恢复这
21、个状态的信息。 对于输入空间大的情况，联想单元数量巨大，为了节省存储空间，Albus提出了hash编码，将联想强度存于数量大大少于联想单元的hash单元中，联想单元中只存储hash单元的散列地址编码,4.6 小脑神经网络,CMAC的空间划分和量化机制,超立方体,联想单元,“块”,4.6 小脑神经网络,CMAC学习的数学推导,1)无hash映射的CMAC,在CMAC中，每个量化的状态对应Ne个联想单元。假设Nh是总的联想单元的数量，该数量与没有hash映射时的物理存储空间大小一致。用CMAC技术，第s个状态对应的输出数据ys可以被表示为：,式中W是代表存储内容（联想强度）的向量，Cs是存储单元激
22、活向量，该向量包含Ne个1。在决定了空间的划分方式后，对于指定的状态，单元激活向量Cs也随之确定。,4.6 小脑神经网络,CMAC的空间划分和量化机制,1.16个离散状态如右图所示； 2.12个联想单元分别对应超立方体，这些单元从1到12按升序排列； 3.则第1个状态被超立方体Aa,Cc,Ee覆盖，将激活与这3个超立方体相对应的联想单元，对应于该状态的激活向量为：,4.6 小脑神经网络,2)有hash映射的CMAC,hash映射将几个联想单元和一个物理存储位置(hash单元)相对应。hash单元中存储联想强度，而此时的联想单元是虚拟的存储空间，只存储hash单元的散列地址编码。有hash映射的
23、CMAC特别适用于存储空间小于超立方体数量时的情况。用有hash映射的CMAC技术，第s个状态对应的输出数据ys可以被表示为：,式中Mp是hash单元的数量，它小于联想单元数Nh。hij=1表示联想单元i激活hash单元j。由于每个联想单元仅仅和一个hash单元相对应，所以hash矩阵H的每一行仅有一个单元等于1，其余的都等于0。,4.6 小脑神经网络,没有hash映射的公式和有hash映射的公式可以合并为一个式子：,CMAC的学习,CMAC用迭代算法来训练联想强度。在学习中，我们将Ns个训练数据重复用于学习。在第i次迭代中用第s个样本学习的迭代算法为：,S：样本数,i：迭代次数,：学习率,期
24、望输出,4.6 小脑神经网络,4.6 小脑神经网络,例4.3 CMAC训练,样本： SampleInput1=0.05 0.15 0.25 0.35 ; SampleInput2=0.05 0.15 0.25 0.35 ; SampleOutput=4 4 4 4;2 2 2 2; 3 3 3 3; 1 1 1 1;,量化：两输入均量化为四个元素,if x10 end,4.6 小脑神经网络,状态编号：,激活向量矩阵：,1 0 0 0 1 0 0 0 1 0 0 01 0 0 0 0 1 0 0 1 0 0 01 0 0 0 0 1 0 0 0 1 0 00 1 0 0 0 1 0 0 0 1
25、0 01 0 0 0 0 0 1 0 1 0 0 01 0 0 0 0 0 0 1 1 0 0 01 0 0 0 0 0 0 1 0 1 0 00 1 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 0 0 1 01 0 0 0 0 0 0 1 0 0 1 01 0 0 0 0 0 0 1 0 0 0 10 1 0 0 0 0 0 1 0 0 0 10 0 1 0 0 0 1 0 0 0 1 00 0 1 0 0 0 0 1 0 0 1 00 0 1 0 0 0 0 1 0 0 0 10 0 0 1 0 0 0 1 0 0 0 1,MC=,4.6 小脑神经网络,联想强度
26、初始值： Weight=rand(12,1);,学习率： learningRate=0.005;,训练2000次，均方差结果：,训练2000次，联想强度：,2.01672.01670.01680.01691.77361.7739-0.2261-0.22610.20940.20931.20931.2092,4.6 小脑神经网络,输出跟踪结果：,4.6 小脑神经网络,样本2： SampleInput1=0.05 0.15 0.25 0.35 ; SampleInput2=0.05 0.15 0.25 0.35 ; SampleOutput=4 4 4 4;2 2 2 2; 3 3 2 2; 1 1 1 1;,1.69171.56710.06900.44121.70031.7008-0.2995-0.29890.60770.66991.41820.8577,联想强度结果：,4.6 小脑神经网络,输出跟踪结果：,
