1、3.5径向基函数神经网络模型,概述,1985年，Powell提出了多变量插值的径向基函数(Radical Basis Function，RBF)方法 1988年， Moody和Darken提出了一种神经网络结构，即RBF神经网络 RBF网络是一种三层前向网络 RBF网络的基本思想 用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即不需要通过权连接)映射到隐空间 当RBF的中心点确定后，映射关系也就确定 隐含层空间到输出空间的映射是线性的,RBF网络特点,只有一个隐层，且隐层神经元与输出层神经元的模型不同。 隐层节点激活函数为径向基函数，输出层节点激活函数为线性函数。 隐层节点激活函数
2、的净输入是输入向量与节点中心的距离（范数）而非向量内积，且节点中心不可调。 隐层节点参数确定后，输出权值可通过解线性方程组得到。 隐层节点的非线性变换把线性不可分问题转化为线性可分问题。 局部逼近网络（MLP是全局逼近网络)，这意味着逼近一个输入输出映射时，在相同逼近精度要求下，RBF所需的时间要比MLP少。 具有唯一最佳逼近的特性，无局部极小。 合适的隐层节点数、节点中心和宽度不易确定。,1. Gauss（高斯）函数：,2. 反演S型函数：,3. 拟多二次函数：, 称为基函数的扩展常数或宽度， 越小，径向基函数的宽度越小，基函数就越有选择性。,径向基函数（RBF）,全局逼近和局部逼近,全局逼
3、近网络,局部逼近网络,当神经网络的一个或多个可调参数(权值和阈值)对任何一个输出都有影响，则称该神经网络为全局逼近网络。,对网络输入空间的某个局部区域只有少数几个连接权影响网络的输出，则称该网络为局部逼近网络,学习速度很慢，无法满足实时性要求的应用,学习速度快，有可能满足有实时性要求的应用,RBF网络的工作原理,函数逼近： 以任意精度逼近任一连续函数。一般函数都可表示成一组 基函数的线性组合，RBF网络相当于用隐层单元的输出构 成一组基函数，然后用输出层来进行线性组合，以完成 逼近功能。,分类： 解决非线性可分问题。RBF网络用隐层单元先将非线性可 分的输入空间设法变换到线性可分的特征空间（通
4、常是高 维空间），然后用输出层来进行线性划分，完成分类功能。,RBF神经网络两种模型,正规化网络RN,广义网络GN,通用逼近器,模式分类,基本思想： 通过加入一个含有解的先验知识的约束来 控制映射函数的光滑性，若输入一输出映射 函数是光滑的，则重建问题的解是连续的， 意味着相似的输入对应着相似的输出。,基本思想： 用径向基函数作为隐单元的“基”，构成隐含 层空间。隐含层对输入向量进行变换，将低维 空间的模式变换到高维空间内，使得在低维 空间内的线性不可分问题在高维空间内线性可分。,两种模型的比较,隐节点=输入样本数,隐节点输入样本数,所有输入样本设为 径向基函数的中心,径向基函数的中心 由训练
5、算法确定,径向基函数 取统一的扩展常数,径向基函数的扩展常数 不再统一由训练算法确定,没有设置阈值,输出函数的线性中包含阈值参数， 用于补偿基函数在样本集上的 平均值与目标值之平均值之间的差别。,RN,GN,3.5.1 RBF神经网络模型,径向基神经网络的神经元结构激活函数采用径向基函数 以输入和权值向量之间的 距离作为自变量,径向基神经网络结构,RBF网络与BP网络比较： RBF网络的输出是隐单元输出的线性加权和，学习速度加快 BP网络使用sigmoid()函数作为激活函数，这样使得神经元有很大的输入可见区域 径向基神经网络使用径向基函数（一般使用高斯函数）作为激活函数，神经元输入空间区域很
6、小，因此需要更多的径向基神经元,RBF学习算法,RBF学习的三个参数：基函数的中心方差（扩展常数）隐含层与输出层间的权值,当采用正归化RBF网络结构时，隐节点数即样本数，基函数的数据中心即为样本本身，参数设计只需考虑扩展常数和输出节点的权值。当采用广义RBF网络结构时，RBF网络的学习算法应该解决的问题包括：如何确定网络隐节点数，如何确定各径向基函数的数据中心及扩展常数，以及如何修正输出权值。,学习方法分类（按RBF中心选取方法的不同分） 随机选取中心法 自组织选取中心法 有监督选取中心法 正交最小二乘法等,3.5.2 RBF网络的学习算法,自组织选取中心学习方法第一步，自组织学习阶段 无导师
7、学习过程，求解隐含层基函数的中心与方差；第二步，有导师学习阶段 求解隐含层到输出层之间的权值。 高斯函数作为径向基函数,网络的输出(网络结构如图2-21所示 )设d是样本的期望输出值，那么基函数的方差可表示为 :,自组织选取中心算法步骤 1.基于K-均值聚类方法求取基函数中心 （1）网络初始化。 随机选取 个训练样本作为聚类中心 。 （2）将输入的训练样本集合按最近邻规则分组。按照 与中心为 之间的欧氏距离将 分配到输入样本的各个聚类集合 中。 （3）重新调整聚类中心。 计算各个聚类集合 中训练样本的平均值，即新的聚类中心 ，如果新的聚类中心不再发生变化，则所得到的即为RBF神经网络最终的基函
8、数中心，否则返回（2），进入下一轮的中心求解。,2.求解方差 RBF神经网络的基函数为高斯函数时，方差可由下式求解：式中 为中所选取中心之间的最大距离。 3.计算隐含层和输出层之间的权值 隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到，计算公式如下：,3.5.3 RBF网络学习算法的MATLAB实现,RBF网络的MATLAB函数及功能,newrb() 功能 建立一个径向基神经网络 格式 net = newrb(P，T，GOAL，SPREAD，MN，DF) 说明 P为输入向量，T为目标向量，GOAL为圴方误差，默认为0，SPREAD为径向基函数的分布密度，默认为1，MN为神经元的
9、最大数目，DF为两次显示之间所添加的神经元神经元数目。,newrbe() 功能 建立一个严格的径向基神经网络,严格是指径向基神经网络的神经元的个数与输入值的个数相等。 格式 (1) net = newrb(P，T， SPREAD) 说明 各参数的含义见Newrb。,举例：RBF网络实现函数逼近,1.问题的提出：假设如下的输入输出样本，输入向量为-1 1区间上等间隔的数组成的向量P,相应的期望值向量为T。P=-1:0.1:1; T=-0.9602 -0.5770 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344 -0.5000
10、-0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201; %以输入向量为横坐标，期望值为纵坐标，绘制训练用样本的数据点。 figure; plot(P,T,+) title(训练样本) xlabel(输入矢量P) ylabel(目标矢量T) grid on %目的是找到一个函数能够满足这21个数据点的输入/输出关系，其中一个方法是通过构建径向基函数网络来进行曲线拟合,2.网络设计：设计一个径向基函数网络，网络有两层，隐含层为径向基神经元，输出层为线性神经元。p=-3:0.1:3; a=radbas(p
11、); figure; plot(p,a) title(径向基传递函数) xlabel(输入p) ylabel(输出a)grid on% 每一层神经元的权值和阈值都与径向基函数的位置和宽度有关系，输出层的线性神经元将这些径向基函数的权值相加。如果隐含层神经元的数目足够，每一层的权值和阈值正确，那么径向基函数网络就完全能够精确的逼近任意函数。a2=radbas(p-1.5); a3=radbas(p+2); a4=a+a2*1+a3*0.5; figure; plot(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m-); title(径向基传递函数之和) xlabel(输入p) yla
12、bel(输出a)grid on% 应用newb()函数可以快速构建一个径向基神经网络，并且网络自动根据输入向量和期望值进行调整，从而进行函数逼近，预先设定均方差精度为eg以及散布常数sc。 eg=0.02; sc=1; net=newrb(P,T,eg,sc);,3.网络测试：将网络输出和期望值随输入向量变化的曲线绘制在一张图上，就可以看出网络设计是否能够做到函数逼近。figure; plot(P,T,+); xlabel(输入); X=-1:0.01:1; Y=sim(net,X); hold on; plot(X,Y); hold off; legend(目标,输出) grid on,例2 建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，并作出网络的逼近误差曲线。,误差曲线和逼近曲线,
