1、1基于遗传算法的 BP 神经网络的应用-非线性函数拟合 摘要 人工神经网络在诸多领域得到应用如信息工程、自动控制、电子技术、目标识别、数学建模、图像处理等领域，并且随着神经网络算啊发的不断改进以及其他新算法的结合，使其应用的领域越来越广。BP神经网络是目前神经网络领域研究最多应用最广的网络，但BP神经网络学习算法易陷入局部极小的缺陷，本文采用遗传算法来优化BP神经网络的性能。首先采用遗传算法来优化BP神经网络的权值和阈值，然后将这些优化值赋给网络得到优化的BP神经网络，最后用MATLAB仿真平台，对非线性函数的逼近拟合和极值寻优问题进行实验。数值仿真结果表明：经遗传算法优化的BP神经网络能有效
2、地避免原始BP神经网络容易出现的局部极小的缺陷，且具有收敛速度快和精度高等优点。关键词：BP神经网络 遗传算法 MATLAB 结构优化Abstract In recent years, artificial neural network gradually attention has been paid into the hot area of research in many fields have been involved in electronic applications such as other fields have a wide range of applications,
3、and also continued to expand its applications. To alleviate the shortcoming of easily sinking into the local minimum existing in the BP neural network, the paper exploits the genetic algorithm to optimize the BP neural network. First of all, the genetic algorithm is utilized to optimize the weight v
4、alues as well as the threshold values of the BP neural network. Subsequently, by using the optimized weight values and threshold values, we are able to get the improved BP neural network. Furthermore, we employ the simulation data to measure the performance of the improved BP neural network. The num
5、erical results indicate that the optimized BP neural network can effectively overcome the local minimum of the original BP neural network and outperform the original BP neural network in the aspects of 2convergence speed and computation accuracy.KeywordsBP neural network, genetic algorithm, optimiza
6、tion1.引言前馈神经网络（BP 模型）其非线性逼近能力是它博得青睐的主要原因，而BP 算法作为前馈网络的主要学习算法，则无可争议的对其推广应用起了举足轻重的促进作用。BP算法因其简单、易行、计算量小、并行性强等优点，是目前神经网络训练采用最多也是最为成熟的训练算法之一。然而，由于BP 算法是一种梯度下降搜索方法，因而不可避免地存在固有的不足，如易陷入误差函数的局部极值点，而且对于较大搜索空间、多峰值和不可微函数也不能有效搜索到全局极小点，而遗传算法则是克服这一不足的有效解决方法，主要是因为遗传算法是一种全局优化搜索算法 3，因而能够避开局部极小点，而且在进化过程中也无需提供所要解决问题的梯
7、度信息。2.BP神经网络2.1 BP神经网络的特点在20世纪80年代，Rumelhart等人首次提出了BP神经网络算法,BP神经网络的本值就是反向传播神经网络(Back Propagation Neural Network)。BP神经网络与其他网络相比具有其独特的特点：分布式存储方式，大规模并行处理，自学习和自适应能力，容错性及鲁棒性好 2。2.2 BP神经网络模型BP神经网络具有一个输入层、一个输出层以及若干隐含层,其本质是一种多层前馈神经网 1。在BP神经网络中每一层的神经元都不与相同层的神经元相连接，这是由于在神经网络中各层之间是以全连接方式连接到一起构成网络的，因此各层的神经元只能接受
8、下层神经元送来的激活信号，并向多层映射网传递修正误差及反馈，BP网络的这种结果使得他能在参数选择合理时收敛点较小的均方误差。对许多实际问题的解决都是利用BP网络的这种结构特点，如模式识别、预测、控制等方面，这3就使得BP网络成为目前应用最为广泛的一种神经网络。下面以一个四层的BP神经网络来介绍BP网络的基本结构，结构如图1所示，该网络有一个输入层、两个隐含层、一个输出层，其中x i(p)(i=1,2,.n)表示输入变量，其个数为n即输入层节点个数为n，两个隐含层的节点个数分别为l和s ，m表示输出层的节点数，y k(p)(k=1,2,.m)表示输出层节点输出。在神经网络中每一个神经元都可以用一
9、个节点来表示，而神经网络的隐含层是可变的可以是单层、双层和多层。通常情况下采用Sigmoidal型函数表示隐含层节点，采用Sigmoidal型函数或者线性函数表示输入和输出节点。图1 BP神经网络结构图表3. 遗传算法3.1 遗传算法的原理遗传算法（Genetic Algorithms）是1962年由美国Michigan大学Holland教授提出的模拟自然界遗传机制和生物进化论而成的一种并行随机搜索最优化方法 4。由于遗传算法的寻优能力的并行性高并且具有自适应性，使其在诸多领域都得到了迅速的发展如函数优化、机器学习等，同时取得了较好的效果。遗传算法中的操作步骤与生物遗传和进化的步骤极为相似。它
10、把自然界“优胜劣态，适者生存”的生物进化原理引入优化参数形成的编码串联群体中，按照所选择的适应度函数并通过4变异遗传中的选择、交叉和变异对个体进行筛选，使适应度值好的个体被保留，适应度值差的个体被淘汰，新的群体既继承了上一代的信息，又优于上一代。这样反复循环，直至满足条件。3.2 遗传算法的基本操作3.2.1 选择操作 选择操作是指从旧群体中以一定概率选择个体到新群体中，个体被选中的概率跟适应度值有关，个体使用度质越好，被选中的概率越大。3.2.2交叉操作交叉操作是指从个体中选择两个个体，通过两个染色的交换组合，来产生新的优秀个体 5。交叉过程为从群体中任选两个染色体，随机选择一点或多点染色体
11、位置进行交换。交叉操作图如图2所示。A:1100 0101 1111 交叉 A:1100 0101 0000B:1111 0101 0000 B:1111 0101 1111图2 交叉操作3.3.3变异操作变异操作是指从群体中任选一个个体，选择染色体中的一点进行变异以产生更优秀的个体。变异操作如图3所示。A:1100 0101 1111 A:1100 0101 1101图3 变异操作遗传算法具有高效启发式搜索、并行计算等特点，目前已经应用在函数优化、组合优化以及生产调度等方面。3.3 遗传算法的基本要素遗传算法的基本要素包括染色体编码方适应度函数、遗传操作和运行参数。其中染色体编码方法是指个体
12、的编码方法，目前包括二进制法、实数法等。二进制法是指把个体编码成为一个二进制串，实数法是指把个体编码成为一个实数串。5适应度函数是指根据目标编写的计算个体适应度值的函数，通过适应度值函数计算每个个体的适应度值，提供给选择算子进行选择。遗传操作是指选择操作、交叉操作和变异操作。运行参数是遗传算法在初始化时确定的参数，主要包括群体大小M、遗传代数G、交叉概率Pc和变异概率Pm。4. 遗传算法优化BP神经网络4.1 算法流程遗传算法优化BP神经网络算法流程 6如图4所示。N GA 对初始值编码BP 神经网络训练得到误差作为适应度值选择操作计算适应度值变异操作 交叉操作 权值阈值更新计算误差获取最优权
13、值阈值初始 BP 神经网络权值阈值确定网络拓扑结构满足结束条件满足结束条件输入数据数据预处理遗传算法部分 BP 神经网络部分6N Y Y图 4 算法流程遗传优化算法优化 BP 神经网络分为 BP 神经网络结构确定、遗传算法优化和BP 神经网络预测 3 个部分。其中，BP 神经网络结构确定部分根据拟合函数输入输出参数个数确定 BP 神经网络结构，进而确定遗传算法个体的长度。遗传算法优化使用遗传算法优化 BP 神经网络的权值和阈值，种群中的每个个体都包含了一个网络所有权值和阈值 7，个体通过适应度函数计算个体适应度值，遗传算法通过选择、交叉和变异操作找到最优适应度值对应个体。BP 神经网络预测用遗
14、传算法得到最优个体对网络初始权值和阈值赋值，网络经训练后预测函数输出。拟合的非线性函数为 ，有 2 个输入参数、 1 个输出参数，所以21xy设置的 BP 神经网络结构为 2-5-1，即输入层有 2 个节点，隐含层有 5 各节点，输出层有 1 个节点，共有 2*5+5*1=15 个权值，5+1=6 个阈值，所以遗传算法个体编码长度为 15+6=21.从非线性函数中随机得到 2000 组输入输出数据，从中随机选择1900 组作为训练数据，用于网络训练，100 组作为测试数据。把训练数据预测误差绝对值和作为适应度值，个体适应度值越小，该个体越优。4.2 遗传算法实现遗传算法优化神经网络是用遗传算法
15、来优化 BP 神经网络的初始权值和阈值，使优化后的 BP 神经网络能够更好的预测输出 8。遗传算法优化 BP 神经网络的实现步骤如下：1 种群初始化个体编码为实数编码，每个个体均为一个实数串，由输入层与隐含层连接权值、隐含层阈值、隐含层与输出层连接权值以及输出层阈值 4 部分组成。个体包含了仿真预测，得到结果7神经网络全部权值和阈值，在网络结构已知的情况下，就可以构成一个结构、权值、阈值确定的神经网络。2 适应度函数根据个体得到BP 神经网络的初始权值和阈值，用训练数据训练BP 神经网络后预测系统输出，把预测输出和期望输出之间的误差绝对值和 E 作为个体适应度值F，计算公式为 （1-1） )(
16、1ni iioyabskF式中 n 为网络输出节点数； yi 为BP 神经网络第 i 个节点的期望输出；o i 为第 i 个节点的预测输出； k 为系数。3 选择操作遗传算法遗传算法选择操作有轮盘赌法、锦标赛法等多种方法，本文选择轮盘赌法，即基于适应度比例的选择策略，每个个体 i 的选择概率 pi 为(1-2)iiFkf/(1-3)Njjiifp1式中， Fi 为个体 i 的适应度值，由于适应度值越小越好，所以在个体选择前对适应度值求倒数； k 为系数； N 为种群个体数目。4 交叉操作由于个体采用实数编码，所以交叉操作方法采用实数交叉法 9，第 k 个染色体ak 和第 l 个染色体 ai 在
17、 j 位的交叉操作方法如下：（1-4）baakjljlj ljkjj )1(式中，b是0,1间的随机数。5 变异操作8选取第 i 个个体的第 j 个基因 aij 进行变异 13，变异操作方法如下：（1-5）5.0),()(minaxrgfaijijijijij式中，a max 为基因 aij 的上界； amin 为基因 aij 的下界； f(g)=r2(1-g/Gmax)； r2 为一个随机数； g 为当前迭代次数； Gmax 是最大进化次数；r为0,1间的随机数。4.3 遗传算法改进网络结构及权值、阈值的步骤（1）设置总迭代次数 ，交叉概率 ，变异概率 ，种群大小 ，设置当前TM迭代次数 ；
18、随机生成 个个体，每个个体的第一个等位基因 表示隐含层节0tMk点数， ， 是输入层节点数， 是输出层节点数；10,1koioi NNi oN选择激活函数，设置参数 ，根据适应度函数计算每个个体的适应度值。c（2）用轮盘赌法选择个体，并进行交叉、变异产生下一代（3）计算该后代种群各个个体的适应度。若最高适应度达到要求，或达到最大迭代次数，算法停止；否则返回（2），直到达到最高适应度达到要求，或达到最大迭代次数。（4）输出适应度值最高的个体，若有多个适应度值相同的个体，则选择染色体长度最短的个体（即隐含层节点数最少的个体）作为输出。4.4 BP 神经网络遗传算法非线性极值寻优的步骤神经网络遗传算
19、法函数极值寻优，即对未知的非线性函数 ，仅仅通21yx过函数的输入输出数据难以寻优。可以先利用神经网络的非线性拟合能力和遗传算法的非线性寻优能力寻找函数的极值。BP 神经网络遗传算法极值寻优主要由（1）BP 神经网络训练拟合；（2）遗传算法极值寻优。（1）BP 神经网络训练拟合，包括构建合适的神经网络，由于本例的函数是，故确定 BP 网络的拓扑结构是 251。2yx（2）遗传算法极值寻优，染色体个体采用实数编码，由于是寻找函数9的极值点，故个体长度为 2。个体的适应度值为 BP 神经网络的预测值，21yx故预测值（即适应度值）越小，个体越优 10。种族规模为 10，进化次数为 50 次，交叉概
20、率 0.4，变异概率 0.2.BP 神经网络遗传算法极值寻优，先将 BP 神经网络的预测值作为染色体个体的适应度值，再通过遗传算法寻找非线性函数的最优值。5.仿真实例5.1 遗传算法优化BP网络的权值阈值非线性函数拟合通过遗传算法优化 BP 神经网络的权值阈值，再用 BP 神经网络对非线性函数进行拟合。21yx5.1.1 拟合结果分析遗传算法优化中，最优个体适应度值值变化如图 5。进化到 20 代时，得到最优个体适应度值 1.21237585896181，满足条件终止迭代。0 5 10 15 20 2512345678 代代代代代 代代代代代20代代代代代代代代代代代代图 5 最优个体适应度值
21、变化曲线105.1.2 遗传算法优化得到 BP 神经网络最优初始权值和阈值如下输入层隐含层间权值： -1.29076495063329； -0.1293807473404980.00430965636191028 0.172141394159896； -2.91503128004983； -2.29143357315059-2.16511386577969 1.57251141584773 ； -1.75818656539211； 0.0210827792878874隐含层节点阈值 -1.59747006938531； 0.9727866896058460.850873190239208； 2
22、.09802070115393 ；2.24339454426019隐含层输出层间阈值 2.68097856404349； 1.85138303257096 ；-2.53975440679219 -1.19993599260259； -2.36861040930053输出层阈值 1.217430614222845.1.3 BP 网络及用遗传算法优化的 BP 神经网络的预测误差比较0 10 20 30 40 50 60 70 80 90 100-0.4-0.3-0.2-0.100.10.20.30.40.5 BP代代代代代代代代代代图 6 BP 神经网络预测误差110 10 20 30 40 50
23、 60 70 80 90 100-0.1-0.08-0.06-0.04-0.0200.020.040.06图 7 用遗传算法优化的 BP 神经网络预测误差由上图比较可知，用遗传算法优化的 BP 神经网络预测更加精确，并且遗传算法优化 BP 网络预测的均方误差为 ，而单纯的 BP 神经网络的均方误差为6-102.，预测的误差也得到很大的改善。5-1097.35.2 BP 神经网络遗传算法非线性极值寻优5.2.1 BP 神经网络拟合结果分析由于个体的适应度值为 BP 神经网络的预测值，因此 BP 神经网络的预测精度对于最优位置的寻找有重要的意义。BP 神经网络预测输出和期望输出对比如下图，可以看出
24、，BP 神经网络可以准确预测非线性函数输出。120 10 20 30 40 50 60 70 80 90 100051015202530354045代代代代BP代代代代代代代代代代代代代代图 8 BP 神经网络预测非线性函数输出5.2.2 遗传算法寻优结果分析0 10 20 30 40 50 60 70 80 90 10000.10.20.30.40.50.60.70.80.91 代代代代代代代代代代代代图 9 最优个体适应度变化曲线BP 神经网络的预测值作为染色体个体的适应度值，用遗传算法寻找该非线性函数的最小值，设遗传算法的迭代次数 100 次，种群规模 20，交叉概率 0.4，变异概率
25、0.2，用实数编码，个体长度 2，优化过程中最优个体适应度变化曲线如图8。13遗传算法得到最优个体适应度值为-0.0651，最优个体为-0.0407 ,0.0316，它同非线性函数 的最优值点（0,0）及最优值很接近，这说明了该方法21yx的有效性。参考文献：1 李国勇，智能预测控制及其 MATLAB 实现（第2版）M.电子工业出版社，2010-01-01.142 傅荟璇，赵红，等MATLAB 神经网络应用设计M北京：北京机械工业出版社，20103A. Blanco, M. Delgado, M.C. Pegalajar.A real-coded genetic algorithm for t
26、raining recurrent neural networksJ.Neural Networks 14 (2001) 931054 钱贺斌. 基 BP 神经网络的函数逼近及 MABLAB 仿真J.吉林省教育学院学报，2012,12（28）:22-255 Pan S T，Wu C H,Lai C CThe Application of Improved Genetic AlgoritIlm On The Training of Neural Network for Speech RecognitionCInformation and Control，Second International
27、Conference on Innovative Computing，2007：168 一1716 Grzesiak L M，Meganck V，Sobolewski J，et al,Genetic Algorithm for Parameters Optimization of ANN-based Speed ControllerCThe International Conference on“Computer as a tool”。2007:170017057李伟超，宋大猛，陈斌基于遗传算法的人工神经网络J计算机工程与设计，2006，27(2)： 3163188 Wu Yan，FENG Z
28、haoAdaptive invading genetic algorithm based on chaos searchJJournal of computer applications(武妍，冯钊一种基于混沌搜索的自适应入侵遗传算法计算机应用)，2008，28(1)：l 0l1039 MATLAB 中文论坛编著， Matlab 神经网络30个案例分析M北京航天航空大学出版社，2010-04-0110Vitoantonio Bevilacqua, Giuseppe Mastronardi.Genetic Algorithms and Artificial Neural Networks in
29、Microarray Data Analysis:a Distributed Approach.JEngineering Letters, 13:3, EL_13_3_14附录主要代码1.用遗传算法优化网络权值阈值，并对非线性函数进行拟合的主要代码inputnum=2; 15hiddennum=5; outputnum=1; %节点个数%训练数据和预测数据input_train=input(1:1900,:); input_test=input(1901:2000,:);output_train=output(1:1900); output_test=output(1901:2000);%选连
30、样本输入输出数据归一化inputn,inputps=mapminmax(input_train);outputn,outputps=mapminmax(output_train);net=newff(inputn,outputn,hiddennum); %构建网络% 遗传算法参数初始化maxgen=20; %进化代数，即迭代次数sizepop=10; %种群规模pcross=0.2; %交叉概率选择，0 和 1 之间pmutation=0.1; %变异概率选择，0 和 1 之间%节点总数numsum=inputnum*hiddennum+hiddennum+hiddennum*outputnu
31、m+outputnum;lenchrom=ones(1,numsum); bound=-3*ones(numsum,1) 3*ones(numsum,1); %数据范围%种群初始化individuals=struct(fitness,zeros(1,sizepop), chrom,); %将种群信息定义为一个结构体avgfitness=; %每一代种群的平均适应度bestfitness=; %每一代种群的最佳适应度bestchrom=; %适应度最好的染色体%初始化种群for i=1:sizepop%随机产生一个种群individuals.chrom(i,:)=Code(lenchrom,bo
32、und); %编码（ binary 和 grey 的编码结果为一个实数，float 的编码结果为一个实数向量）x=individuals.chrom(i,:);%计算适应度% 染色体的适应度individuals.fitness(i)=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn); endFitRecord=;bestfitness bestindex=min(individuals.fitness);%找最好的染色体bestchrom=individuals.chrom(bestindex,:); %最好的染色体avgfitne
33、ss=sum(individuals.fitness)/sizepop; %染色体的平均适应度% 记录每一代进化中最好的适应度和平均适应度trace=avgfitness bestfitness; % 迭代求解最佳初始阀值和权值16% 进化开始for i=1:maxgeni% 选择individuals=Select(individuals,sizepop); avgfitness=sum(individuals.fitness)/sizepop;%交叉individuals.chrom=Cross(pcross,lenchrom,individuals.chrom,sizepop,bound
34、);% 变异individuals.chrom=Mutation(pmutation,lenchrom,individuals.chrom,sizepop,i,maxgen,bound); % 计算适应度 for j=1:sizepopx=individuals.chrom(j,:); %解码individuals.fitness(j)=fun(x,inputnum,hiddennum,outputnum,net,inputn,outputn); end%找到最小和最大适应度的染色体及它们在种群中的位置newbestfitness,newbestindex=min(individuals.fi
35、tness);worestfitness,worestindex=max(individuals.fitness);% 代替上一次进化中最好的染色体if bestfitnessnewbestfitnessbestfitness=newbestfitness;bestchrom=individuals.chrom(newbestindex,:);endindividuals.chrom(worestindex,:)=bestchrom;individuals.fitness(worestindex)=bestfitness;avgfitness=sum(individuals.fitness)/
36、sizepop;trace=trace;avgfitness bestfitness; %记录每一代进化中最好的适应度和平均适应度FitRecord=FitRecord;individuals.fitness;end% 遗传算法结果分析 figure(1)r c=size(trace);plot(1:r,trace(:,2),b-);title(适应度曲线 终止代数 num2str(maxgen);xlabel(进化代数 );ylabel(适应度);17legend(平均适应度 ,最佳适应度);disp(适应度变量);% 把最优初始阀值权值赋予网络预测% %用遗传算法优化的 BP 网络进行值预
37、测w1=x(1:inputnum*hiddennum);B1=x(inputnum*hiddennum+1:inputnum*hiddennum+hiddennum);w2=x(inputnum*hiddennum+hiddennum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum);B2=x(inputnum*hiddennum+hiddennum+hiddennum*outputnum+1:inputnum*hiddennum+hiddennum+hiddennum*outputnum+outputnum);net.iw1,1=resh
38、ape(w1,hiddennum,inputnum);net.lw2,1=reshape(w2,outputnum,hiddennum);net.b1=reshape(B1,hiddennum,1);net.b2=B2;% BP 网络训练%网络进化参数net.trainParam.epochs=100;net.trainParam.lr=0.1;%net.trainParam.goal=0.00001;%网络训练net,per2=train(net,inputn,outputn);% BP 网络预测%数据归一化inputn_test=mapminmax(apply,input_test,inp
39、utps);an=sim(net,inputn_test);test_simu=mapminmax(reverse,an,outputps);error=test_simu-output_test;2. BP 神经网络遗传算法非线性函数极值寻优的主要代码% 初始化遗传算法参数maxgen=100; %进化代数，即迭代次数sizepop=20; %种群规模pcross=0.4; %交叉概率选择，0 和 1 之间pmutation=0.2; %变异概率选择，0 和 1 之间lenchrom=1 1; %每个变量的字串长度，如果是浮点变量，则长度都为1bound=-5 5;-5 5; %数据范围in
40、dividuals=struct(fitness,zeros(1,sizepop), chrom,); %将种群信息定义为一个结构体avgfitness=; %每一代种群的平均适应度bestfitness=; %每一代种群的最佳适应度18bestchrom=; %适应度最好的染色体% 初始化种群计算适应度值% 初始化种群for i=1:sizepop%随机产生一个种群individuals.chrom(i,:)=Code(lenchrom,bound); x=individuals.chrom(i,:);%计算适应度individuals.fitness(i)=fun(x); %染色体的适应度
41、end%找最好的染色体bestfitness bestindex=min(individuals.fitness);bestchrom=individuals.chrom(bestindex,:); %最好的染色体avgfitness=sum(individuals.fitness)/sizepop; %染色体的平均适应度% 记录每一代进化中最好的适应度和平均适应度trace=avgfitness bestfitness;% 迭代寻优% 进化开始for i=1:maxgeni% 选择individuals=Select(individuals,sizepop); avgfitness=sum(
42、individuals.fitness)/sizepop;%交叉individuals.chrom=Cross(pcross,lenchrom,individuals.chrom,sizepop,bound);% 变异individuals.chrom=Mutation(pmutation,lenchrom,individuals.chrom,sizepop,i maxgen,bound);% 计算适应度 for j=1:sizepopx=individuals.chrom(j,:); %解码individuals.fitness(j)=fun(x); end%找到最小和最大适应度的染色体及它
43、们在种群中的位置newbestfitness,newbestindex=min(individuals.fitness);worestfitness,worestindex=max(individuals.fitness);% 代替上一次进化中最好的染色体if bestfitnessnewbestfitnessbestfitness=newbestfitness;bestchrom=individuals.chrom(newbestindex,:);end19individuals.chrom(worestindex,:)=bestchrom;individuals.fitness(wores
44、tindex)=bestfitnesavgfitness=sum(individuals.fitness)/sizepop;trace=trace;avgfitness bestfitness; %记录每一代进化中最好的适应度和平均适应度end%进化结束% 结果分析r c=size(trace);plot(1:r,trace(:,2),r-);title(适应度曲线,fontsize,12);xlabel(进化代数 ,fontsize,12);ylabel(适应度,fontsize,12);axis(0,100,0,1)disp(适应度变量);x=bestchrom;% 窗口显示disp(bestfitness x);
