基于遗传算法的BP神经网络气象预报建模.doc

1、-基于遗传算法的 BP 神经网络气象预报建模wxyhome20 世纪 90 年代以来，国内外在大气学科中开展了很多有关神经网络预报建模和气候分析等应用研究。然而随着神经网络方法在大气科学领域研究的不断深入，研究人员发现神经网络方法在实际业务天气预报应用中存在一个重要的问题，即在利用神经网络方法进行气象预报建模时，神经网络的初始权值、网络结构以及网络的学习参数，动量因子难以确定，往往是通过反复训练来确定网络的结构和各种参数，这样会导致在应用中出现过拟合问题，严重影响网络的泛化能力，极大限制神经网络在实际天气业务中的应用(1-8)。该问题的研究不仅关系到在大气学科中能否进一步深入开展有关人工神经网

2、络方法的业务预报应用，并且也是目前人工神经网络应用理论研究中尚未得到很好解决的关键技术问题。神经网络如何有效提高神经网络的泛化能力，我简单以下分析影响神经网泛化能力的因素。首先我简单介绍以下神经人工神经网络(Artificial Neural Networks,ANN)，简称“神经网络” （NN） ，它是作为对人脑最简单的一种抽象和模拟，是对人的大脑系统一定特性的描述。简单地讲，它是一个数学模型，可以用电子线路来实现或用计算机来模拟人的自然智能。其中 BP 神经网络是目前应用最为广泛的神经网络模型之一，也是应用最具有成效的神经网络模型之一。它在大气科学预报集成、观测资料优化等方面都有应用。BP

3、 神经网络(Back-propagation Neutral Network) 通常是指基于误差反向传播算法(BP 算法)的多层前向神经网络，采用由导师的训练方式。它是 D.E.Rumelhart 和J.L.McCelland 及其研究小组在 1986 年研究并设计出来的。BP 算法已成为目前应用最为广泛的神经网络学习算法，绝大部分的神经网络模型是采用 BP 算法或它的变化形式，它也是前向神经网络的核心部分，体现了神经网络最精华的部分。由于它可以实现输入和输出的任意非线性映射，这使得它在诸如函数逼近、模式识别、数据压缩等领域有广泛的应用。BP 网络的学习训练过程由两部分组成，即网络输入信号正向

4、传播和误差信号反向传播，按有导师学习方式进行训练。在正向传播中，输入信息从输入层经隐含层逐层计算传向输-出层，在输出层的各神经元输出对应输入模式的网络响应；如果输出层得不到期望输出，则误差转入反向传播，按减小期望输出与实际输出的误差原则，从输出层经到中间各层，最后回到输入，层层修正各个连接权值。随着这种误差逆传播训练不断进行，网络对输入模式响应的正确率也不断提高，如此循环直到误差信号达到允许的范围之内或训练次数达到预先设计的次数为止。对于 个样本集合 的离散时间序列，NNkRyxynmk ,21,),( BP 网络可以完成从输入到输出的高度非线性映射，即可以找到某种映射使得： 。nmRF:定理

5、 3.1：Kolmogorov 定理，给定任一连续函数 ，这里),(,:xfyRfnm是闭区间 ， 可以精确地用一个三层前向网络实现逼近。1,0f定理 3.2: BP 定理,给定任意 和在 范数下: 存在一个三层 BP2L,1,0:nmf网络,它可以在任意 平方误差精度内逼近 。f对于 个样本集合 的两个离散时间序NNkRyxynmk ,2,),( 列映射的建立，在实际应用中把总样本分成两个部分，训练样本 和检测样本 ：12（1）,1,),(1 kyRxynmk （2）,212 NN首先用训练样本经过训练建立映射关系，然后再用检测样本检验网络能否给出正确的输入输出的关系。如果可以，我们说网络具

6、有很好的泛化能力，可以在实际中应用，否则该网络没有任何实用价值。对于这样时间序列映射的建立，可以采用输入节点为 个，m输出节点为 个，隐节点为 个的三层 BP 神经网络来实现，其中输入层到隐层的激活函np数采用 Sinmgod 型，隐层到输出层的激活函数采用线性函数。可得网络的输入与输出之间的关系如下：（3）pjmi tjijtk rtxwfvty11)()( 期望输出， 为网络的实际输出，设定网络总的误差小于 ，则有：tkt 1（4）1 12)(2NkntkktyE设定检测样本平均均方误差小于 ，则有：2（5）Nkntkkty1 22 )(-在神经网络的应用过程中，由于被逼近样本的性质不能精

7、确知道，因此即使在网络误差 为零的条件下，也未必能保证 达到要求。往往会出现 非常小，而 却无法1E2E1E2满足要求。这就是所谓的“过拟合”现象， “过拟合”现象直接影响网络的泛化能力 77，使得网络最终失去实用价值。网络的泛化能力由以下几个因素影响：1取决样本的特性，只有当训练样本足以表征所研究问题的一些主要的或基本特性时，网络通过合理的学习机制可以使其具有泛化能力，合理的采样结构是网络具有泛化能力的必要条件（参考文献 78） 。2网络自身的因素影响，如网络结构、网络初始权值的设定和网络的学习算法等。网络的结构主要包括：网络的隐层数、各隐层节点的个数和隐节点激活函数的特性(本文主要从网络的

8、自身因素考虑如何有效提高网络的泛化能力) ，以下从这几个方面说明原因：Funahashi 证明（参考文献 79） ，当隐层节点函数为单调递增连续函数时，三层前向网络具有以任意精度逼近定义在紧致子集上的任意非线性函数的能力，Horni（参考文献 8081）和陈天平（参考文献 82）进一步证明隐层节点函数有界是必要的，单调递增的条件是非必要。这说明采用三层 BP 网络，隐节点函数为 Sigmoid 函数，输出节点函数采用线性函数，完全可以达到网络逼近的要求。文献77认为， “过拟合”现象是网络隐节点过多的必然结果，它的出现影响了网络的泛化能力，同时文献83也进一步提到，在满足精度的要求下，逼近函数

9、的阶数越少越好，低阶逼近可以有效防止“过拟合”现象，从而提高网络的预测能力，反映到多层前向神经网络中，就是在精度满足的要求下，网络的隐节点数越少越好。但是在实际应用中，还没有一套成熟的理论方法来确定网络的隐节点，隐节点的确定基本上依赖经验，主要式采用递增或递减的试探方法来确定的网络隐节点。网络的初始权值的选择缺乏依据，具有很大的随机性，这也在很大程度上影响网络的泛化能力（参考文献 8485） 。神经网络连接权值的整体分布包含着神经网络系统的全部知识，传统的权值获取方法都是随机给定一组初始的权值，然后是采用某个确定的变化规则，在训练中逐步调整，最终得到一个较好权值分布。由于 BP 算法是基于梯度

10、下降方法，不同的初始权值可能会导致完全不同的结果。一旦取值不当，就会引起网络振荡或不收敛，即使收敛也会导致训练时间增长，再加之实际问题往往是极其复杂的多维曲面，存在多个局部极值点，使得 BP 算法极易陷入局部极值点。这些导致 BP 神经网络训练时间过长而最终得不到适当的权值分布，从而影响网络的泛化能力，极大的限制了神经网络在实际预报中的应用。BP 神经网络算法收敛慢，即使一个相当简单的问题求解，其训练次数也要几百或几千次迭代。而且网络对各种参数（包括初始权值、学习速率、动量参数）极为敏感，稍小的变动就会引起拟合和泛化能力的振荡，在反复实验中确定各种参数，这样的过度训练会提高网络的拟合能力，同时

11、也拟合了训练数据中的噪声和训练样本中没有代表行的特征，最终导致过拟合现象（参考文献 86） ，从而影响网络的泛化能力，限制了神经网络在实际预报中的应用。从以上的分析可以看出，提高神经网络的泛化能力需要寻找合适的网络结构和网络连接权，改变误差反向传播算法。遗传算法遗传算法（参考文献 43）是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算-模型，它是一种基于自然选择和遗传变异等生物机制的全局性概率搜索算法。它的主要特点是群体搜索策略和群体中个体之间的信息交换，搜索不依赖梯度信息，也不需要求解函数可微，只需要该函数在约束条件下可解，因此该方法尤为适用于处理传统方法难以解决的复杂和非线性问题（参考

12、文献 4445） 。近年来，国内外众多学者将遗传算法和神经网络结合，利用遗传算法的全局搜索能力来优化神经网络建立预报模型。杨晓红和刘乐善利用遗传算法优化异或问题的神经网络结构及其连接权（参考文献 9） 。孙晓光和傅云义等人利用遗传算法对热轧带钢精轧机组负荷分配 BP 网络参数进行优化（参考文献 10） 。李敏强和徐博艺等人利用遗传算法优化三层BP 网络的连接权并建立短期地震预报模型，取得很好的效果（参考文献 11） 。李祚泳和彭荔红用遗传算法进行了暴雨强度公式参数优化的研究（参考文献 12） 。饶文碧和徐锐等人利用遗传算法优化 BP 神经网络权系数的方法，解决了结构损伤模型的识别问题（参考文献

13、 13） 。李发斌和崔鹏等人利用遗传算法优化 BP 神经网络的权系数建立分析泥石流活动性的模型（参考文献 14） 。但是目前在预测研究领域，很少见到有关同时优化网络结构和权系数的预报建模研究，并且在大气学科中也尚未有人研究利用遗传算法优化 BP 神经网络的权系数及其结构，建立短期气候预测模型。本文将用遗传算法优化三层 BP 神经网络的连接权和网络结构，由于遗传算法的搜索不依赖梯度信息，也不需要求解函数可微，只需要求解函数在约束条件下可解，并且遗传算法具有全局搜索的特性，用遗传算法优化优化神经网络的连接权和网络结构，可以较好地克服 BP 神经网络的问题并且有效提高神经网络的泛化性能。遗传算法优化

14、 BP 神经网络的基本思想：改变 BP 算法依赖梯度信息的指导来调整网络权值的方法，而是利用遗传算法全局性搜索的特点，寻找最为合适的网络连接权和网络结构。由于三层神经网络由输入层、输出层和隐层组成，而输入层、输出层节点的个数由建模样本决定，故而在优化 BP 网络结构时，主要是优化它的隐节点的个数。遗传神经网络的优化问题数学描述如下：（6）npnppmNktkkRrRvwts tyrE,. )(21)(in2上式中 见（3）式，利用遗传算法求解如上的二次非线性优化问题，将得到网),(tyk络的结构和连接权，代入（5）式计算 ，如果 小于设定的误差 ，则可以利用该模2E22型进行实际预报应用。为此

15、本文采用两种不同的方法来优化三层 BP 神经网络，方法一的具体的实现步骤如下：1. 先采用三层 BP 网络来初步确定上式的基本解空间（网络连接权的取值范围） ，首先设定网络的训练次数以及网络的训练误差 ，输入训练样本进行训练，之后再输入检1测样本得到误差 ，在误差 和 都比较满意时，把连接权值中的最大值和最小值分别212记为 和 ，以该区间 （其中 为调节参数）作为连接权的maxuin ,2maxinu2,1基本解空间。2. 由于遗传算法在优化过程中是以目标函数最大值作为其适应度函数的，故定义适应度函数为：-（7）1 2)(),(NkntkktyrvwF则（8）式变为：（8） npnppmRr

16、Rvwtsr,.)(ax2. 对基本解空间进行编码，其中编码生成的码串由控制码和权重系数码两部分组成。控制码主要是控制隐节点的个数，它是由 01 组成的串，其中 0 表示无连接，1 表示有连接，串长 可由输入节点个数的 0.51.5 倍来确定。而权重系数码主要是控制网络的1l连接权，采用浮点数编码，串长 （其中 为输入节点的个数，nllml112 m为输出节点个数） 。编码按一定的顺序级联成一个长串，每个串对应一组网络结构和连接n权。我们以 3 个输入节点为例，则隐层节最多有 6 个点。如图给出网络结构图形。按照图 2 标注的权值和阀值，以及网络的连接情况可以给出对应的控制编码串和权重系数编码

17、串。控制码串：1 0 1 1 0 1神经元输入层至隐层的权重矩阵： ，把它按一定的顺41.09.4103. 28255序展开：0.20 0.50 0.38 0.45 0.40 0.23 0.43 0.28 0.13 0.41 0.91 -0.41 基因串。隐层神经元的阀值：0.70 -0.10 -0.60 0.58。隐层到输出层的权重：0.20 0.15 -0.50 0.30。输出神经元的阀值：0.9。则控制码和权重码级联成的整个码串为：1 0 1 1 0 1 0.20 0.50 0.38 0.45 0.40 0.23 0.43 0.28 0.13 0.41 0.91 -0.41 0.70 -

18、0.10 -0.60 0.58 0.20 0.15 -0.50 0.30 0.94. 初始群体由 个个体构成，每个个体由两部分组成，第一部分是串长为 的 01L l0.90.2 0.15 -0.5 0.30.7 -0. 1 0.6 0.580.2 0.4 0.13 0.5 0.23 0.45 -0.28 0.38 -0.410.43 0.91 0.41图 2：网络结构及其连接权系数-串；第二部分是区间 上的 个均匀分布随机数。,2max1inul5. 计算群体中每个个体的适应度，由控制码得到网络的隐节点个数，由权重系数码得到网络的连接权，输入训练样本，按照（4.2）式计算每个个体的适应度。6.

19、 保留群体中适应度最高的个体，它不参与交叉和变异运算，而直接将其复制到下一代。对群体中的其它个体，采用轮盘赌选择法进行选择。7. 对于控制码的交叉和变异采用基本遗传算法中的方法，在变异运算时，当某个神经元被变异运算删除时，相应的有关权重系数编码被置为 0，而当变异运算增加某个神经元时，则随机初始化有关权重系数编码。由于权重系数采用浮点数编码，需要设计新的交叉算子和变异算子。以 的概率对选择后的个体进行交叉。设在第 个体和第 个体之间进行交叉，cp i1i交叉算子如下：titiititXcXc11)(式中 是一对交叉前的个体， 是交叉后的个体， 是区间 的均titiX1, 1,titi ic1,

20、0匀分布的随机数。以 的概率对交叉后的个体进行变异，设对第 个体进行变异，变异算子如下：mp iititicX1式中 是变异前的个体， 是变异后的个体， 是区间tiXti ic上的均匀分布随机数。这样可以保证变异后的个体仍在,2max1min titiuu搜索区间内。8. 生成新一代群体。9. 反复进行 58，每进行一次，群体就进化一代，连续进化到 代（总的进化代K数） 。10. 把第 代选适应度最高的个体解码得到相应的网络连接权和隐节点个数，输入K检测样本检验模型的泛化能力。这里我们不能简单地认为最后一代适应度最高的个体就是网络的全局最优解，它只能是利用训练样本 ，求得满足（4.2 式）的极

21、大值，网络的全局最优点并不一定是极值1点，在网络权值的取值区间为紧致子集的情况下全局最优点就可能是边界点 67。在上述的算法中，以约束条件下最大值作为目标函数（适应度函数） ，求得的网络权系数和网络结构并不一定是网络的全局最优解。另外遗传算法虽然能以较大的概率进化最优解的区域，但是无法精确地确定最优解的位置，由此也不能简单认为目前适应度最高个体就是全局性的最优解，虽然我们可以通过加大进化代数使得（4.3）式的解更加精确，这样不可避免地会出现“过拟合”现象，因为加大进化代数只能使得历史样本的拟合精度越来越来高，在反复的权值调整迭代过程中，拟合了训练数据中的噪声和训练样本中没有代表性的一些特征，使

22、得有预测的性能反而下降。而且上述算法是用 年历史样本建模的基础上，外推预测后1N-面 年的结果，而没有考虑与其最近的样本对后序预报量的影响比较重要这个事实。1N为此在把上述方法进行修改，得到方法二。首先总样本 分成三个部分，训练样本 、训N1练样本 和检测样本 ：23,2,1,),( 211 kRyxynmk ,2 NN,),( 23 kyxynmk 针对训练样本 ，仍然采用方法一（19）的步骤，直到进化 代后结束训练，再把最后K一代的群体 个个体全部解码，得到相应的 组神经网络的权系数和网络结构，输入训练LL样本 ，计算下式：2npnppmNktkkRrRvwts tyrE,. )(1)(i

23、n21 22为此可以得到一组网络的权系数和隐节点，再把检验样本 代入下式，检验所得网络的泛3化能力。NkntkktyE2123 )(方法二可以归纳为，先通过训练样本 ，进化得到一组网络权系数和网络结构，再进一步用训练样本 从中挑选，最后检验网络的泛化能力，计算流程图如下：2-否是基于遗传算法的神经网络预报建模流程图应用实例及其结果分析在建立基于遗传算 BP 神经网络预报模型时，为能客观分析模型的实用性，我们用19571998 年 42 个样本作为训练样本建立模型，用 19992003 年 5 个样本作为检验样本，对所建立的预报模型进行检验。现在我们的建模样本为 42 个，而预报因子有 35 个

24、，显然预报因子的数目过大，这样势必导致计算复杂，而且会降低模型的预报精度。但是 BP 神经网络方法本身并不提供从众多的预报因子中如何选取建模的因子。我们采用逐步回归方法从 35 个预报因子筛选建模因子并建立逐步回归预报模型，再以所得的建模因子建立基于遗传算法的 BP 神经网络模型，并进一步对检测样本进行预报，通过对预报结果的对比分析，讨论模型的优劣。用神经网络方法估计初步解空间确定解空间个体的编码和解码方法随机生成初始群体（遗传进化代数k1）kK(用训练样本 1)适应度计算选 择交 叉变 异生成新一代群体 k=k+1把最后一代群体中的所有个体解码代入训练样本 2，求满足 4.9 式的网络权系数

25、和网络结构输出满足条件的网络权系数和网络结输入检测样本，检验网络的泛化能力-在回归系数及其回归模型非常显著时，得到如下的回归方程：343028 24232146971. 9.158.0.5694 xx xy 在建立基于遗传算法 BP 神经网络模型时，首先采用三层 BP 神经网络估计网络连接权的基本解空间，设定网络的输入层节点个数为 8 个，隐节点个数为 8 个，输出层节点个数 1 个。输入训练样本和检测样本，按照步骤 1 求得 ， ，则连接2.1minu93.1maxu权的解空间初步设为 ，隐节点个数搜索范围为 512，遗传算法进化过程中初始2,种群 ，总的进化代数 ，交叉概率 ，变异概率 （

26、以0L0K8.0cp06.mp上确定的参数将用于基于遗传算法 BP 神经网络模型方法一和方法二） 。在用方法一和方法二建模时训练样本都为 19571998 年 42 个样本，只是在方法二中把训练样本分成两部分，训练样本 为 37 个（19571993 年） 、训练样本 为 5 个（19941998 年） 。两个方法的12检测样本均相同，为 19992003 年 5 个独立样本。建立的预报模型对独立样本的预报结果见表 5.5。年份方法 1999 2000 2001 2002 2003平均绝对误差（mm）平均相对误差（%）实况 197.80 166.80 143.90 115.80 128.70逐

27、步回归预报 105.38 99.30 11.67 133.02 126.63绝对误差 92.42 67.50 132.23 17.22 2.07 62.29相对误差(%) 46.72 40.47 91.89 14.87 1.61 39.11方法一预报 142.33 145.99 152.27 163.57 152.88 绝对误差 55.47 20.81 8.37 47.77 24.18 31.32相对误差(%) 28.04 12.48 5.82 41.26 18.79 21.28方法二预报 144.80 141.78 140.85 138.93 140.72绝对误差 53.00 25.02 3

28、.05 23.13 12.02 23.24相对误差(%) 26.80 15.00 2.12 19.98 9.34 14.65从表 5.5 的结果可以看出，逐步回归模型对 5 个独立样本预报的平均绝对误差和平均相对误差分别为：62.29mm 和 39.11；而基于遗传算法的 BP 网络模型方法一对 5 个独立样本预报的平均绝对误差和平均相对误差分别为：31.32mm 和 21.28。方法二对 5 个独立样本预报的平均绝对误差和平均相对误差分别为：23.24mm 和 14.65。在建模样本相同，预报因子相同的条件下，而且逐步回归模型非常显著，回归系数也显著的前提下，基于遗传算法的 BP 网络模型的

29、整体预报能力明显优于逐步回归模型。同时从表 5.5 可以看出，基于遗传算法的 BP 网络模型对 1999 年、2000 年、2001 年的预报预报误差远远小逐步回归模型，这 3 年的提高最明显，而在 2002 年、2003 年的预报中逐步回归模型则要略优于基于遗传算法的 BP 网络模型，这正说明了基于遗传算法 BP 网络模型预报能力与实际相符，它能较精确预报与其邻近样本的情况，如果中间相隔时间跨度太长其预报能力会有所下降，逐步回归无法预报与其邻近样本的情况，而又可以较精确预报与其在时间跨度上较长样本表 5.5 8 个预报因子的三种预报模型，对 19992003 年的独立样本一次预报结果-的情况

30、，这与实际不相符合。同时，从表 5.5 的结果还可以看出，基于遗传算法 BP 神经网络的方法二对 5 个独立样本预报精度比方法一的预报精度又有所提高，在 5 个独立样本预报中，其中 1999 年、2001 年、2002 年、2003 年的预报精度都有提高，2000 年与方法一预报相差不多。方法二由于利用与预报量最近的 5 个独立样本，从已经训练过的网络权系数和结构中挑选最优的，这也是进一步加入与检测样本最近的 5 个样本的相关信息，而在方法一中把所有历史样本都看作平等的地位来考虑，实质上与预报量最近的样本的信息对未来预报的精度影响比较大，与其较远的影响相对较小。由于上述预报分析时一次对最后 5

31、 年作预报计算，为了与实际预报工作相一致，我们进一步以这 8 因子作为建模因子，分别采用遗传算法 BP 神经网络模型和逐步回归方法进行逐年预报，即用 19571998 年 42 个样本作训练样本建模，预报 1999 年；再用19571999 年 43 个样本作训练样本建模，预报 2000 年；依此类推，直到用 19572002年 46 个样本作训练样本建模，对 2003 年进行预报。遗传算法 BP 神经网络方法二对训练样本分为两部分的分法与上述方法相同。在此预报建模过程中，遗传操作的参数取值与前面相同，模型对独立样本的预报结果见表 5.6。年份方法19571998预报 199919571999

32、预报 200019572000预报 200119572001 预报 200219572002预报 2003平均绝对误差（mm）平均相对误差（%）实况 197.80 166.80 143.90 115.80 128.70逐步回归预报 105.38 109.83 36.30 163.12 145.59绝对误差 92.42 56.97 107.60 47.32 16.89 64.24相对误差(%) 46.72 34.16 74.77 40.86 13.13 41.93方法一预报 142.33 149.47 170.81 137.22 137.46绝对误差 55.47 17.33 26.91 21.4

33、2 8.76 25.78相对误差(%) 28.04 10.39 18.71 18.50 6.80 16.49隐节点个数 8 8 7 7 8方法二预报 144.80 153.92 132.11 137.02 120.50绝对误差 53.00 12.88 11.79 21.22 8.20 21.42相对误差(%) 26.80 7.72 8.19 18.33 6.37 13.48隐节点个数 7 8 8 6 8从表 5.6 的结果可以看出，在建模样本相同，预报因子相同的条件下，对 5 年独立样本作逐步预报时，基于遗传算法的 BP 网络模型（方法一和方法二）不仅每一年的预报误差都小于逐步回归模型，并且

34、5 年平均预报误差也小于逐步回归模型，特别是方法二，其预报精度几乎比逐步回归模型提高了 3 倍。进一步分析可以看出，进行逐年预报时，随着逐年建模样本的增多，基于遗传算法的 BP 网络模型预报精度有所提高。而逐步回归模型，逐年预报 5 个独立样本（见表 5.6）比一次预报 5 个独立样本（见表 5.5）的平均误差反而增大，从中可以看出逐步回归方法在增加已知信息时预报能力反而有所下降。我们对表 5.8的结果分析也可以看出基于遗传算法的 BP 网络模型方法一和方法二，在所有的参数都相同时，方法二对预报精度有提高，这也反映了与表 5.6 相似的情况，预报量邻近样本的信息比较重要。表 5.6 8 个预报

35、因子的三种预报模型，对 19992003 年的独立样本逐年预报结果-由以上的预报结果对比分析看出，分别在两组不同因子的条件下，无论是一次预报5 个独立样本还是逐年预报 5 个独立样本，基于遗传算法的 BP 网络模型比逐步回归预报模型的预报精度都有明显提高，而且预报结果稳定。另外这两组不同预报因子的基于遗传算法的 BP 网络模型，在进行独立样本的逐年预报时，都显示出随着训练样本的增加，预报效果比一次预报 5 个独立样本（见表 5.5 和表 5.6，表 5.7 和表 5.8）的精度高，体现出遗传算法的 BP 网络模型随着学习样本增加， “学习”能力增强的特点。相反，逐步回归方法 1次作 5 个独立

36、样本预报的平均相对误差还小于逐年预报的平均误差（见表 5.5 和表 5.6、表5.7 和表 5.8） ，没有随着建模样本增加而呈现“见多识广”的学习能力。尤其值得注意的是，在用 8 个预报因子的基于遗传算法的 BP 神经网络模型方法一对 5 个独立样本一次预报时，平均绝对误差和平均相对误差分别为：31.32mm 和 21.28（见表 5.5） ；而在利用 4 个预报因子时，方法一对 5 个独立样本一次预报时，平均绝对误差和平均相对误差分别为：37.77mm 和 24.70（见表 5.7） ，二者相差为：6.45mm 和 3.42，均小于 10。同样基于遗传算法的 BP 网络方法二在对 5 个独

37、立样本预报中，采用 8 个因子和 4 个因子的二者平均绝对误差和平均相对误差相差不大。如果对逐年的预报结果分析也可以得出相同的结果，从以上的这个结果分析可以看出，基于遗传算法的 BP 网络模型相对比较稳定。同时我们也对广西的桂北、桂中、桂南的历年 4 月份降雨量利用上述方法建模，结果同样表明，基于遗传算法的 BP 神经网络模型预报结果稳定，预报精度高，而且预报效果明显优于逐步回归模型。结论本文针对 BP 神经网络在大气学科预报建模研究中，网络的初始权值、网络的结构以及网络的学习参数，动量因子难以确定，往往是通过反复训练来确定网络的结构和各种参数，这样会导致在应用中出现过拟合问题，严重影响网络的

38、泛化能力，极大限制神经网络在实际天气业务中的应用。利用遗传算法的全局搜索能力来优化三层 BP 神经网络的连接权和网络结构，并在遗传进化过程中采取保留最佳个体的方法，建立基于遗传算法的BP 神经网络预报模型一。同时考虑到遗传算法在进化过程中能以较大概率搜索到全局最优解存在的区域，在遗传算法搜索到最优解附近时，却无法精确地确定最优解的位置，为此本文进一步采用从进化后的结果中，再次利用训练样本挑选最佳网络权系数和网络结构，建立基于遗传算法的 BP 神经网络预报模型二。这为我们利用神经网络方法进行预报建模研究，提供了新的思路，进一步拓展了神经网络方法在大气科学领域的应用。经过本文较深入的研究，得到如下

39、结论：1 该方法克服了由于神经网络初始权值的随机性和网络结构确定过程中所带来的网络振荡，以及网络极易陷入局部解问题并且有效提高神经网络的泛化能力，这种方法避免了一般神经网络依靠经验确定网络结构的困难。作为应用实例，以广西全区 4 月份平均降水作为预报量及前期 500pha 月平均高度场，海温场高相关区作为预报因子，建立基于遗传算法的 BP 神经网络短期气候预测模型。将这种方法与传统的逐步回归方法作对比分析，在回归模型、回归系数非常显著时，以相同的因子建立逐步回归模型。在建模因子为 8 个时，对 5 个样本的预测结果表明，逐步回归模型的平均相对误差为：41.39%；基于遗传算法的 BP 神经网络

40、模型一的平均相对误差为：16.49，模型二的平均相对误差为：13.48，即预报精度明显提高。当改变建模因子为 4 个数时，基于遗传算法的 BP 神经网络模型的预报效果依然优于逐步回归模型，显示了较好的预报稳定性。2该方法在进行独立样本的逐年预报时，基于遗传算法的 BP 网络模型一和二的预-报能力，都随着训练样本的增加，预报的精度会有所提高。体现出随着学习样本增加，它的“学习”能力增强的特点。3本文在建立基于遗传算法的 BP 网络模型二中，特别提出了从进化过的权系数和网络结构中，再次利用训练样本挑选的方法，充分发挥了遗传算法和神经网络的长处，综合了神经网络泛化映射能力和遗传算法全局收敛能力，并且

41、克服遗传算法的局部调节能力比较弱的问题，相对基于遗传算法的 BP 神经网络网络模型一，该方法进一步提高预报能力，在以往的文献中尚未见到有相类似的研究工作报道。4本文在利用遗传算法优化 BP 神经网络隐节点（网络结构）的过程中，也检验分析了神经网络方法在实际应用中，隐节点个数最有可能在输入节点个数附近变化（即比输入节点数略多或者略少）的经验性结论。本文在利用遗传算法优化 BP 神经网络和网络权系数的过程，同是也对遗传算法的收敛性进行一些讨论。GA 全局性收敛问题的研究至关重要，因为不仅具有理论指导意义，而且也有重要的实践价值。本文则是利用下鞅理论分析遗传算法在非保留最佳个体策略时，遗传算法强收敛到全局最优解的充分条件，这为用鞅理论分析遗传算法做了有益的尝试。