1、 1神经网络在非线性回归中的应用摘 要：本文主要介绍了神经网络在非线性回归中的应用，实例证明其回归效果优于传统的回归方法。但是标准 BP 算法具有收敛速度慢、易陷入局部极小点等缺陷，于是又介绍一种改进的神经网络学习算法，并进行了仿真，证明了该算法的有效性。关键词：非线性回归 ；神经网络； BP 算法The application of Neural Network in Nonlinear-RegressionYingli Tang(Computer Science and Technology ,School of Information ,Shanghai Ocean University
2、,China)Abstract:This paper mainly introduces the application of neural net in nonlinear regression,examples show its regression effect is superior to the traditional regression method.But the standard BP algorithm has show convergence speed,easy to fail into local minimum point and other defects,so
3、introduced an improved neural net learning algorithm and a simulation was carried out,it prove the effectiveness of the proposed algorithm.Keywords: non-linear regression; neural net;BP algorithm1 引言回归分析就是确立和分析某种响应(因变量 Y)和重要因素(对响应有影响的自变量 X)之间的函数关系。传统的回归分析就是希望找到映射的具体表达式 f:y=f(x)。但要从大量的带有一定随机性的实验数据样木组
4、（X1，Y1 ） 、 （X2，Y2 ） （X3，Y3 ）（Xk，Yk ）中“回归”出映射 XY 的具体表达 f 的形式，通常是十分困难的。但是人工神经网络是一种大规模并行非线性系统，其良好的非线性映射能力、强大的解决逆问题的能力和实际推广能力，使得它在工程领域中得到了广泛应用。但是标准 BP 算法具有收敛速度慢、易陷入局部极小点等缺陷。于是又引进一种改进的神经网络学习算法，并采用新的目标函数来进行训练，仿真结果表明了该算法的有效性。本文主要对神经网络在非线性回归中的应用，以及改进的神经网络学习算法在非线性回归中的应用进行了简介。并比较了它们的预测精度。2 人工神经网络非线性回归的引入前馈神经网
5、络在理论上只需要三层节点就能够以任意精度逼近任意的连续函数，鉴于人工神经网络在非线性领域应用的成功实践，对于非线性回归，神经网络模型也许有用武之地。基于神经网络的回归分析，希望寻找的不是具体的映射数学表达，而是通过网络对样本的进行学习训练，当网络训练完成后，其网络结构 F 就代表了映射 XY。虽然这个过程不能得出简明的数学公式表达，但它却代表了更复杂的映射关系。通过这个网络结构（网络层数、各层单元数、各连接权及阈值等均确定下来)，当有一自变量 x 输入时，就会产生一因变量输出 y，这就是网络的回想过程，这个参数被确定下来的网络就成为解决该特殊问题的“专家” ，上述问题可以得到较好的解决。在计算
6、机编程过程中，所使用的网络模型及确定的参数，可以通过类、对象等软件技术实现。需要指出的是，学习过程必须是有教师示教的学习方式，实验数据样木组（X1，Y1 ） 、 （X2，Y2 ） （X3，Y3 ）（Xk，Yk ）就2是学习样本，从理论上说，学习样本越多，学习效果越好。3 基于人工神经网络的非线性回归的实践分析在人工神经网络的发展中，误差逆传播学习算法(ErrorBack-Propagation)占有重要地位。以该算法为基础的人工神经网络简称 BP 网络，它是目前人工神经网络领域中应用最为广泛的模型之一。这里以 BP 网络为例对基于人工神经网络的非线性回归进行实践分析。 表 1 为取自文献【4】
7、的实验数据，传统的回归是寻找 x 与 y 的函数关系，文献【4】给出富氏级数回归式为: )21.593sin(84. )06.129sin(4.).8si(29 x xy表 1 取自文献【4】的实验数据（某周期性函数的测定值）图 1 给出了基于 BP 神经网络的回归演化进程(网络层数:3，隐含层单元个数:6，为方便程序运算，图中对数据进行了单位变换)，图中给出了学习参考时间、神经网络回归的相关系数和剩余标准差及传统回归方法的相关系数和剩余标准的对比，由此看到，随着神经网络学习时间的延长，神经网络回归的相关系数不断提高，剩余标准差不断减小，到图1（d） ，神经网络回归的相关系数己经大于传统回归方
8、法的相关系数，神经网络回归的剩余标准差小于传统回归方法的剩余标准差，图形曲线也说明了这一点这里仅给出一例的过程，实际上，从人工神经网络的非线性处理能力分析，人工神经网络完全具有处理此类问题的能力，而且回归效果优于传统的回归方法。34图 1 基于神经网络的非线性回归的实践分析当学习完成后，确定的网络模型、网络参数就代表了相应的映射 F，也就是说，我们找到了映射 F。下面把基于神经网络的回归分析与传统的回归分析作简要比较:（1）传统的回归分析目标在于寻找函数表达的具体形式，而基于神经网络的回归分析目的在于寻找一个神经网络模型，用实验样木来训练这个网络，训练完成后，这个网络就成为该问题的“专家”了，
9、这个“专家”可以完成映射 XY 。（2）与传统回归分析的目标函数 f 相比，神经网络 F 的结构表达更加复杂，网络参数由网络的层数、各层单元数、连接权、阈值等进行描述，其间关系取决于网络模型，这个网络是通过对样本的“学习”而形成的，它能够解决映射 XY 的表达问题，因此用 F 取代 f是一种合理的选择。（3）在回归方式上，传统的回归分析根据多组样本数据，寻求与某种函数表达式的逼近，根据剩余标准偏差、相关系数的判定来确定函数中的参数值。基于神经网络的回归分析，是将这些样本数据，交给网络学习，根据全局误差极小来判定学习完成，从而确定网络结构参数。其原理是一致的，只是基于人工神经网络的回归用更复杂的
10、表达方式，但同时，它也可以解决更复杂的问题。（4）在运算工具与时间上，两者都必须借助于计算机作为运算工具，一般情况下，网络的学习过程所需时间远人于传统回归过程。（5）在应用方式上，这里认为两者是一致性的，只是程序段内容不同，本质是相同的，下面将看到利用神经网络进行回归分析，可以达到更好的效果。5 基于神经网络非线性回归分析的改进从上文可以看出对于非线性多元回归分析问题，使用神经网络有望得到较好的解决。但是标准 BP 算法具有收敛速度慢、易陷入局部极小点等缺陷。这里介绍一种改进的神经网络学习算法，并采用新的目标函数来进行训练，仿真结果表明了该算法的有效性。6 改进的神经网络学习算法5在实际的应用
11、当中，通常需要对标准 BP 作一些改进。于是引入了参照 Levenberg-Marquardt 算法进行的改进算法。设误差向量其中 d 是训练样本中的数据，J 是网络的实际ppeydyde 2121,输出，i=1,2,p,p 是训练样本总数。网络误差函数可以表示成: ，设网络的权eE21向量为 ,其中 是 BP 网络的第 i 个连接权，L 是网络中连接权的总数。,21lwi构造如下的雅可比知阵: lpppLweweEJ211211按照 L 一 M 算法，网络的权值学习可以用如下方程来描述:其中，I 是一个 LX L 的单位知阵，u0 为常数，引入 uIeJuIJwkk )(1)1(是为了保证逆
12、矩阵的正定性，w (k)表示学习了 k 步之后的权向量。在实际操作中，u 是一个试探性的参数。L - M 算法是梯度下降法与 Causs 一 Newton 算法的结合，既有 Causs 一 Newton 算法的局部特性又有梯度法的全局特性，由于利用了近似的二阶导数信息，因而该算法比标准的BP 算法有更快收敛速率。如果仅仅把对各个样本的误差平方和 E 作为神经网络的训练目标，当 E 在训练中逐渐减小时，神经网络的权值可能会为了拟合样本数据而取得很大。这样，尽管在样本数据上拟合得很好，但是对于非样本数据的预测，则可能会产生很大的误差，使得神经网络的泛化能力下降。因此有必要重新选取网络训练的目标函数
13、。这里介绍一种新的训练目标函数，它不仅考虑网络训练时的样本输出误差，而且也综合考虑网络的权值因素。设网络训练的权值目标函数为: 。结合前面的误差目标函数 E，取综合训练wW21目标函数为： (其中 k 为学习步数)，这样的网络的权值学习过程即变化kkkET为： )( (1)()1( kk eJIJw 在上述方程中， 是可以调节的参量，由如下关系式进行调节kk kk KWEPItraceL 2;)()( ;)11( 11k7 实例仿真为了证明该改进的神经网络算法在回归分析中的作用，我们引用了某轧钢厂在 28006中厚板轧机中实测的轧件在某条件下的 18 组温降数据(见表 1)，我们分别用非线性回
14、归算法(见文献【5】)、基本 BP 网络算法、L- M 神经网络算法和改进的 L - M 神经网络算法对表 2 的数据进行分析，以寻找在该条件下 T1 与 t，H 和 T0之间的关系。为了检验所求得的关系的泛化能力，我们用前 9 组数据作为训练样本集来求得 T1 与t，H 和 T0之间的关系。而用后 9 组数据作为检验样本集来验证所求关系的泛化能力。对于训练样本集，训练的结果如表 3 所示，对于检验样本集，检验的结果如表 4 所示。表 2 某轧钢厂在 2800 中厚板轧机中实测的轧件在某条件下的温降数据表 3 各种回归分析算法在训练样本上的结果表 4 各种回归分析算法在检验样本上的结果对于训练
15、样本，四种算法的误差平方和分别为:30,42002, 13, 91。对于检验样本，四种算法的误差平方和分别为:290,122100,7081,1908 结论本文介绍了神经网络在回归中的应用，基于神经网络的回归分析方法不依赖分析对象的模型，对于任何对象，都可以采用相同的训练方法，因此应用十分方便。由于 BP 网络训练中可能陷入极小点、收敛速度慢等原因，使得回归分析的效果很差；L - M 算法能够加快网络的训练，使得样本拟合精度大大提高，但泛化能力依然不理想；而改进后的 L - M 算法不仅使得回归分析能够准确地拟合样本数据，而且具有很好的泛化能力，从而证明了该算法的有效性。7参考文献【1】 王宜
16、怀，王林 基于人工神经网络的非线性回归 计算机工程与应用 2008.12.【2】谷廷华，邱磊，陈教料 改进的基于神经网络的非线性多元回归分析 计算技术与自动化 vol.23,NO.4 Dec.2004.【3】梁久祯.模糊神经网络逼近理论及学习算法研究D.北京：北京航空航天大学，2001.【4】刘志万.实验数据的统计分析和计算机处理M.合肥：中国科学技术大学出版社，1989:150151.【5】吴传旭.非线性回归在轧钢件温降研究中的应用J.陕西工程学院学报，1991,9:22-25.【6】Wu Jin-pei, Huang Lei.Nonlinear Multiple Regressive Analysis Based on Neural NetworkJ.Journal of Changsha University of Electric Power(natural science),2002,17(2):19-22.
