1、第 41 卷 增刊2011 年 9 月东 南 大 学 学 报( 自 然 科 学 版 )JOURNAL OF SOUTHEAST UNIVERSITY ( Natural Science Edition)Vol41 SupSept 2011doi: 103969/j issn1001 05052011 S1004一种多核加权支持向量机的水质预测方法梁雪春1龚艳冰2肖 迪1(1南京工业大学自动化与电气工程学院 ， 南京 210009)(2河海大学商学院 ， 常州 213022)摘要 : 提出一种基于多核加权支持向量机的水质预测方法 核函数及其参数选择与数据分布的情况密切相关 ， 采用单一的核函数应
2、对水资源质量评价指标的整个数据分布难以达到很好的预测结果 采用多核加权学习的核函数避免了核函数设计的盲目性和局部最优等非线性优化问题 实例表明 ， 该方法的预测结果是合理可行的 ， 且与以往同类预测方法相比 ， 有着更为客观 ， 计算简便等优点 关键词 : 多核学习 ; 支持向量机 ; 水质预测中图分类号 : U4592 文献标志码 : A 文章编号 : 1001 0505( 2011) 增刊 -0014-04Novel method for water quality prediction based on multi-kernelweighted support vector machin
3、eLiang Xuechun1Gong Yanbing2Xiao Di1(1College of Automation and Electrical Engineering， Nanjing University of Technology， Nanjing 210009， China)(2School of Business， Hohai University， Changzhou 213022， China)Abstract: In this paper， a new method based on multi-kernel learning support vector machine
4、tosolve the water quality prediction is presented The kernel function and its preferences are correlatedwith the data distribution， so it is difficult to get satisfactory prediction result when using single ker-nel function SVM( support vector machine) algorithm with multiple kernel function weighte
5、d can a-void the blindness of framework designs for kernel function and the problem of nonlinear optimiza-tions， such as local optimization An analysis result shows a reasonable evaluation result， which ismore objective and simpler in calculation when compared with other similar evaluation methodsKe
6、y words: multi-kernel learning; support vector machine; water quality prediction收稿日期 : 2011-01-10 作者简介 : 梁雪春 ( 1969) 女 ， 博士 ， 教授 ， lampton sina com引文格式 : 梁雪春 ， 龚艳冰 ， 肖迪 一种多核加权支持向量机的水质预测方法 J 东南大学学报 : 自然科学版 ， 2011， 41( S1) : 14-17 doi:103969/j issn1001 05052011 S1004我国水资源供需矛盾十分尖锐 ， 为遵循可持续发展的原则 ， 正确预测区
7、域水资源质量 ， 对个别影响水资源质量的评价指标进行监督 ， 对区域的人口发展 、社会经济具有极为重要的作用 水质预测是水资源管理和污染控制的重要手段 ， 也是进行水资源治理和水资源开发利用的基础性工作 近年来 ， 采用神经网络进行水质预测取得成功应用的例子很多 神经网络有自主学习和能以任意精度逼近非线性目标的能力 但是神经网络遵循经验风险最小化原则训练时 ， 往往会陷入局部最小和过学习的状况 支持向量回归机可以克服过拟合的缺点 ， 同时使回归函数的 VC 维最小 ， 泛化能力强 ，在模式识别和预测评价方面得到广泛应用 文献 1 提出采用加权支持向量回归机进行水质预测 ，但是其权向量加载到误差
8、项上 ， 对全局样本之间的主要关联的区分效果不佳 文献 2 提出采用最小二乘支持向量机应用于三峡库区断面水质数据预测 ， 针对三峡库区水质样本数据少 ， 数据跳变大的特点 ， 所提方法对该类样本的预测行之有效 以上方法均采用单一的核函数 ， 而没有考虑根据数据集的分布情况采用不同的核函数对结果的影响 ， 当样本分布复杂时 ， 不能保证所设计的支持向量机具有较高的预测能力 近年来提出的多核学习思想 ， 为解决该类问题提供了可能 文献 3 提出的多核学习采用多个同一类型不同参数的高斯核 ， 其建模精度仍然受高斯参数的影响 文献 4 提出的多个不同核函数线性加权的多核学习 ， 进行永磁同步电机的混沌
9、建模和实时在线预测 ， 模型精度和预测精度均很高 ， 说明采用多个不同核函数好于单一类型的多个核函数 ， 本文将采用多个不同类型的核函数构造成新的等价核对支持向量机进行改进 ， 从而减低数据分布复杂对预测模型精度的影响 5， 提高预测准确性 由于影响水资源质量的因素既有天然的又有人工的 ， 因此 ， 对水资源质量的评价和预测就是一个多指标决策问题 实际上多指标决策问题各项评价指标常常是不相容的 ， 且各指标与质量之间存在着高度的复杂性和非线性 为此 ， 本文引入一种新的机器学习方法 : 多核函数混合加权的支持向量回归机 ( SVR) 方法对水资源质量进行预测 ， 通过对长江流域嘶马闸区域的水质
10、资源进行学习和预测 ，可以为该地区今后的水资源治理和保护的可持续发展起到一定的指导作用 1 支持向量回归机 ( SVR) 的基本原理支持向量机 6是 20 世纪 90 年代中期提出的一种机器学习算法 ， 其理论基础是 Vapnik 等提出的统计学习理论 而统计学习理论采用结构风险最小化准则 ， 在最小化样本点误差的同时 ， 缩小模型泛化误差的上界 ， 从而提高了模型的泛化能力 ， 这一优点在小样本学习中更为突出 下面介绍一种支持向量回归机算法 6-8支持向量回归机 ( SVR) 可分为线性回归和非线性回归 ， 下面主要介绍非线性回归问题 假设样本训练集 T = ( x1， y1) ， ，( x
11、l， yl) ( X Y)l， 其中 xiRn为第 i 个样本输入模式 ， yiR 为对应于第 i 个样本的期望输出 ， l 为训练样本数 对于非线性回归问题 ， 由 Mercer 定理知 ， 实际上只需引入核函数 K( xi， xj) ， 就可以把问题转化为高维特征空间求线性回归问题 基本思想是通过非线性变换函数 ( x) 将输入空间映射成高维特征空间 ( Hilbert 空间 ) 中的 为不敏感函数 ， 定义最优线性回归超平面 ， 把寻找最优线性回归超平面的算法归结为求解一个凸约束条件下的一个凸规划问题 ， 并可以求得全局最优解 即选择适当的正数 和 C; 选择适当的核函数 K( x， x
12、) ， 并构造并求解最优化问题 ， 即min， *12li， j =1( *i i) ( *j j) K( xi， xj) +li =1( *i+ i) li =1yi( *i i ) ( 1)s tli =1( *i i) = 00 i， *iC; i = 1， ，l( 2)得到最优解 珔 = ( 珔1， 珔*1， ， 珔l， 珔*l)T， 珔*i( i =1， ， l) 为支持向量 ， 最后求得回归函数f( x) =li =1( 珔*i 珔i) K( xi， x) + b ( 3)2 多核加权的支持向量回归由于不同核函数的混合可以使数据的信息在特征空间得到更为充分的表示 7， 有助于提高学
13、习性能 ， 采用如下形式的混合核函数 :K =nj =1jKj( 4)式中 ， j0( j = 1， ， n) ， 为混合核函数的权重系数 因 j0， 由核函数的性质可知 ， K =nj =1jKj为对称半正定矩阵 ， 符合核函数的要求 ， 即 K 为有效核函数 ， 且每个核矩阵 Ki可按下式标准化 :珚Kj( xp， xq) =Kj( xp， xq)Kj( xp， xp) Kj( xq， xq槡)( 5)则问题 ( 1) 可以转化为以下的二次约束下二次优化 ( QCQP) 问题 :max li =1( *i+ i) +li =1yi( *i i) 12cli， j =1( *i i) ( *
14、j j)珚K( xi， xj )( 6)s tli =1( *i i) = 00 i， *iC， i = 1， ，lc = tr( K)( 7)该 QCQP 问题可以通过优化软件包 MOSEK基于内点法求解 ， 且求解算法复杂度与 QP 问题相当 此时 ， SVR 的回归函数具有如下形式 :f( x) =| sv|i =1nj =1j( 珔*i 珔i) Kj( xi， x) + b( 8)式中 ， |sv |表示支持向量的个数 51增刊 梁雪春 ， 等 : 一种多核加权支持向量机的水质预测方法3 仿真与结果分析3. 1 评价指标的确定评价指标是综合评价的基础 ， 指标选取的合理与否 ， 直接关
15、系到评价结果的合理与否 因此 ， 建立区域水源质量评价的指标体系 ， 应该根据区域水资源的区域特点 ， 全面 、合理的考虑各个因数 首先利用主成分分析法 ， 建立长江流域嘶马闸区域水质评价指标 ， 主要包括 : 溶解氧 ( U1) ， 高锰酸盐指数( U2) ， 五日生化需氧量 BOD5( U3) ， 氨氮 ( U4) ， 总氰化物 ( U5) ， 石油类 ( U6) ， 电导率 ( U7) ， 化学需氧量 COD( U8) ， 粪大肠菌群 ( U9) ， LAS( U10) 表 1为该地区部分历史采样数据 本文参考以全国数据为基准建立的评价标准 ， 其中水资源质量分级 类水体为最优 、类水体
16、为较优 、为中等 、为较差 、为最差 参照评价指标标准值 ， 应用多核加权的支持向量回归机方法对长江流域嘶马闸区的水资源质量进行预测 表 1 嘶马闸东 100 m 水质评价指标历史采样数据采样时间U1/( mgL1)U2/( mgL1)U3/( mgL1)U4/( mgL1)U5/( mgL1)U6/( mgL1)U7/( msm1)U8/( mgL1)U9/( 个 L1)U10/( mgL1)2001-01 10. 2 1. 7 2. 2 0. 38 0. 002 0. 02 22. 2 13 920 0. 182001-03 9. 0 3. 6 1. 6 0. 50 0. 002 0. 0
17、2 25. 6 13 1700 0. 112001-05 7. 3 2. 1 1. 1 0. 32 0. 002 0. 02 22. 5 20 2100 0. 062001-07 6. 4 3. 2 1. 1 0. 55 0. 002 0. 02 24. 7 19 17002001-09 4. 3 4. 9 1. 1 0. 52 0. 002 0. 02 33. 4 29 1400 0. 062001-11 6. 6 2. 6 0. 9 0. 06 0. 002 0. 02 28. 6 19 1300 0. 022002-01 8. 7 2. 4 0. 9 1. 20 0. 002 0. 02
18、 29. 1 12 1400 0. 022002-03 5. 9 4. 2 0. 7 0. 45 0. 002 0. 02 26. 7 10 1700 0. 053. 2 多核学习的预测模型文中使用多核学习的支持向量回归方法进行水质 预 测 8 设实际水质指标时间序列为 v1， v2， ， vn， ， vt， ， viR10 利用前 n 个样本 1= v1， v2， ， vnT作为训练样本数据 ， n 表示递推维数 ， 应用预测模型 ， 得到对第 n +1 个样本 vn +1的预测值 vn +1， 即vn+1= f( 1) =| sv|i =1nj =1j( 珔*i 珔i) Kj( xi， 1
19、) + b( 9)然后继续采用滚动多步预测方法 ， 逐一预测出后期结果 ， 可提高预测的实时性和预测精度 影响水源质量的指标众多 ， 需对每个指标预测出新值 ，再根据所有指标预测值判断水体质量等级 3. 3 评价计算结果与分析仿真采用 Matlab6. 5 进行编程 ， 嘶马闸水质指标数据为 9 年积累数据 ， 共 45 组 ， 选择 15 组作为训练样本 ， 30 组作为测试样本 仿真中采用以下参数 ，核函数选择一高斯函数 KRBF=(exp( xixj)22)2和一多项式核函数 Kpoly= ( ( xi， xj) + c)d作为SVM 的混合核函数 权重系数 1， 2可通过遗传算法获得
20、将权重系数进行染色体基因编码 ， 随机生成初始种群 ， 再以均方误差作为适应度函数 ， 通过遗传策略 ， 得到最优的权重系数组合 选择支持向量机参数 C = 500， 取值在 0. 002 5， 0. 01 之间 将训练后的 MKSVR 模型运用于待预测的样本集 ， 以氨氮为例 ， 将本文所采用方法的预测结果与标准支持向量机预测结果显示如表 2 所示 表 2 中 ， MKSVR( n = 2) 表示采用多核支持向量机的方法 ， 其中预测序列递推维数为 2， MKSVR( n =3) 表示采用相同方法 ， 递推维数为 3 由表 2 可以看到 ， 在嘶马闸水域的氨氮指标预测中 ， 当递推维数为 3
21、 时 ， 预测结果与实际测量值最为接近 ， 而递推维数为 2 时 ， 效果略差 ， 采用标准支持向量回归方法预测结果最差 与氨氮指标的预测结果类似 ， 其他 9个指标的预测效果也是 MKSVR( n =3) 最优 但是当递推维数继续增加时 ， 预测结果反而变差 分析原因 ， 水质评价参考指标不仅与周围环境有关 ， 也与季节变化有关 ， 季节具有周期性 ， 因此 ， 当进行逐步递推预测时 ， 递推步数不能过大 ， 否则预测结果变差 最后有所得的 10 个指标的预测结果 ， 可获得预测水质的等级分类 与前期的预测指标值基本准确 ， 因此预测水质等级也较符合真实情况 61 东南大学学报 ( 自然科学
22、版 ) 第 41 卷表 2 MKSVR 与 SVRM 方法预测结果比较 ( 氨氮 )时间 实测值MKSVRn =2 n =3SVRM 时间 实测值MKSVRn =2 n =3SVRM2001-05 0. 32 0. 36 0. 34 0. 36 2005-11 0. 39 0. 43 0. 41 0. 472001-11 0. 06 0. 50 0. 46 0. 55 2006-05 0. 46 0. 37 0. 482002-05 0. 45 0. 57 0. 48 0. 62 2006-11 0. 36 0. 43 0. 37 0. 452002-11 0. 32 0. 27 0. 35
23、0. 41 2007-05 0. 28 0. 41 0. 34 0. 422003-05 0. 35 0. 33 0. 35 0. 37 2007-11 0. 33 0. 35 0. 33 0. 362003-11 0. 28 0. 37 0. 36 0. 40 2008-05 0. 35 0. 34 0. 352004-05 0. 42 0. 39 0. 32 0. 36 2008-11 0. 49 0. 31 0. 38 0. 342004-11 0. 55 0. 37 0. 41 0. 38 2009-05 0. 44 0. 41 0. 43 0. 52005-05 0. 42 0. 4
24、6 0. 42 0. 49 2009-11 0. 36 0. 35 0. 32 0. 314 结论本文提出了一种基于多核加权的支持向量机的预测模型 ， 详细论述了该模型的计算步骤 ， 并应用该模型对嘶马闸水域的水源质量进行了预测 因水质预测在实际计算中是非常复杂的 ， 而且本例中由水质样本采集时间间隔较大 ， 数据分布复杂跳变及某些数据缺失 ， 采用多核学习思想 ， 可获得更充分的数据信息 ， 提高了解决该类问题的性能 另外 ，水质指标的等参数不仅与地理环境状况相关 ， 也受季节 、水文气象及社会环境的影响 本文没有对季节相关性进行分析 ， 这将在以后的工作中进一步研究 参考文献 ( Refe
25、rences) 1 徐红敏 ， 王继广 加权支持向量回归机及其在水质预测中的应用 J 世界地质 ， 2007， 26( 1) : 58-61Xu Hongmin， Wang Jiguang Weighted support vectormachine for regression and its application for prediction ofwater quality J Global Geology， 2007， 26( 1) : 58-61 ( in Chinese) 2 石为人 ， 王燕霞 ， 唐云建 ， 等 小样本跳变水质时序数据预测方法 J 计算机应用 ， 2010， 3
26、0( 2) : 484-487Shi Weiren， Wang Yanxia， Tang Yunjian Forecastingmethod for water quality time series of few and abnormaldata J Journal of Computer Applications， 2010， 30( 2) : 484-487 ( in Chinese) 3 张军峰 ， 胡寿松 多重核学习非线性时间序列故障预报 J 控制理论与应用 ， 2008， 25 ( 6) : 1142-1144Zhang Junfeng， Hu Shousong Nonlinear
27、 time series faultprediction by multiple kernel-learning J Control Theo-ry Applications， 2008， 25 ( 6) : 1142-1144 ( in Chi-nese) 4 陈强 ， 任雪梅 基于多核最小二乘支持向量机的永磁同步电机混沌建模及其实时在线预测 J 物理学报 ， 2010， 59( 4) : 2310-2319Chen Qiang， Ren Xuemei Chaos modeling and real-timeonline prediction of permanent magnet sync
28、hronous motorbased on multiple kernel least squares support vector ma-chine J Acta Physica Sinica， 2010， 59 ( 4) : 2310-2319 ( in Chinese) 5 Kind W， Lee K Y Evaluation of the performance of clus-tering algorithms in kernel-induced feature space J Pattern Recognition， 2005， 38( 4) : 607-611 6 Vapnik
29、V The nature of statistical learning theory M New York: Springer Verlag， 1995 7 Suykens J A K Optimal control by least squares supportvector machines J Neural Networks， 2001， 14 ( 1) :23-25 8 Tay F E H， Cao L J Modified support vector machinesin financial time series forecasting J Neurocomputing，2002， 48( 1/2/3/4) : 847-86171增刊 梁雪春 ， 等 : 一种多核加权支持向量机的水质预测方法
