1、基于 Ramp损失函数的原空间支持向量回归机/ - 1 - 中国科技论文在线基于 Ramp 损失函数的原空间支持向量回 归机# 袁玉萍 1，安增龙 2，张宏礼 1*基金项目：高等学校博士学科点专项科研基金博导类资助课题项目（20112305110002） 。黑龙江省农垦总局科研资助项目（HNK11A-14-07） 作者简介：袁玉萍， （1970-） ，女，副教授，运筹学与优化。 通信联系人：安增龙， （1962-） ，男，教授，人力资源管理。（1. 黑龙江八一农垦大学理学院，黑龙江 大庆 163319； 5 2. 黑龙江八一农垦大学经济管理学院，黑龙江 大庆 163319） 摘要：支持向量回归
2、机模型的性能与所选的损失函数有很大关系。提出一种基于不对称形式的二次不敏感控制型 Ramp 损失函数的支持向量回归机，采用凹凸过程优化和光滑技术算法，将非凸优化问题转化为连续、二次可微凸优化问题，利用 Amijo-Newton优化算法求解所建立的优化模型，并分析了算法的收敛性。该算法不仅可以保持支持向量的稀疏性，而且 10 还可以控制训练样本中的异常值。实验结果表明，该模型保持了很好的泛化能力，无论对模拟数据还是标准数据都具有一定的拟合精度，与标准支持向量机模型相比，不仅能够降低噪声和孤立点的影响而且也具有较强的鲁棒性。 关键词：运筹学其它学科；异常值；损失函数；凹凸过程 中图分类号：TP18
3、1 TP391 15 Support vector regression in the primal space based on the Ramp loss function YUAN Yuping1, AN Zenglong2, ZHANG Hongli3 (1. Heilongjiang Bayi Agricultural University,College of Sciences, 20 HeiLongJiang DaQing 163319; 2. Heilongjiang Bayi Agricultural University,College of EconomicsManage
4、ment, HeiLongJiang DaQing 163319) Abstract: In this paper the function of support vector regression machine model relies much on the loss function chosen. On the basis of quadratic insensitive control type loss function Ramp 25 with asymmetric form, support vector regression machine model is propose
5、d. Adopting the concave and convex process optimization and the smooth technology algorithm, transforming the non-convex optimization to the continuous, quadratic differentiable convex optimization. Using the Amijo-Newton optimized algorithm to solve the proposed model and analyzing the convergence
6、of the algorithm. The algorithm not only keeps the sparse nature of support vector, 30 but also can control the abnormal values of the training sample. The experimental results show that the support vector regression machine model proposed keeps good generalization ability, and the model can better
7、fit both the simulated data and the standard data. Compared with the standard support vector machine (SVM) model, the proposed model not only can reduce the effects of noise and outliers, but also has stronger robustness. 35 Keywords: theory of controls; Support vector regression; Outliers; Loss fun
8、ction; concave-convex procedure（CCCP） 0 引言 由于标准支持向量机对所有输入样本同等对待，在训练时从中选取部分样本，即支持向 40 量机来构造最终的决策函数，并且同时标准支持向量机对异常值也非常敏感，在确定决策超平面时所起到的作用非常大，降低了支持向量机的泛化能力和推广能力。因此当样本中含有噪声时，建立支持向量机的鲁棒性模型是非常有必要的。 / - 2 - 中国科技论文在线噪声点的位置不同对支持向量机的学习过程所产生的影响不同。大概有以下几种情况：当噪声样本点位于或者靠近自身类分布区域时，它们容易成为非支持向量，因而对 SVM 的 45 决策超平面的影响较
9、小，称这样的噪声为“伪噪声” ；当噪声样本点远离自身类分布区域时，它们容易成为支持向量，在学习过程中对决策超平面产生的影响很大，称这样的噪声为“强噪声” 。当数据中存在噪声或野点时，由于噪声样本产生的损失非常大，并且这个损失随噪声样本离自身类距离的增加而增加，这就导致了支持向量机泛化性能的下降，要想从根本上解决这个问题，只有减少或限制噪声产生的损失。 50 为了抑制支持向量机对噪声或野点的影响，提高模型的泛化能力，很多学者在此方面做了大量工作。减少或限制噪声样本损失的方法基本分为两类。一类是将模糊技术应用到支持向量机中 1-3 。台湾学者 Lin 等在 2002 年提出了模糊支持向量机方法（F
10、uzzy Support Vector Machine,FSVM）4 4，将模糊技术应用于支持向量机中，根据不同输入样本对训练的贡献不同赋以不同的隶属度，对噪声或野点赋以较小的隶属度以减小他们对模型的影响，对噪声样 55 本乘以较小的模糊因子，使得在构造目标函数时，不同的样本有不同的贡献，从而达到降低或者消除噪声样本的目的。但是在实际应用中，当训练样本的隶属度取值不合理时，FSVM模型的鲁棒性甚至比标准支持向量机模型训练的效果还要差。文献 5 通过估计训练样本为噪声点的可能性大小来调节隶属度，如果一个训练样本点更接近不属于自己的另一类，则将该点以较高的概率被看做噪声；另一类是通过构造新的损失函
11、数以减少或者限制噪声样本的 60 损失 6-7。标准支持向量机对异常值较敏感的主要原因是选取的损失函数是无界的，损失函数的值可以无限增大，异常值产生的间隔损失非常大，致使噪声产生的损失可以无限增大。最终导致得到的决策超平面会不适当地向噪声方向移动，偏离了泛化能力强的最优位置，使支持向量回归机的泛化能力下降。针对上述存在的问题，只需将损失函数的取值控制在一定范围内。2003 年 Shen 等人提出了? ?学习方法，利用 ( )L u 函数代替 hinge 损失函数。200665 年 Xu 和 Crammer 等人建立了基于截断的 Hinge 损失的鲁棒支持向量机模型文献 8 ，是对hinge 损
12、失函数的一个很好的替代。Hinge 损失函数： 1( ) max(0,1 )H u u= ? ，基于截断 Hinge损失具有下面的形式: ( ) min(1, max(0, ( ) )RH u y f x = ? ? 。该模型是一个非凸非光滑的优化问题，利用基于光滑 Ramp 损失函数和凹凸过程优化算法的求解过程。上述个模型采取的损失函数可以看到， ( )RH u 和 ( )L u 随然在一定程度上限制了噪声点的影响，但是存在一 70 个很重要的问题：它们都是不光滑、不可微的，导致很多优化算法不能直接应用。针对上述问题，也有很多学者提出了将不光滑、不可微的损失函数进行光滑可微。2008 年 W
13、ang 等人提出两分类问题的鲁棒支持向量机，利用非凸的不可微的 Ramp 损失函数构造优化模型，采取 CCCP 过程将非凸优化问题转化为凸优化问题，再利用经典的牛顿算法求解 9 。在同一年，Zhao 等人在上述方法的基础上，提出了基于 - 不敏感损失函数的控制型损失函数，75 将基于控制型损失函数应用到鲁棒支持向量回归机问题 10。Xu 等人针对 hinge 控制型损失函数提出了针对异常值剔除的鲁棒支持向量机，并且将优化问题转化为一个半定规划问题 11 11 。 综合上面分析的各种情况，要想使得到的支持向量回归机是鲁棒的，首先要限制噪声样本损失的同时还要使损失函数可微，要降低模型求解过程的计算
14、复杂度。上述各算法均利用 80 对称形式的控制型损失函数，粮食产量预测是一种随机性和复杂性且具有较强的非线性预测/ - 3 - 中国科技论文在线问题，在实际问题中，由于测量仪器、手段和环境的影响，实际采集的样本数据带有一定的误差，含有高噪声并伴有异常值，它们的存在使得系统特别容易受到危害，造成系统不稳定。真实值高于预测值和低于预测值给经营者带来的风险的感受是不同的，因此本文提出基于二次不敏感控制型 Ramp 损失函数的不对称形式鲁棒支持向量回归机，弱化异常值的干扰，其 85 分段损失函数对落在不同区间的误差项采用不同的惩罚函数形式。 1 Ramp 不对称形式鲁棒支持向量回归机 1.1 原空间的
15、支持向量回归机 原空间鲁棒支持向量回归机模型：对于随机产生的训练样本回归问题 ( ) 1, Ni i iT x y = ，其中 nix R 是输入指标， iy 是相对应的函数值。基于 - 不敏感损失函数的支持向量机算法 90 为： 2,11min ( )2. ( ), 0, 1, 2, ,Ni iw b ii i ii i ii iw Cs t y w x bw x b yi N ?=?+ +? ? + +? + ? + =;（1） 这里 C 是调节模型的复杂性和训练的错误的一个折中，在（1）中消去松弛变量, , 1, ,i i i N ? = ; ，得到无约束优化问题 ( ) ( )2, 1
16、1min ,2Niw b iL w b w C H z = + (2) 95 这 里 我 们 选 取 二 次 不 敏 感 控 制 型 Ramp 损 失 函 数 不 对 称 形 式( )2( ) min , ( )i A iH z H z = , 其中， ( ) ( )( )1 222 221 10,iA i i ii izH z z zz z ? ? ?= ? ? ? ? ?1 2,i i iz w x b y = ? + ? 。为了简单起见，在不影响模型的泛化性能情况下先不讨论偏执 b项，同时引入核函数策略及转化到艾尔伯特空间 H ，得到优化问题：100 ( ) ( )211min2NiHf
17、 iL f f C H z= + (3) 由表现定理 12，(3)式的优化函数 f 可以表示为; ( )1( ) ,Ni iif x k x x= (4) 将（4）式代入（3）式，得： ( )1 1 1 11min ( ) , ( , )2N N N Ni j i j j i j ii j i jL k x x C H k x x y = = = =? ?= + ? ? ? （5） 105 / - 4 - 中国科技论文在线令 ( )1 21 , , , , ,NTN i j i j iiz k x x y = = ?; ，K 为核矩阵，其中 ( ), ,ij i jK k x x= , 1,
18、2, ,i j N= ; ,可将（5）式变形为： ( ) ( )11min2NTiiL K C H z = + （6） 其中 Ti i iz K y= ? 1.2 光滑非凸损失函数的建立 110 由于 ( )H z 函数既不光滑也不是凸函数，难以应用微分的方法求解不光滑问题，难以应用凸优化方法对相应的支持向量回归机模型求解，因此需要将其进一步转化为光滑化且为凸函数的损失函数，构造两个 Huber 损失函数不对称形式： ( )( )( )( )( )1 121 1 11 1 222 2 22 2 2 2 ,0,2 2 ,huberz zz zH z zz zz z ? ? ? + ? ? ? ?
19、 ? ? ?= ? ? ? +? ? + +? ? ?（7） ( )( )( )( )( )1 1211 12 1 2222 22 2 2 2 2 ,0,2 2 2 ,huberz h z hzh zhH z zzz hhz h z h ? ? ? + + ? ? ? ? ? ? ? ? ? ? ?= ? ? +? ? ? + + +? ? + + + +? ? ? ?（8） 115 其中 h是 huber 损失函数的参数，取值较小（2h ） 。将 1huberH 与 2huberH 相加得到非凸的但是可微的损失函数 ( ),huberhH z ： / - 5 - 中国科技论文在线( ) (
20、) ( )( ) ( )( )( )( ) ( ), 1 2211 1 121 1 11 222 2 222 2 222,2 2 ,0,2 2 ,huber huber huberhH z H z H zh z hzz h zhz zzz zzz z hhh z h = +? + ? ? ? ? ? ? ? ? + ? ? ? ? ? ? ? ? ? ? ? ? ?= ? ? ? +? ? ? ? + ? + + +? ? ? + + +?（9） 当 0h 时， ( ) ( ),huberhH z H z 。将（9）式代入（6）式得： ( ) ( ) ( )( )1 211min2NT huber huberi iiL K C H z H z = + + （10） 其中 Ti i iz K y= ? 120 图 1. 光滑非凸的损失函数 Fig 1. The smooth and non-convex loss functions 对于式（10） ，不能使用凸优化技术解决，但是，我们可以利用凹凸的程序（ concave 125 convex procedure,CCCP）能够变换目标函数式（10）转化成一个严格凸的、光滑的的损失函
