1、培养单位： 数学与计量经济学院专 业名称： 概率论与数理统计论文提交日期： 2011年04月18日论文答辩日期： 2011年05月28日答辩委员会主席： 杨湘豫教授嚏p，b55e；r卜r，L|，lk|l鼍jSome Weighted Support Vector Machine and ItsApplicationsLIAO MingBS(China University of Mining And Technology)2008A thesis submitted in partial satisfaction of theRequirements for the degree ofMast
2、er of ScienceProbability Thoery and Mathematical Statisticsin theGraduate SchoolofHunan UniversitySupervisorProfe!ssor LU0 HanApril，20116哪0叭0帆7，0m9ii-叭Y湖南大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作
3、者签名： 镢咄J 醐叫1年7日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于1、保密口，在年解密后试用本授权书。2、不保密酗(请在以上相应方框内打“)作者签名：导师签名： 嚣20Ila群罗昌日期： 年r月毋日硕士学位论文摘 要支持向量机(Support Vector Machine，SVM)是Vapnik等人于1995年首次提出的，它在解决小
4、样本、非线性及高维模式识别中表现出许多特有的优势其主要思想是将向量映射到一个更高维的空问里，在这个空间里建立一个最大间隔超平面本文首先介绍了所研究问题的背景以及支持向量机的理论基础，主要是统计学习理论，包括学习过程的一致性，边界理论和结构风险最小化原理等内容，然后给出了最基本的支持向量机算法接着我们讨论了各种衍生的支持向量算法，通过比较各种衍生的支持向量机算法的优缺点，为改进支持向量机算法以及提出新的支持向量机算法做了理论准备在实际应用中，某些样本比较重要，我们更希望它能够被正确分类，而某些样本相对来说没那么重要，因此，在建立分类模型时，对重要的样本点采用较大的惩罚系数，对相对来说不那么重要的
5、样本采用较小的惩罚系数，以期得到更符合实际的分类模型，我们称这种支持向量机为加权支持向量机，其实普通支持向量机也可以看作是所有惩罚系数都为1的特殊的加权支持向量机现在的加权支持向量机主要是指加权DSVM而我们又想利用各种衍生的支持向量机算法的优点，因此在第四章，我们主要讨论了各种衍生的支持向量机的加权方法Onclass SVM主要用于解决单分类问题，比如说异常点的寻找，现在我们把该方法应用到多分类问题，通过引入归属度这个概念，该方法是可以应用到多分类问题的，我们在第五章给出了具体的操作方法第六章是算法验证，我们通过调整训练样本中两类样本的数量比，我们首先使用基本的支持向量机算法进行计算，然后对
6、数量偏少的样本赋予更大的惩罚系数，用加权的支持向量机对其进行训练最终我们发现加权支持向量机相对于基本的支持向量机还是具有一定的优越性本文的第一个主要工作是将加权的思想应用到各种衍生的支持向量机算法中去本文第二个主要工作是将用于解决单分类类问题的Onclass SVM的应用范围扩大，将该方法推广应用到多分类问题关键词：支持向量机；变型公式加权；统计学习理论；IIAbstractThe support vector machine(SVM)was pointed out by Vapnik for the firsttime in 1995SVM has a lot of unique perfo
7、rmance advantages in solving the smallsample，nonlinear and high dimensional pattern recognition problemIts basicprinciple is to find a linear classifier between two groups of samples to distinguishthem while ensure the distance between two groups of samples is largestIn the first，we provide backgrou
8、nd of our problemsThen we introduce thetheoretical basis of support vector machine，including learning process consistency,boundary theory and structural risk minimization principle，etcThen give thebasic algorithm of support vector machineThen we discussed various derivativesupport vector algorithmBy
9、 comparing the advantages and disadvantages of various derivative supportvector machine methodswe have the theoretical preparations for the propose of new support vectormachine or to improve the algorithm of support vector machinein practical application，Some samples are more important，We hope they
10、canbe classified correctly,while Some samples are relatively less important，Therefore，We use different punishment coefficient in the optimization problem to get moreaccurate classificationWe call this kind of support vector machine for weightedsupport vector machine(WSVM)And we also want to use vari
11、ous derivative of theadvantages of support vector machine(SVM)methodSo in the fourth chapter，W，emainly discusses various derivatives of the support vector machine(SVM)whichhad weightedOne-class SVM was mainly used to slve one single classification problemforexample abnormal points searchNow we put t
12、his method applied to many classi-fication problemBy introducing the concept of ownership degrees，This methodcan be applied to many of the classification problemsin chapter 5 We are given indetail of the operating methodsThe sixth chapter is algorithm verificationWre adjust the number of two typesof
13、 training samplesWe are the first to use basic support vector machine(SVMl 7method to calculateThen we give greater punishment coefficient on smaler sample，and training itsFinally we found weighted support vector machine rela七ive tothe basic support vector machine still has certain advantagesII加权支持向
14、量机若干算法的研究及其应用The main job of this paper is to apply weighted thoughts to various derivativealgorithm of support vector machineIn addition，this paper will expand the application scope of One-class SVM，wewill use this method to solve binary classification problemKey Words：Support vector machine；deform
15、ation formula weighted；statisticallearning theory加权支持向量机若干算法的研究及其应用目 录学位论文原创性声明和学位论文版权使用授权书I摘要IIAbstract第1章绪论111机器学习的发展历史与现状l12支持向量机的概括113本文的主要工作3第2章支持向量机及其基础知识521统计学习理论522支持向量机算法模型9第3章各种变型支持向量机算法介绍1731 c-SVM算法及其变型算法系列1732 v-SVM算法及其变型算法系列2033 One-class算法及其变型算法系列2334 RSVM算法2535 LSSVM算法26第4章加权支持向量机算法2
16、841加权C-SVM算法及其变型算法系列2842加权v-SVM算法及其变型算法系列3143加权One-class SVM算法及其变型算法系列3344加权RSVM算法3545加权L孓SVM算法36第5章一种针对超球面One-class分类方法的改进算法38第6章仿真实验4361数据介绍4362实验设计4363实验结果分析4664实验结果总结47结论48参考文献49附录(本文例证部分程序代码)53致谢60硕士学位论文第1章 绪论11 机器学习的发展历史与现状J机器孥习(Machine Learning)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改
17、善自身的性能它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎【1】机器学习是人工智能研究较为年轻的分支，它的发展过程大体上可分为如下几个时期：(1)1943年，美国心理学家WSMcCulloch和数理逻辑学家WPitts从信息处理的角度，研究神经细胞行为的数学表达模型，从而建立了神经网络和数学模型，称为MP模型【23l，他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代(2)1957，FRosenblatt提出了第一个学习机器模型，称作感知机，从MP模型出发将
18、扩展为多个神经元的MP模型作为优化算法的数学基函数这标志着人们对学习过程进行数学研究的真正开始这一重大事件也是神经网络研究进入第二阶段的标志【2一(3)20世纪60 70年代就开始研究统计学习理论，到了90年代中期，随着其理论的发展和成熟，而吸引了许多学者们关注，从而推动了机器学习理论与技术的进步【45112 支持向量机的概况VVapnik于20世纪60年代就开始了统计学习理论的研究【415】VVapnik和AChervonenkis与1971年提出了一个非常重要的理论VC理论【6】这是支持向量机的核心理论基础VVapnik于1982年提出了另一个非常重要的理论结构风险最小化理论【17】，这是
19、支持向量机算法的核心理论基础VVapnik于1992年提出了最优边界分类器【8】VVapnik于1993年提出了非线性最优边界分类器其核心思想为：首先通过非线性变换将输入空间映射到一个高维特征空间，然后在这个高维特征空间中构造最优线性分类超平面【9】VVapnik于1995年完整地提出了支持向量机分类(Surpport Vector Machines)简称SVMIa,5l，该算法在文本分类、手写识别、图像分类、生物信息学领域中获得了较一1一加权支持向量机若干算法的研究及其应用好的应用支持向量机IlOl拥有一些传统方法所不具有的优点，首先支持向量机是一种有坚实理论基础的新颖的小样本学习方法该算法
20、致力于得到得Ni)U练样本下的最优解而不仅仅是样本数目趋于无穷大时的最优解这样会更加符合现实世界中样本数目有限的情况并且该算法要求最大间隔达到最大这不仅仅克服了过学习现象，而且提高了学习算法的泛化能力这方面也启发了学者们利用间隔最大化的思想来构造新的学习方法【1l，121支持向量机模型通过拉格朗日乘子法可以转化为一个凸的二次规划问题，而我们根据最优化理论，可以证明其最优解是全局最优解，而不是局部最优解正是因为如此，支持向量机模型使得人们去寻找最优化理论中大规模二次规划的其他相关算法【1315，以及寻求支持向量机变型问题中相应的数学模型的快速求解的方法【1619支持向量机利用核函数(Kernel
21、 Function)将训练样本通过非线性变换映射到高维特征空间，在高维特征空间中构造最优分类超平面，从而寻求线性决策函数，实现原空间中的非线性决策函数，克服了维数灾难问题在支持向量机机方法中，通过选择不同核函数，就可以实现不同类型的学习算法【圳对核函数的研究起步很早20l，1964年Aizerman首次将核函数引入到机器学习中来，却没有引起人们的关注，但是随着支持向量机的发展，核函数的研究开始得到人们的重视，于是引发了很多新的核算法核方法在解决非线性模式分析问题中是十分有效的，其核心思想是，核方法首先通过非线性映射将原始数据由数据空间映射到高维特征空间，然后利用通用的线性学习器在特征空间中进行
22、相应的分析和处理模式例如核主成分分析【21】、核FCM(Fuzzy c-Mean)，核独立成分分析，核Logistic回归【221，核偏最小二乘回归【231，以及核判别分析【24J，核岭回归【2526l等支持向量机的解具有稀疏性，正是因为这个特点，使得其决策速度快，决策函数很简单人们很早就开始了对稀疏性的研究，但支持向量机引起了人们去寻找传统方法的稀疏性结果支持向量机的这些优点，不仅仅使得支持向量机的应用十分广泛，而且启发了人们对于传统方法的类似研究和创新新方法完整的数学理论框架，以及不错的泛化能力，使得支持向量机在处理模式识别、和密度函数估计、回归分析等机器学习问题表现得很优秀，这就引起了大
23、家对支持向量机模型算法的研究以及把支持向量机应用到更广泛的现实生活中去的研究兴趣对于一个机器学习算法，我们不仅仅希望它模型简单、速度快而且希望它泛化能力强，但是这两方面往往是鱼与熊掌，不可兼得为了提高标准支持向量机的学习速度，我们有两种办法其一是寻求快速的二次规划求解方法，另外是对模型进行简化，利用简化变形的算法；为了提高该算法的泛化能力，我们也有不少对标准支持一2一硕士学位论文向量机进行模型变型的研究比如说模糊支持向量机(FSVM)f217】就是一种提高支持向量机泛化能力的变形算法。1965年Zadeh仓J立了模糊理论人们将模糊理论中的隶属度参数引入标准支持向量机，则形成了模糊支持向量机为了
24、改进支持向量机在处理多分类问题时存在的遗漏区间这一问题，Inoue等人改变了【281对分类决策函数的输出，把其原来的+1和一1的二值空间变成为一个实数集合，从而重新决策标准支持向量机对所有的训练样本同等对待，所以标准支持向量机对野值点和噪声点很敏感，于是Lin例等人提出了对每一个训练样本引入一个隶属度值来描述该样本对分类面的贡献，通过它对样本的错分变量进行惩罚，以提高SVM的泛化能力，形成一种新的模糊支持向量机目前的模糊支持向量机的研究大都基于此模型跚一驯，而研究的热点主要都集中于如何构造隶属度函数此$lTao等人【35删利用Ba漪ian理论提出了一些新的模糊支持向量机模型，但后续工作非常少另
25、外，当两类别的样本数量成倍数关系时，这时分类结果往往会偏向于数量较多那一类M，要解决这类问题，我们可以借助于加权支持向量机删模糊支持向量机从本质上来说是一种针对C-SVM的加权支持向量机，本文所要研究的主要内容就是将加权的思想应用到各种衍生的支持向量机算法：GSVM的二次松弛变量的加权算法，加权BSVM算法，加权v-S算法，加权Bv-SVM算法，加权One-class算法，加权超球面One-class算法加权RSVM算法，加权LS-SVM算法单分类支持向量机(One-class SVM)只是对正的(负的)样本进行训练和测试该方法通过核函数把数据映射到高维特征空间，并尽量用一个超球面来描述特征空
26、间的数据，要把大部分的数据包含在这个超球面中，球里面的数据属于正类(负类)求外面的样本则判定为负类(正类)【391该模型虽然也需要求解一个二次规划，但是因为训练样本大大减少，所以学习时间大大减少，但是也付出了整体泛化能力稍差的代价现在对于这一方法的各方面研究也有很多工作-421，但是当把该方法用于不平衡分类的问题上却可以增强较少类的分类效果，但是对于较多类的分类效果却不能保证文所作的工作即是对单类支持向量机进行了修改，以提高其泛化能力本文的最后通过一个实例证实该方法还是拥有很不错的效果。13 本文的主要工作本文首先介绍了所研究问题的背景以及支持向量机的理论基础，主要是统计学习理论，包括学习过程
27、的一致性，边界理论和结构风险最小化原理等内容，然后给出了最基本的支持向量机算法接着我们讨论了各种衍生的支持向量算法，通过比较它们各自的优缺点等情况，为提出新的支持向量机做了理论准备一3一加权支持向量机若干算法的研究及其应用在实际应用中，某些样本比较重要，我们更希望它能够被正确分类，而某些样本相对来说没那么重要，因此，在建立分类模型时，对重要的样本点采用较大的惩罚系数，对相对来说不那么重要的样本采用较小的惩罚系数，以期得到更符合实际的分类模型，我们称这种支持向量机为加权支持向量机，其实普通支持向量机也可以看作是所有惩罚系数都为1的特殊的加权支持向量机现在的加权支持向量机主要是指加权C-SVM而我
28、们又想利用各种衍生的支持向量机算法的优点，因此在第四章，我们主要讨论了各种衍生的支持向量机的加权方法One-class SVM主要用于解决单分类问题，比如说异常点的寻找，现在我们把该方法应用到多分类问题，通过引入归属度这个概念，该方法是可以应用到多分类问题的，我们在第五章给出了具体的操作方法一4一硕士学位论文第2章 支持向量机及其基础知识21 统计学习理论支持向量机(Support Vector Machine，简称SVM)是在统计学习理论(StatisticalLearning Thoery)的基础上而发展起来的一种算法Vapnik等人从二十世纪六十年代就开始了对统计学习理论的研究直到九十年
29、代，它一直是作为一种针对小样本的函数预测问题的纯理论分析工具【101九十年代中期，Vapnik和他的ATT贝尔实验小组第一次完整的提出了SVM算法SVM算法能在现有信息有限的情况下得到很好的泛化能力在统计学习理论中，学习问题可以看作是利用有限数量的观测来寻找待求的依赖关系的问题学习问题的一般模型可以用下面三个部分来描述【10】(图21)：(1)产生器(G)，产生随机向量z形，他们是从固定但未知的概率分布函数F(动中独立抽取的(2)训练器(S)，对每一个输入向量逝回一个输出值y，产生输出的根据是固定但未知的条件分布函数F(yl劫(3)学习机器(LM)，它能够实现一定的函数集厂(为Q)，OA，其中
30、A是参数集合学习的问题就是从给定的函数集厂(毛Q)，QA中选择出能够最好地逼近训练器响应的函数图21学习模型图21根据训练样本学习的一个模型在机器学习中，学习机器LM观察训练样本(为们训练得到模型，学习机器必须对任意一个输入逝回一个输出可学习的目标就是不但能够给出输出飘而且要使搬近训练器响应弘一5一加权支持向量机若干算法的研究及其应用为了得到对训练器响应最好的逼近，我们首先要确定一个标准用来度量在给定输入z下训练器响应岿学习机器响应，(为a)之间的差异或损失给定个独立同分布的样本zl匀其中玳表数据对(而们学习机器可以一般地表示为：设定义在空间z上的概率测度F(力考虑函数的集合Q(荔Q)，QA学
31、习的目标是最小化风险泛函【10l，R(Q)=Q(磊Q)dF(z)，QA (21)，其中概率测度F(力未知，但是给定了一定的独立同分布的样本zl，zl式中的Q(磊口)就是特定的损失函数由于F(力未知，直接求解使R(Q)最小化的Q是很难操作的在实际操作中，我们可以用经验风险泛函(Empirical Risk Function)来代替R(Q)： f见mp(Q)=了1Q(“) (22)从而求出使见mp(Q)最小化的函数Q(磊01)并用Q(石锄)逼近使风险泛函冗(Q)最小的函数Q(磊ao)我们称这一原则为经验风险最小化归纳原则，简称ERM原则ERM原则是非常一般性的很多传统方法，比如在回归估计问题中的最
32、J、-乘法，概率密度估计中的最大似然法，都是EMR原则的具体实现下面我们研究一个很核心的问题，对一个使经验风险最小化的学习模型，它在什么情况下能够取到最小的实际风险，而在什么情况下不能换一种说法是，下面我们要研究的是经验风险最小化学习过程一致性的充分必要条件定义211【10l设Q(磊啦)是给定的独立同分布的观测忍，zl使经验风险泛函忌mp(Q)=名1 Q(磊，Q)最小化的函数如果下面两个序列依概率收敛于同一极限，即R(at)与in，i R(Q) z- (23)Rmp(Qz)与畦infn R(a) ZOO (24)则我们说ERM原则对函数集Q(磊Q)，O八和概率分布函数F(力是一致的(图22)图
33、(22)如果期望风险冗(Q1)和经验风险忌唧(Qz)都收敛到最小可能的风险值饥，Q冗(Q)，则称学习过程是一致的定理211【10l 设函数集Q(乞a)，QA满足条件，AQ(磊Q)d，(2jB，一6一硕士学位论文in。fR(aj)图22一致性那么，EMR原则一致性的充分必要条件是：经验风险R。mp(Q)在函数集Q(磊oO，QA上在如下意义下一致收敛于实际风险冗(a)：。lira Psup(R(a)一Remp(OL)g)=0 V60 (25)-，-OQ Ot通过对这个定理的分析，我们可以看出ERlvI原则一致性的函数集中“最坏”的函数所决定的，换一种说法就是，从这个定理中，我们可以看出来，对ERM
34、原则的任何分析都一定是“最坏情况下的分析为了讨论学习过程收敛速度的界，我们引入一个概念：函数集的VC维它是一个标量值，对学习机器可用的任何函数集都可以估算这一特征定义21210 (指示函数集的VC维)一个指示函数集的VC维，是能够被集合中的函数以所有可能的2种方式分成两类向量zl，魂的最大数目h(tg即是能够被这个函数集打散的向量的最大数目)如果对任意的他，总存在一个n个向量的集合可以被函数集Q(乞Q)，aA打散，那么函数集的VC维就是无穷大定义213【10l (实函数集的VC维)设AQ(乞a)B，OLA是一个常数A和B为界得实函数集合(4可以是一o。，B可以是oo)与该函数集相应的指示函数集
35、为，(乞Q，p)=口(Q(磊Ot)一卢)，OlA，卢(A，B) (26)其中p(力为阶跃函数p(力：忆0则实函数集Q(磊Q)，OtA的VC维定义为相应的指示函数集合的VC维，其中的参数QA，卢(A，B)一7一加权支持向量机若干算法的研究及其应用统计学习理论给出T-T估计真实风险兄(口)的不等式，对于任意QT，下面的不等式以至少1一叩的概率成立：兄(口)见mp(Q)+垂(孚) (27)其中圣(譬)= (28)R唧)表示经验风险；圣(争)称为置信区间：l是样本个数；h是函数集的VC维从上述定理，我们可以很容易地发现，实际风险由两部分组成，第一部分是经验风险，第二部分是置信区间置信区间不仅仅会受到置
36、信水平1一叩的影响，而且还会受到训练样本数目和函数集VC维的影响显然，置信区间反映了经验风险和真实风险差距上界，所以也反映了学习机器的泛化能力，当训练样本数确定时，学习机器的函数集的VC维越高，即复杂性越高，则置信区间越大，因此学习机器的泛化能力越低结构风险最小化归纳原理的基本思想是：如果想要达到最小的风险，就需要权衡不等式(27)中的经验风险和置信区间，共同趋于极小此外，在获得的学习模型经验风险最小的同时，我们还希望学习模型的推广能力能够尽可能的大，这样就需要使h值尽可能的小即使得置信风险尽可能的d、101根据风险估计公式(27)，如果训练样本的数目Z固定不变，则影响风险兄(Q)的参数有两个
37、：和Rem口(口)【101其中：(1)经验风险由学习机器所工作的函数集Q(磊口)所决定，所以，我们就可以通过控制Q的大小进而达到控制经验风险的目的(2)VC维h由学习机器所工作的函数集合所确定为了控制，我们可以将函数集合结构化，建立尼与各个函数子结构之间的联系，通过控制函数结构这一方法，来实现控制VC维h的目的具体操作手法如下：首先，运用下面的方法将函数集合Q(磊口)，Q八结构化考虑函数嵌套子集的集合(图23)图23函数集的结构是由嵌套的函数子集确定的它们满足&c岛c&c (29)其中，结构元素满足下面两个性质【10】：(1)每个函数集瓯的VC维h七是有限的，因此有：1k(2)该函数集结构中的
38、任何元素鼠或者是一个完全有界函数的集合0Q(磊Q)Bk，QAh一8一硕士学位论文图23嵌套函数集或者是存在一个(P，仉)使得该函数集满足以下不等式： sup紧搿秒2(210)这种结构称为容许结构对于一个给定的训练样本zlzl，SRM原则在使风险最小的子集鼠中选择使经验风险最小的函数Q(z，Qf)SRM原则是对给定数据逼近的精度和逼近函数的复杂性的一种折衷随着子集序号佗的增加，经验风险的最小值随之减少，但是置信范围将随之增加【10ISRM原则通过选择子集瓯的方法，从而将经验风险和置信范围都考虑在内子集&的选择使得在这个子集中，最小化经验风险会得到实际风险的最小的上界【1例图24风险的界是经验风险
39、与置信范围的和随着机构元素序号n的增加，经验风险将随之减小而置信范围将随之增加最小的风险上界是在结构的某个适当的元素上取得的在下一节，我们将介绍一种基于SRM原则的具有控制泛函能力的学习机器一-SVM22 支持向量机算法模型根据上一节的分析，我们可以很容易的得到两种利用结构风险最小化归纳原理来构造学习机器的思路：(1)给定了一个函数集合Q(磊乜)，Ol)，根据上一节介绍的方法组织一个嵌套的函数结构，在每个子集中求出最小经验风险，然后比较经验风险与置信风险之和的大小选择两者和最小的子集但是，一旦子集数目比较大时，该方法就变得比较难以使用，有时甚至于几乎不可行一9一加权支持向量机若干算法的研究及其
40、应用图24真实风险(2)构造函数集Q(磊Q)，Ol)的某种结构，使得各个函数子集均可取到最小的经验风险然后，在这些子集中选择使置信风险最小的子集，也就是固定经验风险而最小化置信风险，则最优函数即为相应的函数子集中使得经验风险最小的函数支持向量机执行的是第二种策略，即保持经验风险值固定而最小化置信范围我们从考虑线性决策规则(分类超平面)开始首先，我们考虑训练数据线性可分情况下的最优分类超平面然后，我们把最优分类超平面的思想推广到不可分数据的情况利用构造最优超平面的技术，我们将描述一种新型的通用学习机器一支持向量机线性可分情况下的最优分类超平面：假定训练集(劫，玑)，(锄，犰)，zR竹，Y+1，-
41、1可以被一个超平面(“动+b=0 (211)分开而且训练集可以被超平面没有错误地分开，则我们称训练数据是线性可分的如果距离超平面最近的向量与超平面之间的距离达到了最大值，则我们说这个超平面是这个训练集的最优分类超平面显然，最优分类超平面就是满足条件：轨伽箍+6】1，i=1，z (212)一】0一硕士学位论文并且使得西(叫=II酬2 (213)最小化的超平面下面我们研究如何构造最优分类超平面，首先我们必须用系数的模最小的超平面把属于两个不同类秒-1，1)的样本集(规，Y1)，(砚，Yt)中的向量甄没有错误地分开要找到这个超平面，我们需要求解下面的二次规划问题：目标函数为：圣(叫=丢(加叫 (21
42、4)约束条件为：弘硼娩+6】1，i=1，z (215)这个优化问题求得是目标函数的最小值，解是由下面的拉格朗日泛函的鞍点给出的：跏，6Q)=主(1眇叫一窑叱讯即卅6】圹1) (216)其中哦0为拉格朗日乘子求拉格朗日函数关于伽，6的最小值以及和关于Olt0的最大值该优化问题的解Wo，bo，口。满足下面两个条件：OL(w_o百,bo,一ao)：0 a6OL(wo,bo,a。)：0Ow以显式重写这些方程，我们就可以得到最优超平面的一下特征：(1)对最优分类超平面，系数?满足： ：弘a?毪=o，嘶0o，i=1，z (217)(2)最优分类超平面是训练集中的向量的线性组合：Wo=轨O。雹，Q0o，i=
43、1，f (218)加权支持向量机若干算法的研究及其应用(3)只有支持向量可以在咖的展开式中具有非零的系数Q支持向量是那些使得不等式(212)中的等号成立的向量所以，我们可以得到下面的等式：Wo=魄。?婉，q00iSV(219)其中Sy是支持向量的集合我们是从Kuhn-Tucker条件得到这一点的根据Kuhn-Tucker条件，我们可知：a?【(伽箍)+boyi一1)=0，i=1，l (220)将tlJ|0=：1耽a?箍的代入到拉格朗日函数中，并考虑到Kuhn-，11ud(er条件，我们可以得到下面的泛函：瞅a)=啦一吉啦Qt弘耽(雹呼) (221)i=1 。i,j=l这样，初始问题就变为在非负
44、象限Oq0，i=1，Z (222)中最大化这一泛函，并服从约束条件：Zaiyi=0 (223)i=I根据(219)式，最优分类超平面是由支持向量拉和格朗日乘子决定的，所以要构造最优分类超平面，我们所需要做的就是求解一个简单的二次规划问题：在约束条件(222)和(223)式下最大化(221)设Qo=(Q2，口)为这个二次优化问题的解，则与最优分类超平面所对应的向量的模等于：II锄oll2=2W(ao)=Qt00轨弘(毪吻)ieSy基于最优分类超平面的决策函数就是以下的指示函数：，(功=sgn(弘Q?(辑，动一6) (224)ieSV其中Q?是对应的拉格朗日系数，60是常数，雹是支持向量=志龟赢y
45、(弘一喇一)一12硕士学位论文其中Sy是支持向量的集合，SSV是标准支持向量的集合，帆sy为标准支持向量数当训练样本集为线性不可分时，我们需要引入非负松弛变量已0，i=1，l此时分类超平面的最优化问题为：讪rain叛1矿w+C壹6劬，矗互 二6s亡轨(矿雹+b)1一已 (225)已0，i=1，l其中C为惩罚参数，C越大，表明对错误分类的惩罚越大，说明对错误的分类越重视采用拉格朗日乘子法求解这个二次规划向题，即己=吉IItl，I|2+c已一Qt玩(仰毪+6)一1+已】一屈已 (226)其中啦0，展0，为拉格朗日乘子，计算偏微分，并令偏微分等于零，由此得到葡OL一妻毗箍-0 (227)一OL：一l
46、 oqyi=Ob o (228)勺 。 r7凳=c-Oli屈=。 (229)将式(227)、(227)、(228)代入式(226)得到原最优问题的对偶表达式：哑n三壹吣蜊酬一plst0QC，i=1，l (230)轨锄=0最优化求解得到的Q冲，Qt的取值有三种情况：(1)口=C(2)00所以，由(232)可知已=0，因此，对任何标准支持向量，我们有：虢(协妨+b)=1进而计算参数b为b=轨一加雹=弘一阮吻辑，2NSVzj6SV我们对所有标准支持向量分别计算b的值，然后取平均，可得：6=志藏三矿(轨一zj6SV耵雹) (233)其中，SV为支持向量的集合，NSV为标准支持向量的集合，sy为标准支持向量数求出(230)的最优解口=(so，胡)，然后我们就可以找到，基于最优分类超平面的分类规则就是如下的指示函数：，(动=sgn(轨Q?(笾-动+6) (234)i6SV
