1、支持向量机算法推导及其分类的算法实现摘要：本文从线性分类问题开始逐步的叙述支持向量机思想的形成，并提供相应的推导过程。简述核函数的概念，以及 kernel 在 SVM 算法中的核心地位。介绍松弛变量引入的 SVM 算法原因，提出软间隔线性分类法。概括 SVM 分别在一对一和一对多分类问题中应用。基于 SVM 在一对多问题中的不足，提出SVM 的改进版本 DAG SVM。Abstract：This article begins with a linear classification problem, Gradually discuss formation of SVM, and their d
2、erivation. Description the concept of kernel function, and the core position in SVM algorithm. Describes the reasons for the introduction of slack variables, and propose soft-margin linear classification. Summary the application of SVM in one-to-one and one-to-many linear classification. Based on SV
3、M shortage in one-to-many problems, an improved version which called DAG SVM was put forward.关键字：SVM、线性分类、核函数、松弛变量、DAG SVM1. SVM 的简介支持向量机(Support Vector Machine)是 Cortes 和 Vapnik 于 1995 年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的 VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂
4、性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。对于 SVM 的基本特点，小样本，并不是样本的绝对数量少，而是与问题的复杂度比起来，SVM 算法要求的样本数是相对比较少的。非线性，是指 SVM擅长处理样本数据线性不可分的情况，主要通过松弛变量和核函数实现，是SVM 的精髓。高维模式识别是指样本维数很高，通过 SVM 建立的分类器却很简洁，只包含落在边界上的支持向量。2. 线性分类器及其求解线性分类器，是最简单也很有效的分类器形式。在一个线性分类器中，可以看到 SVM 形成的思路 ,并接触很多 SVM 的核心概
5、念。用一个二维空间里仅有两类样本的分类问题来举例。如图 1 所示 图 1 两类样本分类C1 和 C2 是要区分的两个类别，在二维平面中它们的样本如图 1 所示。中间的直线就是一个分类函数，它可以将两类样本完全分开。一般的，如果一个线性函数能够将样本完全正确的分开，就称这些数据是线性可分的，否则称为非线性可分的。很容易看出来，图 1 中间那条分界线并不是唯一的，旋转一下，只要不把两类数据分错，仍然可以达到分类的效果，稍微平移一下，也可以。对同一个问题存在多个分类函数的时候，哪一个函数更好呢？必须要先找一个指标来量化“好”的程度，通常使用分类间隔来衡量。设平面中的直线方程为：（1）(x)wbg设
6、是一个有某一对象抽取出的 n 维向量， 为分类标记，则可以定义点到某一超平面的i iy间隔：（2）(b)iiyx用 和 替代（2）式中的 w 和 b 得：|w|（3）1|(x)|iig将（3）式得到的间隔称为几何间隔，几何间隔所表示的正是点到超平面的欧氏距离，以上是单个点到某个超平面的距离定义，同样可以定义一个点的集合（就是一组样本）到某个超平面的距离为此集合中离超平面最近的点的距离。图 2 更加直观的展示出了几何间隔的含义。图 2 分割超平面图 2 中，H 是分类面，H1 和 H2 是平行于 H，且过离 H 最近的两类样本的直线，H1 与 H，H2 与 H 之间的距离就是几何间隔。几何间隔与
7、样本的误分次数间存在关系： 2()R误 差 分 数其中的 是样本集合到分类面的间隔， ，即 R 是所max|,i1.,nR有样本中向量长度最长的值。从上式可以看出，误分次数的上界由几何间隔决定。因此选择几何间隔来作为评价一个解优劣的指标，几何间隔越大的解，它的误差上界越小。因此最大化几何间隔成了我们训练阶段的目标。从（3）式可知，几何间隔与|w|是成反比的，因此最大化几何间隔与最小化|w|等价。通常不是固定|w|的大小而寻求最大几何间隔，而是固定间隔（例如固定为 1） ，寻找最小的|w|。 此时变成一个最优化问题，若想寻找一个小|w|，就可以用下面的式子表示： min|w但实际上对于这个目标，
8、常常使用另一个完全等价的目标函数来代替，如下： 21min|w如果直接来解这个求最小值问题，很容易看出当|w|=0 的时候就得到了目标函数的最小值。反映在图 2 中，就是 与 两条直线间的距离无限大，这个1H2时候，所有的样本点都位于 和 中间，而我们原本的意图是， 右侧的被12 1H分为正类， 左侧的被分为负类，位于两类中间的样本则拒绝分类。这样，所2H有样本点都进入了无法分类的灰色地带。造成这种结果的原因是在描述问题的时候只考虑了目标，而没有加入约束条件，于是可以添加约束条件：（n 是总的样本数）()b1(i,2.)iiywx于是可以将两类分类转化成数学形式，如下：（4）21min|()b
9、-0(i1,2.n)iiywx在这个问题中，自变量就是 w，而目标函数是 w 的二次函数，所有的约束条件都是 w 的线性函数，这种规划问题就是二次规划（ Quadratic Programming，QP） ，由于它的可行域是一个凸集，因此它是一个凸二次规划。样本确定了 w，用数学的语言描述，就是 w 可以表示为样本的某种组合：（5）12nxx式子中的 是拉格朗日乘子，而 是样本点，也是向量，n 就是总样本点的个i i数。为了方便描述，以下开始严格区别数字与向量的乘积和向量间的乘积，我会用 表示数字和向量的乘积，而用 表示向量 的内积。因此ix,ijx,ijx（1）式严格的形式应该是：（6）()
10、,bgww 不仅跟样本点的位置有关，还跟样本的类别有关。因此用下面这个式子表示 w：（7）12nxyxy其中的 就是第 i 个样本的标签，它等于 1 或者-1。其实以上式子的拉格朗i日乘子 中，只有很少的一部分不等于 0，这部分不等于 0 的拉格朗12,n日乘子后面所乘的样本点，其实都落在 和 上，也正是这部分样本唯一的1H2确定了分类函数。这部分可以确定分类的样本点，就叫做支持向量。因此原来的 g(x)表达式可以写为：， （8）1(x),b(),niigwyx其中， 上式可以变形为：1()niiyx（9）1(x),niigyxb此时消去了上式中的 ，问题从求 变成了求 。这样就简化了原问题的
11、w求解，以这样的形式描述问题以后，优化问题少了很大一部分不等式约束。接下来看看 SVM 在线性分类器上所做的重大改进 核函数。3. SVM 中的核函数根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难” 。采用核函数技术可以有效地解决这样问题。如图 3 所示，当分类问题在低纬空间无法用线性分类方法解决时，可以通过 将低纬空间的数据映射到高纬特征空间中，从而达到线性可分的目的。图 3 低纬度向高纬度
12、空间映射从低纬度向高纬度转化关键在于寻在一个 函数，但对目前没有一个系统的方法。对映射过程推导如下：（10）1212123123212112(,)(,)(,),(,),)(),TTTTTxxzzxxxK从上式可以得出，我们只关心高维空间里内积的值，而核函数就是接受低空间的输入，并计算出在高纬空间的内积值。 ，就是我们要找的核函(,)TKx数。如图 4图 4 在映射过程中的核函数于是上式，可以表示为 。尽管给的问题是线性不可1(x)(,)niigyKxb分的，但凡是要求内积的时候我们就选定的核函数来算。这样求出来的 再和你选定的核函数一组合，就可以得到线性分类器。但是任然存在以下两个问题：1既然
13、有很多的核函数，针对具体问题该怎么选择？2如果使用核函数向高维空间映射后，问题仍然是线性不可分的，那怎么办？第一个问题：对核函数的选择，现在还缺乏指导原则！各种实验的观察结果的确表明，某些问题用某些核函数效果很好，用另一些就很差，但是一般来讲，径向基核函数是不会出太大偏差的一种，首选。对第二个问题的解决则引出了 SVM 中的另一个概念：松弛变量。4. SVM 中的松弛变量假设有另一个训练集，只比原先这个训练集多了一个样本，映射到高维空间以后，也就多了一个样本点，但是这个样本的位置是这样的，如图 5：图 5 新增加了一个样本后分类的结果就是图中黄色那个点，它是方形的，因而它是负类的一个样本，这单
14、独的一个样本，使得原本线性可分的问题变成了线性不可分的。这样类似的问题（仅有少数点线性不可分）叫做“近似线性可分” 的问题。对于人类思维，在大量的样本基础上，可能会认为图 5 中的黄点是错误的，是噪声，会自动的剔除掉。人的思维对于噪声数据具有容错性，可程序没有。由于我们原本的优化问题的表达式中，确实要考虑所有的样本点，在此基础上寻找正负类之间的最大几何间隔，而几何间隔本身代表的是距离，是非负的，像上面这种有噪声的情况会使得整个问题无解。这种解法其实也叫做“硬间隔”分类法，因为他硬性的要求所有样本点都满足和分类平面间的距离必须大于某个值。说明硬间隔的分类法其结果容易受少数点的控制。针对硬间隔的问
15、题，解决方法也很明显，就是仿照人的思路，允许一些点到分类平面的距离不满足原先的要求。由于不同的训练集各点的间距尺度不太一样，因此用间隔（而不是几何间隔）来衡量有利于我们表达形式的简洁。原先对样本点的要求是：（11）()1(,2.)()iiywxbin是 样 本 数该式说明，离分类面最近的样本点函数间隔也要比 1 大。如果要引入容错性，就给 1 这个硬性的阈值加一个松弛变量，即允许：（12）()1(,2.)()0iiiyxbn是 样 本 数因为松弛变量是非负的，因此最终的结果是要求间隔可以比 1 小。但是当某些点出现这种间隔比 1 小的情况时（这些点也叫离群点），意味着放弃了对这些点的精确分类，
16、而这对分类器来说是种损失。但是放弃这些点也带来了好处，那就是使分类面不必向这些点的方向移动，因而可以得到更大的几何间隔。显然必须权衡这种损失和好处。得到的分类间隔越大，好处就越多。原始的硬间隔分类对应的优化问题：（13）21min|.()b-10(i,2.n)iiwSTyx就是目标函数，希望它越小越好，因而损失就必然是一个能使之变大的量2|。那如何来衡量损失，有两种常用的方式，或者两种方法没有大的区别。如果选择了第一种，得到的方法的就叫做二阶软间隔分类器，第二种就叫做一阶软间隔分类器。把损失加入到目标函数里的时候，就需要一个惩罚因子，原来的优化问题就变成了下面这样：（1421min|.()b1
17、(i,2.n)0iiwSTyx）这个式子有这么几点要注意：一是并非所有的样本点都有一个松弛变量与其对应。实际上只有“离群点”才有，没离群的点松弛变量都等于 0。二是松弛变量的值实际上标示出了对应的点到底离群有多远，值越大，点就越远。三是惩罚因子 C 决定了你有多重视离群点带来的损失，显然当所有离群点的松弛变量的和一定时，定的 C 越大，对目标函数的损失也越大，此时就暗示着不愿意放弃这些离群点，最极端的情况是你把 C 定为无限大，这样只要稍有一个点离群，目标函数的值马上变成无限大，马上让问题变成无解，这就退化成了硬间隔问题。四是惩罚因子 C 不是一个变量，整个优化问题在解的时候， C 是一个你必
18、须事先指定的值。五是尽管加了松弛变量这么一说，但这个优化问题仍然是一个优化问题，解的过程比起原始的硬间隔问题来说，没有任何更加特殊的地方。从大的方面说优化问题解的过程，就是先试着确定一下 w，也就是确定了前面图中的三条直线，这时看看间隔有多大，又有多少点离群，把目标函数的值算一算，再换一组三条直线，再把目标函数的值算一算，如此往复（迭代），直到最终找到目标函数最小时的 w。松弛变量也就是个解决线性不可分问题的方法罢了，核函数的引入不也是为了解决线性不可分的问题么？为什么要为了一个问题使用两种方法呢？其实两者还有微妙的不同。一般的情况下，在原始的低维空间中，样本相当的不可分，无论怎么找分类平面，
19、总会有大量的离群点，此时用核函数向高维空间映射一下，虽然结果仍然是不可分的，但比原始空间里的要更加接近线性可分的状态，此时再用松弛变量处理那些少数“冥顽不化”的离群点，就简单有效得多了。至此一个比较完整的支持向量机框架就有了，简单说来，支持向量机就是使用了核函数的软间隔线性分类法。5. 惩罚因子和数据偏斜偏斜问题，也叫数据集偏斜（unbalanced），它指的是参与分类的两个类别（也可以指多个类别）样本数量差异很大。比如说正类有 10，000 个样本，而负类只给了 100 个，这会引起的问题显而易见，如图 7：图 6 数据集偏斜现象方形的点是负类。H，H1，H2 是根据给的样本算出来的分类面，
20、由于负类的样本很少很少，所以有一些本来是负类的样本点没有提供，比如图 7 中两个灰色的方形点，如果这两个点有提供的话，那算出来的分类面应该是 H，H2和 H1，他们显然和之前的结果有出入，实际上负类给的样本点越多，就越容易出现在灰色点附近的点，算出的结果也就越接近于真实的分类面。但现在由于偏斜的现象存在，使得数量多的正类可以把分类面向负类的方向“推”，因而影响了结果的准确性。解决数据集偏斜问题的方法之一就是在惩罚因子上作文章，那就是给样本数量少的负类更大的惩罚因子，表示我们重视这部分样本，因此我们的目标函数中因松弛变量而损失的部分就变成了： 110PPijjpiC（15）其中 i=1p 都是正
21、样本，j=p+1p+q 都是负样本。那 和 怎么确定呢？它C们的大小是试出来的（参数调优），但是他们的比例可以有些方法来确定。但是这样并不够好，如图 6，发现正类之所以可以“欺负”负类，其实并不是因为负类样本少，真实的原因是负类的样本分布的不够广（没扩充到负类本应该有的区域）。比如，现在想给政治类和体育类的文章做分类，政治类文章很多，而体育类只提供了几篇关于篮球的文章，这时分类会明显偏向于政治类，如果要给体育类文章增加样本，但增加的样本仍然全都是关于篮球的。虽然体育类文章在数量上可以达到与政治类一样多，但过于集中了，结果仍会偏向于政治类！所以给 和 确定比例更好的方法应该是衡量他们分布的程度。
22、比如可C以算算他们在空间中占据了多大的体积，例如给负类找一个超球，它可以包含所有负类的样本，再给正类找一个超球，比比两个球的半径，就可以大致确定分布的情况。显然半径大的分布就比较广，就给小一点的惩罚因子。 6. SVM 的改进 DAG SVMSVM 是一种典型的两类分类器,而现实中要解决的问题，往往是多类的问题，比如文本分类，数字识别。如何由两类分类器得到多类分类器，就是一个值得研究的问题。以文本分类为例，现成的方法有很多，其中一种一劳永逸的方法，就是真的一次性考虑所有样本，并求解一个多目标函数的优化问题，一次性得到多个分类面，就像下图这样： 图 7 对任意两个类构建一个分类器多个超平面把空间
23、划分为多个区域，每个区域对应一个类别，给一篇文章，看它落在哪个区域就知道了它的分类。这样一次性求解的方法计算量实在太大，大到无法实用的地步。“一类对其余”的方法，就是每次仍然解一个两类分类的问题。比如有 5个类别，第一次就把类别 1 的样本定为正样本，其余 2，3，4，5 的样本合起来定为负样本，这样得到一个两类分类器，它能够指出一篇文章是还是不是第 1类的；第二次我们把类别 2 的样本定为正样本，把 1，3，4，5 的样本合起来定为负样本，得到一个分类器，如此下去，可以得到 5 个这样的两类分类器。这种方法的好处是每个优化问题的规模比较小，而且分类的时候速度很快。但有时也会出现两种很尴尬的情
24、况，例如拿一篇文章每一个分类器都说它是属于它那一类的，或者每一个分类器都说它不是它那一类的，前者叫分类重叠现象，后者叫不可分类现象。对于分类重叠倒，随机选一个结果都不至于太离谱，或者看看这篇文章到各个超平面的距离，哪个远就判给哪个。不可分类现象就着实难办了，只能把它分给第 6 个类别了，本来各个类别的样本数目是差不多的，但“其余”的那一类样本数总是要数倍于正类，这就人为的造成了“数据集偏斜”问题。 再退一步，还是解两类分类问题，还是每次选一个类的样本作正类样本，而负类样本则变成只选一个类，这就避免了偏斜。因此过程就是算出这样一些分类器，第一个只回答“是第 1 类还是第 2 类”，第二个只回答“
25、是第 1 类还是第 3 类”，第三个只回答“是第 1 类还是第 4 类”，如此下去，可以马上得出，这样的分类器应该有 5 X 4/2=10 个。虽然分类器的数目多了，但是在训练阶段所用的总时间却比“一类对其余”方法少很多，在真正用来分类的时候，把一篇文章扔给所有分类器，第一个分类器会投票说它是“1”或者“2”，第二个会说它是“1”或者“3”，让每一个都投上自己的一票，最后统计票数，如果类别“1”得票最多，就判这篇文章属于第 1 类。这种方法显然也会有分类重叠的现象，但不会有不可分类现象，因为总不可能所有类别的票数都是 0。这还是类别数为 5 的时候，类别数如果是 1000，要调用的分类器数目会
26、上升至约 500,000 个。再退一步，还是像一对一方法那样来训练，只是在对一篇文章进行分类之前，先按照图 8 的样子来组织分类器图 8 DAG SVM 训练方法这样在分类时,就可以先问分类器“1 对 5”，如果它回答 5，就往左走，再问“2 对 5”这个分类器，如果它还说是“5”，就继续往左走，这样一直问下去，就可以得到分类结果。优点是，只调用了 4 个分类器，分类速度快，且没有分类重叠和不可分类现象！缺点是，假如最一开始的分类器回答错误，那么后面的分类器是无论如何也无法纠正它的错误的，其实对下面每一层的分类器都存在这种错误向下累积的现象。DAG 方法好于它们的地方就在于，累积的上限，不管是
27、大是小，总是有定论的，有理论证明。而一对其余和一对一方法中，尽管每一个两类分类器的泛化误差限是知道的，但是合起来做多类分类的时候，误差上界是多少，无法知道，这意味着准确率低到 0 也是有可能的。而且现在 DAG 方法根节点的选取，也有一些方法可以改善整体效果，我们总希望根节点少犯错误为好，因此参与第一次分类的两个类别，最好是差别特别特别大，大到以至于不太可能把他们分错；或者就总取在两类分类中正确率最高的那个分类器作根节点，或者我们让两类分类器在分类的时候，不光输出类别的标签，还输出一个类似“置信度”等。 参考文献1. Bahlmann C, Haasdonk B, Burkhardt H. O
28、nline handwriting recognition with support vector machines-a kernel approachC/Frontiers in Handwriting Recognition, 2002. Proceedings. Eighth International Workshop on. IEEE, 2002: 49-54.2. Mandel M I, Ellis D P W. Song-level features and support vector machines for music classificationC/ISMIR 2005:
29、 6th International Conference on Music Information Retrieval: Proceedings: Variation 2: Queen Mary, University of London & Goldsmiths College, University of London, 11-15 September, 2005. Queen Mary, University of London, 2005: 594-599.3. Chen P, Liu S. An improved dag-svm for multi-class classifica
30、tionC/Natural Computation, 2009. ICNC09. Fifth International Conference on. IEEE, 2009, 1: 460-462.4. Xuegong Z. Introduction to statistical learning theory and support vector machinesJ. Acta Automatica Sinica, 2000, 26(1): 32-42.5. Joachims T. Making large scale SVM learning practicalJ. 1999.6. Cri
31、stianini N, Shawe-Taylor J. An introduction to support vector machines and other kernel-based learning methodsM. Cambridge university press, 2000.7. Niebles J C, Wang H, Fei-Fei L. Unsupervised learning of human action categories using spatial-temporal wordsJ. International Journal of Computer Visio
32、n, 2008, 79(3): 299-318.8. Deselaers T, Pimenidis L, Ney H. Bag-of-visual-words models for adult image classification and filteringC/Pattern Recognition, 2008. ICPR 2008. 19th International Conference on. IEEE, 2008: 1-4.9. Bergman S. The kernel function and conformal mappingM. AMS Bookstore, 1970.10. Sahami M, Heilman T D. A web-based kernel function for measuring the similarity of short text snippetsC/Proceedings of the 15th international conference on World Wide Web. ACM, 2006: 377-386.
