1、基于支持向量机的模式识别,一、核函数的简介 二、算例研究三、支持向量机的优点四、SVM的缺点,核函数的简介,在SVM中低维空间向量集通常难于划分，解决的方法是将它们映射到高维空间。但这个办法带来的困难就是计算复杂度的增加，而核函数正好巧妙地解决了这个问题。也就是说，只要选用适当的核函数，就可以得到高维空间的分类函数。在SVM理论中，采用不同的核函数将导致不同的SVM算法。,将低维的输入空间数据通过非线性映射函数映射到高维属性空间，将分类问题转化到属性空间进行. 可以证明，如果选用适当的映射函数，输入空间线性不可分问题在属性空间将转化为线性可分问题. 核函数映射输入空间 特征空间,这种非线性映射
2、函数被称之为核函数(Kernel Function). 从理论上讲，满足 Mercer 条件的对称函数 , 都可以作为核函数.,目前使用较多的核函数有 4种:,1.线性函数： 2.多项式核函数：3.多层感知器核函数：4. RBF 核函数：,具体应用 SVM 的步骤为：选择适当的核函数求解优化方程，获得支持向量及相应的 Lagrange 算子写出最优分界面方程.,算例研究,对于线性可分情况，设已知两类样本， 和 解： 经学习得到最优分类曲线：有式子可以得出如下图形：,图1 线性可分时的最优分类曲线 从图 1中看出，分类线不仅准确地将两类样本分开，还保证了间隔最大.,对于线性不可分情况,设已知两类
3、样本,和从样本点的分布看，选择二阶多项式核函数较为合理.此时，分类函数为：任选一支持向量 ，由,由 得：经计算，本算例的最优分类曲线为：其图形如下图2所示：,图2 线性不可分时的最优分类曲线 图3 BP网络实现的分类曲线 与 BP 神经网络(网络结构 241)实现的分类面(图 3)相比较，SVM 所构造的分类面更简单且具有合理性，并不受权值初值和网络结构的影响，因而具有更好的稳定性.,支持向量机方法的优点,支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accuracy)和学习能力(即无错误地识别任意样本的
4、能力)之间寻求最佳折衷，以期获得最好的推广能力(Generalizatin Ability)。支持向量机方法的几个主要优点有：,SVM的缺点,SVM在分类、 函数模拟等领域中的作用越来越明显.统计学习理论虽然已经提出多年 ,但从他发展到完善也就是几年时间 ,还有很多缺欠.因而在此基础上发展的 SVM 必然存在很多问题.主要有以下三点：,支持向量机的研究现已成为机器学习领域中的研究热点. 然而，由于该方向的研究时间较短，还存在一些问题，诸如核函数的映射空间，优化规模等. 从目前的情况看，可行的研究方向包括针对某一具体对象的应用，如：故障诊断、说话人识别等；先验知识的引入，前面介绍的 SVM 设计中，基本上没有考虑研究对象的特点，这显然是一种资源上的浪费；噪声信号的处理，由 SVM 实现的,分类面仅由支持向量决定，因此，造成对支持向量的过分依赖，如果某一些支持向量为噪声，其分类效果将急剧下降；样本的初选，由于矩阵 元素的个数与样本的数量的平方成正比，因此过多的样本必将造成内存和时间的巨大开销，这就有必要对样本进行必要的预处理. 总之，SVM 作为一个新的研究方向，还有许多方面值得我们去探索和研究.,
