统计学习理论和SVM支持向量机

1、代智能技术的一个重要方面。
研究对象： 现实世界中，大量的，目前无法准确认识，但可以观测的事物，由观测数据表征。
研究目的： 利用观测数据，得到目前不能通过原理分析来得到的规律,规律：为各学科方向的规律。
用于分类学即模式识别 用于模型学即参数模型的辩识 用于系统控制即学习控制问题。
传统统计学 渐进理论，即样本数目趋于无穷大。
表现为：统计学中关于估计的一致性，无 偏性与估计方差的有界性,统计学习理论研究的历史,60年代，着手研究有限样本条件下的机器学习问题，研究成果为：经验风险最小化与有序风险最小化问题。
90年代，由于需要，人工神经网络用于机器学习中的问题引出：网络结构的确定问题（高维空间），过学习与欠学习问题，局部极值问题等等，统计学习理论是研究机器学习问题中更为本质的问题。
,92年提出 支持向量机， Support Vector Machine，（SVM）， 统计学习理论的一个应用模型， 其优势表现在：小样本，非线性，高维数空间的模式识别中。
可以推广到其他有关机器学习问题的应用中如：函数拟合，参数辩识，学习控制等。
,10.2 机器学习的基本问题与方法,基本问题。

2、学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。
但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。
,统计学习理论(Statistical Learning Theory 或SLT ),是一种专门研究小样本情况下机器学习规律的理论 Vladimir N. Vapnik等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展, 统计学习理论开始受到越来越广泛的重视。
,统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。
在这一理论基础上发展了一种新的通用学习方法支持向量机(Support Vector Machine或SVM )，它已初步表现出很多优于已有方法的性能。
,2,统计学习理论,经典的统计基础存在两个理论缺陷,没有对经验风险最小化原则下统计学习的一致性进行分析，不能保证经验风险的最小值(或下确界)收敛到(或依概率收敛到)期望风险的最小值(或下确界)。
大数定律描述的是一个极限过程，不对收。

3、法”等错误观点充分表明 “没有什么比一个好的理论更实用了”等基本的科学原则,8.1 概述,8.1.2 SLT & SVM的数学基础,概率论与数理统计泛函分析,“For God so loved the world that he gave his one and only Son, that whoever believes in him shall not perish but have eternal life. For God did not send his Son into the world to condemn the world, but to save the world through him.”from JOHN 3:16-17 NIV,8.1.3 SLT&SVM所坚持的“基本信念”,传统的估计高维函数依赖关系的方法所坚持的信念 实际问题中总存在较少数目的一些“强特征”，用它们的简单函数（如线性组合）就能较好地逼近未知函数。
因此，需要仔细地选择一个低维的特征空间，在这个空间中用常规的统计技术来求解一个逼近。
SLT&SVM所坚持的信。

4、知概率分布P(X,Y)， P(X,Y)反映了某种知识。
学习问题可以概括为 :根据 l个独立同分布 ( independently drawn and identically distributed )的观测样本 train set，学习到一个假设 H=f(x, w) 作为预测函数,其中 w是广义参数 .它对 P(X,Y)的期望风险 R(w)是 (即统计学习的实际风险 )：而 对 train set上 产 生的 风险 Remp(w)被称 为经验风险 (学 习 的 训练误 差 ):首先 Remp(w)和 R(w)都是 w的函数， 传统概率 论 中的定理只 说 明了 (在一定条件下 )当 样 本 趋 于无 穷 多 时 Remp(w)将 在概率意义 上 趋 近于 R(w)，却没有保 证 使 Remp(w)最小的点也能 够 使 R(w) 最小 (同步最小 )。
根据 统计 学 习 理 论 中关于函数集的推广性的界的 结论 ， 对 于两 类 分 类问题 中的指示函数集 f(x, w)的所有函数 (当然也包括使 经验风险员 小的函数 )，经验风险 Remp(w)和 实际风险 R(w)之 间至少以不下于。