1、统计机器学习(Statistical Machine Learning )卢志武中国人民大学信息学院什么是机器学习o “机器学习 是一门 人工智能 的科学，该领域的主要研究对象是人工智能，特别是 如何在经验学习中改善 具体算法的性能。 ” o “机器学习是对能 通过经验自动改进 的计算机算法的研究 。 ”o “机器学习 是 用数据或以往的经验，以此优化 计算机程序的性能标准 。 ”2什么是机器学习o 总结：n 人工智能 的重要 组成部分n 利用 经验数据改善系统自身 性能o 已广泛应用于多个领域 ;n 大数据分析n 网络 搜索n 金融市场预测n 3为什么需要机器学习？o 美国航空航天局 JPL
2、实验室的科学家在 Science （ 2001年 9月）上撰文指出： 机器学习对科学研究的整个过程正起到越来越大的支持作用， ，该领域在今后的若干年内将取得稳定而快速的发展o Machine learning forms the core of may present-day AI applicationsn Gary Anthes, Future Watch: AI comes of age, , 2009.1.264为什么需要机器学习？p 2004年，机器学习被 MIT Technology Review 列入 10 Emerging Technologies that will Chan
3、ge Your Worldp 2010年度图灵奖授予机器学习理论创始人 、哈佛大学 Leslie Valiant教授p 2011年度图灵奖授予概率图模型奠基者 、加州大学洛杉矶分校 Judea Pearl 教授5图灵奖连续两年颁发给机器学习先驱开创者深度学习与机器学习 o 深度学习（ deep learning）是机器学习领域中一系列试图使用多重非线性变换对数据进行多层抽象的 算法， 本质上是机器学习中特征 学习方法的 一类 。o 至今已有多种深度学习 框架： 深度神经网络，卷积神经网络，深度 信念 网络 。o 已 被应用 于多个领域： 计算机视觉，语音识别，自然语言处理 。6大数据与机器学习
4、o 机器学习 几乎无处不在，即便我们没有专程调用 它，也 经常出现在大数据 应用中。机器学习对大数据 应用的 贡献主要体现 在：n 促进 数据科学家们的多产 性n 发现 一些被忽视的 方案o 上述价值来自 于机器学习的核心功能 ： 让 分析算法无需人类干预和显式程序即可对最新数据进行学习 。这就允许 数据科学家们根据典型数据集创建一个模型，然后利用算法自动概括和学习这些范例和新的数据源。78机器学习示例SARS RiskAgeGenderBlood PressureChest X-RayPre-Hospital AttributesAlbuminBlood pO2White Count RBC
5、 CountIn-Hospital Attributes9Books and Referenceso 主要参考书n 李航， 统计学习方法 ，清华大学出版社， 2012. o 其他参考书n 米歇尔著，曾华军等译， 机器学习 ，机械工业出版社，2008n 迪达等著，李宏东等译， 模式分类 （第 2版），机械工业出版社， 200310提 纲o 机器学习方法概述o 贝叶斯决策理论 Bayesian Decision Theoryo 常见统计学习方法o 机器学习的难题与挑战o 附录：n 1、参考资料n 2、代表性机器学习开发包介绍11一、统计学习方法概述12机器学习的发展o机器学习 =神经科学与认知科学
6、 +数学 +计算平凡解问题James(19世纪末 )：神经元相互连接McCulloch, Pitts(20世纪中期 ):“兴奋 ”和 “抑制 ”Hebb(20世纪中期 ):学习律神经科学Barlow：功能单细胞假设 Hebb：神经集合体假设Rosenblatt：感知机（ 1956）Rumelhart： BP（ 1986）PAC (Valiant 1984)Schapire：弱学习定理（ 1990）Freund： AdaBoost（ 1996）线性不可分问题（Minsky 1969）Vapnik： SVM（ 1991）有限样本统计理论线性空间表示？i.i.d问题一致性假设30年Widrow： M
7、adline（ 1960）Samuel：符号机器学习机器学习研究历程？泛化理论王珏 ,机器学习研究回顾与趋势 ,2004.9学习系统的一般模型System Input Variables:Hidden Variables:Output Variables:15机器学习的基本问题和方法o 机器学习n 根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它能够对未知输出作出尽可能准确的预测。o 机器学习问题的表示n 根据 n个 独立同分布 观测样本确定预测函数 f(x,w)。n 在一组函数 f(x,w)中求一个最优的函数 f(x,w0)对依赖关系进行估计，使 预测的期望风险最小 。环境 学习
8、环节 知识库 执行环节Simon的学习模型16学习问题的一般表示o 学习目标n Given an i.i.d. l-sample z1, zl drawn from a fixed distribution F(z)n For a function class loss functions Q(z,), with in n We wish to minimize the risk, finding a function *n In the case of equal risk, it becomes to minimize the error ratio.o 相关概念n 损失函数 loss f
9、unction (L, Q)： the error of a given function on a given examplen 风险函数 risk functional (R)： the expected loss of a given function on an example drawn from F(x,y) 17学习问题的一般表示o 学习的目的在于 使期望风险最小化 。由于可利用的信息只有样本，期望风险往往无法计算。o 经验风险最小化归纳原则 (The Empirical Risk Minimization (ERM) Inductive Principle)n 核心思想：用样本
10、定义经验风险。n Define the empirical risk (sample/training error):n Define the empirical risk minimizer:n Least-squares and Maximum-likelihood are realisations of ERM18ERM准则与统计学习理论的发展o 经验风险最小并不意谓着期望风险最小 ! n 例子：神经网络的 过学习 问题。n 训练误差小并不总能导致好的预测效果 . 若对有限的样本来说学习能力过强，足以记住每个样本，此时经验风险很快就可以收敛到很小甚至零，但却根本无法保证它对未来样本能给出
11、好的预测 . o 需要建立在小样本情况下有效的学习方法n 小样本条件下的统计学习理论n 支持向量机 (SVM)Why Learning is Difficult?o Given a finite amount of training data, you have to derive a relation for an infinite domaino In fact, there is an infinite number of such relationso . the hidden test points.19Learning as a Search Problem2021三类基本的机器学
12、习问题 (1)o 模式分类问题 ：输出 y是类别标号，两类情况下 y=1,-1，预测函数称作指示函数 (Indicator Function)，损失函数定义见下式，使期望风险最小就是 Bayes决策中使错误率最小。22三类基本的机器学习问题 (2)o 回归问题 ：输出 y是连续变量，它是 x的函数，损失函数定义见下式 :23三类基本的机器学习问题 (3)o 概率密度估计问题 ：根据训练样本确定 x的概率分布p(x,w)，则损失函数可定义为 :24统计学习 的基本 方法o有监督 /无监督 学习n 有监督 (Supervised)：分类、回归n 无监督 (Unsupervised)：概率密度估计、
13、聚类、降维n 半监督 (Semi-supervised)： EM、 Co-trainingo其他学习方法n 增强学习 (Reinforcement Learning)n 多任务学习 (Multi-task learning)25有监督学习o 标定的训练数据o 训练过程：根据目标输出与实际输出的误差信号来调节参数o 典型方法n 全局： BN, NN,SVM, Decision Treen 局部： KNN、 CBR(Case-base reasoning)S(x)=0Class AS(x)1?n Boosting： 结合低性能学习模型来产生一个强大的分类器组n Bagging： 结合多个不稳定学习模型来产生稳定预测n 主动学习 (Active learning)： 主动选择训练样本
