1、1统计学习基础卿来云中国科学院研究生院信息学院 /2概率 vs. 统计概率：研究随机事件出现的可能性的数学分支，描述非确定性的正式语言基本问题：给定以一个数据产生过程，输出的性质? 统计推断：处理数据分析和概率理论的数学分支，与数据挖掘和机器学习是近亲基本问题：给定输出数据，该数据的产生过程?数据产生过程 观测到的数据概率统计推断3统计学习统计学 根据数据进行推理的学科统计学习 多元统计分析 + 计算统计学多元统计分析 基于一个多元变量数据集，预测函数值计算统计学 统计问题的计算方法 (a.k.a. 统计计算) + 计算繁重的统计方法数据挖掘 研究数据分析，尤其是大数据量/复杂的数据集4学习的
2、主要目的：预测通过学习，得到训练数据的某种模型然后利用该模型，预测未见过的测试数据假设测试数据与训练数据来自相同分布5统计学习的任务概率密度估计：预测概率密度回归：预测连续目标变量的值分类：预测离散目标变量的值其他：聚类、降维有监督/无监督学习有监督学习：回归、分类无监督学习：概率密度估计、聚类、降维6统计学习的主要部分模型类别参数模型、非参数模型损失函数L2损失、0-1损失、log似然损失推广性训练误差（学习）、测试误差（预测）优化计算7例：回归数据产生过程为加上 的高斯噪声目标：用多项式模型拟合 ，使得最小。()0.50.4sin(2)Fx x=+0.5s=01 0(,)f MM jjjx
3、wwwxwxwx=+ L()Fx()( )211 ,2empR fn i ii xwy= 8例：回归（续）Fig1(a)1阶多项式拟合 Fig1(b)3阶多项式拟合拟合函数样本数据点9例：回归（续）Fig1(d)训练误差和测试误差 Fig1(c)10阶多项式拟合10例：人脸形状ICV201: Learnig inhom genous Gibs m odels of aces by m inim ax entropy( )() ()()1,1;, exp , Kj jj xypIF FIxyZF = = 11一些问题怎样表示误差？（损失函数）怎样保证在未来的数据集上误差最小？（推广性）对特定的数
4、据，应该选择哪个模型/方法？（模型选择、假设检验）我们的方法在未来数据集上的误差是多少？（误差估计、置信带、学习理论）12课程目的为计算机专业的学生快速提供广泛的概率和统计背景概率统计统计学习为学习其他课程打好统计学基础机器学习数据挖掘模式识别人工智能13数学基础的重要性研究数据分析必须打好概率和统计基础Using fancy tols like nural nets, bosting and uport vetr machis without ndertig basic statistics like doing brain srgry before knowing how to us a
5、d-id.14教材/参考书AOL ary Waserman, Al of Statistics: A Concise Course in Statisticl Infernc中译本：统计学完全教程主要教材：内容很全，但有些部分篇幅略少，更偏向于从统计的角度讲述Chp1-3, Chp20ESL Trevor Hastie, Robert Tibshirani, Jerome Friedman，The lemnts f Sttitical Larnig Dt Minig, Infrce, d Prdictio中译本：统计学习基础数据挖掘、推理与预测统计学习部分的主要教材：主要从机器学习的角度讲述Chp1-7PRML Bishopr，Patern Recogniton ad Machine Larnig15课程内容（1）第一部分：概率随机变量及其概率分布概率不等式和收敛性第二部分：统计推断统计推断基本知识非参数估计、Botstrap、Jacknife参数估计假设检验16课程内容（2）第三部分：统计学习统计学习概述线性回归核方法统计判决理论模型选择和模型评估17作业和考试助教：池晨 chienjdl.ac.n作业：40%每次作业留2周时间请按时交作业，鼓励讨论，但NO CPY期末考试： 60%，开卷
