1、机器学习的模型评估与选择,泛化误差 vs 经验误差,泛化误差：在“未来”样本上的误差 经验误差：在训练集上的误差，亦称“训练误差”,训练数据,模型,新样本数据,新样本属于什么类别？,过拟合 vs 欠拟合,模型选择,三个关键问题： 如何获得测试结果 评估方法 如何评估性能优劣 性能度量 如何判断实质差别 比较检验,评估方法,关键：怎么获得“测试集”？ 原则：测试集与训练集“互斥”常见方法： 留出法（hold-out） 交叉验证法（cross validation） 自助法（bootstrap）,留出法,保持数据分布一致性（例如：分层采样） 多次重复划分（例如：100次随机划分） 测试集不能太大、
2、不能太小（例如：1/51/3）,K-折交叉验证法,当K=m时，则得到“留一法”（leave-one-out, LOO）,自助法,基于“自助采样”（bootstrap sampling） Pull up by your own bootstraps 有放回采样、可重复采样 训练集与原样本集同规模 数据分布有所改变 约有36.8%的样本不出现,包外估计：out-of-bag estimation,模型选择,三个关键问题： 如何获得测试结果 评估方法 如何评估性能优劣 性能度量 如何判断实质差别 比较检验,性能度量,性能度量（performance measure）是衡量模型泛化能力的评价标准，反映
3、了任务需求 使用不同的性能度量往往会导致不同的评判结果 什么样的模型是“好”的，不仅取决于算法和数据，还取决于任务需求。,性能度量,回归任务分类任务 错误率与精度 查准率、查全率与F1 ,回归模型评估有三种方法，分别是：平均绝对值误差、均方误差和R平方值 （1）平均绝对误差（MAE）就是指预测值与真实值之间平均相差多大（2）均方误差是指参数估计值与参数真值之差平方的期望值，记为MSE。值越小，说明预测模型描述实验数据具有更好的精确度。（3）R平方值，表征回归方程在多大程度上解释了因变量的变化，或者说方程对观测值的拟合程度如何,性能度量错误率与精度,错误率精度,性能度量查准率与查全率,查准率：p
4、recision，准确率，P 预测结果中是正例的比率 查全率：recall，sensitivity, 召回率， R 所有的正例中被正确预测出的比列,True Positive Rate, TPR, (Sensitivity) True Negative Rate, TNR, (Specificity) Positive Predictive Value, PPV False Positive Rate, FPR False Negative Rate, FNR False Discovery Rate, FDR,PR图： 学习器A优于学习器C 学习器B优于学习器C 学习器A？学习器B,平衡点
5、(BEP) （Break-Even Point, ） 学习器A优于学习器B 学习器A优于学习器C 学习器B优于学习器C,性能度量F1度量,性能度量ROC与AUC,https:/ 个体学习器间存在强依赖关系，必须串行生产的序列化方法： Boosting 个体学习器间不存在强依赖关系，可同时生成的并行化方法：Bagging and Random Forest,集成学习随机森林,Bagging 策略 bootstrap aggregation从样本集中重采样(有重复的)选出n个样本 在所有属性上，对这n个样本建立分类器(ID3、C4.5、CART、SVM、Logistic回归等) 重复以上两步m次，即获得了m个分类器 将数据放在这m个分类器上，最后根据这m个分类器的投票结果，决定数据属于哪一类,随机森林在bagging基础上做了修改。 从样本集中用Bootstrap采样选出n个样本； 从所有属性中随机选择k个属性，选择最佳分割属性作为节点建立CART决策树； 重复以上两步m次，即建立了m棵CART决策树 这m个CART形成随机森林，通过投票表决结果，决定数据属于哪一类,投票机制,简单投票机制 一票否决(一致表决) 少数服从多数 有效多数(加权) 阈值表决 贝叶斯投票机制,但也可以使用SVM、Logistic回归等其他分类器，习惯上，这些分类器组成的“总分类器”，仍然叫做随机森林。,
