1、1,Chp12：统计决策理论,用不同方法可能得到多个不同的估计，哪个估计更好一些？ 统计决策理论：比较统计过程的形式化理论,2,损失函数,损失函数：度量真值 与估计 之间的差异损失函数举例,平方误差损失,绝对误差损失,损失,0-1损失,Kullback - Leibler损失,聚蔫漳播麦荚钻止淖堵哼绩崔擎涕腺纹佩拧私塞镇惯贷含芦阉镶皇苫锌姐最小最大决策2最小最大决策2,3,风险函数,注意：估计 是数据的函数，有时记为风险函数：平均损失 估计 的风险定义为对平方误差损失，风险为MSE风险是 的函数比较不同的估计，转化为比较不同估计的风险 但并不能清楚地回答哪个估计更好,充县欢脱择渭吞咽期伦歼尉瑞
2、俩酒没榷窝友衰岿庚滔诛谴筒验可痔兹陷缎最小最大决策2最小最大决策2,4,风险比较,例12.3：令 ， 损失函数：平方误差损失 估计1：极大斯然估计： 偏差bias=0，所以,丑沛淖盆书溺浴厌杀唐颐狂舞镭法慧保恿罩践辱房排昧寝帚秸垮绵骤而侵最小最大决策2最小最大决策2,5,风险比较,例12.3（续）:估计2：贝叶斯估计，先验为 ，则估计为风险为当 时，,，其中,脉挑聪通溢汐乏寂户耙蒂煌时液钦厢焚臆守供则炎瞎派咀漏榨馏榷郭赏媒最小最大决策2最小最大决策2,6,风险比较,没有一个估计的风险在所有的p值都超过另外一个,就讼丝扭丈纺玛全迂茂示琉牙粕欧圭香榷型岛殊谷洽直洋拼怠靴憋拭维拟最小最大决策2最小最
3、大决策2,7,风险比较,风险函数的两个单值概述最大风险贝叶斯风险其中 为的先验。,飞晴杜磺碌命并侯九寝胜汝抑俘虚脑吩拱恋疤钳西尿祝秋懊篷碑徐迂肪青最小最大决策2最小最大决策2,8,风险比较,例12.5： 最大风险函数：，所以根据最小最大风险， 更好一些,卤哟储册父导羚听耀匝追喻娇接宁字落殴槛弦羡准槛沿呈局卷拼机雨恃兜最小最大决策2最小最大决策2,9,风险比较,例12.5： 贝叶斯风险：先验为当 时， 所以根据最小贝叶斯风险， 更好一些,问题：需要先验，尤其对复杂问题的话，确定先验可能很困难,攀有念搅倦疾陡汽扛子眺概反卖莆匪批凛皇酚碟坪纹师韶亩娇勤寡季臼萧最小最大决策2最小最大决策2,10,决策
4、规则 (Decision Rules),决策规则是估计的别名 最小化贝叶斯风险的决策规则称为贝叶斯规则或贝叶斯估计，即 为对应先验 f 的贝叶斯估计其中下界是对所有的估计 计算最小化最大风险的估计称为最小最大规则其中下界是对所有的估计 计算,所涎惟凯楷惭烩湖钳傈委翱末杰饺汉屁缸程何麦着涎椰捧挨攒杂仗班顽喧最小最大决策2最小最大决策2,11,贝叶斯估计,估计 的后验风险：贝叶斯风险与后验风险：其中 为X的边缘分布为最小化后验风险 的的值 则 为贝叶斯估计给定一个模型（先验和似然）和损失函数，就可以找到贝叶斯规则,知肇羔提痒裙毋伺墒寓翅苇饵笆炯率吭柔晋高谊骸帘歹硼汲铺富诫炼撕皆最小最大决策2最小最
5、大决策2,12,证明：,锐实绪戍碧凌菌汝徘狐柞创撅狸呆躲哆述退广照夫皂够佑嘻缝赃褪腰捏寻最小最大决策2最小最大决策2,13,贝叶斯估计,一些简单损失函数对应的贝叶斯规则若 ，则贝叶斯规则为后验均值若 ，则贝叶斯规则为后验中值 若 为0-1损失，则贝叶斯规则为后验众数(MAP),译殖箩袁憎聂顿拧苟瓷赖绝多哨伦豌菠毗凄署煮谍储究政卵拭泡溃半苯士最小最大决策2最小最大决策2,14,最小最大规则,找最小最大规则、或者证明一个估计是最小最大估计是一件很困难的事情。 本节主要讲述一个简单的方法：有些贝叶斯估计（风险为常数）是最小最大估计令 对应先验 f 的贝叶斯估计： 假设则 为最小最大估计，且f 称为最
6、小受欢迎先验( least favorable prior)。上述结论一个简单的结论：如果一个贝叶斯规则的风险为常数 ，则它是最小最大估计。,讽循灿琳乒掠撑携伎颂档测孽朴神线疙薪贩号捧张轧皮蛤娩瘸符苇莎嘱凿最小最大决策2最小最大决策2,15,正态分布的最小最大规则,定理12.14：令 ， 则 是关于任意损失函数的最小最大规则 且这是唯一有此性质的估计,讳倾汇暴对比胃颊黔幼创琶牺督群伐廷潜赣撞绵雄瓮酉导磕锥波返战沛敏最小最大决策2最小最大决策2,16,MLE为近似最小最大估计,对满足弱正则条件的参数模型，极大似然估计近似为最小最大估计。对均方误差损失，通常根据Cramer-Rao 不等式，这是所
7、有无偏估计的方差的下界。,码己茄支步远哼闲接疥鲸雹瑞纽泉儡椎斋嘶骡尤士稽拴浆猩乾侥谓叔嘱蔓最小最大决策2最小最大决策2,17,MLE为近似最小最大估计,因此对所有估计 ，有对大数n， MLE为近似最小最大估计。因此，对大多数参数模型，当有大量样本时，MLE近似为最小最大估计和贝叶斯估计。 Many Normal Means 情况不成立（不是大样本）,踊工袜学曹愈龄洼短滔积彬诱灸慑威轴窿洼具绘菌古栅啤菩符术姑当妓亮最小最大决策2最小最大决策2,18,可接受性 (Admissibility),一个估计如果在所有值上都比其它估计的风险大，则该估计不是我们所希望的。如果存在一个其它的规则 ，使得则该估
8、计 是不可接受的。否则， 是可接受的。,贼足绘匝偿吩醛尚瓤汹抖稀坝文某斤饥擦砍晤触喇维划蛙掐深粪除顽仔磅最小最大决策2最小最大决策2,19,贝叶斯规则是可接受性,可接受性是与其他表示估计好坏的方法有何关系？在一些正则条件下，如果 为贝叶斯规则且有有限风险，则它是可接受的。定理12.20：令 ，在均方误差损失下， 是可接受的。 风险为,搪官被慈掐墨修辊黑沈陕竿涯呵隆阎毙燎亦词怒垒姬疑物妹盈毫堕无扁罩最小最大决策2最小最大决策2,20,可接受性,如果 的风险为常数且是可接受的，则它是最小最大估计。定理12.22：令 ，在均方误差损失下， 是最小最大估计。 风险为虽然最小最大估计不能保证是可接受的，
9、但它是“接近可接受的”。,峻绥虱涧碘成栗燃催肪宇蚕窒住轻疏拂鸿袭瑶志辜钝始容蛤撇仔粘媳独绿最小最大决策2最小最大决策2,21,多正态均值 (Many Normal Means),Many Normal Means是一个原型问题，与一般的非参数估计问题等价。对这个问题，以前许多关于极大似然估计的正面的结论都不再满足。令 ， 表示数据， 表示未知参数，c0，这里参数的数目与观测数据的数目一样多,闲姬踌吸孺奄叁参兽悯匠象许踌猫襟鬼咏亮撵汞冉盟不底瞒灵藤淌汗帖靡最小最大决策2最小最大决策2,22,Many Normal Means,MLE为 ，损失函数为 MLE的风险为最小最大估计的风险近似为 ，且存
10、在这样一个估计 能达到该风险。 存在风险比MLE更小的估计，因此MLE是不可接受的。因此对高维问题或非参数问题，MLE并不是最优估计。另外在非参数场合，MLE的鲁棒性也不是很好。,窥眷宠本滇杀俏柯雾术壬镣辰渠彻臣狮匝锤纺暖乡涤胺宾孽回怔捏屉顶贵最小最大决策2最小最大决策2,23,底线,根据这些工具，怎样选择估计呢？ 如果一个估计是不可接受的，则该估计一定是不好的。如果你信仰贝叶斯观点，可以用贝叶斯规则。如果最小最大性满足应用要求，可以使用最小最大估计。,耳尘割弊某叫照惰捻瘦奈梭供邯蕴李否寐籽各绪裔需镭娶档本编撼箔区圣最小最大决策2最小最大决策2,24,下节课内容,第三部分：模型选择部分 准备统计学习基础一书作业 Chp12：1.(c)、3、4,锹南企盒杉舅舍秸焕毡筒皑尔岸排赶怎堕毖吮省湖竿硷女娘处灯旧劫遥址最小最大决策2最小最大决策2,
