1、大连理工大学硕士学位论文摘 要在统计决策理论中,对称损失函数是一类重要的损失函数。比如平方损失函数,刻画了如果参数估计量与真值很接近,则该估计量对应较小的损失,是合理的;如果偏离得远,则该估计量对应较大的损失量,是不合理的。事实上,参数估计的优劣很大程度上依赖于损失函数形式的选择,因此有必要对不同的损失函数下参数估计的性质进行研究。本文侧重于研究基于形式为(,硼旧 一的复合对称损失函数下正态均值以及指数分布参数的估计问题,并讨论了部分估计类的容许性与非容许性问题。本文在第一、二部分简单回顾了与决策有关的理论发展背景、决策基本原理、决策准则以及决策函数的容许性等问题。论文的第三部分主要讨论了形如
2、(,训呐 均一的复合对称损失函数下正态分布(,一在盯已知时,均值参数目的估计问题。在口为正态先验假设下。得到了伊的估计。论文中首先证明了这是可容许估计,进而对一般形为艿()(,为参数)的估计量,讨论了当参数和在四种不同取值情况下,估计量的容许性与非容许性问题。在第四部分中,进一步基于复合对称损失函数,对指数分布的参数旯进行估计,给出了五的先验为分布时的解并讨论了估计量的容许性。对形如厂 、 。 【 页姜麓,(于() 毛,为常值,为参数)的一类估计的容许性也进行了讨论,得到一些重要的结论。结论部分,对本文的工作加以概括总结,并提出了有待改进和进一步探讨的研究方向。关键词:复合对称损失函数;估计;
3、可容许与非容许性复合对称损失下的参数估计 , , 越艿 艿 矾西矿 岣一屺 , , , 血 (, 岫一 (,), :丁(),(), ) , 啊 。 , 碍 : ; ; 一玎一独创性说明作者郑重声明:本硕士学位论文是我个人在导师指导下进行的研究工作及取得研究成果尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写的研究成果,也不包含为获得大连理工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。作者签名:;丝盎日期:!:堡导师签名:堡熬盟大连理丁大学硕士学位论文大连理工大学学位论文版权使用授权书本学位
4、论文作者及指导教师完全了解 “大连理工大学硕士、博士学位论文版权使用规定 ”,同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子版,允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。作者签名:丝叠导师签名:塑殛盟丑年 月盟日大连理工大学硕士学位论文绪论统计决策理论与分析的发展简述统计决策理论是著名统计学家()在上世纪四十年代建立起来的,他在其文章 统计决策函数 中系统、详细的阐述了统计决策理论,统计决策理论与经典统计学的差别在于是否涉及后果,经典统计学者重于推断,而不考虑用在
5、何处和效益如何,而统计决策理论引入损失函数,用来度量效益大小,评价统计推断结果的优劣。分析是英国学者 ()首先提出,在世纪后半叶发展迅速。它与经典统计学的差别在于是否使用先验信息(经验与历史资料)。经典统计学只用样本信息,而分析把先验信息与样本信息结合起来用于推断中,形成非决策的分析。若在使用后果信息,就形成决策分析。统计理认与决策理论的结合,首先在商业和社会科学中得到了很大的成功,其次是在物理、化学、生物等学科领域得到了广泛的应用,如今其概念和方法在社会许多领域得到了广泛应用,如在工程技术、管理科学、系统运筹、医疗诊断等。决策理论已经象 “控制论 ”、 “信息论 ”一样成为了现代的信息控制和
6、系统科学中的一个重要分支,并在实际的决策应用中发挥了不可替代的作用 。本文所讨论的统计决策中的参数点估计问题正是一类特殊的统计决策问题,把决策问题的行动集取为整个参数空间,估计量就是从样本空间到行动集的一个决策函数,损失函数就是用估计量去估计真值日时所引起的损失,从而将点估计问题转化为一个特殊的统计决策问题进行研究。由于损失函数选择的不同,往往使统计量的优劣发生变化。人们通常选用对称损失函数,如平方损失函数,孔令军、王德辉等人讨论了对称熵损失函数下的参数估计,并且进一步研究了对称熵损失下的统计推断问题。 由于参数估计的好坏很大程度上依赖于损失函数形式的选择,因此有必要对不同的损失函数下参数估计
7、的性质进行研究。本篇论文是在导师冯敬海副教授和宋立新教授的指导下,参阅了大量的中外文献后,在前人研究基础上,对基于复合对称损失下的参数估计以及估计量的容许性问题作了一定的探讨和研究。复合对称损失下的参数估计论文框架及主要内容本文主要讨论了基于复合对称损失函数下,正态均值参数以及指数分布参数的估计问题,并探讨了形如()的部分估计的容许性问题。在论文的第二部分中简单介绍了与决策有关的基本原理和决策准则以及决策函数的容许性,并简要回顾了估计的性质:第三部分就特定的一类损失函数 复合对称损失函数下正态均值的参数估计展开讨论,首先给出参数的估计形式并论证了基于参数正态先验假设下的估计的容许性,进而讨论了
8、形如()的一类估计量的容许性问题,得到了四个主要的结论。论文的第四部分对复合对称损失下指数分布的参数估计进行讨论,得到了估计容许性的结论。最后,在第五部分对全文的工作做了总结,并对将来进一步的研究工作进行展望。大连理工大学硕士学位论文 决策的原理与方法决策函数的基本概念当给出一个统计结构(戈毋胁:口 ),一个行动空间(,毋。)和一个损失函数工(护,艿)等三要素一,就确定了一个统计决策问题。为了在统计决策问题中选择行动进行决策,需要定义决策函数与风险函数等概念,如下:定义(决策函数)在一个统计决策问题中,从样本空间圆到行动空间的可测映射)称为决策函数定义(风险函数)设()是一个统计决策问题中的决
9、策函数,那么损失函数三(只占(彳)关于样本的分布)的数学期望(只毋 【 三(只文) 】 ,工(口,()() 称为决策函数()的风险函数。有时简称风险。其中 是控制测度,常取测度或控制测度。由下述定义可见,风险就是平均损失,平均损失越小越好,它是用来度量决策函数好坏的一把尺子。当决策函数艿()给定时,风险函数仍是口的函数。比较两个决策函数磊()和嘎( 好坏就是要看其风险函数(口,)和,(疗,吒)的大小。定义(决策规则)设磊)和嘎(功是统计决策问题中的两个决策函数。假如其风险函数有:(目,哦) (,吒), 口 且存在一些使不等式成立,则称决策函数()一致优于疋何)假如其风险函数间有:,(目,)(,
10、嘎), 口 则称决策函数巧)和乏()等价。假如在决策函数类中存在一个决策函数艿 ),使得对任一个决策函数万()皆有:(,艿 )(,艿) 口 则称矿()为(该决策函数类的)一致最小风险决策函数,或称一致最优函数。对给定的统计决策问题,按风险函数越小越好的原则,在某个决策函数类月中挑选一致最优决策函数常常难以实现,于是统计学家建议,降低要求,用容许性代替一致最优性,决策函数容许性的一般定义如下:复合对称损失下的参数估计定义(决策函数的容许性)给定的统计决策问题和决策函数类丑,决策函数西 称为非容许的,假如在月中存在另一个决策函数最幺()满足如下两个条件()(,嘎) (,),口 ()在。中至少有一个
11、岛,有(,暖)(,正)假如在月中不存在满足上述两条件的决策函数,则称点()为容许的,在点估计问题中,相应的估计量称为非容许估计和容许估计。从这个定义可以见,非容许决策函数是不应被采用的。在决策函数类中,剔除去非容许决策后,余下的容许决策函数仍然是很多的,它们的风险函数里交叉状态,各自在不同的地方比其它的要好一些,所以容许决策函数不一定是一个很有效的估计。决策函数的容许性的实际意义在于缩小挑选的范围,。 决策的原理决策问题的三要素是:()描述自然界(或社会)各种可能状态集口)()描述决策者可能采取各种行动的行动集声万)()评价决策者所取行动优劣的损失函数(,占)它是定义在 上的二元函数供决策使用
12、的两种信息:()先验信息,用状态集上的一个先验分布丌徊)来表示()试验信息或抽样信息,所观察的随机变量,具有密度函数( 口),对作次观察或取次试验,所得的样本瓴, 并。可看作是从分布()随机抽取的一个样本这时样本的联合密度函数(即似然函数)唧一)概括了抽样信息(总体信息和样本信息)中一切有关口的信息决策正是融合了先验信息与抽样信息的决策决策问题比一般决策问题多了二个要素,一是先验分布,二是总体分布从总体分布中抽取一个样本 工。),就容易获得似然函数另外,从统计看,决策问题比推断问题多一个损失函数把损失函数引进统计推断就构成了决策问题这样,按后验平均损失越小越好来进行统计推断就形成了决策大连理工
13、大学硕士学位论文定义(风险和决策函数)在给定的统计决策问题中,设(,()为决策函数占)的风险函数,妒)为的先验分布,则平均风险:乓回呈;葛:嚣:笔喜曩 丑 ,称为()的风险。假如在决策函数类月中存在这样的决策函数 ),使得名 )贼乓( ()则称矿)为决策函数类月在风险准则下的最优决策函数,简称决策函数或解。在估计问题中,它就称为估计。假若参数目的分布为(),相对于万妒)的决策必为一统计最优决策。因为它的风险不大于其它任何风险。然而有时在爿中可能不存在决策,因为任何决策万 月均达不到()式规定的下确界,此时我们就选择一个决策 丑,其风险乓)充分靠近风险匕(矿)定义 (后验风险)在上述假设下,丑中
14、任一个决策函数的损失函数(,占(瑚对后验分布万(目)的数学期望称为后验风险,记为:,。(艿功岛三(口,艿() 】一 工(秽,()沙 ),当劝连续量【 ,工(只,艿()沙( ),当妫离散量假如在月中存在这样一个决策函数矿(),使得乓( )啦 名(占力, 。则称矿)为该统计决策问题在后验风险准则下的最优决策函数,或称为(后验型)决策函数,在估计问题中,它又称为(后验型)估计。下面的定理揭示了决策函数矿)与(后验型)决策函数矿)的关系。定理对给定的统计决策问题(包括先验分布的给定)和决策函数类,当风险满足如下条件:舢乓(占)( )复合对称损失下的参数估计则决策函数矿(功与后验决策函数 “)是等价的。
15、即使后验风险最小的决策函数艿 “()同时也使风险最小:反之,使风险最小的决策函数艿 )同时也使后验风险最小。证明:对任一个决策函数类中的决策函数,根据风险和风险函数的定义,有乓(艿) ,占)万)口 三,艿)()由于(护沙(目)万(口)()和给定的条件(),上述两个积分次序可以义换。于是:乓(占) ,三(口,)()() 乓(功()出其中乓(占 )是占的后验风险。这表明,风险是后验风险对边际分布()的数学期望 【 】 。总之,对于决策问题,若无任何观测量,一个相应于参数的先验分布的决策就是最佳决策。一旦被观测,其决策的决定过程是类似的,只不过用的后验代替先验即可,即此时的决策相应于后验分布是最佳的
16、。因而一旦某个 被观测到,用上述方法直接找到相应的决策占瓴),而不必计算其它值的决策函数()。具体过程分两步:()计算口的后验分布,),即推断问题;()寻找相应后验的决策,即决策问题。 决策的容许性下面给同与本文论证有关的两条关于容许性的定理:定理在决策问题中,设先验分布石(臼)在上处处为正,的估计为气(),假如磊的风险函数(目,)是的连续函数,磊的风险,(嚷)是有限的,则瓯是容许的。证:倘若哦是非容许的,则存在另一个估计占(),使得(,万)(,民), 且至少对某个鼠 ,使得上述严格不等式成立,即(,),(只,)由的连续性可知,存在一个正数及鼠的邻域最,使得大连理工大学硕士学位论文(,占)(,
17、)一, 于是万的风险为(占) (口,艿弦(口)口蔓 (目,弦()【 ,戈)弦(口)矽 (,),()(磊)一占以护 足)由假设知( 是),()()。这与磊是估计矛盾,所以磊是可容许估计。 群这个定理虽然简单,却有很大的实用价值,首先它可说明一大类估计是容许的,另外这个定理还提出:要证明 “一个估计是容许的 ”,只要能找到满足定理的先验分布,基于这些先验分布的估计就是可容许估计。定理在给定的决策题中,若在给定先验分布()下的估计万。(戈)是唯一的,则它也是容许的 朋。证:倘若万。()是非容许的,则存在另一个估计万,(),使得(,)(,磊),且至少对某一个口有严格不等式成立,上式两边对先验分布积分,
18、立即可看出,占,)也应是的估计,这与唯一性矛盾,故艿。)是容许的。大连理工大学硕士学位论文复合 对称损失下正态均值的参数估计引言在统计决策理论中,由于损失函数选择的不同,往往使统计量的优劣发生变化参数估计的优劣很大程度上依赖于损失函数形式的选择,因此有必要对不同的损失函数下参数估计的性质进行研究本章节主要研究在一类对称损失函数 复合损失函数下正态均值参数的估计问题,并探讨形如()的部分估计的容许性问题损失函数 定义为三。(口,) 班。砷(一五)一, ()为参数秒的估计,口 ,是一类非对称损失函数,由()提,一 ”曾详细讨论过它的性质。本文研究的复合对称损失函数定义如下(,五)上。(口,丑)。(
19、口,)一妒 扣 口 ()参数的估计及其容许性设五, ,来自正态总体的独立样本,具有密度函数为 杀孑酬一垒笋)则来自母体的个随机样本五, 以的联合密度为(), (一口), “, , 印 三) 型 三; ( )的矩估计和极大似然估计已经被较详细的研究过了,下面在复合对称损失意义下,考虑的估计及其性质。对于任一先验分布,目的估计为以五 ( 。一),的定理可以看出定理在给定先验分布万(口),和对称损失函数(,艿)一。 “一( )下,若存在估计量占,其风险,(。,则口有唯一的估计复合对称损失下的参数估计吒(。 ) (证: 在损失函数()下,对应的风险为,() (只觑)(,) )故欲使()达到最小,只须(
20、,印工)几乎处处达到最小由于(三(以毋)笃(一 (舢 一)皇面(一一)(胡)一故只须 如一 “ ( “ 达到最小令艇毋 ”(一 ”)。 “( ” ),对(占)求导并令其等于,解得:扣上(戤矿)(由于(回为凸函数,知占为()的唯一最小值点,进而有:以五 (以,。一砖定理设五, 矗是来自正态分布(,口)的一个样本观察值,正态均值(方差已知)的先验分布口(口)服从正态分布 ,),则目的估计矗等于目的后验均值,且为可容许估计证:口的先骏分布(目)为 ,),则占有密度函数形式:哟志时警),样本的似然函数为:川伽(志 “冲一击善 ,由此可以写出样本与参数目的联合密度函数”,印()删 掣 半(加伽精 ”卜
21、一寺、,把上式中与有关的项与与占无关的项分离并对积分,得到样本的边缘分布大连理工大学硕士学位论文历(功 (,),两式相除,即得的后验分布唰垆(掣旁一爱甏炉 即,(口)服从正态分布,后验均值为丘 万 益 ,后验方差为矛觋 由定理可以看出,只要算出去(即一 ),即得磊的具体表示形式由于(尸)和(。)均为正态分布的矩母函数,容易解得:( ”)(西妻矛) ()五。 )(口咨) ()由此:去(球一)五 令乒 万 么即得:以 万 益 ()当然,此解是唯一解往证:哌是可容许估计由于估计的风险不大于任何估计的风险,只要证明存在的一个估计占,其风险是有界的,即可得,(吒)是有界的,从而是可容许的()( “ 一。
22、)一 )不妨令占一 ),则有:口,()(胡) (胡)复合对称损失下的参数估计由式()和()知,(万)存在且有界由于,(以)(万),因此,;)是可容许估计拌磊貉觋盯 施彘,施,我们不难想象到估计。幻这种线性形式的容许性,其中。石,:喜 :这里, 估计量万()的容许性估计量()的可容许性与不可容许性与的取值有关令阼下面分四个定理证明了如下一些结论: 当 时,估计量()是可容许的 当, 时,估计量万()十是不可容许的 当,时,估计量()是可容许的 当弦时,估计量万()是不可容许的定理当 时,估计量艿()是可容许的证:在损失函数),我们证明了口有唯一的解此时先验分布的密度函数为叫垆老(竺 )大连理工大
23、学硕士学位论文 岿 瓠 叭 删 删 , 一 仆 萨 彘 君 , 兹 胪 施 旃 , 吨稚删 雁 糠 糠 徽 徽 微触 由于定理已经证明了此时的估计以是可容许的,故此时占()是可假若艿为不可容许的,必存在一个磊()优于,即(,() (,),且对某些,不等号严格成立当矽时,有 (,点()(,),由损失函数非负性知(,(),乱故(),所以当时,艿是可容许的()值得注意的是,当,时,万,(,)是可容许的 群引理 设毋的先验分布服从正态分布万)了去;时竺乏学),估计量()。在()的损失函数下,艿的风险函数为:够,印唧口田一甜耐一口胡胡一耐口矧()证:按定义计算定理当, 时,估计量()是不可容许的证: 由
24、式()求得, 时,磊)唧耐矿口么唧一耐么 ,令厂(),),对,()求导,并令导数为,解得由于风险函数是凸函数,知当时,使得风险函数取得最小故 时,丁(工)的风险函数大于()对应的风险函数,所以由容许性定义知,丁(), 是非容许的群定理当,时,估计量艿()是可容许的证:当先验分布万(口)服从正态分布 (麒)时,已解得蟊彘施铂 圮一一 一 唧一可觋。 彤 ( : 丑嘭复合对称损失下的参数估计而由于不能取,知在该先验分布假设下的估计的系数 从而不能直接利用正态先验下的估计得到()的容许性结论。假设先验分布牙(印为广义均匀分布,即矛(), 计算的后验密度牙(口):, ”,()(, 矗臼)万(矽)厂(而
25、, )()(一):(舸:)一 砷唧(一口)一 一由于(薯)() 一!: 【 一旦(刀矿) : 孵 舅 卫() 厶务 壁舻 唧(钎分离与无关的项计算可得:卵炉冲(钎唧卜钎卜丝即亓(口工)服从正态分布,均值为,方差 为嘭()去(一唧(一蝴幻 肌叫一紫弘一唧卜喾卜去 唧 ( 叶 一 丑嘭 唧(颦一弘钳一一大连理工大学硕士学位论文由定理知。只要算出去(。旷神幻),即得:矗上)乙亡 唧(一丝!篆掣)司够土 一 王 醒 盥:一 一胡一芏 :!伽 蚪 一寺墨去(剖: :一()下面只要说明存在个占的估计占,使得风险(占)。,则以()是可容许的,(占)(一 “。(。 ),不妨令艿三,此时:()( 一)一(一 )
26、由上面的计算过程知,(矿)和(胡)均存在且有界,从而知,一),由于“,(以),(艿),因此()是可容许估计这样就证明了,定理:估计量万()是可容许估计群复合对称损失下的参数估计定理当时,估计量占()是不可容许的证: 取估计量 ,则可证明优于艿比较风险函数,占)和, ):(,占)一,(臼,艿 )(口一( 占 )一(乒 )一()( ”(茚一 ) (面一:)(一神( 融 一虚)印(昂)一面)()(西)一如虚) 扣 (矿商)一(一面)由于(矿):。,知(严):甜矿一, ):。挚由,从而解得:,(,艿)一,(臼,耻一女譬。捌譬一。警,矿 ,舻小。柳耐)一知 巡垂兰 ”一 这就说明了 优于万当时,估计量艿
27、()是不可容许的群 产 大连理工大学硕士学位论文复合 对称损失下指数分布的参数估计引言指数分布在寿命检验和可靠性研究中占有重要地位,关于它的统计方法,已经有广泛的发展。对于一个服从密度为:,(力缸一 “ ,丑()的指数分布,我们常常对其中的未知参数感兴趣,这个五就是刻度参数。本章节在复合对称损失意义下,考虑五的估计及其性质。参数的估计设服从()式定义的指数分布,五, ,为来自总体的个独立样本,由定理()知,对于任何的先验分布,五的估计为:吒去伍和矾)( ),并且解是唯一的。假定(国。假设的先验分布为指数分布的共轭分布 分布,参数为口, ,则五有密度函数如下:纵句矿叫, “ )下面求且的估计。样
28、本的似然函数为: “, ,善。)刀( ,)的后验密度为:筇力万(五), “, , ;五)()(, ,毛;)视矿矿物唧卜唼一)俨肛,唧 轫烈;篷力一盯)。一五(窆 声) 一,复合对称损失下的参数估计即万(名)服从分布,参数为瘌宝一十声由定理可以看出,只要算出以去仁( “)(卅),即得的具体表示形式由于 缸)和(埘)均为分布的矩母函数,容易解得:科驴(和儋州一, 蚴, 月 、 ”“(卅 )喀 ”声善矿肚由此:磊去伍。 “,。刊石,)五(姜一夕口喜薯 一刁 “”等 【 蠹 , ,胪例,注:当先验分布万(五工)为扩散先验分布时,即口 ,()可以简化为:磊。云 【 夏 ()蚴,( )当南较,、时汕乙叫丽
29、 此时,的后验均值为:,从而()式近似于临九(栉盯)( ) (胛口)(疗) (疗) ()可见,在这种情况下,估计和参数的后验均值均趋近于极大似然估计。当 :圣较大时,()式的估计与扩散先验分布假设下的后验均值名; 孑有较七的反 鼎坝 赢因为:屯百 薯 砒酗),鼎等舻加,我们接下来探讨形式为:(夏妻麓的估计量的容许性这里, 。大连理工大学硕士学位论文 估计的容许性由于估计的风险不大于任何估计的风险,只要证明存在旯的一个估计艿,其风险是有界的,即可得(吒)是有限的,从而是唯一的。这样在复合对称损失函数()下的估计是可容许的,(艿)(一州。 布)一石)不妨令占二似 ),则有:()(一越)口( “)一
30、由式()和()知,占。一一(乞 , 口 “有界,口 ,对给定的样本观察值,亦存在且有界 所以,()存在且有界由于(以) (回,因此露是可容许估计 下三户,于(柳窆() 估计量(瓦考丢的容许性(瓦妻麓),的可容许性与不可容许性与和的取值有关下面分几种不同取值情况分别迸行讨论 球 口当矿以时,要证明(夏妻 () 叫 “川 眦 ,引 埘, 类估 。吖。 ”风险 “) 、 ,()垄兰兰堡里圣幽叁!箜窒錾堡盐令 二口耀 。, “锄吼农占弛( “志卜可容胤证:在损失函数工五)厶,五)三口(目,五)一 十(蝴)一,盯下,我们证明了五有唯一的解: 名警(十焘 晒喜为此时先验分布的密度函数为:万(旯);等 删,
31、 (五, 。 ,声)当,矿 ,令。 一口,。三孑,一定存在硐 ,使得该等式成立由论文节论证已经得到了此时的估计名是可容许的,敬此时估计量:( “夏妻惫是可容许的耀豺吨咖时,估计量弛(志卜可容懒,在引理中,要求风险函数连续,下面定理就证明了这个事实引理对形如艿 【 夏妻惫)的这一 ”计,都有 。 。 , , 诋胎驴驴椭 “)当嘲 志卜,。(硒:嗣 “聒靠柳(痞惫) “以 )骀 莉风知呐。 从而证明了对形如嘞(,焘)的这一类估计,都有,(艿)。拌大连理工大学硕士学位论文由此。可得到如下结论:对形叮( 页量惫)的这类估计,其风险函数(丑印是有限的。证明:若,使得 ,都有,),则由风险的定义知:,(万) ,万沙(兄肘工万(五,从而与,)。矛盾,故如上定义的万对应的风险函数是有限的 引理在损失函数 (,艿)(。 。 (口)下,形如: ! 的估计量对应的风险函数(,艿)关于旯是连续的 (),证明:对,当一占五占时, (,研一,(五, ”枷甜。 一呢 )一且矿一叫舶叫一甄(占)皿叫枷 (,)溉)一() 呢(驯(弗 (扣