1、贝 叶 斯 统 计(Bayesian Statistics),（Bayes，Thomas）(17021761) 贝叶斯是英国数学家.1702年生于伦敦；1761年4月17日卒于坦布里奇韦尔斯.贝叶斯是一位自学成才的数学家.曾助理宗教事务，后来长期担任坦布里奇韦尔斯地方教堂的牧师.1742年，贝叶斯被选为英国皇家学会会员.如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶斯估计量、贝叶斯方法、贝叶斯统计等等.,贝叶斯方法(Bayesian approach ),贝叶斯方法是基于贝叶斯定理而发展起来用于系统地阐述和解决统计问题的方法(Samue
2、l Kotz和吴喜之,2000)。贝叶斯推断的基本方法是将关于未知参数的先验信息与样本信息综合，再根据贝叶斯定理，得出后验信息，然后根据后验信息去推断未知参数(茆诗松和王静龙等,1998年)。“贝叶斯提出了一种归纳推理的理论(贝叶斯定理)，以后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法.”摘自中国大百科全书（数学卷）,统计学有两个主要学派:频率学派与贝叶斯学派.它们之间有异同,贝叶斯统计是在与经典统计的争论中发展起来,主要的争论有: 1.未知参数可否作为随机变量? 2.事件的概率是否一定的频率解释? 3.概率是否可用经验来确定? . 1.1 先介绍三种信息的概念 经典统计学派规
3、定统计推断使用两种信息:总体信息 样本信息 而贝叶斯学派认为是三种信息:总体信息 样本信息 先验信息,第一章先验分布与后验分布,总体信息,即总体分布或总体所属分布族给我们的信息。譬如，“总体是正态分布”就给我们带来很多信息：他的密度函数是一条钟形曲线；他的一切一阶距都存在；有关正态变量（服从正态分布随机变量）的一些事件的概率可以计算；由正态分布可以导出分布，分布和分布等重要分布，还有许多成熟的点估计、区间估计和假设检验方法可供我们选用。总体信息是很重要的信息，为了获得此信息，往往耗资巨大。,样本信息,从总体中抽取的样本给我们提供的信息。这是最“新鲜”的信息，并且愈多愈好。人们希望对样本的加工和
4、处理对总体的某些特征作出较为精确的统计推断。没有样本就没有统计学可言。这是大家都理解的事实。,样本信息,基于上述两种信息进行的统计推断称为经典统计学，它的基本观点是把数据（样本）看成是具有一定概率分布的总体，所研究的对象是这个总体而不局限于数据本身。这方面最早的工作是高斯 (Gauss,C.F.17771855）和勒让德（Legendre,A.M.17521833）的误差分析，正态分布和最小二乘法。从十九世纪末到二十世纪上半叶，经皮尔逊（Pearson,K.18571936）、费歇（Fisher,R.A.18901962）奈曼（Neyman.J.）等人的杰出工作创立了经典统计学。随着经典统计学
5、的持续发展与广泛的应用，它本身的缺陷也逐渐暴露出来了。,先验信息,即在抽样之前有关统计问题的一些信息，一般说来，先验信息主要来源于经验和历史资料。例1：有一英国妇女，对奶茶能辨别出先倒进茶还是先倒进奶，做十次试验她都正确说出。,某学生第一次看到他的数学老师,即有反应:老师30岁到40之间,极可能35岁左右(左右可理解为正负3岁,极可能可理解为90%的可能).P(32X38)=0.90,三种信息,基于上述三种信息（总体信息、样本信息和先验信息）进行的统计推断被称为贝叶斯统计学。它与经典统计学的主要差别在于是否利用先验信息。贝叶斯统计学派把任意一个未知参数都看成随机变量，应用一个概率分布去描述它的
6、未知状况，该分布称为先验分布。,信息处理,设自然状态有k种， 1，2， k，P（i）表示自然状态i发生的先验概率分布， P（xi）表示在状态i条件，事件为x的概率。 P（i x ）为i发生的后验概率。 全概率公式：P（x）为x在各种状态下可能出现的概率综合值。,从概率论的Bayes公式谈起,注:把事件i，x看为随机变量,上公式则为Bayes后验分布,1.2贝叶斯公式的密度函数形式,1.2贝叶斯公式的密度函数形式,1.2贝叶斯公式的密度函数形式,1.2贝叶斯公式的密度函数形式,1.2贝叶斯公式的密度函数形式,后验分布是三种信息的综合,先验分布反应人们在抽样前对参数的认识,后验分布反应人们在抽样后
7、对参数的认识 Bayes统计推断原则:对参数 所作任何推断(参数估计,假设检验等)都必须建立在后验分布基础上.,1.2贝叶斯公式的密度函数形式,例:为了提高某产品质量,公司经理考虑投资100万改进设备,下属部门提出两种实施意见: 意见1:改进生产设备后,高质量产品占90% 意见2:改进生产设备后,高质量产品占70% 但经理根据以往两部门建议情况认为.意见1的可信度只有40%,而意见案2的可信度只有60%,1.2贝叶斯公式的密度函数形式,贝塔分布(beta distribution),信息验前分布,此式在定义域上与二项分布有差别。再计算的边缘分布,信息验前分布,最后可得,的后验分布,信息验前分布
8、,例 Laplace在1786年研究了巴黎的男婴出生的比率,他希望检验男婴出生的概率 是否大于0.5.为此,他收集到17451770年在巴黎出生的婴儿数据.其中,男婴251527个,女婴241945个,他选用U(0,1)作为 的先验分布,则 的后验分布服从 分布:,推断:男婴出生的概率大于0.5,先验分布的选取,有信息的： 已知分布类型、参数等 无信息的： 最大熵、共轭分布、Bayes假设 基于经验的： 利用样本确定先验分布,验前信息处理-无信息验前分布,位置与尺度问题的无信息验前,位置与尺度问题的无信息验前,位置与尺度问题的无信息验前例,Jeffreys验前例,Jeffreys验前,含部分信
9、息的最大熵验前,含部分信息的最大熵验前,含部分信息的最大熵验前例1,含部分信息的最大熵验前例2,含部分信息的最大熵验前例2,利用边缘分布确定验前,利用边缘分布确定验前,利用边缘分布确定验前,利用边缘分布确定验前,利用矩方法确定先验分布,利用矩方法确定先验分布,利用矩方法确定先验分布,贝叶斯公式分析基础,后先验分布:指在给定X=x下,参数 的条件分布 (X, )的联合分布记为:,其中,是,的边缘密度函数.,上两公式用来对作出推断条件分布,贝叶斯公式分析基础,贝叶斯公式分析基础,1.3共轭分布法,后验分布和先验分布是同一个类型,后验分布和先验分布是同一个类型,1.3共轭分布法,定义：设是总体分布中
10、的参数（或参数向量），是的先验密度函数，假如由抽样信息算得的后验密度函数与有相同的密度函数形式，则称是的（自然）共轭先验分布。 应该着重指出，共轭先验分布是对某一分布中的参数 而言的。如正态均值、正态方差、泊松均值等。离开指定参数及其所在的分布去谈论共轭先验分布是没有意义的。,正态均值（方差已知）的共轭先验分布是正态分布,若再记,正态均值（方差已知）的共轭先验分布是正态分布,正态均值（方差已知）的共轭先验分布是正态分布,1.3共轭分布法,1.3共轭分布法,1.3共轭分布法,1.3常用共轭先验分布,1.3共轭先验分布的优点,第二章贝叶斯推断(Bayesian Inference),未知参数 的后
11、验分布 是集中三种信息（总体，样本和先验）于一身，它包含了的所有可供利用的信息，所以有关的点估计，区间估计和假设检验等统计推断都按一定方式取信息，其提取方法与经典统计推断相比要简明明确得多。,条件方法：基于后验分布的统计推断就意味着只考虑已出现的数据（样本观察值），而认为未出现的数据与推断无关，这一重要的观点被称为“条件观点”，基于这种观点提出的统计推断方法称为条件方法。,2.1条件方法：,案例,2.2贝叶斯估计(ayesian Estimation),2.2 Bayes点估计例,其贝叶斯估计 为：, Bayes估计, Bayes估计, Bayes估计,由于正态分布的对称三种贝叶斯估计重合.,
12、 Bayes估计例, Bayes估计例,Bayesian分析在医学检验的应用例,Bayesian分析在医学检验的应用例,2.2.2贝叶斯估计的误差,设 是 的一个贝叶斯估计，在样本给定后， 是一个数，在综合各种信息后， 是按 取值，所以评定一个贝叶斯估计的误差的最好而又简单的方式是用 对 的后验均方差或平方根来度量，具体定义如下：设参数 的后验分布 ，贝叶斯估计为 ，则 的后验期望称为 后验均方差，而其平方根 称为的后验标准误，其中符号 表示用条件分布 求期望 当 为 的后验期望 时，则,称为后验方差，其平方根,称为后验标准差。,2.2.2后验方差与均方差,Bayes估计的误差例,例 设一批产
13、品的不合格率为，检查是一个接一个地进行，直到出现不合格品为止，若表示第一发现不合格品的已检查的产品数，显然服从几何分布，即,2.3区间估计(Interval Estimation),先验可信区间,贝叶斯可信水平和可信区间与经典统 计中的置信水平和置信区间 的区别,2在经典统计中寻求置信区间有时是困难的，因为他要构造一个轴变量（含有被估参数的随机变量），使它的分布不含有未知参数，这是一项技术性很强的工作，不熟悉“抽样分布”是很难完成的，可寻求可信区间只要利用后验分布，不需要再去寻求另外的分布，二种方法相比较，可信区间的寻求要简单的多。,可信区间,可信区间,案例,假设检验（Hypothesis T
14、est）,信息检验处理,贝叶斯统计和经典统计的比较,是否利用先验信息对概率的不同解释频率学派坚持概率的频率解释，并在这个基础上去理解一切统计推断的结论； 与此相反，贝叶斯学派赞成主观概率，概率是认识主体对事件出现可能性大小的相信程度它不依赖事件能否重复。 具体统计理念的差异统计学奠基人费歇尔把统计学的任务概括为三个问题：选定模型,、确定统计量和决定统计量的分布。 贝叶斯学派认为：先验分布反映了试验前对总体参数分布的认识，在获得样本信息后，对这个认识有了改变，其结果就反映在后验分布中，即后验分布综合了先验分布和样本的信息。,经典统计学派对贝叶斯统计的批评,贝叶斯方法受到了经典统计学派中一些人的批
15、评,批评的理由主要集中在以下三点： (1) 贝叶斯方法具有很强的主观性而研究的问题需要更客观的工具。经典统计学是“客观的”, 因此符合科学的要求。而贝叶斯统计学是“主观的”，因而(至多)只对个人决策有用。 (2)应用的局限性,特别是贝叶斯方法有许多封闭型的分析解法,不能广泛地使用。 (3)先验分布的误用。,对以上这些批评,贝叶斯学派的回答如下：,贝叶斯估计的一般步骤,验前信息处理,二项分布参数的估计,验前信息处理,一线性模型参数Bayes估计的概念 设,Y为响应变量。现设样本向量,取自P元总体的样本。,十. 线性模型参数得Bayes估计,线性模型：,为可控向量，,二线性模型参数Bayes估计的
16、概念,十. 线性模型参数的Bayes估计,对线性模型：,十. 线性模型参数得Bayes估计,十. 线性模型参数得Bayes估计,十. 线性模型参数得Bayes估计,2005年7月份菜心品种安全系数,在实际试验设计中，经常会遇到这样一个问题，即：已知一个总体分布，其中分布参数未知，需要设计在一定容量下，满足一定置信度1-a的条件的一个检验方案，对分布参数做出具体估计。一般实验解决这一问题的方法均是在大量子样情况下统计计算获得，而现实试验通常受费用、时间条件限制，只能是在小子样下进行，这些方法并不能满足需要。基于小子样下理论的Bayes检验方法是在保证决策风险尽可能小的情况下，尽量应用所有可能的信
17、息，为解决这一问题提供了具体的方法和理论依据。,Bayes试验设计,Bayes统计将未知分布参数视为随机变量，且具有验前分布，当获得试验样本之后，应用Bayes公式计算未知分布参数的验后密度：,在统计推断中，以(x)作为Bayes检验方法的出发点，此时未知参数的Bayes估计为：,对的置信估计，在置信度为1-a下,令,(3),满足此式的(1(x),2(x)就是的置信区间估计。,2.1二点分布试验设计 2.1.1容量计算 设x1,x2,，xn是参数为p的两点分布的样本，且在0,1上为均匀分布，则p的先验分布密度为：,2试验容量的计算,利用B(n,m)函数，(n)函数算出样本的边缘分布列为：,谢谢！,
