1、1,模式识别,主讲： 蔡宣平 教授 电话： 73441（O）,73442（H） E-mail： 单位: 电子科学与工程学院信息工程系,随机模式分类识别，通常称为Bayes(贝叶斯)判决。,（基础复习）,第四章 统计判决,主要依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。准则函数不同，所导出的判决规则就不同，分类结果也不同。,本章主要论述分类识别的一般原理、几种重要的准则和相应的判决规则，正态分布模式类的判决函数以及它们的性能。,Bayes公式：设实验E的样本空间为S，A为E的事件， B1,B2,Bn为S的一个划分，且P(A)0，P(Bi)0， (i=1,2,n)，则:,“概率论
2、”有关概念复习,划分示意图,“概率论”有关概念复习,条件概率,“概率论”有关概念复习,先验概率：P(i)表示类i出现的先验概率，简称类i的概率。,后验概率：P(i|x)表示x出现条件下类i出现的概率,称其为类别的后验概率，对于模式识别来讲可理解为x来自类i的概率。,类概密： p(x|i)表示在类i条件下的概率密度，即类i模式x 的概率分布密度，简称为类概密。,为表述简洁，我们将随机矢量X及它的某个取值x都用同一个符号x表示，在以后各节中出现的是表示随机矢量还是它的一个实现根据内容是可以清楚知道的。,“概率论”有关概念复习,条件期望(某个特征),因不涉及x的维数,可将Xn改写为特征空间W。,对于
3、两类1， 2问题，直观地，可以根据后验概率做判决：,式中，p(x|i)又称似然函数(likelihood function of class i)，可由已知样本求得。,Bayes法则最大后验概率准则,根据Bayes公式，后验概率 可由类i的先验概率P(i)和条件概率密度 来表示，即,将P(i|x)代入判别式，判别规则可表示为,或改写为,l12称为似然比（likelihood ratio），12称为似然比的判决阀值。,原则：要确定x是属于1类还是2类，要看x是来自于1类的概率大还是来自2类的概率大。,已知：（统计结果） 先验概率： P(1)=1/3（鲈鱼出现的概率）P(2)=1-P(1)=2/3
4、 （鲑鱼出现的概率） 条件概率： p(x|1) 见图示（鲈鱼的长度特征分布概率）p(x|2)见图示（鲑鱼的长度特征分布概率）,求：后验概率：P(|x=10)=? （如果一条鱼x10，是什么类别？）,解法1：,利用Bayes公式,写成似然比形式,解法2：,例题1图示,鲈鱼,鲑鱼,10,0.05,0.5,5.5,8.5,例题1图示,10,16,最小误判概率准则判决最小损失准则判决最小最大损失准则N-P(NeymanPearson)判决,第四章 统计判决,17,41 最小误判概率准则判决,第四章 统计判决,18,图例：最小误判概率准则,最小误判概率准则下的判决规则：如果，则判,或等价地， 如果，则判
5、,另一个等价形式是：如果则判,由贝叶斯定理,对于多类问题，最小误判概率准则有如下几种等价的判决规则:,例：对一批人进行癌症普查，患癌症者定为属1类，正常者定为属2类。统计资料表明人们患癌的概率，从而 。设有一种诊断此病的试验，其结果有阳性反应和阴性反应之分，依其作诊断。化验结果是一维离散模式特征。统计资料表明：癌症者有阳性反映的概率为0.95即 ，从而可知 ，正常人阳性反映的概率为0.01即 , 可知 。,问有阳性反映的人患癌症的概率有多大？,解：,说明有阳性反应的人其患癌的概率有32.3%,写成似然比形式：,27,上式中去掉与类别无关的项并不影响分类判决结果：,(1) 当 时,当 和 相邻
6、时,当 和 相邻 时,式中：,显然，该判别界面为一超平面。此决策超平面过 点 ， 是该超平面的法矢量。,若各类的概率相等，由判别式,可简化为马氏距离的平方，即：,因此 的类别就由 到各类的均矢的马氏距离决定， 应判 属于马氏距离最小的那一类。,决策超平面过,点，矢量,是该超平面的法矢量。,通常不与,方向相同，所以决策界面不与,正交。,为单位阵，,为分量的方差，显然有矢量,和矢量,方向相同，此时决策平面垂直于两类中心的连线,(2),这是一般的情况。i类模式的判决函数为:,其中,相邻两类的决策界面为:,二维模式，12的几种情况,1,2,(b) 椭圆， 2类的方差小,(e) 直线，两类的分布关于一直
7、线是对称,1,2,例：模式分布如图所示，两类的均矢和协方差阵 可用下式估计。,两类均作为正态分布，并假设 ， 故判决式为,40,考虑两类问题，设两类模式为协方差阵相等的多变量正态分布，它们的密度函数分别为:,4.1.3 正态模式分类的误判概率,对数似然比, ,令,是 的线性函数，而 的各分量是正态分布的，故 是正态分布的随机变量。,式中,于是，总的误判概率为:,特取 ，此时 =0上式表明了误判概率与两类的马氏距离的关系：随 的增大而单调递减，只要两类马氏距离足够大，其误判概率可足够小。,4.1 设以下两类模式均为正态分布 1：(0,0)T，(2,0)T，(2,2)T，(0,2)T 2：(4,4
8、)T，(6,4)T，(6,6)T，(4,6)T 设P(1)= P(2)=1/2，求该两类模式之间的Bayes判别界面的方程。,作业,4.2 设两类二维正态分布参数为u1=(-1,0)T，u2=(1,0)T 先验概率相等。 （a） 令 试给出负对数似然比判决规则 （b） 令试给出负对数似然比判决规则。,47,4.2 最小损失准则判决,第四章 统计判决,48,4.2.1 损失概念、损失函数与平均损失,设模式空间中存在c个类别:,决策空间由a个决策:,决策j常指将模式x指判为某一类wj或者是拒判。,对一个实属i 类的模式采用了决策j 所造成的损失记为：,于是就有 空间中的二元函数，称其为损失函数。,
9、49,决策-损失表,决策j指将模式x指判为wj或者是拒判。,0-1损失函数,50,令决策的数目a等于类数c，如果决策j 定义为判 属于j 类，那么对于给定的模式 在采取决策j 的条件下损失的期望为,条件平均风险,条件期望损失 刻划了在模式为 、决策为 j条件下的平均损失，故也称 为条件平均损失或条件平均风险（Risk）。由贝叶斯公式，上式可以写为,51,求上式Rj(x)关于x的数学期望:,平均损失,52,可以将最小条件平均损失判决规则表示为如果 则判,4.2.2 最小损失准则判决,定理：使条件平均损失最小的判决也必然使总的平均损失最小。所以最小条件平均损失准则也称为最小平均损失准则或最小平均风
10、险准则，简称为最小损失准则。,53,对于两类问题，,54,经整理可得：,两类问题的最小损失准则的似然比形式的判决规则为：,如果,则判,55,若记似然比阈值,56,如果,则判：,57,取0-1损失函数时，最小损失准则等价于最小误判概率准则，此时的平均损失就是误判概率，使平均损失最小即使误判概率最小。这也表明，最小误判概率准则是最小损失准则的特例。,4.2.2 最小损失准则判决,58,59,似然比为：,60,运用最小损失准则，判决规则为：,时,61,62,63,4.2.3 含拒绝判决的最小损失判决,拒绝判决可以作为最小损失判决中的一个可能判决，,“拒绝判决”。,64,如果,j=1,2,c,则作出拒
11、绝判决。,则,且通常有 cre,65,66,如果,，(j=1,2,c)，则对,做拒绝判决。,= 1-t,因为cre，故0 t 1。,67,4.2.3 含拒绝判决的最小损失判决,对于两类问题，存在拒判决策的条件是：,当t1-1/c时,1-t1/c,上式恒成立,不存在拒判问题, 即存在拒判决策的条件应该是:t1-1/c,68,判决规则如下：,4.2.3 含拒绝判决的最小损失判决,如果,则判,如果,则判,69,4.3最小最大损失准则,第四章 统计判决,70,最小误判概率准则,最小损失准则,71,拒判损失,误判损失,正确判决损失,72,最小最大损失准则的基本思想：实际中，类先验概率 P(i) 往往不能
12、精确知道或在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决在 P(i) 不确知或变动的情况下使平均损失变大的问题。 应该立足最差的情况争取最好的结果。,73,74,75,由上式可见，当类概密、损失函数ij 、类域i 取定后，R是P(1)的线性函数。 考虑P(1)的各种可能取值情况，为此在区间(0,1)中取若干个不同的P(1)值，并分别按最小损失准则确定相应的最佳决策类域1 、 2 ，然后计算出其相应的最小平均损失R*，从而可得最小平均损失R*与先验概率P(1)的关系曲线。,76,PB(1),77,78,79,80,作业,P125 4.1 4.2 4.7,81,44 N-P(N
13、eymanPearson)判决,第四章 统计判决,82,在某些实际问题中，可能存在以下几种情况：,83,所谓N-P准则，是严格限制较重要的一类错误概率令其等于某常数而使另一类误判概率最小。,84,将实属,类的模式,判属,类的误判概率为,N-P准则是在使某一类误判概率等于常数的约束下使另一类误判概率最小。,85,86,郎格朗日乘数法:,在条件极值问题中, 满足条件 g(x, y) = 0 下，去寻求函数 f(x, y) 的极值。 对三变量函数 F(x, y, ) = f(x, y) + g(x, y),分别求F对三变量的偏导,并联立方程式 F = g(x, y) = 0 Fx = fx (x,
14、y) + gx (x, y) = 0 Fy = fy (x, y) + gy (x, y) = 0,求得的解 (x, y) 就成为极值的候补。 这样求极值的方法就叫做拉格朗日乘数法、叫做拉格朗日乘数。,87,因为这种取法下, 是使被积函数取正数的最大的域。,88,，,如前定义,89,同理, 由,90,可以看出，N-P判决规则的形式和最小误判概率准则及最小损失准则的形式相同，只是似然比阈值不同。,91,92,l,W1,W2,l,93,在具体运用N-P准则时，首先根据给定的控制量e0计算门限l，然后运用判决规则进行判决分类。,94,解：由公式和给定的条件可算得两类的概密分别为:,由上面二式可以算得
15、 :,95,其为判决界面，上式两边取对数，于是可得判决规则:,96,由上面的判决规则，有:,97,有数学手册可查得:,98,99,本章主要介绍了贝叶斯统计决策理论为基础的贝叶斯分类方法,其中包括了最小误判概率、最小损失准则等，依据这些准则设计的分类器，从理论上讲是最优的性能，即分类的错误率或风险在所有可能的分类器中为最小，因此经常被用来作为衡量其他分类器设计方法优劣的标准。,由于正态分布在物理上的合理性和数学上的计算简便性，我们详细介绍了贝叶斯分类方法在正态分布下的几种特殊情形，导出了其对应的判决函数、决策面方程及相应的几何描述。,100,下面我们简单回顾一下本章所学的几种贝叶斯决策准则:,1
16、、最小误判概率准则,101,2、最小损失准则,102,3、含拒绝判决的最小损失准则,两类时:,103,3、含拒绝判决的最小损失准则,其中 为拒绝判决。,104,4、最小最大损失准则,如果,则判,是如何获得的？,105,5、N-P准则,l是如何获得的？,由,固定e0反求l,106,例：在军事目标识别中，假定有灌木丛和坦克两种类型，它们的先验概率分别是0.7和0.3，损失函数如下表所示，其中，类型w1和w2分别表示灌木和坦克，判决a1=w1，a2=w2，a3表示拒绝判决。现在做了四次试验，获得四个样本的类概率密度如下：P(x|w1):0.1, 0.15, 0.3, 0.6, P(x|w2):0.8
17、, 0.7, 0.55, 0.3,（1）用最小误判概率准则，判断四个样本各属哪一个类型。,问：,（3） 把拒绝判决考虑在内，重新考核四次试验的结果。,（2）假定只考虑前两种情况，试用最小损失准则判断四个样本各属于哪一个类型。,类型,判决,损 失,107,答:,求出四个样本两类的似然比。,最小误判概率准则时的阈值：,（1） 因此按最小误判概率准则判决时，第一、第二样本属于第二类即坦克，第三、第四属于第一类即灌木丛。,108,（2） 按最小损失准则判决,因此按最小损失准则判决时，第一、第二样本属于第二类即坦克，第三、第四属于第一类即灌木丛。,最小损失准则时的阈值：,109,（3） 带拒绝的最小损失
18、准则判决,由于是比较大小,可忽略p(x),即只需计算,110,（3） 带拒绝的最小损失准则判决,因此第一、 第二、第三、第四样本均拒判。,=2.5*0.7*(0.1,0.15,0.3,0.6)+2.0*0.3*(0.8,0.7,0.55,0.3) =(0.655, 0.683, 0.855, 1.23),=4.0*0.7*(0.1,0.15,0.3,0.6)+1.0*0.3*(0.8,0.7,0.55,0.3) =(0.52, 0.63, 1.005, 1.77),=1.5*0.7*(0.1,0.15,0.3,0.6)+1.5*0.3*(0.8,0.7,0.55,0.3) =(0.465, 0
19、.473, 0.563, 0.765),111,利用贝叶斯分类器实现手写数字识别的例子,112,利用贝叶斯分类器实现手写数字识别的例子,2、实现步骤,（2）计算 ，再计算类条件概率,表示样品X属于wi类条件下，X的第j个分量为1的概率估计值。,113,利用贝叶斯分类器实现手写数字识别的例子,2、实现步骤,其中a=0或1,（3）利用贝叶斯公式求后验概率,114,利用贝叶斯分类器实现手写数字识别的例子,2、实现步骤,（4）后验概率的最大值的类别（09）就是手写数字的所属类别。,115,利用贝叶斯分类器实现手写数字识别的例子,2、实现步骤,（4）后验概率的最大值的类别（09）就是手写数字的所属类别。,（1）先计算先验概率,（2）计算 ，再计算类条件概率,（3）利用贝叶斯公式求后验概率,116,已知两个一维模式类别的类概率密度函数为,先验概率P(1)= P(2)=0.5 。 (1) 求Bayes判决函数（用0-1损失函数）； (2) 求总误判概率P(e)。,P126: 4.8,作业,
