1、声明,该课件系在李长河教授课件的基础上进行增删修改而成,2018/10/13,西北农林科大信息工程学院,1,2018/10/13,西北农林科大信息工程学院,2,2.2.3 基于最小风险的贝叶斯决策,使错误率最小并非是一个普遍适用的最佳选择。 引进一个度量损失的概念风险(Risk)。:属于 j 的样本 X 被判为 i 时的风险。 Ri(X):样本 X 被判为 i 时的风险。 则,2018/10/13,西北农林科大信息工程学院,3,例如,针对病理切片:,以病理切片X为例，1表示正常; 2表示异常. P(1|X)与P(2|X)分别表示了两种可能性的大小。 判为1引起的风险:判为2引起的风险:,201
2、8/10/13,西北农林科大信息工程学院李长河,4,概括起来，有如下若干概念与定义: 自然状态:是指待识别对象的类别. 状态空间:由所有自然状态所组成的空间， = 1, 2, , c,2.2.3 基于最小风险的贝叶斯决策,2018/10/13,西北农林科大信息工程学院李长河,5,决策:不仅包括根据观测值将样本划归哪一类别(状态),还可包括其它决策,如“拒绝”等,因此决策空间内决策总数 d 可以不等于类别数 c. 决策空间:由所有决策组成的空间,可表示为,2.2.3 基于最小风险的贝叶斯决策,2018/10/13,西北农林科大信息工程学院,6,损失函数 (i|j),或写成 (i, j)。 在观测
3、值 X 条件下的期望损失 Ri(X) = R(i|X) 为： 这称为条件风险。,2.2.3 基于最小风险的贝叶斯决策,真实状态,决策,2018/10/13,西北农林科大信息工程学院,7,最小风险的贝叶斯决策决策规则:,期望风险它表示对所有 X 取值所作的决策 ai 所带来的平均风险。,2018/10/13,西北农林科大信息工程学院李长河,8,最小风险贝叶斯决策步骤:,根据贝叶斯公式计算出后验概率： 利用计算出的后验概率及决策表,计算出采取i的条件风险:对得到的a个条件风险值找出使条件风险最小的决策k :则k就是最小风险贝叶斯决策。,2018/10/13,西北农林科大信息工程学院李长河,9,按最
4、小风险贝叶斯决策分类例子:,例2.2 由例2.1,按最小风险贝叶斯决策进行分类:若已知P(1)0.9, P(2)0.1 p(X|1)0.2, p(X|2)0.4 110, 126, 211, 220 这里ij表示(i|j)的简写,根据2.1的计算结果可知,其后验概率为 P(1|X)0.818, P(2|X)0.182,2018/10/13,西北农林科大信息工程学院,10,条件风险: 由于R(1|X)R(2|X) ,即决策为12的条件风险小于决策为1的条件风险，因此应采取决策行动2，即判待识别的细胞X为2类异常细胞。 比较例2.1，与P(1|x)0.818P(|x)0.182而判定为正常细胞的分
5、类结果正好相反。关键这里影响决策结果的因素中多了一个“损失”的计算。可见，两类决策所造成的结果差别悬殊。,按最小风险贝叶斯决策分类例子:,2018/10/13,西北农林科大信息工程学院李长河,11,两种决策方法之间的关系:,可把基于最小错误率的决策看作是基于最小风险的决策的一个特例。 设损失函数为(2-17) 式中假定对C类只有C个决策，即不考虑“拒绝”等其它情况,(2-17)表明,当作出正确决策(即i=j)时没有损失,而对于任何错误决策,其损失均为1。 这样定义的损失函数称为01损失函数。,2018/10/13,西北农林科大信息工程学院李长河,12,根据(2-14)式条件风险为 (2-18)
6、 可见：最小错误率贝叶斯决策就是在01损失函数条件下的最小风险贝叶斯决策。,两种决策方法之间的关系:,2018/10/13,西北农林科大信息工程学院李长河,13,2.2 几种常用的决策规则,2018/10/13,西北农林科大信息工程学院李长河,14,2.2.4 在限定一类错误率条件下使 另一类错误率最小的两类别决策,参考教材P16页,2018/10/13,西北农林科大信息工程学院李长河,15,2.2.5判别函数、决策面与分类器设计,决策域(Decision Region):待识别的特征向量落在哪个决策域，该样本就被判为哪一类。 决策面(Decision Surface):决策域的边界面即决策面
7、. 判别函数(Discriminant Function):用于表达决策规则的某些函数则称为判别函数。,2018/10/13,西北农林科大信息工程学院李长河,16,例:两类别问题按最小错误率作决策,若 相应判别函数: gi(X)P(i|X), i=1,2 决策面方程: g1(X)g2(X) 决策规则:如果gi(X)gj(X) ,i,j=1,2 且 ij 则Xi，否则Xj,否则,2018/10/13,西北农林科大信息工程学院李长河,17,2.2 几种常用的决策规则,2018/10/13,西北农林科大信息工程学院李长河,18,多类别情况决策规则:,如果 则将X归于i类 决策面 当i的决策域与j的决
8、策域相邻时，以下关系决定了相应的决策面gi(X)gj(X).,2018/10/13,西北农林科大信息工程学院李长河,19,2.2 几种常用的决策规则,决策面问题表示,图2.5(a)表示了一个三类别问题用一维特征空间所有决策边界，而图2.5(b)则表示了相应的二维特征空间中的决策边界。,2018/10/13,西北农林科大信息工程学院李长河,20,2.2 几种常用的决策规则,2018/10/13,西北农林科大信息工程学院李长河,21,2.3 正态分布时的统计决策,2.3.1 正态分布概率密度函数 2.3.2 正态分布概率模型下的最小错误率贝叶斯决策,2018/10/13,西北农林科大信息工程学院李
9、长河,22,2.3 正态分布时的统计决策,具体的决策域划分与样本的概率分布有关。下面结合正态分布概率密度函数进行讨论，在讨论结束时我们会发现从中可以得到不少启示。,2018/10/13,西北农林科大信息工程学院李长河,23,2.3.1 正态分布概率密度函数,2018/10/13,西北农林科大信息工程学院李长河,24,多元正态分布:,2018/10/13,西北农林科大信息工程学院李长河,25,2.3 正态分布时的统计决策,多元正态分布的重要特性：维数：多元正态分布的概率密度函数中的元就是我们前面说得特征向量的分量数，也就是维数。多维向量: 每一个分量都是随机变量，服从正态分布。但是一个多维随机向
10、量不仅要求考虑每个分量单独的分布，还要考虑两个随机变量之间的关系相关性。,2018/10/13,西北农林科大信息工程学院李长河,26,例:两个二元正态分布,2018/10/13,西北农林科大信息工程学院李长河,27,协方差矩阵：,（协方差矩阵的表示参见P25页（2-54）式） 用 来衡量这种相关性,称为协方差矩阵. 非对角元素表示了两个分量之间的相关性; 主对角元素则是各分量本身的方差。 协方差矩阵的重要属性: 为正定的对称矩阵。,2018/10/13,西北农林科大信息工程学院李长河,28,多元正态分布时的性质:,2018/10/13,西北农林科大信息工程学院李长河,29,多元正态分布时的性质
11、:,2018/10/13,西北农林科大信息工程学院李长河,30,边缘分布和条件分布的正态性 多元正态分布的边缘分布和条件分布仍然是正态分布。 线性变换的正态性Y x，则Y的分布仍然是正态的。 （请参阅教材P28-30页的解释与证明）,T,多元正态分布时的性质:,2018/10/13,西北农林科大信息工程学院李长河,31,2.3.2 正态分布概率模型下的最小错误率贝叶斯决策,2018/10/13,西北农林科大信息工程学院李长河,32,相应的决策面方程为: 即 (2-38),2.3.2 正态分布概率模型下的最小错误率贝叶斯决策,2018/10/13,西北农林科大信息工程学院李长河,33,一.最小距
12、离分类器情况:,2018/10/13,西北农林科大信息工程学院李长河,34,情况1: 其中I是dd维单位 矩阵，即 以上条件表明，c类样本都以半径相等的超球面形状分布在特征空间内，且具有相等的先验概率。 下页图 (a)表示一个在二维特征空间中满足上述条件的两类别问题示意图;图 (b)则画出多类别的情况，它们分别是相邻区域的垂直平分线组合而成。,一.最小距离分类器情况:,2018/10/13,西北农林科大信息工程学院李长河,35,在这种条件下,由于| 及i=I,代入(2-37)得 (2-40),一.最小距离分类器情况:,2018/10/13,西北农林科大信息工程学院李长河,36,由于决策是根据各
13、判别函数之间的大小，因而在(2-38)中一些与类别无关的项可以忽略，再加上先验概率相等这个条件，判别函数可简化成 (2-41) 最小距离分类器也可看作模板匹配。每个类有一个典型样本(即均值向量)，可称为模板，而待分类样本X只要按欧氏距离计算与哪个模板最接近(欧氏距离最短)即可作决策为该模板类。,一.最小距离分类器情况:,2018/10/13,西北农林科大信息工程学院李长河,37,二.线性分类器,情况2: i=I , i=1,，c (2-42) (2-43) 其中 (2-44) (2-45),2,2018/10/13,西北农林科大信息工程学院李长河,38,（决策面方程的推导过程参阅P31-32页
14、）,二.线性分类器,2018/10/13,西北农林科大信息工程学院李长河,39,由(2-47)与(2-48)式可以看出:决策面为C元一次方程,为一超平面，其法线方向为(ij). 1.当P(i)P(j)时该超平面过(i+j)/2点，在二维情况下，就是过i与j连线的垂直平分线，如前图示。2.当P(i)P(j)时,该超平面的位置要向远离先验概率大的方向偏,但超平面方向不变。,一.最小距离分类器情况:,2018/10/13,西北农林科大信息工程学院李长河,40,在 一种简单情况下 在二维空间先验概率相等的情况: i=,二.线性分类器,2018/10/13,西北农林科大信息工程学院李长河,41,二.线性
15、分类器 * 判别函数构成：,2018/10/13,西北农林科大信息工程学院李长河,42,-在正态分布条件下，基于最小错误率贝叶斯决策只要能做到类协方差矩阵是一样的，那么决策面亦为多元一次方程;则无论先验概率相等不相等，都可以用线性分界面实现。 -最小欧氏距离分类器则要求正态分布协方差矩阵为单位阵，先验概率相等。,线性分类器总结:,2018/10/13,西北农林科大信息工程学院李长河,43,三.各类协方差矩阵不相等的情况,* 多元正态分布的一般情况时：,2018/10/13,西北农林科大信息工程学院李长河,44,决策面方程(当两个决策域毗邻时) 根据gi(X)gj(X)0有: (2-62),三.
16、各类协方差矩阵不相等的情况,2018/10/13,西北农林科大信息工程学院李长河,45,三.各类协方差矩阵不相等的情况,2018/10/13,西北农林科大信息工程学院李长河,46,讨论与分析: -在何种正态分布条件下，最小错误率贝叶斯决策具有线性决策面。 -最小距离分类器与统计上最小错误率决策是一致的。,2.3 正态分布时的统计决策,2018/10/13,西北农林科大信息工程学院李长河,47,本章小节（一）,回顾本章学习，主要学到了这样一些知识： 第一 使用什么样的决策原则我们可以做到错误率最小呢？这个条件是要知道一个样本X分属不同类别的可能性，表示成P(i|X)，然后根据后验概率最大的类来分
17、类。后验概率要通过Bayes公式从先验概率与类分布函数来计算。但是Bayes决策太原则了，使用的前提是知道特征空间中样本各个值的后验概率。但是我们在实际设计分类器算法只能依据一个训练样本集提供的数据。,2018/10/13,西北农林科大信息工程学院李长河,48,本章小节（一）,第二， 错分类最小并不一定是一个识别系统最重要的指标，对语音识别、文字识别来说可能这是最重要的指标，但对医疗诊断、地震、天气预报等还要考虑错分类的不同后果，因此引入了风险，损失这些概念，以便在决策时兼顾不同后果的影响。在实际问题中计算损失与风险是复杂的，在使用数学式子计算时，往往用赋于不同权值来表示，这大概是一种常用的方
18、法。,2018/10/13,西北农林科大信息工程学院李长河,49,本章小节（二）,第三， 当各类样本近似于正态分布时，可以算出使错误率最小或风险最小的分界面、相应的分界面方程。因此如能从训练样本估计近似的正态分布，可以按贝叶斯决策方法对分类器进行设计。因此一种利用训练样本的方法是通过它的概率分布进行估计，然后用它进行分类器设计。,2018/10/13,西北农林科大信息工程学院李长河,50,本章小节（二）,用贝叶斯决策实现样本分类，要求样本各类别的先验概率与类条件概率密度函数已知。因此，在这些参数未知时使用贝叶斯决策方法，要有一个学习阶段：设法获得一定数量的样本，并从这些样本数据获得样本概率分布
19、的估计，然后才能对未知的新样本按贝叶斯决策方法实行分类。 由于估计本身不易，在样本数量有限时也不准确、可靠。因此常常采用其它方法。,2018/10/13,西北农林科大信息工程学院李长河,51,1. 设在一维特征空间中两类样本服从正态分布，两类先验概率之比为试求按基于最小错误率贝叶斯决策原则的决策分界面的x值。,本章习题 （1）,2018/10/13,西北农林科大信息工程学院李长河,52,2. 设有两类正态分布的样本集，第一、二类均值分别为先验概率 ，现按基于最小错误率贝叶斯决策设计分类器，试求分类器的分界面。,本章习题 （1）,2018/10/13,西北农林科大信息工程学院李长河,53,第1题
20、 答：由于按基于最小错误率的贝叶斯决策，则分界面上的点服从,本章习题 （2）,2018/10/13,西北农林科大信息工程学院李长河,54,本章习题 （3）,第2题 答：分解决策面由两根直线组成，一根为x=4，另一根为y=1。,2018/10/13,西北农林科大信息工程学院李长河,55,3. 已知某一正态分布二维随机变量的协方差矩阵为其均值向量为零向量。试求其mahalanobis距离为1的点的轨迹,第3题 解：,则,本章习题 （4）,2018/10/13,西北农林科大信息工程学院李长河,56,4. 设有二维随机变量的分布如图a、b、c所示的三种情况, 协方差矩阵表示成 ，试问这三种分布分别对应
21、哪种情况？ A.a120 ； B.a120； C.a120,第4题 解：,本章习题 （5）,2018/10/13,西北农林科大信息工程学院李长河,57,5. 什么叫对称矩阵？什么叫正定矩阵？半正定矩阵？试问协方差矩阵是否是对称矩阵？是否是正定矩阵或半正定矩阵？,第5题 答：对称阵：aij=aji。正定阵：它的特征值都大于0；半正定阵：它的特征值都大于或等于0。协方差矩阵是正定阵。,本章习题 （6）,2018/10/13,西北农林科大信息工程学院李长河,58,6. 设一个二维空间中的两类样本服从正态分布，其参数分别为 ， ， ， ，先验概率 ，试证明其基于最小错误率的贝叶斯决策分界面方程为一圆，并求其方程。,本章习题 （7）,2018/10/13,西北农林科大信息工程学院李长河,59,第6题证明：先验概率相等条件下，基于最小错误率贝叶斯决策的分界面上两类条件概率密度函数相等。 因此有：,化简为，是一个圆的方程:,本章习题 （8）,2018/10/13,西北农林科大信息工程学院李长河,60,作业：,
