1、第4 章 判别分析(discriminant analysis),4.1 距离判别 及MATLAB实现4.2 Bayes判别4.3 判别分析 总结,计算与应用数学系,中国石油大学（华东）理学院 丁永臻 2013,统计方法（判别分析）:,判别分析在已知研究对象分成若干类型，并已取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分类。距离判别法首先根据已知分类的数据，分别计算各类的重心，计算新个体到每类的距离，确定最短的距离（欧氏距离、马氏距离）Fisher判别法利用已知类别个体的指标构造判别式（同类差别较小、不同类差别较大），按照判别式的值判断新
2、个体的类别Bayes判别法计算新给样品属于各总体的条件概率，比较概率的大小，然后将新样品判归为来自概率最大的总体,例 (1989年国际数学竞赛A题)蠓的分类 蠓是一种昆虫，分为很多类型，其中有一种名为Af,是能传播花粉的益虫；另一种名为Apf,是会传播疾病的害虫，这两种类型的蠓在形态上十分相似，很难区别. 现测得6只Apf和9只Af蠓虫的触角长度和翅膀长度数据Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96) ；Af：(1.24,1.72), (1.36,1.74), (1.38,1.
3、64), (1.38,1.82), (1.38,1.90), (1.40,1.70), (1.48,1.82),(1.54,1.82), (1.56,2.08). 试判别以下的三个蠓虫属于哪一类？ (1.24,1.8)，(1.28,1.84)，（1.4，2.04）,第4章 判别分析,判别分析的基本思想是根据已知类别的样本所提供的信息，总结出分类的规律性，建立判别公式和判别准则，判别新的样本点所属类型。本章介绍距离判别分析、Bayes判别分析及其MATLAB软件的实现。,4.1 距离判别分析,4.1.1 判别分析的概念,在一些自然科学和社会科学的研究中，研究对象用某种方法已划分为若干类型，当得到
4、的一个新样品数据（通常是多元的），要确定该样品属于已知类型中的哪一类，这样的问题属于判别分析.,从统计数据分析的角度，可概括为如下模型：,设有k个总体 ,它们都是 p元总体,其数量指标是 1) 若总体 的分布函数是已知，对于任一新样品数据 ,判断它来自哪一个总体 。,2) 通常各个总体 的分布是未知的，由从各个总体取得的样本（训练样本）来估计。一般，先估计各个总体的均值向量与协方差矩阵。,称 称为n维向量x，y之间的闵可夫斯基距离，其中 为常数。,欧氏距离,显然，当r=2和1时闵可夫斯基距离分别为欧氏距离和绝对距离.,(1) 同一总体的两个向量之间的马氏距离,其中 为总体协方差矩阵，通常取为实
5、对称正定矩阵. 显然，当为单位矩阵时马氏距离就是欧氏距离.,设有n维向量 ,则称,为n维向量x，y之间的马氏距离.,2. 马氏距离 马氏距离是由印度统计学家马哈拉诺比斯(PC Mahalanobis)提出的，由于马氏距离具有统计意义，在距离判别分析时经常应用马氏距离：,(4.1.1),(3) 两个总体之间的马氏距离,设有两个总体G1,G2，两个总体的均值向量分别为 ，协方差矩阵相等，皆为,则两个总体之间的马氏距离为,通常，在判别分析时不采用欧氏距离的原因在于，该距离与量纲有关.例如平面上有A,B,C,D四个点，横坐标为代表重量（单位：kg），纵坐标代表长度（单位：cm），如下页图。,(4.1.
6、3),这时,显然 ABCD,如果现在长度用mm为单位，重量的单位保持不变，于是A点的坐标为(0,50)，B点的坐标为(0,100)，此时计算线段的长度为,此时，AB0，x属于G1;若W(x)=w2(i) disp(第,num2str(i),个蠓虫属于Apf类); else disp(第,num2str(i),个蠓虫属于Af类); end;end; 输出结果： 第1个蠓虫属于Apf类 第2个蠓虫属于Apf类 第3个蠓虫属于Apf类,（2）两个总体协方差矩阵不相等的情形,设总体的协方差矩阵不相等分别为1,2概率密度函数为：,则基于两正态总体误判损失相等的Bayes判别准则,其中,4.2.2 多个总
7、体的Bayes判别,设有k个总体G1,G2,Gk的概率密度为fj(x)各总体出现的先验概率为,1.一般讨论,当出现样品,时, 总体,的后验概率,Bayes判别准则为:若,则判样本,注：当达到最大后验概率的,不止一个时，可判,为达到最大后验概率的总体的任何一个.,2.多个正态总体的Bayes判别,（1）当,时，设,线性判别函数为,其中,基于误判损失相等的Bayes判别准则为,基于后验概率的Bayes判别准则为,其中,在实际问题中，由于 未知，各总体的训练样本均值 （2）当,不全相等时, 设,则基于后验概率的Bayes判别准则为,其中,未知，,估计.,4.3 判别分析总结,判别分析方法最初应用于考
8、古学, 例如要根据挖掘出来的人头盖骨的各种指标来判别其性别年龄等. 近年来, 在生物学分类, 医疗诊断, 地质找矿, 石油钻探, 天气预报等许多领域, 判别分析方法已经成为一种有效的统计推断方法. 假定需要作出判别分析的对象分成 r 类, 记作A1, A2, , Ar , 每一类由m个指标的若干个标本确定, 即A1, A2, Ar为已知的分类. 现在问待判断的对象x = (x1, x2, xm)T是属于A1, A2, Ar中的哪一类？这就构成了判别分析问题的基本内容.,判别分析:,判别分析是用于判别个体所属群体的一种统计方法，判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总
9、结出客观事物分类的规律性，建立判别公式和判别准则。然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。判别分析是一种应用性很强的统计数据分析方法。,判别分析的原理:,为了能识别待判断的对象x = (x1, x2, xm)T是属于已知类A1, A2, Ar中的哪一类？ 事先必须要有一个一般规则, 一旦知道了x的值, 便能根据这个规则立即作出判断, 称这样的一个规则为判别规则. 判别规则往往通过的某个函数来表达, 我们把它称为判别函数, 记作W(i; x). 一旦知道了判别函数并确定了判别规则，最好将已知类别的对象代入检验，这一过程称为回代检验，以便检验你的
10、判别函数和判别规则是否正确.,判别分析的主要方法:,判别分析的主要方法有距离判别方法、费希尔 (Fisher)判别方法、贝叶斯(Bayes)判别方法.,距离判别方法：判别函数W(i; x) = d (x, Ai ), 其中d (x, Ai )为待判别对象x到第i类Ai的距离. 判别规则为若W(k; x) = minW(i; x)| i =1, 2, , r , 则xAk .,贝叶斯(Bayes)判别方法：判别函数W(i; x ) = pii(x), 其中pi为待判别对象xAi的概率,如果没有任何这种附加的先验信息,通常取pi = 1/r. i(x)为已知类别Ai的分布密度判别规则为若W(k;
11、x ) = maxW(i; x )| i =1, 2, , r ,则xAk.,Fisher准则分类的模型:,费歇（Fisher）判别法是一种线性判别的方法。它的工作思路是对原数据系统进行坐标变换，寻求能将总体尽可能分开的方向。具体的作法是先引入一个与样本同维的待定向量u，再将y取为x坐标的线性组合 。而u的选取，要使同一类别产生的y尽量聚拢，不同类别产生的y尽量拉开。 这样，我们便可将样品x到某一类G的距离定义为 与 之间的欧氏距离： 其中c为G的几何中心Fisher分类的判据为： 1若 ，则判定义为A类； 2若 ，则判定又为B类； 3若 ，则判定又为不可判类。,建模实例 :,两种蠓Af和Ap
12、f已由生物学家W.L.Grogna和W.W.Wirth于1981年根据它们的触角长和翼长加以区分, 右下图给出了9只Af和6只Apf蠓的触角长和翼长数据, 其中“”表示Apf, “”表示Af. 根据触角长和翼长来识别一个标本是Af还是Apf是重要的., 给定一只Af族或Apf族的蠓,如何正确地区分它属于哪一族？ 将你的方法用于触角长和翼长分别为 (1.24, 1.80), (1.28, 1.84), (1.40, 2.04)三个标本. 设Af是传粉益虫, Apf是某种疾病的载体, 是否应修改你的分类方法？若需修改, 为什么？,假设 两种群Af和Apf的触角长和翼长的期望值、标准差、相关系数与由数据给出的样本的统计量一致. 两种群Af和Apf的触角长和翼长服从二元正态分布. 两种群Af与Apf的数量之比为一个确定的值. 所给的样本数据是无误差的.,样本数据,模型建立与求解（从略）,判别的CLASSIFY命令实现：,
