1、1Fisher线性判别式前面讲过的感知器准则、最小平方和准则属于用神经网络的方法解决分类问题。下面介绍一种新的判决函数分类方法。由于线性判别函数易于分析，关于这方面的研究工作特别多。历史上，这一工作是从R.A.Fisher的经典论文（1936年）开始的。我们知道，在用统计方法进行模式识别时，许多问题涉及到维数，在低维空间行得通的方法，在高维空间往往行不通。因此，降低维数就成为解决实际问题的关键。Fisher的方法，实际上涉及维数压缩。如果要把模式样本在高( )维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学d上容易办到。另外，即使样本在高维空间里聚集成容易分开的群类
2、，把它们投影到一条任意的直线上，也可能把不同的样本混杂在一起而变得无法区分。也就是说，直线的方向选择很重要。在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher法要解决的基本问题。这个投影变换就是我们寻求的解向量 。*w1线性投影与Fisher准则函数在 两类问题中，假定有 个训练样本 其中 个样本来自 类型， 个样本来自 类2/wn),.21(nkx1iw2nj型， 。两个类型的训练样本分别构成训练样本的子集 和 。1n X2令： ， (4.5-1)kTkxy,.21是向量 通过变换 得到的
3、标量，它是一维的。实际上，对于给定的 ， 就是判决函数的值。ky由子集 和 的样本映射后的两个子集为 和 。因为我们关心的是 的方向，可以令 ，那么 就1X2 1Y2w1|ky是 在 方向上的投影。使 和 最容易区分开的 方向正是区分超平面的法线方向。如下图：kxw1Y2w图中画出了直线的两种选择，图(a)中， 和 还无法分开，而图(b)的选择可以使 和 区分开来。所以图(b)的1Y2 1Y2方向是一个好的选择。下面讨论怎样得到最佳 方向的解析式。w各类在 维特征空间里的样本均值向量：d， (4.5-2)ikXxiinM12,1通过变换 映射到一维特征空间后，各类的平均值为：， (4.5-3)
4、ikYyiim,映射后，各类样本“类内离散度”定义为：， (4.5-4)22()kii iyYS,2显然，我们希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义Fisher准则函数：(4.5-5)21|()FmJws使 最大的解 就是最佳解向量，也就是Fisher的线性判别式。*2求解从 的表达式可知，它并非 的显函数，必须进一步变换。)(JFw已知： ， , 依次代入(4.5-1)和(4.5-2)，有：ikYyiinm121， (4.5-6)iTXxkiTXxii Mniik )(2,1所以： 212121 |)(| ww(4.5-7)SMbTT)(2
5、其中： (4.5-8)TbS11是原 维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此， 越大越容易区分。d bS将(4.5-6) 和(4.5-2) 代入(4.5-4) 式中： iTiwmikXxiin2iSikXxiTki MS22)(ikx TikiT wx(4.5-9)wSi其中： ， (4.5-10)TiXxkikiik )(2,1因此： (4.5-11)wST2121显然： (4.5-12)Sw称为原 维特征空间里，样本“类内离散度”矩阵。iSd是样本“类内总离散度”矩阵。w为了便于分类，显然 越小越好，也就是 越小越好。iSwS将上述的所有推导结果代入 表达
6、式：)(JF 广义Rayleigh商 (4.5-13)SwJTbF)(式中 和 皆可由样本集 计算出。bSX用lagrange乘子法求解 的极大值点。)(JF3令分母等于非零常数，也就是： 。0cwScT定义lagrange函数：(4.5-14)(),(SwLTbT对 求偏导数： )(2,wb令 得到：0),(wL(4.5-15)*Sb从上述推导(4.5-10)(4.5-12)可知， 是 维特征的样本协方差矩阵，它是对称的和半正定的。当样本数目wSd时， 是非奇异的，也就是可求逆。dnw则： (4.5-16)*1*Sb问题转化为求一般矩阵 的特征值和特征向量。令 ，则 是 的特征根， 是 的特
7、征向量。bw1 ASbw1*wA*2121* )(MwSTb(4.5-17)(21式中： *21wT是一个标量。所以 总是在 方向上。将(4.5-17)代入到(4.5-15)，可以得到：Sb)(21M21*w其中， 是一个比例因子，不影响 的方向，可以删除，从而得到最后解：*(4.5-18)(21*Sw就使 取得最大值， 可使样本由 维空间向一维空间映射，其投影方向最好。)JF*d是一个Fisher线性判断式。(21*M讨论：如果 ， ，则样本线性不可分。210*w，未必线性可分。不可逆，未必不可分。wS3.Fisher算法步骤由Fisher线性判别式 求解向量 的步骤：)(21*MSw*w 把来自两类 的训练样本集 分成 和 两个子集 和 。21/X121X24 由 ， ，计算 。ikXxiinM12,1iM 由 计算各类的类内离散度矩阵 ， 。TixkiiSik )( iS2,1 计算类内总离散度矩阵 。21Sw 计算 的逆矩阵 。wS 由 求解 。)(21*M*这一节所研究的问题针对确定性模式分类器的训练，实际上，Fisher的线性判别式对于随机模式也是适用的。Fisher算法注释:（1）Fisher方法可直接求解权向量 ；*w（2）对线性不可分的情况，Fisher 方法无法确定分类，Fisher 可以进一步推广到多类问题中去。
