分享
分享赚钱 收藏 举报 版权申诉 / 67

类型基于聚类正则化的线性判别分析.docx

  • 上传人:精品资料
  • 文档编号:7767772
  • 上传时间:2019-05-25
  • 格式:DOCX
  • 页数:67
  • 大小:867.69KB
  • 配套讲稿:

    如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。

    特殊限制:

    部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。

    关 键  词:
    基于聚类正则化的线性判别分析.docx
    资源描述:

    1、基于聚类正则化的线性判别分析Linear Discriminant Analysis Based onClustering Regularization学科专业:信息与通信工程研究生:王爽指导教师:庞彦伟教授天津大学电子信息工程学院二零一三年十二月独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果,除了文中特别加以标注和致谢之处外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得天津大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名: 签字日期: 年 月 日学

    2、位论文版权使用授权书本学位论文作者完全了解 天津大学有关保留、使用学位论文的规定。特授权天津大学可以将学位论文的全部或部分内容编入有关数据库进行检索,并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。(保密的学位论文在解密后适用本授权说明)学位论文作者签名: 导师签名:签字日期:年月日签字日期:年月日摘要近些年,多媒体和网络技术发展迅速,促使了图像数据数量的大幅度增长,因此如何能够快速、准确地获取图像数据中的有用信息成为急需解决的问题,而维数约简技术作为其中的一种解决方案,现已成为一个非常热门的研究方向。到目前为止,最具有标志性的两种

    3、方法分别为主成分分析( Principal ComponentAnalysis, PCA)和线性判别分析(Linear Discriminant Analysis, LDA)。LDA是一种有监督的维数约简方法,其基本思想是找到一个最佳的投影方向,使投影到该方向上的样本数据的类间离散度最大,同时类内离散度最小。但当每个类别中的训练样本数目较少时,LDA方法却存在着严重的过拟合问题,而造成这种现象的主要原因是根据有限数目的训练样本计算得到的类间散布矩阵和类内散布矩阵与理想的类间散布矩阵和类内散布矩阵之间存在着较大的偏差。为了解决这个问题,本文提出在不增加训练样本数目的情况下,充分利用给定训练数据自

    4、身的结构信息,先运用 k-均值聚类算法形成新的样本数据,计算新样本数据的类间散布矩阵和类内散布矩阵。然后利用新样本数据的类间散布矩阵来归一化原始样本数据的类间散布矩阵,同时,利用新样本数据的类内散布矩阵来归一化原始样本数据的类内散布矩阵。这里,新样本数据的类间散布矩阵和类内散布矩阵对结果的贡献值是与每个类别中训练样本的数目成反比例关系的。最后,本文分别在 AR人脸数据库和 FERET人脸数据库以及 Carreira-Perpinan人耳数据库上做了大量的实验,证明了本文提出的算法的优势之处。关键词:LDA维数约简特征提取人脸识别ABSTRACTIn recent years, multimed

    5、ia and netwok techniques develop rapidly, and itpromotes the number of image data to increase at an amazing rate. So how to obtaionthe useful information quickly and accurately from a lot of image data becomes aurgent problem, and dimension redution technique which is as a kind of solution hasbeen a

    6、 very hot research topic. So far, there are two important methods, one isPrincipal Component Analysis (PCA) and the other is Linear Discriminant Analysis(LDA).LDA is as a supervised dimensionality reduction technique, its main idea is thatfinding an optimal projection direction firstly, and that the

    7、n projecting the sample datato this direction to ensure that the new between-class dispersion is largest and the newwithin-class dispersion is smallest respectively and simultaneously. However, whenthe number of training samples per class is small, LDA has serious overfittingproblem. The main reason

    8、 is that the between-class and within-class scatter matricescomputed from the limited number of training samples deviate from the underlyingones greatly.To solve the above problem without increasing the number of training samples,we propose making use of the structure of the given training data, and

    9、 using k-meansalgorithm to generate the new clustered data, then calculating the between-class andwithin-class scatter matrices of the new clustered data, and using them to regularizethe original between-class and wihin matrices, respectively and simultaneously. Thecontributions are inversely propor

    10、tional to the number of training samples per class.The advantages of the proposed method become more remarkable as the number oftraining samples per class decreases.Experimental results on AR face databases, FERET face database, andCarreira-Perpinan ear database demonstrate the effectiveness of the

    11、proposed method.KEY WORDS: LDA, cluster, dimension reduction, feature extraction, facerecognition目 录目 录 1第一章绪论 11.1研究背景及研究意义 . 11.2国内外研究现状 . 31.3本文的研究内容及结构安排 41.4本章小结 . 5第二章常用的图像预处理算法 62.1引言 . 62.2图像灰度化 . 62.3 z-score标准化 18 72.4直方图均衡化 . 72.5图像平滑&图像锐化 82.5.1图像平滑 82.5.2图像锐化 82.6本章小结 . 9第三章常用的分类器 103.1

    12、最近邻分类器 . 103.2支持向量机 . 113.3贝叶斯分类器 . 113.4欧式距离分类器 . 123.5马氏距离分类器 . 133.6神经网络分类器 . 133.7基于压缩感知的分类器 . 143.8本章小结 . 14第四章现有基于线性子空间的维数约简方法. 154.1主成分分析(PCA)方法 154.1.1 PCA算法的基本原理. 154.1.2基于 PCA的维数约简. 174.1.3 PCA算法的优点和缺陷. 194.2线性判别分析(LDA)方法 . 194.2.1 Fisher判别准则 194.2.2 LDA算法的基本原理 224.2.3基于 LDA的维数约简 244.2.4 L

    13、DA算法的缺陷 244.2.5正则化 LDA算法的基本原理 254.3本章小结 . 25第五章所提基于聚类正则化的线性判别分析. 265.1引言 . 265.2常用的聚类准则和方法 . 265.3基于聚类正则化的线性判别分析 355.4聚类数目的确定 . 405.5初始化聚类次数的确定 . 405.6基于 ccLDA的维数约简 405.7常用的数据库 . 415.7.1人脸数据库 415.7.2人耳数据库 425.8实验结果与分析 . 435.8.1在 AR人脸数据库上的实验 . 435.8.2在 FERET人脸数据库上的实验 465.8.3在 Carreira-Perpinan人耳数据上的实

    14、验 495.9本章小结 . 50第六章总结和展望 526.1总结 . 526.2展望 . 52参考文献 54发表论文和参加科研情况说明 60致谢 .61第一章绪论第一章绪论1.1研究背景及研究意义自从进入到 20世纪以来,使用计算机的领域越来越多,科学技术也随之发展的越来越迅猛,它们正在逐渐地影响着我们的日常生活以及工作学习。然而,它们虽然在一定程度上给我们带来了便利条件,但与此同时也引起了许多不可避免的问题,例如“ 维数灾难 ”。造成这种现象的主要原因是不管在实际生活或者科学工作过程中,都会存在大量的数据,例如图像检索、文档检索、视频监控系统、生物特征识别(包括人脸识别、人耳识别等)以及证券

    15、市场的数据交易和医学图像处理等领域,而这些数据大都具有“高维性” 的特征。如果对这些高维数据进行传统意义上的统计学分析处理将会变得异常困难,原因有以下两方面,一是海量数据的大量涌现,二是数据的维数还有继续增长的趋势。与此同时,数据的“高维性”特征也给模式识别以及计算机视觉等人工智能领域的发展带来了巨大的挑战和困难。下面简要说明一下高维性数据造成数据分析困难的几个方面:(1)计算复杂度高。算法的复杂度情况是与数据的特征维数有紧密联系的。随着数据的特征维数的增加,算法的计算复杂度也随之增高。假设对一幅120100的灰度图像进行处理,其共有 12000个像素值,如若将其作为特征向量进行进一步的处理,

    16、我们可以发现不管是对其进行传统意义上的统计学分析,还是对这 12000维特征所形成的特征空间进行估计分析,都会存在计算时间过长、存储代价过高的问题。如果将这些数据不进行一些预处理操作而直接应用到信息检索、文本挖掘、生活特征识别或是生物医学等领域,以目前的计算条件而言是无法实现的。(2)分类器的泛化性能变差。如果训练样本的数目保持不变,那么特征向量的维度越大,对样本进行统计计算的难度系数就越大,相应地,分类器的泛化性能也就变得越差。(3)维数灾难问题。数据的“高维性” 特点给人们带来了许多挑战,其中最大的一个就是“ 维数灾难 ”问题4041。当采样密度一定的情况下,随着数据维数的不断增长,采样数

    17、据的需求量也会不断增加。假设存在这样一种情况,高维数据 x采样于 n维空间,并呈均匀分布状态,如果 x与 n维空间中的某个边界的距离值最大不超过,则存在这样一个命题,即如果 x的维度 m,那么1第一章绪论 0成立 42。换句话说就是,当数据的维数增加时,采样数据会呈现向空间边界分布的情况。(4)数据冗余问题。我们可以很容易的想到,高维空间中的数据元素存在着相互关联的现象,然而,并不是所有的数据元素都会对问题的求解具有帮助作用,相反地,有些数据元素可能还会影响问题的求解准确度。比如在进行人脸识别实验时就存在上面描述的这种状况。其实,高维数据会使计算复杂度变高、分类器的泛化能力降低以及形成维数灾难

    18、等,甚至影响对问题的求解准确度,而产生这些问题的根本原因就是高维数据的数据冗余。因此可以说,数据的高维性特点已经成为人工智能领域中的一个没有办法避免的问题,然而,它虽然在一定程度上为那些传统的研究算法带来了许多困难,但与此同时,它也对许多新的算法和模型的产生起到了促进和推广的作用。虽然一些高复杂度算法通过一些特殊的设计之后能够直接利用这些高维数据得到相对而言比较准确的结果43,但是先利用数据降维的方法预先处理高维数据,之后再实施后续的一系列操作已经成为目前模式识别、计算机视觉等研究方向中对高维数据进行处理的一个主要方法。采用维数约简的方法处理高维数据,这个过程亦称为数据降维,其基本思想是因为高

    19、维数据中的有效结果一般都包含在一个或几个低维空间结构中,所以可以先将高维数据映射到一个合理的维度空间中,去除数据中的无关信息,或是通过得到一个低维空间,该空间能够有效地表示数据的本质性规律,然后再对其进行相应的处理。在不同的实际问题中,维数约简的具体描述和要求有些许不同,但我们可以大体上将维数约简概括为以下描述形式:对于高维数据 x,通过某一准则,找到 x的一种低维表示形式 t,使得 x中的主要信息能够最大程度上的存在于 t中。在上述描述中,低维表示 t在具体领域中的称谓可能有所不同,在统计学中, t被称为隐藏随机变量或是隐藏因子 44,而在模式识别或是计算机视觉等人工智能领域中, t常被该领

    20、域中的常用特征所代替 45。在实际应用中,维数约简要求的低维空间的具体形式由所要解决的问题决定,因此形成了两大类不同的维数约简方法,一个是非监督的维数约简,另一个是有监督的维数约简。非监督的维数约简采用探索的形式分析数据,使低维表示中包含所有关于该问题的信息,而有监督的维数约简则通过利用高维数据自身的构造信息来进行低维空间表示,进而筛选出数据中与所求问题没有关系的部分。由于数据的自身构造和实际的维度都是无法预知的,这就使得数据降维过程变得非常难解,因此事先应该进行一些假设。目前而言,数据假设分为两种情况,一种情况是线性假设,另一种情况是非线性假设。所谓的线性假设就是高维数据 x通过线性变换映射

    21、到低维空间 t中,非线性假设就是高维数据 x通过非线性变换2第一章绪论映射到低维空间 t中。由于在线性假设条件下高维数据映射到的低维空间是线性的,因此线性维数约简方法亦常常被称作子空间方法,其优势之处在于对进行了降维操作后的数据还能再次进行降维操作。而非线性假设条件下的高维数据到低维空间的非线性映射复杂性很大,需要低维空间下的特征能够尽可能地准确估计潜在的非线性映射。目前,维数约简方法作为机器学习以及计算机视觉等人工智能系统中的一项重要技术,已经被广泛应用在实际生活中,用于处理各式各样的问题。例如身份认证和识别任务中的人脸识别74649、人耳识别、语音识别5052、指纹识别5354 、步态识别

    22、5556、虹膜识别、文档分类5758 等;对高维数据中的不同部分分别进行维数约简得到描述子特征,其广泛应用在图像检索5961、目标检测与跟踪6263 以及图像分割 6465中。此外,当数据中没有任何已知的先验知识的情况下,我们可以通过采用维数约简的方法挖掘出数据的本质特性,为文本聚类66、数据可视化67以及图像自动标注68等应用提供了条件和保障。1.2国内外研究现状维数约简方法作为模式识别、计算机视觉以及机器学习等人工智能领域中的一项重要技术,为解决该领域中的各种数据分析问题提供了条件和可能,相应地,它也在这些应用环境中得到了进一步的改进机会。学者们在提出了大量新的维数约简方法的同时,亦不断地

    23、对已有的数据维数约简方法进行不断地完善和改进,进一步推进了维数约简技术的发展。目前,维数约简技术有多种不同形式的分类方法,包括:(1)按照映射函数是否是线性的可以分成线性的和非线性的两种方法;(2)根据是否考虑到样本的类别信息分为有监督维数约简方法1、半监督维数约简方法和无监督维数约简方法24;(3)依据数据的低维表示形式的获取方式的不同可以分成流形方法和投影方法5;(4)根据维数约简方法的计算过程的不同分成特征变换和特征选择两种方法。在这些已有的维数约简方法中,两种最著名的、应用最广的是主成分分析(Principal Component Analysis, PCA)6和线性判别分析(Line

    24、ar DiscriminantAnalysis, LDA)7 。线性的维数约简技术具有很多优点,例如比较容易实现,高效的计算过程等,因此经常被应用在各个行业中。然而现实生活中存在的各种数据一般情况下并非3第一章绪论是线性的,那么上面说的线性的数据降维算法就变得不再适合,因而许多学者开始研究那些可以对非线性数据进行降维的方法。目前,常用的方法可以概括为以下两大类:(1)混合局部线性的方法70。该方法的基本思想是首先对局部区域进行线性化处理,紧接着再将这些线性化的局部区域整合起来表示整个数据。(2)核方法71。该方法最早出现在统计学习理论中,主要用于支持向量机的有关计算。其基本思路是先通过一个核函

    25、数将高维数据变换到更高维的线性空间中,注意,这里的核函数一般都是非线性的,接下来,对这个更高维的线性空间中的数据进行降维处理即可得到最后的低维特征向量。核方法的优势之处在于只需要定义高维数据空间中的度量即可利用核函数实现维数约简,此外,该维数约简过程是基于“ 数据是非线性的 ”这一假设条件,因此可以应用数据的高阶相关性这一条件。近些年来出现了一种基于流形学习的数据降维方法,该方法容易完成,而且没有涉及到局部极值的情况,因此成为非线性维数约简技术中的研究热点。目前,基于流形学习的维数约简技术主要可以分成四种方法,包括投影法、生成式模型法、嵌入方法以及互信息法。1.3本文的研究内容及结构安排本文为

    26、了解决维数灾难问题,提高识别系统的准确度,对较为经典的 LDA方法进行了仔细的研究,发现当每个类别中的训练元素数目较少时,LDA方法存在着严重的过拟合问题。为了解决这个情况,本文提出了一种新的算法,并在AR和 FERET人脸库以及 Carreira-Perpinan人耳库上分别进行了大量的实验,结果表明,该算法是可行的。本文的内容安排如下:第一章是绪论。阐述了本课题的研究背景、研究意义和目前的发展状况。第二章是常用的图像预处理算法。介绍一些在图像处理领域中经常用到的图像预处理方法。第三章是常用的分类器。这一章简要的介绍了模式识别领域中几种常用的分类器,包括最近邻分类器、支持向量机、贝叶斯分类器

    27、等。第四章是现有基于线性子空间的维数约简方法。在这一章里将仔细讨论两种非常经典的基于线性子空间的维数约简方法,PCA和LDA 。4第一章绪论第五章是所提基于聚类正则化的线性判别分析。这一章将详细介绍本文新提出来的方法,ccLDA ,的基本原理,并分别在 AR和 FERET人脸库以及Carreira-Perpinan人耳库上进行相关实验,检验该方法的有效性。第六章是总结和展望。这一部分总结了本文所做的全部工作,并简要说明了该课题接下来的研究方向。1.4本章小结本章详细阐述了维数约简技术的研究背景、研究意义以及目前的发展情况。5第二章常用的图像预处理算法第二章常用的图像预处理算法2.1引言图像的预

    28、处理过程是对图像数据进行维数约简的关键环节,主要原因在于图像在获取过程中受到各种条件的限制以及环境、设备等噪声的干扰,必须通过对图像进行预处理操作这个方法来消除这些因素带来的影响,从而使有用的信息得到加强。本章将详细介绍几种常见的预处理操作。2.2图像灰度化我们应用的部分图像库是彩色 RGB图像,但是在进行维数约简的过程中,我们希望目标图像是灰度图像,因此需要将彩色 RGB图像变成灰度图像。但由于空间经过变换以后,图像中的某些像素点可能会出现过于紧凑以至于叠在一起或者过于分开的情况,造成变换后的图像的部分像素点的位置不再是整数值,这时就需要通过插值的方法重新计算这些像素点的灰度值。接下来,本文

    29、将详细介绍三种比较常用的插值计算方法,包括最近邻插值方法、双线性插值方法和双三次插值方法69。(1)最近邻插值:通常也被称为零阶插值,其基本思路是使变换后图像像素点的灰度值与与它距离最近的输入像素点的灰度值相等。这种方法的特点就是计算简单,但是插值后常会出现明显的不连续性,增加图像的高频噪声。(2)双线性插值:也常常被叫做双线性内插。双线性插值的数学意义就是让二元插值函数分别在水平和竖直两个相互垂直的方向上进行线性插值运算。经过双线性插值运算后的图像某像素点的灰度值等于原来图像该位置周围 22区域内所有像素点灰度值的平均值。(3)双三次插值:亦可叫做双立方插值。双三次插值的灰度值可通过该像素点

    30、 44邻域内的像素值计算得到,因此具有精度高的特点,但存在着运行速度慢的问题。将彩色 RGB图像变成灰度图像如图 2-1所示。6第二章常用的图像预处理算法(a)RGB图像 (b)灰度图像图 2-1 RGB图像灰度化2.3 z-score标准化18为了消除单位或变量本身给最后结果带来的影响,一般都会先用 z-score标准化方法对数据进行预处理,它的数学过程是首先让原始数据减去该变量的平均值,然后再乘以该变量标准差的倒数,经过这样变换后的数据是标准正态分布的,即均值为 0,方差为 1,变换公式如下:x x-u (2-1)其中是所有样本数据的均值,是所有样本数据的标准差。对于经过 z-score标

    31、准化处理后的数据,其数值大约一半大于 0,一半小于 0,整体的平均值正好等于 0。2.4直方图均衡化直方图均衡化18是图像处理领域中用来增强图像局部区域对比度的一种方法。要想达到图像整体对比度增强的目的,可以通过扩大像素点的灰度值的取值范围的办法来实现,那么只要使图像的灰度直方图呈均匀分布就可以满足条件。设原始图像在(x , y)位置处的灰度值为 p,经过直方图均衡化处理后该位置的灰度值变为 q,那么实现直方图均衡化的转换函数 q=EQ(p)应该满足下面的两个条件:(1)EQ(p)在 0 p L-1范围内是一个单调增函数。这个条件是为了保证经过直方图均衡化处理后的图像的灰度级顺序不发生变化,即

    32、原来是从黑到白,现在还是从黑到白,原来是从白到黑,现在依旧是从白到黑。(2)若 0 pL-1,则 0 q L-1,这样限定是为了确保转换前后灰度值的变化区间是一致的。7第二章常用的图像预处理算法2.5图像平滑&图像锐化2.5.1图像平滑图像平滑19主要是为了消除噪声。图像中常见的噪声主要有加性噪声、乘性噪声和量化噪声等。因为噪声一般都是没有任何规律的夹杂在图像信息中,致使图像的边界区域以及线条等细节部分变得不够清晰,因此为了更好地了解图像的这些区域以及细节部分,需要对其进行平滑处理。通常情况下,图像的高频部分主要是噪声,大部分信息是集中在低频部分的,因此,我们一般都采用低通滤波的方式滤除高频分

    33、量以消除噪声的干扰。目前,有两种图像平滑方法,一种是空域法,另一种是频域法。均值滤波和中值滤波是空域法中两种常用的方法,其中,均值滤波方法滑动窗口内的像素点个数为奇数,当它在图像上不断移动的过程中,令窗口中心位置处的灰度值等于整个窗口内所有灰度值的均值。如果在计算窗口内所有灰度值的均值大小的过程中有关于权值系数的处理,那么此时就是加权均值滤波器;中值滤波是令滑动窗口中心位置处的灰度值等于该窗口内所有灰度值的中间值。2.5.2图像锐化图像锐化19就是对图像的边缘轮廓进行补偿操作,使其边缘部分以及灰度发生骤变的地方得到增强,这样图像就会变得更加清楚,为接下来的处理过程提供了可能和条件。图像锐化方法

    34、主要有两种,一种是线性锐化滤波,另一种是非线性锐化滤波。如果各像素点的输出灰度值是其某个邻域内所有像素点的灰度值的线性组合,则该过程就是线性滤波,否则就是非线性滤波。(1)线性锐化滤波器最常用的一种线性锐化滤波器叫做线性高通滤波。线性高通滤波器的中心值- 1 - 1 - 1均大于 0,而其他值均小于 0,其 33的模板系数为: - 1 8 - 1。- 1 - 1 - 1(2)非线性锐化滤波器非线性锐化滤波器对于处理那些经过邻域平均化而形成的模糊图像非常有效,它的本质过程就是进行微分操作。梯度是一种最常用的微分形式,表示图像在某个方向上的灰度值变化情况。具体公式如下:8 y第二章常用的图像预处理

    35、算法x (2-2)众所周知,数字图像中的像素点是离散的,数值也是离散的,那么最短距离实际上就是相邻两点间的距离,此时梯度可以写成下面这种形式:f x f (x 1,y)-f (x,y)f y f (x,y 1)-f (x,y) (2-3)目前常用的微分滤波器算子有 Sobel梯度算子、Prewitt梯度算子和 log算子等。2.6本章小结本章介绍了几种常见的图像预处理的方法,包括图像灰度化、z-score标准化、直方图均衡化、图像平滑与锐化处理等,而进行预处理的主要目的就是为了提高图像中有用信息的识别度,为之后的图像处理操作做好基础。9f (x) A x A0j第三章常用的分类器第三章常用的分

    36、类器提取完图像的特征之后,需要将它们送入到分类器中,分类器根据已经确定的类别判别准则对这些特征进行类别判断,输出分类结果。常用的类别判别准则根据表达类别判别准则的函数可以分成线性的和非线性的两大类,假设类别判别函数为 f ( x),如果 f ( x)是关于自变量 x的线性函数,那么此时的分类器是线性的;如果 f ( x)是关于自变量 x的非线性函数,那么此时的分类器是非线性的26 。一般情况下线性判别函数运用的场合相对比较多。对于一个 d维空间而言,它的线性判别函数可以写成下面的形式: (3-1)式中,A表示权值向量,A0是常向量,两者均是与模式类别有关的分类器参数,利用训练样本进行训练的主要

    37、目的就是估计这些参数。目前比较常用的分类器有最近邻分类器、支持向量机(Support VectorMachine, SVM)、贝叶斯分类器、欧氏距离分类器、马氏距离分类器、神经网络分类器以及基于压缩感知的分类器等。3.1最近邻分类器最近邻分类器实现起来比较容易,而且分类效果也很好。它的基本思想是通过从样本中找到与测试图像距离最近的训练图像,根据训练图像所在的类别判断次测试图像所属的类别。假设用 x来表示测试图像的特征向量, x ij是第 i个类别 Ci的第 j个样本数据,那么最近邻判别准则就是if min mind 2 (x, xij ) d 2 (x, xij ), then x Ci (3

    38、-2)实际上 K-最近邻分类器是由最近邻分类器引申而来的。它的基本思路是找出样本中与测试图像最相近的前 K个训练图像,根据这 K个训练样本属于哪个类10式中, p( x) p( x | C j ) p(C j ) 。那么贝叶斯最大后验概率判别准则就可以这样第三章常用的分类器别最多来判断该测试图像应该归属为哪个类别。可以发现当 K=1时,K-最近邻分类器实际上就是最近邻分类器3536。3.2支持向量机支持向量机(Support Vector Machine, SVM)是一种有监督的学习方法,由Corinna Cortes和 Vapnik等 37于 1995年首先提出的,广泛应用在统计分类以及回归

    39、分析中。支持向量机方法的主要思想是先将原始数据通过某种办法投影至更高维的空间中,然后在该空间中构造一个超平面,它能够将数据彼此分隔开来,且间隔达到最大值,最后再在该超平面两侧构造两个彼此平行的超平面。这里,为了减小分类器的总体误差,应该使这两个相互平行的超平面之间有最大的间隔。3.3贝叶斯分类器贝叶斯分类器的主要思想是如果某一对象的先验知识是已知的,那么它的后验概率就可以通过贝叶斯公式计算得到,然后找出后验概率最大时该对象属于哪个类别,则这个类别就是该对象的最终所属类别。注意,利用贝叶斯分类器进行分类时有两个基本要求,即已知对象要被分成多少个类别以及各个类别有怎样的概率分布38。设有 C个类别

    40、的数据集, C C1,C2 ,., Cc ,其中的某个对象 x的类别条件概率密度函数是 p( x | Ci ),先验概率是 p(Ci ),那么它的后验概率密度 p(Ci | x)可以通过下式计算得到:p(Ci | x) p( x | Ci ) p(Ci )p( x) (3-3)Cj1表示:ifp(Ci | x) p(C j | x) then x Ci , j 1, 2,., i j11(3-4) (x x ) (x xd (x, xi i i )2d 2 (x, xi i i i ) x x)2(x x 0.5x xx 0.5x x那么,当 xi i i 的值达到最大的时候, xi 属于哪个

    41、类别, x 就属于哪个类fi (x) A i i0x A x , A0.5x xAi i i0 i i第三章常用的分类器上面就是基于最大条件概率的贝叶斯判别准则,其与最小错误概率准则是等价的。3.4欧式距离分类器欧氏距离分类器是通过运用欧式距离函数来判断样本的所属类别的,其在一些分类问题中是比较方便且有效的39。欧氏距离分类器以特征空间中各点之间的距离作为其相似性度量准则的衡量标准,它的主要思想是各类别中的训练数据的集合构成各自的决策区域,那么特征空间中两点之间的距离变得越小,相应的样本之间的相似性也就越变得大。设有 C个类别, C C1,C2 ,., Cc ,类别 Ci对应的特征向量为 xi

    42、,则对于某个样本 x而言,其与 xi之间的欧氏距离为1 (3-5)如果分类器的判决准则不再是以欧氏距离为标准,而是欧氏距离的平方,那么if min d 2 (x, xi ) d 2 (x, x j ) then x C ji(3-6)对上式进行一下简单的处理,那么 (3-7)别。因此,欧氏距离分类器的判别准则表达式(3-7)等价于最大化下面的判别函数,这里,若12(3-8)(3-9)第三章常用的分类器则上述分类器是线性的。3.5马氏距离分类器马氏距离分类器,顾名思义,就是使马氏距离的值为最小的一种分类器。所谓的马氏距离,其实就是加了权值的欧氏距离,可以看作是欧氏距离的一种变形,其具体形式如下:

    43、d 2 (x, xi ) (x xi ) A(x xi ) (3-10)这里,A是正定的加权矩阵。当各个类别有相同的协方差矩阵 时,通常取该协方差矩阵的逆矩阵为加权矩阵,即 A -1,此时, (3-10)式变成如下形式,d 2 (x, xi )2(1xi ) x 0.5xi1xi x1x (3-11)这里,与(3-10)式等价的判别函数仍为(3-8) 式,只是参数发生了变化,分别为以下形式,Ai1xi , Ai00.5xi1xi (3-12)观察上述表达式,我们可以发现,当 a 2I,即特征向量之间是相互独立的,且所有类别具有相同的协方差矩阵时,马氏距离分类器就变成了欧氏距离分类器。3.6神经

    44、网络分类器神经网络分类器是一种将分类器集成处理的方法,它根据特征是否相同,选择相应类型的神经网络分类器,最后再将这些分类器进行集成处理。因此,神经网络分类器是一种由弱分类器变成强分类器的过程。13第三章常用的分类器3.7基于压缩感知的分类器基于压缩感知的分类器在人脸识别系统中应用非常广泛,它的基本原理是首先根据训练图像学习到的相关知识用稀疏的形式来表示测试图像,然后再利用压缩感知的理论求解出此稀疏表示的最稀疏形式,进而实现对测试图像的分类算法。3.8本章小结本章首先阐述了分类器的基本概念,然后介绍了当前应用比较广泛的几种分类器,包括最近邻分类器、支持向量机、贝叶斯分类器、欧式距离分类器、马氏距

    45、离分类器、神经网络分类器以及基于压缩感知的分类器等。本文采用的是最近邻分类器。14min J (x0 )|xi 0|2 xi 时, (4-1)式取得极小值。第四章现有基于线性子空间的维数约简方法第四章现有基于线性子空间的维数约简方法基于线性子空间的维数约简方法有许多优点,如比较容易实现,计算复杂度不高,以及分类效果较好等,目前已经被广泛应用在许多领域中。它的核心思想就是找到一个转换函数,它能够使维数比较高的数据变换到一个维数比较低的线性空间中,此时,原来隐藏在维数比较高的数据中的信息现在绝大部分都可以包含在维数比较低的线性空间中。在基于线性子空间的维数约简方法中有两种非常重要且发展相对比较迅速

    46、的方法,分别是主成分分析( Principal ComponentAnalysis, PCA) 6方法和线性判别分析( Linear Discriminant Analysis, LDA) 7方法。在接下来的这一章内,本文将对这两种方法的相关理论进行详细的介绍。4.1主成分分析(PCA)方法主成分分析是一种利用特征的线性组合来达到维数约简目的的方法,其实质是利用线性变换使高维数据在投射到低维空间后,还可以保留之前高维数据中所蕴含的大部分信息。4.1.1 PCA算法的基本原理主成分分析来源于通信理论中的 K-L变换,所以我们先来了解一下 K-L变换。K-L变换2021即 Karhunen-Loe

    47、ve变化,是最优的正交变换。对于有 n个 d维数据的样本的集合 X x1 , x2 ,., xn,我们希望找到一个 d维数据 x0能够最好的表示这个样本,即使 x0与该样本中每个数据的距离的平方和最小,定义如下:ni1-x (4-1)当 x0 m 1 kni1如果以样本的均值方向为基准,将全部数据向该方向进行投影操作,那么我们就能够得到一个一维向量,它可以用来表示整个样本数据,15min J (a1 2 ,.,an ,e)|(m aie)-xi |2|aie-(xi -m)|2 a |e| -2 ak e (xi -m)|xi -m|S (xi -m)(xi -m)min J (e) ai2

    48、-2 ai2 |xi - m|2 -e (xi -m)2 |xi -m|2 - e (xi -m)(xi -m) e |xi -m| -e Se |xi -m|2在 (4-6)式中,使 J(e)最小的向量 e 应使 e Se 最大,应用拉格朗日算子法求解 e,第四章现有基于线性子空间的维数约简方法x m ae (4-2)式中,e表示样本均值方向上的单位向量,a是一个实系数,数值上等于点 m与直线上的点之间距离的大小。如果用 m+aie表示 xi,那么(4-1) 式就可转化成如下形式:n n,ai1 i1n n n2 2 2ii1 i1 i1考虑到|e|=1 ,(4-3)式对变量 ai计算偏导数,然后使结果等于 0,则存在ai e (xi -m)(4-3)(4-4)通过分析上面的结果我们可以发现,只要把向量 xi向样本均值方向 e做投

    展开阅读全文
    提示  道客多多所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:基于聚类正则化的线性判别分析.docx
    链接地址:https://www.docduoduo.com/p-7767772.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    道客多多用户QQ群:832276834  微博官方号:道客多多官方   知乎号:道客多多

    Copyright© 2025 道客多多 docduoduo.com 网站版权所有世界地图

    经营许可证编号:粤ICP备2021046453号    营业执照商标

    1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png 10.png



    收起
    展开