基于深度学习的高光谱图像特征学习研究——毕业论文.docx

1、本科毕业设计论文I摘要与传统分类方法相比，高光谱图像处理面临的两个主要问题是：一是光谱分辨率高、光谱曲线近乎连续、数据量大、数据冗余严重、谱间相关性强；另一是空间分辨率有限、存在大量混合像元， “Hughes”现象凸现。“特征学习”从原始的像素出发通过特定的神经网络结构自动发现图像中隐藏的模式以学习出有效特征，近年来获得空前的发展，成为国际上信号处理模式识别等领域的研究热点。深度学习是一种多层的神经网络结构，是自 2012 年来机器学习领域非常热的一个研究方向，它能够从原始的像素出发通过多层结构自动学习有效特征并在输出层实现分类。本文将基于深度学习的特征学习方法引入到高光谱遥感图像处理中，结合

2、像元的光谱特征，设计了一种深度学习网络，能够从高光谱数据上百个波段中提取有用的信息并分类，与其他基于深度学习的分类方法相比，正确率得到了显著的提升。同时，训练好的网络具有很好的泛化性能，可以直接提取同种传感器获取的其他高光谱图像数据，与传统的 SVM、SVM-CK 等分类方法比较，正确率得到了显著的提升。关键词：高光谱图像，特征提取，深度学习，卷积神经网络本科毕业设计论文IIAbstractCompared with the traditional classification method, two major problems facing the hyperspectral image

3、processing is: First, high spectral resolution, spectral curve nearly continuous, data volume, data redundancy is serious, spectral correlation is strong; the other is the space resolution is limited, there are a lot of mixed pixels, “Hughes“ phenomenon highlights.“Feature learning“ starting from th

4、e original pixel by specific neural network architecture, and can automatically discover the hidden image pattern to learn the features. It access to an unprecedented development in recent years, and have become a hot topic international signal processing and pattern recognition field. Deep learning

5、 is a multilayer neural network architecture, and has been a hot research direction of machine learning, it can automatically learn features by a multilayer structure and classify it in the output layer. This article will introduce a feature learning method based on deep learning, which combined wit

6、h the spectral characteristics of pixels can learn the deep feature of hyperspectral remote sensing image, and be able to extract useful information from hyperspectral data classification and hundreds of bands. Compared with other classification method based on deep learning, the accuracy has been s

7、ignificantly improved. Meanwhile, the trained network has good generalization performance, direct extraction of hyperspectral image data with other types of sensors obtained, compared with the traditional classification method like SVM, SVM-CK et al., the accuracy has been significantly improved.KEY

8、 WORDS：hyperspectral image, feature extraction, deep learning，convolutional neural network本科毕业设计论文III目录第一章 绪论 11.1 研究的背景和意义 11.2 高光谱图像特征提取与分类的国内外研究现状 21.3 深度学习的国内外研究现状 41.4 论文的内容安排和主要工作 5第二章 卷积神经网络理论 62.1 引言 62.2 卷积神经网络的结构 62.2.1 稀疏连接与权值共享 .62.2.2 最大池采样 .72.2.3 Softmax 回归 .72.2.4 全连接层 .102.2.5 Batch

9、 normalization 批量正则化 102.2.6 激活层 .112.3 基于卷积神经网络的特征学习 12第三章 基于卷积神经网络的高光谱图像特征学习研究 143.1 引言 143.2 网络结构 15本科毕业设计论文IV3.2.1 网络总体结构 .153.2.2 输入层 .163.2.3 卷积层 .163.2.4 批量正则化层 .163.2.5 全连接层 .173.2.6 输出层 .173.3 高光谱图像分类测试数据集 173.3.1 Indian Pines173.3.2 Salina183.3.3 Pavia Centre and University.203.4 分类研究 213.

10、4.1 简介 .213.4.2 实验设计 .213.4.3 实验结果与分析 .223.5 特征学习 253.5.1 特征学习简介 .253.5.2 实验设计 .263.5.3 实验结果与分析 .273.5 本章小结 29第四章 总结与展望 314.1 研究工作总结 314.2 对进一步工作的展望 31第五章 本科阶段已取得的成果 32参考文献 33本科毕业设计论文V致谢 38毕业设计小结 39附录 40本科毕业设计论文1第一章 绪论1.1 研究的背景和意义高光谱遥感影像具有光谱分辨率高及图谱合一等特点，其光谱分辨率可达到纳米级，提供了比常规图像传感器更丰富且更精确的光谱信息，使得本来在宽波段范

11、围内不可探测的物质，在高光谱遥感中可以被探测到，因此，与其他技术相比，高光谱遥感技术在地表物质的识别、分类以及感兴趣目标信息的提取等方面具有的更大的优势。与此同时，高光谱数据分析及处理的方法与技术研究也随之成为遥感信息处理领域的研究热点，引起国内外相关科研机构和应用部门越来越多的关注，并逐渐成为国内外遥感信息处理与相关应用领域科研工作者的研究重点和热点。与传统分类方法相比，高光谱图像处理面临的两个主要问题是：一是光谱分辨率高、光谱曲线近乎连续、数据量大、数据冗余严重、谱间相关性强；另一是空间分辨率有限、存在大量混合像元， “Hughes”现象凸现。由于高光谱遥感图像数据量非常巨大，使用传统的处

12、理方法处理高光谱图像时，其效率非常低甚至失效，这给信号与信息处理学科提出了严峻的挑战。因此，研究高光谱图像数据的特征提取，对于提高高光谱图像分类、目标识别等处理的精度具有非常重要的意义，并将对高光谱遥感的深层次应用技术的发展起到积极的推动作用。“特征学习”从原始的像素出发通过特定的神经网络结构自动发现图像中隐藏的模式以学习出有效特征，近年来获得空前的发展，称为国际上信号处理模式识别等领域的研究热点。深度学习是学习一种多层的神经网络结构，是自 2012 年来机器学习领域非常热的一个研究方向，它能够从原始的像素出发通过多层结构自动学习有效特征并在输出层实现分类，目前的研究证明，利用深度学习获取的特

13、征可将相关的图像处理（分类、识别等）的精度提高 10%以上。因此，本文章将基于深度学习的特征提取方法引入到高光谱遥感图像处理中，结合像元的光谱特征，设计一种深度学习网络，从高光谱数据上百个波段中提本科毕业设计论文2取有用的信息，用于进一步的数据处理(如地物分类和目标检测等)，对于提高高光谱图像分类和识别等处理的精度具有重要意义。1.2 高光谱图像特征提取与分类的国内外研究现状高光谱遥感技术的发展是遥感领域 20 世纪 80 年代起最重要的发展之一，至 90 年代已成为遥感技术研究领域的热门课题，也是当今及今后几十年内的遥感的前沿技术。在成像过程中，高光谱遥感技术利用成像光谱仪纳米级的光谱分辨率

14、，以几十或几百个波段同时对地物成像，获得地物连续的光谱信息，实现了地物空间信息、辐射信息以及光谱信息的同步获取，因而在相关领域具有巨大的应用价值和广阔的发展前景。相对于多光谱而言,它有更多的波段数目(一般为几十至几百个) 、更高的光谱分辨率(在可见光和近红外波段可以达到纳米级) 和更大的信息量和数据量。高光谱遥感的出现是遥感界的一场革命，它使得本来在多光谱的宽波段中不可探测的物质，在高光谱遥感中可以被探测到，所以，高光谱遥感技术自诞生之日起，就引起了遥感界的极大兴趣和关注，并在各国政府的大力扶持下得到了飞速发展。特征提取通常是指从原始数据中提取有用信息，兼或提高后续数据应用能力。在高光谱图像处

15、理中，特征提取通常起到数据降维的作用，同时能够提高后续地物分类、目标检测、混合像素解译以及子像素制图的处理能力 1-3。下面对高光谱遥感图像处理领域中特征提取研究的现状进行介绍。高光谱图像在获取较高空间分辨率图像的同时，在光谱维进行了更广的扩展，图像在光谱维度上具有很大的数据量，即光谱特征数目与以往相比呈现十倍甚至百倍的增长，这就使得相邻或相近光谱特征之间的相关性变得异常的高。面对如此巨大的数据量，若对原始图像直接进行处理，势必会影响处理的效率。使用传统多光谱图像分类方法对高光谱图像进行分类时会遇到“维数灾难”现象，而且计算量随波段数量成四次方增加。研究表明，绝大多数情况下，异类物质的光谱特性

16、具有唯一性，不同物质的光谱信息只有在一定的波段范围内才会表现其差异性，而在这之外的波段范围内差异性表现不显示，也就是具有很强的相似性。这样一来，本文期望得到对辨识地物类型最有利的特征记录，去除其他无关紧要的冗余信息。有着如此优越性的特征降维处理，在对高光谱图像进行处理后，不仅可以大大减小分类之前的输入数据量，而且对分析图像数据的结构及其它信息变得更简单和快捷，这样对场景中地物的分类有很大的助益。高光谱图像数据减少方法一般可分为特征选择和特征提取。特征提取的主要作用是保留数据中正交信息，即非相关信息。因此，特征提取通常具有去除本科毕业设计论文3相关性较强的冗余信息的作用。下面将概括地介绍主成分分

17、析、最小噪声分离变换、投影寻踪等典型的特征提取方法。(1)主成分分析国际遥感领域著名学者 J. Richards4等采用具有正交变换特性的主成分分析(Principal Component Analysis，PCA) 的方法对图像进行变换，使得图像波段之间互不相关，用于数据降维并隔离噪声。X. Jia 和 J. Richards 等 5在对高光谱图像进行特征提取时，采用了 PCA 的扩展形式分段 PCA 的方法，在对变换后的特征数据进行分类时，计算速度有很大的提升。同样采用此方法，D. Manolakis 等 6则是从数据降维角度对高光谱图像数据进行处理。(2)最小噪声分离变换最小噪声分离变换

18、(Minimum Noise Fraction, MNF) 是对 PCA 的延伸和扩展。典型地，Boardman 7和 Green8给出利用 MNF 对图像数据进行处理时的三个优势：降维(类似于 PCA，能够将信息按照信噪比由高到低的顺序集中到少量分量上) 、分离噪声( 以信噪比最大化为准则)、减少计算量。李海涛等 9在利用支持向量机(Support Vector Machine, SVM)进行分类之前，先利用 MNF 对遥感数据进行特征提取，也得到了很好的分类效果。武汉大学杜博等 10用 MNF 对数据进行降维处理，同时分离数据中的噪声，实现了有效识别高光谱遥感影像中亚像元目标的目的。(3)

19、投影寻踪法考虑到相邻波段具有更强的相关性的特点，L. Jimenez 等 11利用投影寻踪法有效地将高光谱图像数据中相邻波段进行了分组处理，再对每组内的波段数据进行给定方向的投影来得到相应特征。进一步，L. Jimenez 等 12又对投影寻踪法进行改进，给出基于监督和参数的投影寻踪法，在对低维子空间进行变换时利用了先验知识。山东大学张连蓬等 13在投影寻踪方法的基础上，引入了非线性主曲线，使二者合二为一，还提出多方向投影寻踪等多种方法用于高光谱遥感数据的特征提取，同样收到了很好的分类效果。(4)其它方法C. Lee 等 14在提取高光谱遥感图像特征时使用了分类算法中的决策边界法，考虑到高光谱

20、图像的高维度特点，这种方法能够减小分类所需输入数据的特征维数。B. Kuo 等 15针对遥感数据进行特征提取提出了基于满秩分布矩阵的非参数加权方法，这种方法在降低了奇异问题影响的同时，通过给决策边上的本科毕业设计论文4样本赋予较大权值来改善分类效果。在信号处理的理论方面，小波理论的发展使信号处理与分析步入了新的时代，特别是多分辨率和多尺度特性更是使得小波理论得到了进一步完善。基于此，S.K. Meher 等 16利用小波变换，在不同尺度下对光谱曲线分别进行高低频特征提取，保留包含重要信息的小波系数。G.P. Asner17和 R.A. Neville18等针对高光谱图像混合像素的特点，采用光谱

21、混合分析的方法进行了特征提取。与 PCA 和 MNF 类似，独立分量分析(Independent Component Analysis, ICA)也被广泛地应用于高光谱图像分类前的特征提取步骤中 19。此外，还有一些其它的方法能够用于以地物分类为目的的高光谱遥感图像的特征提取 20-26。其中，J.A. Benediktsson 等人 20, 22提出了一种基于数学形态学滤波的高光谱图像特征提取，这是一种典型的高光谱图像空间纹理特征提取方法。针对空间特征提取问题，Gabor 滤波器也被引入到高光谱遥感领域，用于实现空间纹理特征的提取，进而提高后续地物分类的能力27-29。所形成的 Gabor

22、空间纹理特征也被看做是一种典型的高光谱图像空间特征。研究表明，空间特征的引入，能够较大幅度的提高高光谱图像的地物分类能力。1.3 深度学习的国内外研究现状深度学习是一种含有多隐含层的神经网络，具有特定的结构和训练方法，其主要思想源于人类大脑对视觉信息的层次式处理方式，从原始的像素逐层提取特征并实现分类，所以深度学习和特征提取密切相关。目前，深度学习技术如卷积神经网络（CNN）等在图像领域特别是图像分类和目标检测领域已取得了丰硕成果。一些研究者已开始将相关技术应用于高光谱分类，例如，Chen 等第一次使用层叠自动编码机（SAE）提取判别特征分类； Hu 等第一次应用深度卷积神经网络（CNN）对高

23、光谱图像进行分类 30，文献 31中作者提出了一种监督的神经网络架构进行大规模的高光谱图像分类，文献 32提出了一种更深层次的神经网络架构用于高光谱图像分类，分类的性能与 SVM 相当。 深度学习架构由不同类别的层堆叠而成，通过反向传播算法（backpropagation algorithm）对网络进行迭代训练，深度学习网络可以从海量数据中习得复杂的多层次结构，不同的层实现不同的功能，其中大部分层会对输入执行非线性变换。通过多个非线性层的变换（例如，深度 5-20 层） ，网络可以对输入数据中重要而微小的细节进行识别，同时忽略输入数据中明显却无关的变量（例如，物体周围的环境、姿势、光照条件和周

24、围物体） 。在语音识别、本科毕业设计论文5视觉识别、目标检测等诸多领域（比如，药物发现以及基因组学） ，深度学习方法已经得到了广泛应用并且取得了瞩目的成果。深度学习通过组合低层特征形成更加抽象的高层类别属性或特征，每个层都会将简单的描述（从原始输入开始）转变成较高层、较为抽象的描述。通过积累足够多的上述表征转化，机器能够学习非常复杂的函数。就分类任务来说，更高层的表征会放大输入信号的特征，而这对区分和控制不相关变量非常关键。比如，图片最初以像素值的方式出现，在第一层中，机器习得的特征主要是图像中特定方位、边沿轮廓。第二层中，主要是通过检测图像的边缘来检测图案，此时机器并不考虑边沿位置的微小变化

25、。第三层中会将局部图像与物体相应部分匹配，后续的层级将会通过组合这些局部特征从而识别出整个物体。深度学习的优势之一在于：这些特征层级并非出自人工预设，而是机器通过一种通用（general-purpose）学习方法，从大量数据中自动习得。深度学习能够在海量的数据中习得复杂的结构，因而在许多不同的领域都有应用。除了图像识别 33-36和语音识别 37-39，它还在许多方面表现出了比其他机器学习技术更加优越的性能，比如预测潜在药物分子 40的活性、分析粒子加速器的数据 41,42、重构大脑回路、预测非编码 DNA 的突变对基因表达和疾病的影响 43,44等。另外，在自然语言处理方面 45，如话题分类

26、、情感分析、问答系统 46和语言翻译 47-49等不同的任务上，深度学习都展现出了无限光明的前景。1.4 论文的内容安排和主要工作目前，高光谱遥感已经被广泛应用于许多领域。其中，高光谱图像分类和特征学习是高光谱遥感最重要的应用之一，是许多其他应用的基础。高光谱图像在为分类提供丰富的空间信息和光谱信息的同时，也给分类与特征学习带来了诸多挑战。本论文的主要工作如下：在第一章中，简单讲述了研究的背景与意义，以及高光谱图像特征提取与分类研究的国内外现状，同时简单介绍了深度学习的国内外研究现状。在第二章中，概述了卷积神经网络的结构，兼或介绍了卷积神经网络在特征学习方面的应用。在第三章中，提出了一种新的卷

27、积神经网络结构，具有比现有的基于深度学习的高光谱图像分类算法更好的分类效果。在此基础上进行延伸和扩展，首次使用卷积神经网络进行特征学习，之后，使用 SVM、SVM-CK 等经典算法，本科毕业设计论文6分别对原始数据与特征学习方法获得的特征进行分类，以此验证特征学习方法习得的特征质量。实验表明，使用本特征学习方法提取的特征做分类，效果要远远优于使用同种算法对原始数据做分类。这说明本文提出的特征学习方法对于从未学习过的数据，也具有很好的通用性能，可以从原始数据中提取更加有效的信息。在第四章中，基于前三章的工作进行总结，以此展望下一步的研究工作。本科毕业设计论文7第二章 卷积神经网络理论2.1 引言

28、卷积神经网络是一种多层的深度学习网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。卷积神经网络一般包括卷积层、子采样层和全连接层。卷积神经网络的低隐层是由卷积层和子采样层交替组成，高层是全连接层，对应传统多层感知器的隐含层和 logistics 回归分类器。第一个全连接层的输入是由卷积层和子采样层进行特征提取得到的特征图像。最后一层输出层是一个分类器,可以釆用 logistics 回归，Softmax 回归甚至是支持向量机对输入图像进行分类。2.2 卷积神经网络的结构2.2.1 稀疏连接与权值共享在传统的神经网络中，每个神经元都会与下一层全部的神经元连接，卷积神经网络不同于传统的神

29、经网络，卷积神经网络中的神经元与下一层的神经元的连接具有稀疏性，基于临近连接。也就是说，在由全连接层组成的网络中，每个隐藏层的激活值等于全部的输入 V 乘以这一层的权重 W。然而在卷积神经网络中，每一层的输出值等于很小的局部输入乘以权重 W。整个输入共享权值W，如图 1，同一层的输入共享权值。权值共享是卷积神经网络的主要原理，它降低了总的训练参数的个数，使模型效果更好，训练更快。通过卷积运算，可以使原信号的特征增强，并且降低噪声。一个卷积层的参数包括:输入图像和特征图像的数量,图像的尺寸大小 ,每一层图像有相同的尺寸，卷积核的尺寸大小,卷积核作用于输入图像的有效区域;步长因子定义了卷积核对图像

30、进行卷积运算的步长。经过卷积层特征提取后得到的图像尺寸由以下公式定义本科毕业设计论文8输入维度： 输出维度： 其中： ,卷积核尺寸： ，步长：=+1,=+1 kernel2.2.2 最大池采样卷积神经网络利用图像局部相关性的原理，对图像进行子采样，可以减少数据处理量同时保留有用信息。在卷积神经网络的实现中,相邻的像素在卷积时被跳过,子采样层通过对输入图像的每一个方向进行子釆样，提供了位移不变性。经过卷积神经网络的权值响应，输入数据的特征会被提取。如果目标在输入图像中的位置发生移动，卷积层神经元检测到的特征也会随之移动。卷积层后的池化层对卷积层输出的特征做进一步提取，可以使局部特征不发生改变。典

31、型的池化函数是最大值函数，最大值池化函数把输入数据划分为许多不重叠的窗口，输出每一个窗口的最大值，降低了后一层的计算复杂度，提供了平移不变性。经过池化运算后的输出图像大小由以下公式定义：输入维度： 输出维度： 其中： ,池化核尺寸： ，步长：=+1,=+1 kernel2.2.3 Softmax 回归Softmax 回归由 logistics 回归扩展而成，logistics 回归只能解决二分类问题，Softmax 回归在此基础上做了改进，可以解决多分类问题。Softmax 回归在很多分类问题比如 MNIST 手写数字识别问题中取得了很好的分类效果。 Softmax回归既可以单独使用，也可以与

32、深度学习或其他学习方法结合使用。在 logistics 回归中，训练集由 m 个有标签样本构成：其中输入特征 (1)， (1)， (2)， (2)， ， ()， () ()+1本科毕业设计论文9。 （其中，特征向量的维度为 ， 为截距项）logistics 回归目的是解决+1 0=1二分类问题，因此分类标签为 。假设函数如下：()0,1（2-1 ）()=1通过最小化损失函数以训练模型参数 ：（2-2 ）J()=1=1()log() +(1() log(1() 在 Softmax 回归中，我们需要解决的是多分类问题，其中类别 y 可以取 k个不同的值 。因此，对于训练集 (k 2)，有 。例如，

33、(1)， (1)， (2)， (2)， ， ()， () ()1,2,在 ImageNet 分类竞赛中，有 k=1000 个不同的分类。其中对于训练样本 x，我们用假设函数对每一个类别 j 估计出概率值 。即计算样本 x 被分到每(=|)一个具体类别里的概率。于是，假设函数会输出一个 k 维向量表示这 k 个概率值，这个向量所有元素之和为 1。假设函数 可表示为：()（2-3 ）()=()=1|(); ) ()=|(); )= 1=1()1()3()其中， 是模型参数。为了使所有概率之和为 1，添加 1,2,+1项进行归一化处理。1=1()我们使用符号 对所有模型参数进行表示，在 Softma

34、x 回归实现中，将 的矩阵表示，这个矩阵是将 按行罗列得到，如下 用一个 (+1) 1,2,所示：（2-4 ）=1Softmax 回归损失函数本科毕业设计论文10接下来对 Softmax 回归损失函数进行分析。在下面公式中， 是示性函1数，示性函数的运算规则为：1表达式的值为真=1,1表达式的值为假=0。损失函数可表示为：（2-5 ）()=1=1=11()=log()=1()这个公式是 logistics 回归损失函数的推广。logistics 回归损失函数可以以同样的方式表示：J() =1=1()log() +(1() log(1() =1=11=01()=log()=|();) （2-6

35、）从以上公式可以看出，Softmax 回归损失函数与 logistics 回归损失函数有很相似的表示形式，不同的是在 Softmax 回归损失函数中对 k 个可能分类的概率值进行累加。在 Softmax 回归中将样本 x 分类为类别 j 的概率为：（2-7 ）()=();) = ()=1()对于损失函数最小化问题，现在还没有快速解法。通常都是使用迭代优化算法。对损失函数求导后，损失函数的梯度公式如下：(2-8)()=1=1()(1()=()=();)其中 本身是一个向量，它的第 个元素 是 对 的第 l() () () 个分量的偏导数。得到以上求解偏导数公示后，就可以将它代入梯度下降法算法中，

36、对损失函数 进行最小化。在梯度下降法的实现中，每次迭代过程中都需要对参数()进行更新： 。=()(=1,2,)在实现 Softmax 回归算法时，通常会对上面的损失函数进行改进，在损失函数中增加一个衰减项。本科毕业设计论文11在本文对损失函数的改进中，我们通过在式 xxx 中添加一个权重衰减项，它会对过大的参数值进行惩罚。回归损失函数公式将变为如下2=1=02形式：（2-9 ）()=1=1=11()=log()=1() +2=1=02增加了第二项权重衰减项后，损失函数就成为凸函数，可以改善优化过程陷入局部极小值点的情况，有助于得到最优解。为了对其进行优化，我们需要计算 的梯度，在此给出它的求导

37、公式如下：()(2-10)()=1=1()(1()=()=();) +最后，通过最小化损失公式 ，就可以实现 Softmax 回归分类模型。()2.2.4 全连接层通过多个非线性层的变换（例如，深度 5-20 层） ，网络可以对输入数据中重要而微小的细节进行识别，同时忽略输入数据中明显却无关的变量（例如，物体周围的环境、姿势、光照条件和周围物体） 。全连接层通常作为神经网络的最后一层，后面接输出单元进行分类。全连接层具有权值多，容易过拟合等特点，因此一般会在网络前向运算时在全连接层中进行 dropout50运算，随机对全连接层中的权值按确定的比例置零，可以在一定程度上改善过拟合现象。2.2.5

38、 Batch normalization 批量正则化在训练神经网络的过程中，会遇到同一层不同维度的数据梯度相差较大，网络训练速度慢的情况。随着网络的增加，这会使网络训练速度变慢，甚至难以收敛。Google 在 2015 年提出了批量正则化层 51（Batch Normalization，BN ）来解决这个问题，可以通过在网络中添加 BN 层改善这一现象。 BN 层归一化了每个维度的 scale，所以可以整体使用一个较高的学习率，而不必像以前那样迁就小 scale 的维度。设 mini-batch 为 m，则 BN 层前向传导公式可以写作：本科毕业设计论文12Mini-batch 均值：(2-1

39、1)1=1Mini-batch 方差（2-12）21=1() 2 归一化：（2-13）2+ 平移与缩放：（2-14） +,()2.2.6 激活层本科毕业设计论文13图 2-1 左上为 Sigmoid 激活函数，右上为 TanH 激活函数左下为 ReLU 激活函数，右下为 PReLU 激活函数卷积层和全连接层之后通常接激活层完成特征的非线性变换。其中，比起传统用于卷积神经网络的 Sigmoid 与 TanH 激活函数，ReLU 可以使卷积神经网络的训练速度大大加快。Sigmoid 和 TanH 的梯度在饱和区域非常平缓，接近于0，很容易造成梯度消失现象，减缓收敛速度。梯度消失现象在网络层数多的时

40、候尤其明显，是加深网络结构的主要障碍之一。相反，ReLU 的梯度在大多数情况下都是常数，有助于解决深层网络收敛问题。ReLU 的另一个优势是在生物上的合理性，它是单边的，相比 Sigmoid 和 TanH，更符合生物神经元的特性。本科毕业设计论文142.3 基于卷积神经网络的特征学习一个模式识别系统包括特征和分类器两个主要的组成部分，二者关系密切，而在传统的方法中它们的优化是分开的。在卷积神经网络的框架下，特征表示和分类器是联合优化的，可以最大程度发挥二者联合协作的性能。图 2 2 2012 年 Hinton 参加 ImageNet 比赛所用网络模型深度模型具有强大的学习能力，高效的特征表达能

41、力，从像素级原始数据到抽象的语义概念逐层提取信息。这使得它在提取图像的全局特征和上下文信息方面具有突出的优势。以 2012 年 Hinton 参加 ImageNet 比赛所采用的卷积网络模型为例，这是他们首次参加 ImageNet 图像分类比赛，没有太多的先验知识。但是，针对ImageNet 分类任务进行网络优化时，深度卷积网络学习到的特征具有非常强的泛化能力，在其他任务例如目标检测，目标定位等，同样取得了成功的应用。卷积神经网络通过组合低层特征形成更加抽象的高层类别属性或特征，每个层都会将简单的描述（从原始输入开始）转变成较高层、较为抽象的描述。通过积累足够多的上述表征转化，机器能够学习非常

42、复杂的函数。就分类任务来说，更高层的表征会放大输入信号的特征，而这对区分和控制不相关变量非常关键。比如，图片最初以像素值的方式出现，在第一层中，机器习得的特征主要是图像中特定方位、边沿轮廓。第二层中，主要是通过检测图像的边缘来检测图案，此时机器并不考虑边沿位置的微小变化。第三层中会将局部图像与物体相应部分匹配，后续的层级将会通过组合这些局部特征从而识别出整个物本科毕业设计论文15体。卷积神经网络的优势之一在于：这些特征层级并非出自人工预设，而是机器通过一种通用（general-purpose）学习方法，从大量数据中自动习得。本科毕业设计论文16第三章 基于卷积神经网络的高光谱图像特征学习研究3

43、.1 引言卷积神经网络在图像识别领域取得了巨大的成功，从 ImageNet 训练得到的图像特征可以直接有效地应用到各种与图像相关的识别任务中，例如图像分类，图像检索，物体检测，图像分割等，具有良好的泛化性能。受此启发，本文针对高光谱图像设计卷积神经网络，从高光谱数据中习得相应的特征。具有数百个波段的高光谱数据可以被看作二维曲线（或一维数组） ，可以看到，类别相同的曲线具有相似的形状，类别不同的曲线具有不同的形状，同时，对于人眼来说有一些类别难以识别。我们知道卷积神经网络在某些视觉任务中可以挑战甚至超过人类的水平，它的这种能力鼓舞了我们使用光谱与空间信息研究用于高光谱图像分类的卷积神经网络。传统

44、的卷积神经网络已经在高光谱图像分类上取得了一定效果，但在面对高光谱图像时还存在一些不足。以往的高光谱或多光谱图像分类与识别，往往只关注像元光谱维的特性，其一切特征统计也只在光谱维展开。但是自然界的复杂性、混合像元问题的存在，仅靠像元的光谱特性是不够的，常会出现 “麻点”现象，大大影响了分类效果。本文把深度卷积神经网络中的一些最新成果集成到高光谱图像分类中，最终，获得了一种新的 5 层深度卷积神经网络架构用于高光谱图像分类。更重要的是，利用了高光谱图像光谱信息丰富的优势，在网络架构中集成了空间信息和光谱信息，提升了网络分类性能。本科毕业设计论文173.2 网络结构3.2.1 网络总体结构本文提出

45、了一种新的 5 层基于卷积神经网络的深度学习框架用于高光谱图像分类，网络同时集成了空间信息和光谱信息，在特征学习与分类性能上达到了当前最好的效果。图 3-1 卷积神经网络图卷积神经网络是一种前馈神经网络，通常卷积神经网络会由多个卷积层和最大值池化层交叠而成，最后以全连接神经网络作为结束。受此启发，本文提出了一种新的 5 层神经网络用于高光谱图像分类。本文提出的网络中包含更多的元素，比如 Batch Normalization，Dropout，Parametric Rectified Linear Unit (PReLU) activation function，利用这些元素与特定的结构，网络可

46、以同时利用高光谱图像的光谱信息和空间信息，从原始数据集中习得像元的高层次特征，因此分类性能得到了明显提升。本科毕业设计论文183.2.2 输入层空间信息已经被广泛使用，用来改善高光谱图像分类性能。比如 SVM-CK算法，直接在 SVM 核中集成空间信息，使用空间邻域的均值特征提升分类正确率。基于 SOMP 的分类器，通过对邻域像元同时分类，改善了 OMP 分类器的性能。因此，为了获得更高的分类性能，本文提出的基于卷积神经网络的方法也要考虑空间信息。为了实现这个目标，一种直接的方法是把待分类像元及其邻近像元全部同时输入到网络中，但是学习这些像元之间的关联需要非常多的神经元和网络参数。受到 SVM-CK 算法的启发，在本章节提出的卷积神经网络采取一种简单的方式提取空间特征，提取待分类像元的邻域像元的空间特征，比如每个波