1、多特征与局部线性嵌入融合算法在植物识别中的应用研究 单治磊 张王菲 赵熙临 付波 湖北工业大学电气与电子工程学院 西南林业大学林学院 摘 要： 针对植物识别过程中叶片旋转状态下的识别需求, 采用植物多特征提取与局部嵌入融合算法, 应用支持向量机 (SVM) 建立分类器对植物叶片进行分类辨识。结果表明:基于分块的局部二值模式 (LBP) 算法可以提取植物叶片的纹理特征;使用局部线性嵌入 (LLE) 算法, 对高维的 LBP 特征进行降维, 减少了分类识别时间, 同时能够达到更好的聚类效果, 有效地提高识别率;所提出的植物叶片识别方法对旋转状态下的叶片具有良好的实用性。关键词： 局部二值模式; 线
2、性嵌入; Hu 矩; 支持向量机; 叶片; 识别; 作者简介：单治磊 (1991) , 男, 硕士生。研究方向:图像处理与模式识别。Email:。作者简介：赵熙临 (1969) , 男, 博士, 副教授。研究方向:电力系统及自动化、先进控制理论。Email:。收稿日期：2017-03-03基金：国家教育部科研项目 (教外司留20041685) 资助Application Research of Multi-Feature and Locally Linear Embedding Fusion Algorithm in Plant RecognitionShan Zhilei Zhang Wan
3、gfei Zhao Xilin Fu Bo School of Electrical College of Forestry, Southwest Forestry University; Abstract： For the demand of leaf recognition under rotation condition, the plant multi-feature extraction and local embedding fusion algorithm was applied to classify plant leaves by Support Vector Machine
4、 ( SVM) . Results showed that the texture feature of the leaf was extracted by Local Binary Pattern ( LBP) algorithm based on leaf block. Using Locally Linear Embedding ( LLE) algorithm, dimensionality reduction of high dimensional LBP features reduced the classification and recognition time, and at
5、 the same time could achieve better clustering effect and effectively improved the recognition rate. The proposed method for identifying plant leaves had good utility for the leaves in the rotated state.Keyword： Local Binary Pattern (LBP) ; Locally Linear Embedding (LLE) ; Hu moment; Support Vector
6、Machine (SVM) ; leaf; recognition; Received： 2017-03-03由于科普及生物学研究的需求, 基于图像特征的植物分类识别是目前植物识别分类学的研究热点1。近年来, 国内外基于叶片图像的识别方法研究主要分为2 类:一是提取叶片图像的颜色、形状或者纹理等特征作为分类依据实现植物叶片的识别2;二是先利用降维算法 (如 PCA、LLE 等) 对高维空间的叶片图像像素特征进行降维, 再在低维空间利用分类器实现叶片的识别3-4。在特征提取的研究中, Aptoula E 等5在 2013 年提出了基于数学形态学方法提取植物轮廓与叶脉特征的植物识别算法。但该方法容
7、易受到外界因素 (季节变化、光照等) 的影响, 从而影响叶片识别的准确率。LBP 算法首先由 Ojala6在1994 年提出, 用于纹理特征提取。LBP 算子的灰度尺度的鲁棒性好, 能够减少光照变化对叶片纹理特征的影响。同时, LBP 算子具有旋转不变性, 相对于灰度共生矩阵, 对于旋转的叶片图像具有更高的识别率。由于基本 LBP 不能全面的描述图片的纹理特征, 陈远等7提出 1 种融合的 LBP 算法用来描述人脸的纹理与皮肤特征。刘念等8以 LBP 作为纹理特征的融合特征算法用于植物识别。该算法虽然能有效提高识别率, 但是特征种类多, 特征维数过高, 从而导致识别的时间过长。在数据降维算法的
8、研究中, Roweis9在 2000 年提出 LLE 算法。张善文等10针对植物叶片多样性, 提出 1 种加权 LLE 算法, 实现了对受噪声影响的植物叶片的分类和识别。该方法有效的抑制了噪声和样本外点, 但是此类方法利用降维算法对叶片图像整体像素值进行降维, 忽略了叶片中重要的特征信息, 从而限制了叶片识别的准确度。丁娇等11提出 1 种将植物叶片多特征与降维算法结合的方法, 并使用最近邻分类器实现植物识别, 虽然引入了叶片特征信息, 有效的提高了植物叶片的识别率。但是描述叶片纹理特征所采用的灰度共生矩阵算法对旋转叶片图像识别率较低, 并且最近邻分类器对大量样本识别时速度较慢。由上述分析可见
9、, 在植物识别过程中, 核心问题是提高识别率和降低识别时间。针对上述问题, 本研究采用基于分块的 LBP 算子描述叶片图像的纹理特征, 采用 LLE 算法对高维 LBP 特征数据进行降维, 结合 Hu 氏不变矩12以描述叶片的形状特征, 将降维后的叶片纹理特征与叶片的形状特征融合, 共同组成叶片的综合特征, 采用实验和算例分析验证了本算法的识别率。1 材料与方法1.1 植物叶片识别步骤在植物叶片识别过程中, 首先对叶片灰度图像提取分块 LBP 特征, 使用 LLE 算法对 LBP 特征降维。然后对叶片二值图像提取 Hu 氏不变矩特征, 将其与降维后的分块 LBP 特征结合。最后将融合后的叶片特
10、征引入到 SVM13-14分类器中对训练样本进行分类学习, 利用学习结果所得到的模型对测试样本进行识别。植物叶片识别流程图见图 1。图 1 叶片识别流程图 Fig.1 Flow diagram of leaf recognition 下载原图本研究选取 50 种植物叶片作为实验样本, 植物叶片均来自武汉植物园, 将叶片置于单一背景下进行拍摄。每种植物包含 11 张训练样本图片和 1 张测试样本图片, 共计 600 张叶片样本图片。对叶片进行旋转 (图 2) , 以验证算法对旋转叶片的有效性。图 2 旋转叶片 Fig.2 Rotating leaf 下载原图首先, 对图片样本进行预处理 (尺度归
11、一化, 灰度化) 。计算 LBP 算子时将图像分成 33 块子图像, 中心像素点周围有 8 个像素点, 对每一块子图像分别提取 2 维 LBP 算子, 为了使叶片在旋转时得到一致的 LBP 特征, 在计算的分块LBP 特征按从大到小的顺序排列组成 332 维的特征向量。使用 LLE 降维时经过多次测试当参数设置为 k=40, d=50 时, 降维得到的特征能够在不影响识别速度的同时提高识别率。其次, 采用 SVM 分类器对训练样本学习并建立模型, 在该模型的基础上对测试样本进行识别。在 Libsvm 3.20 软件中设置 SVM 参数, SVM 类型选择软件默认的 C-SVC, 核函数选择为常
12、用的径向基核函数 (RBF) , RBF 中的主要参数包括惩罚因子 (C) 与和核参数 () 。对基本 LBP 特征进行识别时, 利用网格参数寻优方法对 C 和 寻找最优值, 结果为 C=8、=0.015 625。在对其他算法特征进行识别时, SVM 各项参数保持不变, 在此基础上, 对于同一个植物叶片库测试不同算法的识别率和识别时间, 并其进行对比。1.2 植物多特征提取方法植物叶片的特征提取包括颜色、形状、纹理等特征, 为回避叶片的颜色特征受季节变化的影响, 本研究对叶片图像提取 Hu 氏不变矩用来描述其形状特征, 将 LBP 表征的纹理特征和 Hu 氏不变矩共同组成描述叶片形状和纹理的综
13、合特征。1.2.1 局部二值模式基本局部二值模式是 1 种纹理描述方法, 编码方式为:首先定义 33 窗口, 以中心点的像素灰度值 Pc作为阈值, 将其周围的 8 个点的像素值 P1, ., P8进行比较, 若像素值大于中心点的灰度值, 则像素点标记为 1, 否则标记为 0。由8 个临近点从左上角开始按顺时针顺序组成 1 个 8 位的二进制数, 将二进制数转换为十进制数, 即为窗口中心点的 LBP 码。编码公式见式 (1) , 编码方式见图 3。式中:LBP 为 LBP 码;P c为中心点像素灰度值 (阈值) ;P i为中心点周围的 8 个点的像素值 (i=1, 2, 3, , 8) ;s (
14、x) 为像素点标记方法。图 3 基本 LBP 算子示意 Fig.3 Basic LBP operator schematic 下载原图基本 LBP 算子提取的特征维数是 2。这样提取的叶片纹理特征太少, 不能完整的描述叶片的纹理信息。所以在基本 LBP 算子的基础上提出了 1 种基于分块的LBP 算子, 使其能够更加有效地描述叶片的纹理特征。将原始图像分割成 mn个子图像, 以图 4 叶片为例, 其获取叶片分块 LBP 算子的过程为:首先将叶片分割成 33 块, 然后计算每块子图像的 LBP 特征。图 4 叶片图像分块 Fig.4 Leaf block 下载原图对直方图矢量按特征大小进行合并即
15、可得到整个图片的 LBP 直方图矢量, 具体方法见式 (2) (4) 。式中:R i为在子图像中具有第 i 级灰度值的像素个数, i 表示第 i 个灰度级 (i=0, 1, 2, , 255) ;LBP (xj, yj) 为原始图像计算所得的 LBP 特征图像, j 表示图像的分块 (j=1, 2, 3, , 9) ;T (a) 为 LBP (xj, yj) =i 的判定结果;H 为整个图片的 LBP 直方图矢量。定义特征大小见式 (5) 。式中:S 表示特征大小。由上述过程可得到一组 332 (P=8 中心点周围像素个数) 维的特征向量, 该特征向量只能描述叶片的纹理特征, 忽略了其重要的形
16、状特征, 所以本研究引入 Hu 氏不变矩作为叶片判断方式的补充。1.2.2 Hu 氏不变矩Hu 矩具有平移、旋转和尺度不变性可以用来描述叶片图像的形状特征12, 本研究对叶片灰度图像进行二值化处理, 见图 5。图 5 灰度叶片图像转化成二值图 Fig.5 Grayscale leaf image into binary image 下载原图在连续情况下图像函数为 f (x, y) , 图像的 (p+q) 阶几何矩和中心矩计算方法分别见式 (6) 、式 (7) :式中:m p, q代表 p+q 几何矩;D 代表无穷小到无穷大区间;x c, yc代表图像重心。定义归一化中心距, 其计算方法见式 (
17、8) 。7 个 Hu 氏不变矩构造方法如下, 见式 (9) (15) 。由分块 LBP 算子提取 LBP 特征维数过高, 包含大量沉余信息, 且不便与 7 个 Hu氏不变矩结合, 针对上述问题, 本研究引入 LLE 算法对高维的分块 LBP 算子进行降维。1.3 局部线性嵌入算法局部线性嵌入是 1 种无监督学习算法, 通过将高维数据映射到低维度的单一全局坐标系统中, 并且其优化不涉及局部最小值, 所以 LLE 能够在计算低维流形时保持高维输入的近邻结构。通过利用重构的局部对称性, LLE 能够保持原始数据的整体结构。假设数据是由 N 个实数向量 xi组成, 每个维度为 D, 这些数据由基础流形
18、采样得来。每个样本点及其近邻点位于或接近流形的局部线性区域, 通过其近邻点重构每个样本点的线性系数来表示这些区域的局部几何形状。重构误差函数为所有数据点的距离和其重构之间距离的平方:式中:权重 Wij表示第 j 个样本点对第 i 个在重构的贡献值;K 表示邻近点个数;xj表示第 xi的第 j 个邻近点;权值矩阵 W 由 Wij构成, 当 xj不属于 xi邻域时Wij=0, 并且计算样本点 xi在低维空间的映射 yi时, 使权重误差函数 i (W) 最小;其中权重误差函数和稀疏对称矩阵计算方法分别见公式 (17) 和公式 (18) , 式中:M 为稀疏对称矩阵;I 表示单位矩阵;W 表示权重矩阵
19、。为使权重误差函数达到最小, 求出 M 的 (d+1) 个特征值后, 将特征值从小到大排列, 舍去第 1 个接近于零的特征值, 取第 2 (d+1) 个特征值, 其对应的特征向量即为样本集 X 映射到低维空间的低维输出 Y。对图 3 所得高维 LBP 算子降到 50 维的结果为:0.351 16, 1.833 87, , -1.170 76, -0.547 87。2 结果与分析2.1 降维前后 LBP 特征的聚类及识别效果LLE 算法能够在保留主要纹理特征信息的前提下对特征维数进行缩减, 减少计算量。同时, LLE 能够将叶片样本图像的类别信息引入到算法中, 能够减小同类样本的类内距离, 并且
20、增大异类样本之间的类间距离, 便于样本的分类识别。原始 LBP 特征、LBP+PCA 特征和 LBP+LLE 特征聚类效果对比结果见图 6。由图 6 (a) 可以看出原始 LBP 特征聚类效果散乱, 2 类样本无明显分界, 经PCA 降维后 LBP 特征聚类效果见图 6 (b) , 2 类样本有明显分界线, 但同类样本之间距离仍然较大, 经 LLE 降维后的 LBP 特征聚类效果见图 6 (c) , 在增大异类样本距离的同时明显的缩小到了同类样本之间的距离, 因此 LBP 算法与LLE 结合可以达到提高识别率和缩短分类识别时间的目的。图 6 两类样本不同 LBP 特征的聚类效果 Fig.6 C
21、lustering effect of 2 kind samples with different LBP 下载原图对 2 类植物分别取 5 个样本, 将这些样本的特征经 LLE 降维后在二维空间进行对比, 结果见图 7。其中实线表示第 1 类样本, 虚线加三角标记表示第 2 类样本。图 7 (a) 中 2 种叶片原始 LBP 特征重叠严重在不易分别, 因此导致对原始 LBP 特征分类识别时识别率低;图 7 (b) 中 2 种叶片经 LLE 降维后的 LBP 特征在相同维度上特征取值范围有明显区别, 同类叶片特征变化相似, 因此, 便于对经 LLE 降维后的LBP 特征进行分类识别。图 7 两
22、种叶片降维前后特征对比 Fig.7 Comparison of characteristics before and after dimension reduction of 2 kind samples 下载原图2.2 不同算法的识别效果不同算法的结果比较见表 1。表 1 不同算法的识别结果比较 Table 1 Comparison of recognition results of different algorithms 下载原表 由表 1 可以得出, 在其他条件相同的条件下, 使用 LLE 算法对高维的 LBP 纹理特征降维后进行植物识别能够有效的提高识别率。并且相较于高维的 LBP
23、特征, 低维数据更便于计算, 减少了算法的时间。虽然单独使用 Hu 氏不变矩描述的叶片形状特征对植物进行识别时识别率较低, 但是当其与降维后的纹理特征结合时可以进一步的提高识别率。并且, 由于 Hu 氏不变矩的特征维数较低, 所以对数据的计算速度影响不大。结合 MATLAB 仿真结果进行对比, 纹理特征与 LLE 结合对枫叶的识别结果见图 8, 多特征与 LLE 融合对枫叶的识别结果见图 9。图 8 LBP+LLE 对枫叶的识别结果 Fig.8 Recognition result of maple leaf by LBP+LLE 下载原图图 9 Hu+LBP+LLE 对枫叶的识别结果 Fig
24、.9 Recognition result of maple leaf by Hu+LBP+LLE 下载原图研究结果显示加入 Hu 氏不变矩之后对于之前不能识别的部分植物能够成功识别出来。由图 9 可知, 结合之后的综合特征可以对旋转的植物叶片识别。样本类数不同时算法的识别率比较见图 10。图 1 0 不同叶片种类数的算法识别率 Fig.10 Algorithm recognition rate for different leaf types 下载原图由图 10 可知, 使用 LLE 对 LBP 特征降维后识别率有了明显提升, 并且当种类增加时, 单独使用 LBP 作为特征识别率明显下降,
25、但使用降维后的特征进行识别时具有良好的稳定性和较高的识别率。有利于对多种植物进行分类识别, 解决了植物种类繁多不易分类的问题。3 结论为了提高植物识别的识别率, 本研究使用基于分块的 LBP 算子作为叶片纹理特征, 对分块 LBP 特征进行合并时按从大到小的顺序排列, 并使用 LLE 对其降维, 将降维后的特征与 Hu 氏不变矩结合作为叶片的综合特征, 使用 SVM 建立分类器进行叶片识别。结果表明, 本研究所提出的植物叶片识别方法对旋转状态下的叶片具有良好的实用性;分块 LBP 特征经 LLE 降维后, 较少了分类识别时间, 同时能够达到更好的聚类效果, 有效地提高识别率。使用 LLE 算法
26、对 LBP 特征降维时参数设置都是根据不断测试取大概值, 因此如何取最优值以提高特征识别效率有待进一步研究。该算法对单一背景下的植物叶片进行分类识别, 如何实现复杂背景下植物叶片识别, 将是下一步的研究的重点。参考文献1张宁, 刘文萍.基于图像分析的植物叶片识别技术综述J.计算机应用研究, 2011, 28 (11) :4001-4007. 2王丽君, 淮永建, 彭月橙.基于叶片图像多特征融合的观叶植物种类识别J.北京林业大学学报, 2015, 37 (1) :55-61. 3祖琴, 邓巍, 王秀, 等.主成分分析和 SIMCA 的甘蓝与杂草光谱识别方法研究J.光谱学与光谱分析, 2013,
27、33 (10) :2745-2750. 4Zhang S, Feng Y, Liu L.Plant leaf classification based on weighted locally linear embeddingC/Advanced Computational Intelligence (IWACI) , 2010 Third International Workshop on IEEE.2010. 5Aptoula E, Yanikoglu B.Morphological features for leaf based plant recognitionC/IEEE Intern
28、ational Conference on Image Processing.2013. 6Ojala T, Pietikinen M, Harwood I.A comparative study of texture measures with classification based on feature distributionsJ.Pattern Recognition, 1996, 29 (1) :51-59. 7陈远, 陈锻生.一种融合 LBP 纹理特征的多姿态人脸跟踪方法J.华侨大学学报 (自然科学版) , 2010, 31 (3) :282-287. 8刘念, 阚江明.基于多特
29、征融合和深度信念网络的植物叶片识别J.北京林业大学学报, 2016, 38 (3) :110-119. 9Roweis S T, Saul L K.Nonlinear dimensionality reduction by locally linear embeddingJ.Science, 2000, 290 (5500) :2323-2326. 10张善文, 王献峰.基于加权局部线性嵌入的植物叶片图像识别方法J.农业工程学报, 2011, 27 (12) :141-145. 11丁娇, 梁栋, 阎庆.基于 D-LLE 算法的多特征植物叶片图像识别方法J.计算机工程与应用, 2015, 51 (9) :158-163. 12华斌, 夏利娜.基于中值滤波和 Hu 矩向量的手语识别J.计算机工程与设计, 2011, 32 (2) :615-618. 13姬永杰, 岳彩荣, 张王菲.SAR 数据与光学数据融合在土地覆盖分类中的应用研究J.西南林业大学学报, 2016, 36 (3) :158-162. 14刘晶, 郭雷, 聂晶鑫.基于 SVM 的一种新的分类器设计方法J.计算机应用研究, 2006, 23 (7) :181-182.
