1、基于区分深度置信网络的病害图像识别模型 宋丽娟 西北大学信息科学与技术学院 宁夏大学信息工程学院 摘 要： 对枸杞病害进行及时、准确地检测识别对于病害的监测、预测、预警、防治和农业信息化、智能化建设具有重要意义。研究提出了一种基于区分深度置信网络的枸杞病害图像分类识别模型。首先, 把枸杞叶部病害图像通过自动裁剪方式获得包含典型病斑的子图像, 再采用复杂背景下的图像分割方法分割病斑区域, 提取病斑图像的颜色特征、纹理特征和形状特征共计 147 个, 结合区分深度置信网络和指数损失函数建立了病害识别模型。实验结果表明, 该方法对于病害图像识别效果较好, 与支持向量机相比, 基于区分深度置信网络的病
2、害图像识别模型高效地利用了底层图像特征的高层表示, 解决了没有足够标注数据时的图像识别问题。关键词： 病害图像; 区分深度置信网络; 指数损失函数; 作者简介：宋丽娟 (1978) , 女, 博士生, 副教授, 研究领域为图像处理与机器视觉, E-mail:。收稿日期：2017-08-01基金：国家自然科学基金 (No.61363018) Recognition model of disease image based on discriminative deep belief networksSONG Lijuan School of Information Science and Tech
3、nology, Northwest University; Abstract： To detect and identify the disease of Chinese Wolfberry in time and accurately is very important on the disease monitor, prediction, early warning, treatment and the construction of agricultural information and intelligence. The deep architecture of disease im
4、age classification and identification is proposed based on discriminative deep belief networks.First of all, this paper automatically crops the leaf disease image of Chinese Wolfberry into the sub-image containing typical spots, and then researches segmentation under complex background and the image
5、 feature extraction, the features is a total of 147 on color feature, texture feature and shape feature. Disease recognition model is established with discriminative deep belief networks and exponential loss function. Experimental results show that, the method has good effect on image recognition. C
6、ompared with the support vector machine, the disease image recognition model based on discriminative deep belief network not only can effectively use the high-level representation of low-level image features but also can solve the problem of data annotation image recognition.Keyword： disease image;
7、discriminative deep belief networks; exponential loss function; Received： 2017-08-011 引言自然图像的识别和分类是充分挖掘自然图像中的底层特征, 将不同类别的图像区分开来。针对不同的需求环境, 出现了不同的图像识别和分类方法。Li 等人提出了一种基于贝叶斯的增量学习方法, 这种方法只需要很少的训练图片, 在101 类图像分类实验中取得了很好的结果1。Yu 和 Wong 集成多个分类器分别利用不同的底层和高层抽象特征对图片进行分类, 设计了一系列规则将多个分类器的结果进行汇总2。Lu 等人给出了一个新的图像分类表
8、示方式, 首先用期望最大方法提取特征, 然后用训练自适应增强 (Adaboost) 分类器选择最有区分性的特征3。范建平等人主要利用概念相关性来指导图像分类器的训练4。在宁夏地区, 枸杞病害不同时期、同一部位的病症多变、情况错综复杂, 客观上存在很大的识别、预警困难, 针对大田环境、复杂环境 (叶片的遮挡和重叠、果实的倾斜和变形、多变的光照因素、杂草和泥土等) 下的枸杞图像, 背景信息量巨大, 病害复杂程度高, 枸杞病害叶片与健康 (无病害) 枸杞叶片之间的灰度差异不大等, 如何有效地将病害目标和复杂背景分割开来是极具挑战的问题;而且, 枸杞病害的生理信息机理决定了病害种类的规律性和稳定性,
9、例如, 在形态结构、尺寸大小、颜色纹理上的差异性很大, 不存在两片完全一样的枸杞叶片;不存在两块完全相同的病害区域, 不同的枸杞病害和同一种枸杞病害在不同的发病时期上所呈现出来的病理特征, 从颜色、形状、纹理上也不尽相同, 要想达到最好的病斑分割效果, 就需要提取不同的枸杞病害在不同的病理时期的关键特征。传统的病害病斑图像分割多是基于聚类算法的方法5-7, 对于复杂背景下的病害分割分割效果不好。传统的图像识别方法不足以将病斑图像和复杂背景进行分离, 利用病斑图像的多特征融合, 构建复杂背景下的枸杞病害识别模型, 具有重要的理论意义。本文针对枸杞叶片病害的 5 类病斑图像, 研究一种基于区分深度
10、置信网络的枸杞病害图像识别和分类算法, 高效地利用底层图像特征的高层表示。2 病斑图像的特征提取和优化在田间环境下采集具有典型症状病斑的枸杞叶片病害图像共计 1 000 张, 其中65 张白粉病图像、305 张灰斑病图像、290 张瘿螨病图像和 340 张炭疽病图像, 获取的病害图像的分辨率为 3 0882 056 像素。首先, 对原始病害图像进行预处理, 采用自动裁剪方法从每一张枸杞病害图像中裁剪出含有一个或多个病斑的子图像, 然后采用复杂背景下的图像分割方法, 分割效果如图 1 所示, 得到枸杞叶片病害的 5 类病斑图像 (包括无病斑图像) 共计 1 201 张, 对所有样本图像划分为训练
11、图像集和测试图像集。图 1 复杂背景下的病斑分割 下载原图然后, 充分挖掘枸杞叶片的 5 类病斑图像的特征信息, 提取病斑图像的颜色特征、纹理特征和形状特征共计 147 个, 其中颜色特征总计 36 个, 包括R、G、B、H、S、V、L*、a*和 b*共 9 个颜色分量的灰度图像的灰度均值 m (9个) 、方差 (9 个) 、标准差 s (9 个) 、偏度 S (9 个) 、峰度 K (9 个) 和熵 ER (9 个) ;纹理特征总计 99 个, 包括 R、G、B、H、S、V、L*、a*和 b*共 9个颜色分量的灰度图像的 Hu 不变矩 (63 个) 、能量均值 (9 个) 、惯性矩均值 (9
12、 个) 、相关均值 (9 个) 和熵均值 (9 个) ;形状特征总计 12 个, 包括偏心率、形状复杂性、圆形度、紧密度、矩形度和二值化病斑图像的 Hu 不变矩 (7个) 。下面给出一幅病斑图像的灰度均值如表 1 所示, 方差如表 2 所示, 标准差如表 3 所示, 偏度如表 4 所示, 峰度如表 5 所示, 熵如表 6 所示。表 1 RGB、HSV 和 L*a*b*模型下枸杞病斑区域和无病区域的均值 下载原表 表 2 RGB、HSV 和 L*a*b*模型下枸杞病斑区域和无病区域的方差值 下载原表 表 3 RGB、HSV 和 L*a*b*模型下枸杞病斑区域和无病区域的标准差值 下载原表 表 4
13、 RGB、HSV 和 L*a*b*模型下枸杞病斑区域和无病区域的偏度值 下载原表 表 5 RGB、HSV 和 L*a*b*模型下枸杞病斑区域和无病区域的峰度值 下载原表 表 6 RGB、HSV 和 L*a*b*模型下枸杞病斑区域和无病区域的熵值 下载原表 为了避免不同特征的取值范围的差异对病斑类型识别的准确性的影响, 需要对病斑图像的 147 个特征的取值范围进行归一化操作8, 使得各特征值均小于 1, 公式如 (1) 所示:其中, X 为第 i 个特征值, X normal为第 i 个特征的归一化值, X min为训练图像集中第 i 个特征的最小值, X max为训练图像集中第 i 个特征的
14、最大值。对枸杞叶片病害的 5 类病斑图像 (无病斑、白粉病图像、灰斑病图像、瘿螨病图像和炭疽病图像) 的 147 个特征进行归一化操作后, 采用主成分分析 PCA 方法, 把 147 个特征映射成 50 个综合特征, 用这 50 个特征来反映病斑图像的信息, 最终实现特征优化。3 区分深度置信网络深层架构3.1 区分深度置信网络区分深度置信网络 (Discriminative Deep Belief Networks, DDBN) 是一个全连接定向的多层神经网络, 如图 2 所示。其中, 包括一个输入层, N 个隐藏层和顶部的一个类别标签层, 输入层 h 有 D个单元, 等同于数据 x 中特征
15、的个数, 类别标签层有 C 个单元, 等同于标签数据 y 中的类别数。W=, , , 是深层架构中需要学习的参数。X 是一个样本数据集, 表示为 X=x, x, , x。其中, L 是已标注图像的数量, U 是未标注图像的数量, D 是每个数据的特征个数, X 的每一列是一个数据 x。一个拥有所有特征的数据可以看作是空间 R 中的一个向量, 其中第 j 个坐标对应第j 个特征。图 2 区分深度置信网络架构 下载原图在区分深度置信网络深层架构中, 定义能量状态 (h, h) 为:其中, = (w, b, c) 是模型参数, st是隐藏层 h 中的单元 s 和隐藏层 h 中的单元 t 之间的对称连
16、接参数, k=1, 2, , N-1, b s是隐藏层 h 中第 s 个偏置, ct是隐藏层 h 中第 t 个偏置, D k是第 k 层的结点个数。h 发生的概率是:其中 Z () 是归一化常数。h 和 h 的条件概率是:第 t 个单元为 1 的概率是包含 h 和 st的逻辑函数:第 s 个单元为 1 的概率是包含 h 和 st的逻辑函数:其中, 逻辑函数为:对隐藏层产生的概率的对数相对于模型参数 进行求导, 通过 CD 方法得到9:其中, 表示对于数据分布的期望, 表示从输入数据开始, 运行 Gibbs 采样 M 次后的数据分布。最后, 对参数 进行调整:其中, 是冲量, 是学习率。计算得到
17、参数 后, 隐藏层可以在一个数据 x 从 h 输入后, 通过公式 (11) 得到 ht (x) 。参数空间 是用服从正态分布的随机数初始化的。ht (x) 是数据 x 的抽象表示。3.2 损失函数为了使用 L 个标注数据来优化参数空间 W, 从而使得区分深度置信网络深层架构具有更好的区分能力, 即转化为优化问题:其中T 为损失函数, 合适的损失函数可以提高分类器的区分能力。常见的损失函数有对数损失函数、合页损失函数10和指数损失函数。对数损失函数可以正确地分类数据, 但是类别之间的分界线距离每个类别的优化目标位置很远, 这样会出现过度优化, 过度优化会增加错误分类点的个数。合页损失函数一般在数
18、据分类边界线 h1 (x) =h 2 (x) 比较近时会停止优化, 是 SVM 的损失函数, 如果有足够的支持向量, 那么则该类优化可行。本文的基于区分深度置信网络的病害图像识别分类器采用的是指数损失函数, 运用指数损失函数的典型分类器是 Ada Boost 算法, 指数损失函数在实际的数据集中表现良好11。指数损失函数的具体形式如下:其中, r=h (x j) yj, 不同损失函数的比较如图 3 所示, 本文所提出的分类器使用指数损失函数。图 3 损失函数的比较 下载原图4 基于区分深度置信网络的病害识别算法针对没有足够标注数据时的枸杞病害识别问题, 从病斑图像提取了颜色特征、纹理特征和形状
19、特征等底层特征, 通过底层特征的逐层特征变换, 得到更加抽象的高层特征, 从而发现更易于分类或预测的特征表示。结合区分深度置信网络和指数损失函数, 建立枸杞病害识别模型。建立的基本过程分为:第一步, 构建深层架构, L+U 个训练数据被用来寻找 N 层网络的参数空间, , , ;第二步, 基于梯度下降方法的监督学习, 利用反向传播机制将深层架构的参数空间进一步优化, 使用共轭梯度算法对深层架构进行训练。所以, 本文研究的是一种半监督学习方法, 有效地将无监督学习的抽象能力和监督学习的区分能力相结合。病害识别模型训练完成后, 当输入一个新的病斑图像 x, 可以根据该模型的输出 h 的值来判断 x
20、 所属的病斑类别。4.1 病害识别算法流程基于区分深度置信网络的病害图像识别算法流程如下所示。病害图像识别算法流程输入样本图像集 X, 类别集 Y, 隐藏层 h, 层数 N每一层的单元个数 D1, D2, , DN, 迭代次数 Q偏置 b, c, 冲量 , 学习率 已标注图像的个数 L, 未标注图像的个数 U输出包含训练后参数空间 W 的深层架构1.构建深层架构2.基于梯度下降方法的监督学习4.2 实验测试与分析通过前期图像处理获得枸杞叶片病害的 5 类病斑图像共计 1 201 张, 其中 100张无病斑图像、75 张白粉病图像、330 张灰斑病图像、340 张瘿螨病图像和 356张炭疽病图像
21、, 病斑图像的样例如图 4 所示。图 4 病斑图像的样例 下载原图首先, 对每一张病斑图像提取它的颜色特征、纹理特征和形状特征共计 147 个, 然后通过特征优化得到每一张病斑图像的 50 个主要特征。选择标注图像数据时, 标注的个数在 275 之间变化, 确保每类病斑至少有一个标注数据。实验中, 每张病斑图像的分辨率是 2020, 区分深度置信网络深层架构为 50-50-50-200-5, 表示输入层的结点个数为 50, 即输入每张病斑图像的 50 个特征, 输出层的结点个数为 5, 即病斑类别为无病、白粉病、灰斑病、瘿螨病和炭疽病 5 类, 三个隐藏层的结点个数分别为 50、50 和 20
22、0。第一阶段, 训练每一层的迭代次数为 30, 学习率为 0.1, 初始冲量为 0.5, 迭代 5 次后, 冲量变为 0.9;第二阶段, 使用共轭梯度下降算法, 迭代次数为 20, 每次迭代中使用 3 次线性搜索。使用 4.1 节算法输入新的病斑图像 x, 可以根据该模型 DDBN 输出 x 所属的病斑类别, 该分类器 DDBN 的分类性能与代表性的 KNN、SVM10和 NN12分类器相比较, 使用不同数量的已标注图像来比较各个分类器的分类错误率。已标注图像的个数分别设为 5、25、50 和 75, 每类病斑至少有一个是已标注的。比较实验的结果如表 7 所示。表 7 不同分类器在不同数量的已
23、标注图像的分类错误率 下载原表 在不同数量的已标注图像的分类器比较实验中, DDBN 的分类结果总是优于其他的分类方法, 在没有足够的已标注图像时表现出了稳定的、优越的分类性能。本文研究的识别模型不但表明了深层架构在自然图像识别任务中的有效性, 也为深层架构解决困难的学习问题理论提供了实验验证13-15。5 结论本文结合区分深度置信网络和指数损失函数建立了病害识别模型, 实现了枸杞病害图像的快速的、有效的识别和分类, 首先对枸杞病害图像进行预处理, 建立“白粉病”、“灰斑病”、“炭疽病”和“瘿螨病”四种病害类别的图像样本集, 然后对图像样本集中各类别图像的颜色特征、纹理特征和形状进行提取和优化
24、, 建立区分深度置信网络深层架构, 利用深层架构建立病斑特征与病斑图像类别之间的映射关系, 本文研究的方法高效地利用了底层图像特征的高层表示, 解决了没有足够的标注数据时的图像识别问题。参考文献1Li F, Fergus R, Perona P.Learning generative visual model from few training examples:An incremental Bayesian approach tested on 101 object categoriesC/CVPR Workshop on Generative-Model Based Vision.New
25、York, NY, USA:Elsevier Science Inc, 2004:1-9. 2Yu Z, Wong H S.Image classification based on the baggingadaboost ensembleC/International Conference on Multimedia and Expo.Naples, Italy:IEEE, 2008:1481-1484. 3Lu F X, Yang X K, Zhang R, et al.Image classification based on pyramid histoshoji tanaka, yui
26、chi iwadate, seiji inokuchi and attractiveness evaluation based on the physical gram of topicsC/International Conference on Multimedia and Expo.Piscataway, NJ, USA:IEEE, 2009:398-401. 4Fan Jianping, Shen Yi, Yang Chunlei, et al.Structured max-margin learning for inter-related classifier training and
27、 multilabel image annotationJ.IEEE Transactions on Image Processing, 2011, 20 (3) :837-854. 5毛罕平, 张艳诚, 胡波.基于模糊 C 均值聚类的作物病害叶片图像分割方法研究J.农业工程学报, 2008, 24 (9) :136-140. 6Omrani E, Khoshnevisan B, Shamshirband S, et al.Potential of radial basis function based support vector regression for apple disease d
28、etectionJ.Measurement, 2014, 55:512-519. 7Dubey S R, Jalal A S.Fusing color and texture cues to identify the fruit diseases using imagesJ.International Journal of Computer Vision and Image Processing, 2014, 4 (2) :52-67. 8秦丰, 刘东霞, 孙炳达, 等.基于图像处理技术的四种苜蓿叶部病害的识别J.中国农业大学学报, 2016, 21 (10) :65-75. 9Chen E
29、K, Yang X K, Zha H Y, et al.Learning object classes from image thumbnails through deep neural networksC/International Conference on Acoustics, Speech and Signal Processing.Las Vegas, Nevada, USA:IEEE, 2008:829-832. 10Collobert R, Sinz F, Weston J, et al.Large scale transductive SVMsJ.Journal of Machine Learning Research, 2006, 7:1687-1712. 11Friedman J H, Hastie T, Tibshirani R.Additive logistic statistical view of boostingJ.Annals of Statistics, 2000, 28:337-407.
