1、基于机器视觉的蛾类三维姿态中前翅间夹角计算方法 张睿珂 陈梅香 李明 杨信廷 温俊宝 北京林业大学林木有害生物防治北京市重点实验室 国家农业信息化工程技术研究中心农业部农业信息技术重点开放实验室北京市农业物联网工程技术研究中心 摘 要： 【目的】在农林业害虫自动识别分类过程中, 目标蛾类三维姿态的准确获取可以优化识别过程, 提高识别效率。通过对复杂的蛾类害虫三维姿态进行量化, 准确获取虫体三维姿态的信息数据, 可克服二维姿态识别的信息缺失问题, 提高算法的鲁棒性, 为蛾类虫体的自动识别奠定基础。【方法】以棉铃虫为例, 提出一种基于机器视觉原理的蛾类虫体前翅间夹角计算方法, 以确定虫体的三维姿态
2、, 即:通过角点检测原理提取蛾类虫体前翅的标记特征点, 获取标记特征点的空间坐标, 进而计算虫体前翅间夹角角度。【结果】此方法能够快速、便捷、准确地获取棉铃虫成虫虫体前翅间夹角, 且相对误差 0.10%3.96%;该计算方法与激光测量进行偏差分析, 均方根误差为 1.421 6;配对 T 检验无显著性差异, 表明本文提出的方法可行。【结论】以棉铃虫为例提出一种基于机器视觉的标记特征点虫体前翅间夹角计算方法, 平均用时仅 14.6 s, 少于激光测量法的 1 min, 在计算效率上也有所提高, 为多姿态蛾类害虫的自动监测、快速识别提供重要的技术手段。关键词： 机器视觉; 三维姿态; 蛾类; 前翅
3、间夹角; 特征点提取; 收稿日期：2017-01-05基金：北京市自然科学基金项目 (4132027) ;北京市自然科学基金青年项目 (6164034) Method of Extracting Forewings Angle of 3D Pose for the Moth Based on Machine VisionZhang Ruike Chen Meixiang Li Ming Yang Xinting Wen Junbao Beijing Key Laboratory for Forest Pest Control Beijing Forestry University; Natio
4、nal Engineering Research Center for Information Technology in Agriculture Key Laboratory for Information Technologies in Agriculture, Ministry of Agriculture Beijing Engineering Research Center for Agricultural IOT; Abstract： 【Objective】 In this study, the 3D gesture of complex moth pests was quanti
5、fied, and the information of 3D gesture of insects was acquired accurately, which was ableto overcome the problems of missing information in 2D images recognition, and improve the robustness of the algorithm. 【Method 】This study used Helicoverpa armigera ( Lepidoptera:Noctuidae) as the experimental
6、object. Firstly, the images were obtained in the closed box, in which three cameras were set. Triangle three-dimensional coordinate system was made up of 1 cm 1 cm white grid plate and ring light source.Before being preprocessed, the images were cropped into 935 pixels 568 pixels to get the scope of
7、 the target moth pest.In order to enhance the visibility of the target area, the RGB and HSV color space was transformed. The H, S, V component grayscale images were obtained, respectively. Comparing three component grayscale, it was obviously that S component grayscale image can maintain the integr
8、ity of the image target site effectively. After the above image preprocessing, it was appeared a lot of noise in the image, using median filter to remove isolated noise points and it also can be keep the image edge features. Secondly, the mark point on the moth pest forewings was extracted by the Ha
9、rris corner extraction method, then the pixel coordinates of feature points were obtained. Later, the reference object, white coordinates plate was 366 pixels and its actual size was 1 cm. Thus the calibration coefficient was 1/366 mmpixel-1.Finally, according to the principle of space geometry, the
10、 forewings angle of H. armigera was calculated by MATLAB.【Result】The result of preprocessing showed that the image segmentation based on color space conversion could not onlyweaken the brightness of the background, but also maintain the all of target moth pest. Based on these, we could get accuratel
11、y the forewings angle of the moth pest. At last, the calculated results and the laser measurement ones were compared. The experiment results showed that the relative error was between 0. 10% and 3. 96%, and the minimum root mean square error ( RMSE) value was 1. 421 6, and showed that there was no s
12、ignificant difference between the calculated results and the manual measurement by the paired T test. In addition, it was found that the calculation result of the forewings angle of the moth pest had larger error, and the reason was that each mark point was obtained by manual.【Conclusion】In conclusi
13、on, the paper proposes a new approach to acquire the forewings angle of the H. armigera, and the calculated results are consistent with the results of manual measurement, which could provide data of 3 D gesture. At the same time, the algorithm is only 14. 6 s, less than that obtained by the laser me
14、asuring method. It has also improved computing efficiency. This paper approach could improve the accuracy of moth pest identification, robustness and it has important significance in the future practical application.Keyword： machine vision; 3D pose; moth; forewings angle; corner detection; Received：
15、 2017-01-05蛾类害虫种类识别是农林害虫测报与防治工作的基础。随着计算机技术的发展, 基于图像的害虫自动识别技术具有省时省力、智能化等优点, 有助于提高害虫识别效率 (姚青等, 2011) 。目前广泛应用二维图像技术进行害虫的自动监测识别, 但由于获取到的二维图像仅对图像中虫体的颜色、几何形状 (于新文等, 2003) 等进行描述与利用, 忽略了虫体姿态问题, 造成识别算法的普适性受到影响, 导致识别准确率降低。为了克服害虫姿态对识别效果造成的影响, 邱道尹等 (2007) 设计的基于机器视觉的农田灯诱害虫实时检测系统, 使害虫姿态减少为正面和背面 2 种。李文勇 (2014a;201
16、4b) 等通过获取二维图像信息, 开展了基于机器视觉的多姿态害虫特征提取与分类方法, 在实验室条件下取得了较好的识别效果。以往对多姿态害虫的识别主要基于单一或正反面机器视觉进行图像获取, 所获取的害虫图像信息受到限制 (Wen et al., 2012) , 仅获得二维姿态信息, 基于二维图像技术难以准确估计蛾类虫体实际空间位置对害虫特征的量化影响, 导致单一基于二维图像的害虫识别算法的普适性受到一定的影响 (杨红珍等, 2013;Ashaghathra et al., 2007) 。三维姿态信息是反映目标物体空间位置的重要参数 (陈娟等, 2008) , 所以, 提取蛾类虫体的三维姿态信息以
17、确定虫体的空间位置有助于提高蛾类害虫分类识别的准确率。鳞翅目害虫是数量仅次于鞘翅目的主要农林害虫, 是害虫监测的重点对象。一般通过黑光灯诱集监测, 其死亡时虫体体色及结构基本保持一致但会出现多种死亡姿态, 具体表现在两翅膀的空间相对位置不尽相同, 存在较大差异。因虫体翅膀间形成不同大小的夹角, 致使获取到的同种虫体的二维特征相差较远, 增加了识别难度, 降低了识别准确率 (Nguyen et al., 2013) 。张志刚等 (2005) 进行了人脸的三维姿态估计, 对多姿态的人脸识别提供了一定基础的、有效的获取人脸偏转角度的方法。吕丹等 (2015) 提出有效获取目标三维姿态的方法, 能够简
18、化识别复杂性, 提高识别速率。Nguyen 等 (2014) 通过构建昆虫的真彩色 3D 模型用于昆虫物种的鉴定, 但其是针对鞘翅目虫体并通过高精准的测量而构建得到虫体的三维模型, 具有一定的复杂度, 且对鳞翅目蛾类害虫的适用性较低。所以, 通过机器视觉计算鳞翅目蛾类虫体前翅间夹角的角度以量化虫体的三维姿态, 可避免构建复杂的虫体三维模型, 从而提高鳞翅目蛾类害虫的识别效果及效率。机器视觉 (machine vision) 是于 20 世纪 60 年代中期由美国学者 L.R.罗伯兹在研究多面体组成的积木世界开始的, 20 世纪 80 年代至今对机器视觉的研究成为全球性热潮 (胥磊, 2016)
19、 。机器视觉主要用计算机模拟人的视觉功能从客观事物的图像提取信息并进行处理, 最终用于测量和判断 (Milan et al., 2016) 。机器视觉技术现已在工业检测、机器人导航和视觉伺服系统、医学以及农林业等方向均有广泛的应用。尤其在农林业中, 利用机器视觉根据农产品的颜色、形状、大小等特征参数进行农产品的自动分级 (唐向阳等, 2016) ;使用机器视觉采集树木的实时图像为分离施药目标与非施药目标提供依据 (向海涛等, 2004) ;以机器视觉为基础的农林业害虫的自动识别提高了害虫识别的准确率同时也减少了人工识别的劳动强度 (朱莉等, 2016) 。机器视觉的应用提高了生产自动化水平,
20、具有广泛的应用范围及良好的应用前景。目前, 空间实体的角度测量方法应用较为广泛的是光学角度测量, 主要包括自准直法 (Machtovoi, 1993) 、光栅法 (Torroba et al., 1998) 、激光干涉法 (Masajada, 2004;Fan et al., 2013) 、环形激光法 (Bournachev et al., 1998;Filatov et al., 1997) 等。正交自准直测角装置可以进行三维角度的测量, 但需同时提供 2 个正交的光学轨道, 占用空间大;光栅法中的正交组合光栅测角法是三维空间角为数不多的测量方法之一, 但是其测量范围较小;激光干涉法的测量精
21、度较高, 但其结构精密复杂、稳定性弱且只能进行一维角度测量并不适用于三维角度;环形激光法可以精确地测量动态角度以及角速度却无法实现静态角度的测量。以上的角度测量方法均不适用于棉铃虫 (Helicoverpa armigera) 两前翅间夹角的测量。此外, 通过三坐标仪获取实体坐标点计算得到空间位置信息的描述也是常见的角度测量方法之一。三坐标仪分为接触型与非接触型, 其中接触型三维测量仪的探针会对虫体翅膀造成损害, 但专门的非接触型三维激光坐标仪价格昂贵, 安装调试不便, 应用推广较难 (张国雄, 2000) 。综上, 目前利用机器视觉进行蛾类害虫虫体前翅间夹角的获取, 还鲜有报道。本文提出一种
22、简单易操作的基于机器视觉的方法而非构建具体的三维模型, 对复杂的蛾类害虫三维姿态进行量化的方法:通过对图像在颜色空间的转换, 利用Harris 角点提取法进行特征点的提取并获得特征点坐标进而计算得到虫体前翅间夹角, 来准确获取蛾类害虫三维姿态信息数据, 以克服二维形态识别的信息缺失、不具有较强鲁棒性的问题, 提高蛾类害虫种类识别的准确率, 为蛾类害虫的自动识别与计数提供基础。1 材料与方法1.1 虫体三维姿态夹角的定义鳞翅目蛾类害虫姿态变化主要是由于翅膀绕肩角发生旋转产生的形变。根据虫体姿态变化的特点、害虫姿态信息的求解, 重在选取能代表姿态信息的部位, 而蛾类害虫在立体空间中两翅膀在虫体背侧
23、形成的夹角是虫体三维姿态的一种表现形式, 故所求解的蛾类害虫三维姿态信息可以通过计算蛾类虫体两前翅翅面间夹角获得。蛾类虫体的翅膀一般近三角形, 翅膀三个顶点分别为肩角、顶角和臀角, 选取这些具有代表性的部位进行颜色标记, 图 1 所示, 判断这些标记点 (marked points) 所处的空间位置并确定标记点所组成的面, 通过计算获取得到虫体的三维姿态信息。图 1 蛾类虫体翅膀标记点 (仿 Snodgrass, 1935) Fig.1 Marked point of moth pest forewing (Snodgrass, 1935) 下载原图1.2 供试虫体选取对农林业均有危害的鳞翅目
24、夜蛾科害虫棉铃虫成虫作为供试虫体 (包括棉铃虫成虫雌、雄个体) 。棉铃虫寄主广泛, 包括苹果 (Malus pumila) 、泡桐 (Paulownia sp.) 等林木及棉花 (Gossypium spp.) 、玉米 (Zea mays) 等农作物, 试验虫体于北京市昌平小汤山精准农业示范基地通过黑光灯装置诱捕获取。1.3 虫体前翅间夹角提取流程棉铃虫前翅间夹角的提取方法的总体流程如图 2 所示。首先, 进行图像的采集, 获取棉铃虫虫体试验样本图像;其次, 对获取到的样本图像进行预处理操作:图像的裁剪、灰度化、图像的平滑去噪等处理, 使获取到的图像后期更易于处理与操作;然后将预处理得到的图像
25、进行角点提取处理, 从而获取到棉铃虫前翅上的关键标记点, 进而提取标记点空间坐标, 进行虫体前翅间夹角计算;最后将得到的棉铃虫虫体前翅间夹角进行数据验证和误差分析。1.4 图像获取图像获取是在实验室内自主构建的拍照环境中利用图像获取系统对选取的试验虫体棉铃虫进行图像采集。图像获取环境系统包括双色温环状光源、密闭箱体, 以及标准 1 cm1 cm 方格的白色背景坐标纸板。将白色坐标纸板构建成三角立体坐标板并放置于密闭箱体内, 箱体内部上方固定环状光源, 构成亮度较为稳定的环境, 如图 3 所示。相机型号是 SONY DSC-W710, 光圈 f/5.1, 焦距 12 mm, 设置微距模式, 采集
26、图像大小为 4 608 像素3 546 像素, 3 台相机的缩放一致。将 1.0 cm1.0 cm1.0 cm 的软塑料正方体置于分别距离三角立体直角坐标板X-Z 平面 40 mm 且距离 Y-Z 平面 40 mm 位置处, 利用 1 昆虫针将棉铃虫虫体固定于坐标板正方体中心处 (棉铃虫虫体置于昆虫针顶端) , 其中一台相机伸入环状光源中间进行垂直角度图像获取, 距离 X-Y 平面 20 cm;另外 2 台相机置于虫体正前方且分别垂直距 X-Z 平面、Y-Z 平面 20 cm。在自构建的图像获取环境中, 每次放置 1 只棉铃虫, 根据害虫的原有姿态, 调节光源且保持光源亮度不变, 分别获取棉铃
27、虫虫体的上方、正面及侧面的图像, 保存。图 4a 是由机器视觉获取到的虫体上方原始图像。图 2 虫体前翅间夹角计算处理流程 Fig.2 Calculation and processing of forewings angle 下载原图虫体夹角的激光测量参考值即通过激光测距仪分别测得虫体标记点与固定点的距离并换算成虫体在空间内的实际坐标点后加以计算获得并作为虫体两前翅间夹角的参考值。本文方法基于 MATLAB R2012b 编程环境实现, PC 处理器是 Inter Core i5-3470, CPU 3.20 GHz。图 3 图像采集装置示意 Fig.3 Diagram of image a
28、cquisition device 下载原图1.三维坐标板 3D coordinate plate;2.密闭箱体 Closed box;3.环状光源Light source;4.SONY 相机 SONY camera;5.棉铃虫样本 H.armigera sample;6.固定支架 Fixed bracket.1.5 图像预处理图像的预处理主要是将图片中的干扰物去除以及最大限度地提取出目标虫体, 是对于虫体进行特征点提取的有效前提。预处理部分主要包括:1.5.1 图像裁剪同一个种的昆虫, 也存在一定的个体差异, 目标虫体会大小不同, 但是个体差异会在一定范围之内。所以, 为突出目标个体首先要对
29、原始图像进行有效裁剪, 去除不必要的背景, 以便后期处理。1.5.2 图像分割由相机获取到的图像都为真彩色图像, 彩色图像相比于灰度图像提供了更多的信息, 对彩色图像进行分割需要选取适合的颜色空间 (阮秋琦, 2001) 。彩色图像最常见的是用 RGB 颜色空间进行表示, 但是 RGB 颜色空间符合显示系统却与人眼感知具有较大的差异 (林开颜等, 2005) , 并且 RGB 是同时对彩色图像进行描述, 三分量 (即 R、G、B, 取值范围分别是 0255) 具有高度相关性, 而 HSV 模型是一种复合主观感觉的颜色模型。其中, H、S、V 分别代表的是色调 (hue) 、饱合度 (satur
30、ation) 和亮度 (value) , H 分量表示颜色的种类, S 分量表示所选色彩的纯度与该色彩的最大纯度比例, V 分量表示颜色的明暗程度, 3 个分量的取值范围归一化后为 01。H、S、V 3 个分量具有不相关性, 且由 RGB 颜色空间转化到 HSV 颜色空间是一个快速的非线性变换。由 RGB 到 HSV转换的表达式 (包全磊, 2010) :对于式 (1) 、 (2) , 若 V=0, 则 S=0。若 V=R, 则 H=60 (G-B) /V-min (R, G, B) , 若 V=G, 则 H=120+60 (B-R) /V-min (R, G, B) , 若 V=B, 则 H
31、=240+60 (R-G) /V-min (R, G, B) , 若 Hx2或者 x2x1, 则检测到的是边缘部分;当 x1, x2都很小时, 图像窗口在所有移动的方向上移动灰度级都无明显变化;当 x1, x2都很大且相当时, 检测到的是特征点。由于计算 2 个特征点比较耗时, Harris 给出角点判别不需要计算出 x1和 x2, 而是通过计算角点响应函数 R:式中:det (M) 为矩阵 M 的行列式, trace (M) 为矩阵 M 的迹, 式中 R 即为特征点。1.7 空间坐标获取在 Harris 角点提取的过程的同时也获取到了每一个标记点的像素坐标, 并将其存储在 MATLAB 的
32、workspace 中。其中, 由上方获取到的虫体背面图像中可得图像每一标记点的像素坐标即表示为该标记点在自构建的实际坐标系中 X-Y 平面坐标, 像素坐标原点在图像左上角, 水平方向为 X 轴, 竖直方向为 Y 轴, 与实际坐标相同;由正前方获取的图像中也可获得相同标记点的像素坐标, 但是其像素坐标中 X-Y 平面则表示为该角点在自构建的实际坐标系中 X-Z 平面的坐标, 水平向右为 X 轴, 竖直向下为 Z 轴, 像素坐标原点在左上角, 但实际坐标原点在左下角, Z 轴相反。由 MATLAB 获取到的标记点坐标为像素坐标, 需要与实际坐标进行换算, 以获取虫体特征点的空间实际坐标。1.8
33、夹角角度的计算根据空间几何原理 (苏步青, 1991) , 将获取到的虫体的特征点的空间坐标点进行整合, 由已知的左右翅膀平面上的 6 个非共线空间坐标点A1、B 1、C 1;A2、B 2、C 2分别构建 2 个平面方程:求解方程得到 n1、n 2坐标, 进一步求解得到两向量之间的夹角 的余弦值为:cos=cos=n 1n 2n 1n 2。 (16) 根据空间几何原理并在 MATLAB 中自主构建函数, 可求解获得棉铃虫虫体前翅间夹角。由此求得空间虫体前翅间的夹角, 由异面直线所构成的角, 一定是锐角或直角, 不可能是钝角, 但二面角可能存在锐二面角、直二面角和钝二面角 3 种情况, 故棉铃虫
34、虫体前翅间夹角实际度数需要利用原始图像通过试验者肉眼观察其角度是否大于直角 90进行综合判定分析。利用棉铃虫虫体前翅间夹角提取方法, 获取本次样本虫体前翅间夹角测量值。2 结果与分析2.1 图像预处理图像裁剪是图像分割的前提条件, 获取到的原始图像如图 4a 所示, 但图中目标区域较小, 为保证图像后期处理的速度与质量, 将其裁剪后 (图 4b) 保存。对比图 4a 与 4b, 裁剪后的图像目标更为明显且图像质量保持良好。2.2 图像的有效分割利用本文方法中阐述的颜色空间转换的方法, 将 RGB 空间的图像转换为 HSV 空间的图像, 分别得到 H、S、V 3 个分量的灰度图。相比较之, S 分量灰度图具有较好的分割性, 能保持图像兴趣目标部位的完整性及明显性, 如图 4c 所示, 可以很明显将虫体与背景板有所区分, 同时, 在虫体的前翅上的标记点也可以很明显地显现于虫体翅膀之上。中值滤波有效地去除了孤立噪声点同时也保持了兴趣目标轮廓的完整性, 如图4d。2.3 特征点提取及坐标获取
