1、鲜杏外部缺陷在线检测系统 齐妍杰 张若宇 坎杂 毕智健 石河子大学机械电气工程学院 新疆生产建设兵团农业机械重点实验室 摘 要： 为了有效实施对鲜杏表面缺陷的快速检测, 基于 LabVIEW 软件平台和 IMAQ Vision 视觉工具包, 开发了可同时检测鲜杏表面磨伤、日灼、霉变及碰伤缺陷的在线视觉检测系统。该系统包含图像在线采集和处理识别模块。最后, 通过对搭建的系统在水平输送速度为 0.063m/s 条件下, 对 190 个各类鲜杏样本进行RGB 彩色图像采集, 然后提取 G 单分量图像并依次采用中值滤波、图像灰度变换、阈值分割及形态学处理等算法对缺陷鲜杏图像进行处理和分析, 得到正常果
2、、磨伤果、日灼果、霉变果、碰伤果检测的准确率分别为88.00%、73.33%、80.00%、8 2.5 0%、8 7.5 0%, 整体在线识别率达到 8 3.1 5%。关键词： 外部缺陷; LabVIEW; 机器视觉; 在线检测; 鲜杏; 作者简介：齐妍杰 (1990-) , 男, 河南洛阳人, 硕士研究生, (E-mail) 。作者简介：坎杂 (1963-) , 男, 新疆博乐人, 教授, 博士生导师, (E-mail) kz-。收稿日期：2016-10-28基金：“十二五”国家科技支撑计划项目 (2015BAD19B03) On-line Detection System of Fresh
3、 Apricot External DefectQi Yanjie Zhang Ruoyu Kan Za Bi Zhijian College of Mechanical and Electrical Engineering, Shihezi University; Abstract： To detect external defects of fresh apricot, on- line inspection systems was developed based on LabVIEW and IMAQ Vision for detection of fresh apricot exter
4、nal defects, such as surface rubbed, sun- burn, mildew and bruised. In this study, the speed of the convey belt of the system was set as 0. 063 m / s. Under this condition fresh apricot RGB images were acquired. Then, image of G- component was extracted from the RGB images, and then apricot external
5、 defects were identified using the following image processing methods orderly median filtering, gray transform, threshold and morphological processing. The test results showed that detection accuracies of the sound apricots, rubbed apricots, sun-burn apricots, mildew apricots, bruised apricots were
6、88. 00%, 73. 33%, 80. 00%, 82. 50% and 87. 50% respectively, integrated recognition accuracy was 83. 15%.Keyword： external defect; LabVIEW; machine vision; on-line detection; apricot; Received： 2016-10-280 引言杏营养丰富, 含有多种有机成分和人体所必须的维生素及无机盐类, 是一种营养价值较高的水果1。据统计, 2014 年新疆杏产量约 128.16 万 t, 种植面积约 13.24 万 hm
7、2。根据中国鲜杏标准, 影响杏子分级的主要缺陷有日灼、碰压伤、霉变、磨伤和运输过程中的机械碰伤表皮损伤等一些缺陷3。上述缺陷的存在, 易造成鲜杏的二次污染, 对于鲜杏的品质具有极大的影响。目前, 缺陷鲜杏普遍采用人工分选, 严重制约鲜杏品质的规模化生产。机器视觉作为一种快速无损的检测手段4-5, 已广泛应用于苹果6-7、柑桔8等果蔬缺陷9的检测中。目前, 针对机器视觉图像处理的软件和语言有C+、Open CV10、Visual Basic (VB) 、Mat Lab11和 Lab VIEW Vision12,13等。相比于 VB、C+、Open CV、MATLAB 等语言和软件, Lab VI
8、EW (Laboratory Virtual Instrument Workbench) 虚拟仪器开发平台是一种基于图形化的编程软件, 图形的编程语言通过替换和修改可以快速变换, 缩短了软件开发的时间, 提高试验的效率13。目前, 很多学者借助这种平台研究设计了多类果蔬检测系统。Ho-Hsien Chen14以 LabVIEW 为平台开发设计了香菇的在线分级平台, 该平台基于香菇的颜色、形状和质量等进行分级, 计算机处理的时间为 0.30.7s, 一个香菇的完整分级周期需要 4.8s;Fathinul Syahir15等同样借助该平台对采集的芒果图像进行图像增强、转换、滤波、背景分割和特征提取
9、等, 来评价芒果的形状、质量和成熟度等参数, 对芒果形状和成熟度的识别率分别达到 100%和 92%。高珏16等针对当前球形水果分级研究中存在的检测指标单一、实时性差及人机交互能力弱等问题, 设计了一种基于 Lab VIEW 的球形水果品质分级系统, 对番茄形状进行分级准确率达到91.7%, 平均处理时间为 1.74s。鲜杏表皮易损, 且表面缺陷类有磨伤、日灼、霉变和碰伤等多类缺陷, 目前国内尚无成型的在线检测系统。本研究拟利用 Lab VIEW Vision 友好的用户交互环境和丰富的图像处理功能, 开发适用于鲜杏多类型缺陷在线检测的视觉系统, 具体目标如下: (1) 搭建在线鲜杏图像采集的
10、硬件系统; (2) 以 Lab VIEW 为软件的平台结合图像处理工具包 IMAQ Vision, 开发鲜杏外部缺陷在线检测系统, 实现对鲜杏外部缺陷识别; (3) 通过在线试验对系统的可行性进行验证评估。1 在线系统硬件搭建系统的主要硬件是图像采集处理和鲜杏输送部分, 整体构架图如图 1 所示。鲜杏动态图像实时采集系统由工业相机 (point gray FL2G-13S2C-C, Point Grey, Canada) 、镜头 (HF6M-2, Spacecom CCTV, Japan) 、图像采集卡 (Fire PRO1394b PCI-e) 、LED 线光源、控制器和输送带等组成。计算机
11、 (Intel (R) Core (TM) 2Duo, 2GB 内存, 320G 硬盘, 主频 2.5GHz, Microsoft Windows XP操作系统) 为软件的运行提供硬件平台。图 1 系统整体硬件构架 Fig.1 Hardware architecture of the detection system 下载原图a.计算机 b.相机 c.光源 d.鲜杏样本 e.皮带输送线 f.电动机 g.控制器1.1 图像采集打开光源、计算机和相机准备系统图像采集, 通过变频器控制电动机的转速, 从而调节输送带的速度来输送鲜杏。在输送过程中保证鲜杏的缺陷面朝向相机镜头, 鲜杏一个一个从相机正下方
12、经过, 此过程由人工控制从视场外放置鲜杏, 以保证鲜杏到达视场内的速度一致。图像采集过程中确定镜头到输送带之间的距离为 324mm。调整光源的打光角度, 保证鲜杏表面打光均匀, 同时为了防止外来光源的干扰, 试验过程中对采集装置使用漫反射布罩保护。1.2 相机与计算机的通讯相机与计算机之间的通讯, 通过 Fire PRO1394b PCI-e 图像采集卡建立相机与计算机之间的通讯, 目的在于获得采集的图像, 并且保证传输的速率、分辨率、频道匹配和图像存储等条件, 通过调用相机驱动控件可以完成相机参数的配置, 传输速度设置为最大 800Mbps, 以保证系统硬件信号和软件指令的发送和接收正常。如
13、果相机与计算机之间通讯异常将导致图像的失真, 甚至不能采集到图像。1.3 输送带速度控制输送带的传输速度关系到图像采集的质量, 速度过快, 会导致图像不同程度的失真甚至畸形, 影响在线程序的处理和检测;速度过慢, 可以获得清晰的图像, 但对于在线处理实际生产中要考虑其生产效率, 根据前期的调研和对鲜杏形状和质量的评估。以 2t/h 作为实际生产中果蔬分级筛选机械17-18的效率, 对鲜杏的质量和形状进行统计分析, 鲜杏的平均质量约为 40g, 估算鲜杏的面积约为 0.002m, 实际生产中水平输送带宽度 L 约为 1m, 经式 (1) 计算可知输送带的线速度要求为 V0.03m/s。则其中,
14、V 为传送带线速度。研究中传送带的线速度 V 设定为 0.063m/s, 此时鲜杏的图片较为清晰, 方便后续图像处理。2 软件系统搭建2.1 系统程序整体设计IIMAQ Vision 是 Lab VIEW 内置的视觉开发工具包11,19, 能提供 Lab VIEW平台开发机器视觉的各种子程序, 如系统校准、图像采集、图像处理、相机控制和几何测量等。本研究主要运用机器视觉模块, 即视觉与运动模块。通过一些结构函数如条件结构、for 循环、while 循环将相应的控件组合在一起, 在系统前面板创建可视化的在线检测系统, 程序的运算结果显示在前面板。系统的前面板也即系统人机交互界面 (见图 2) ,
15、 可以直接观察显示的结果。系统界面分为 3 个部分:原始图像获取显示区、参数的设定区和检测结果显示区。通过获取原始图像和最终检测结果图, 可以直观地观察到缺陷的位置、形状和大小等特征。系统处理流程和程序如图 3 所示。图 3 (a) 为系统处理流程图, (b) 为系统程序框图。首先, 配置和驱动相机进行图像的采集和保存, 保存的图像可以用来分析系统的准确率;其次, 将采集的图像进行一系列的处理和结果显示, 包括预处理和缺陷的识别和提取, 具体的处理流程如单份量提取、滤波、灰度变换、阈值处理和形态学处理等图像处理方法;最后, 将相机内部缓存进行清除, 程序的停止可以点击 Stop 停止系统的运行
16、。图 2 系统的人机交互界面 Fig.2 Interactive interface of the system 下载原图图 3 系统处理流程和程序 Fig.3 Flow chart and processing diagram of the system 下载原图2.2 相机的图像采集图像采集相机的驱动有两种形式:一种是采用外部触发;一种是采用相机内部触发。外部触发即通过安装光电传感器, 传感器接收和发送信号, 从而驱动相机完成相应的图像采集。这种方法多适合于生产线上单个经过的物体, 当物体移动到相机的视场前, 触发开关, 通过一定的延时, 当物体到达视场中央进行图像采集。此种触发方式不适合
17、大量并行鲜杏的在线检测。因此, 本研究选择内部触发, 先将采集的图像保存到缓存区, 然后留作后续的图像处理;将缓存的内容进行清除, 否则程序会因为内存不足显示错误, 导致程序不能运行;通过选择合适的延迟时间来实现相机图像采集和保存。相机在采集图像的过程中要考虑到传送带的输送速度和相机的触发时间, 传送带速度过快, 触发延时的时间不够, 导致样本图像采集不到或者采集图像失真;传送带速度慢, 触发时间过短就会导致样本未移动至视场中心就触发相机采集图像。因此, 在实际的图像采集过程中, 通过计算相机采集一帧图像的时间和样本进入视场范围内的时间, 保证样本在视场范围内至少可以采集到一幅图像。调整传送带
18、转速计算样本移动至视场的时间, 然后根据调整系统延时时间, 保证图像采集的时效性。样本在进入相机视场和在视场中运动如图 4 所示。在此过程中, 样本在视场内的移动距离 S 为 157.5mm, 样本在视场内移动的时间 T1 (T1=S/V) 、相机采集延迟时间 T2和图像采集处理时间 T3。计算得到时间 T1=2 500ms, 相机的采集最高帧率为 15fps, 采集一帧图像需要 66.6ms。查看 Lab VIEW 系统的性能和内存信息统计得到图像处理一个样本的时间约为 60ms, 得到采集和处理一幅图像的时间约为 126.6ms。由于图像处理过程中需要占用系统内存, 在此过程中会需要一定的
19、延时来保证系统运行的稳定性, 故图像处理采集延迟时间 T2为 100ms。因满足 T1 (T2+T3) , 可以保证图像的采集和处理, 且该时间可以满足鲜杏在视场内移动过程中相机可以完成采集和处理至少一幅鲜杏样本图像。在此过程中, 相机一次可以采集到同时具有多个样本的图像, 但统计系统准确率是以单个鲜杏在视场中的图像为准, 且通过人为控制放鲜杏的速度保证每个样本的图像都能够采集到。图 4 样本移动示意图 Fig.4 Schematic of sample movement 下载原图2.3 图像预处理图像处理过程中首要目的是先将传送带的背景20去掉。首先, 获取不同样本的原始图像;其次, 对原始
20、图像进行单分量的提取, 对比分析 RGB 图像格式下的单通道图像。G 分量图中鲜杏缺陷部位与完好部位灰度差最大。本研究选择 G分量作为鲜杏处理的特征单分量, 并对处理后的图像进行中值滤波 (33 模板) , 然后对处理后的图像进行线性 (linear) 变换、对数 (Log) 变换、平方 (Square) 变换和指数 (Exp) 变换。通过图 5 可以看到:线性变换图像的灰度和原始的基本无差别;对数变换后原始的图像整个的灰度值增大, 缺陷和正常部分几乎一致。从灰度直方图上看:平方变换和指数变换都可以使图像的灰度减小, 但从图像上可以发现指数变换可以很好地将背景传送带减弱, 有利于图像分割。因此
21、, 在鲜杏的缺陷检测分析中最终选用指数变换的方法对 33 均值滤波后灰度图像进行增强处理。2.4 图像分割和缺陷提取在 Lab VIEW 提供的控件中通自适应阈值算法对增强后的图像进行背景分割, 对背景分割之后的图像进行形态学的粒子分析来分割连接的颗粒, 去除缺陷连接部分图像的颗粒;端子腐蚀点的个数可以控制移除的颗粒大小, 最后去掉接触图像边沿的颗粒, 使缺陷部分显示出来。本文使用的腐蚀点数为 2, 其在线系统原始图像和处理过程结果对照如图 6 所示。图 5 灰度变换方法对比 Fig.5 Comparison of grayscale transformation method 下载原图图 6
22、 在线鲜杏缺陷检测结果 Fig.6 Defect online detection for fresh apricot 下载原图3 试验验证3.1 鲜杏样本试验用的鲜杏为李广杏, 2016 年 6 月 16 日购买于石河子农产品交易市场。常温环境下保存, 使用洁净抹布对鲜杏样本进行表面异物擦拭, 以免影响图像采集和处理。根据鲜杏标准3, 对鲜杏样本进行正常果、磨伤果、日灼果、霉变果及碰伤果人为挑选, 包括 50 个正常果、磨伤果和日灼果各 30 个、霉变果和碰伤果各 40 个, 总计 190 个试验样本。鲜杏样本测量参数如图 7 所示。使用电子数显卡尺 (0150mm, 桂林量具刃具有限责任公
23、司, 广西) 测得正常和缺陷样本的平均横径和平均纵径分别为 39.95mm 和 40.18mm, 使用电子天平 (DT-1002A, 常熟市金羊砝码仪器有限公司, 江苏) 得到 190 个样本平均质量约为40.71g, 其结果如表 1 所示。图 7 鲜杏形状 Fig.7 Apricot shape 下载原图表 1 鲜杏形状和质量参数 Table 1 Fresh apricot shape and quality parameters 下载原表 3.2 结果与分析鲜杏在线检测结果 (见表 2) , 缺陷中碰伤果的缺陷识别率为 87.5%。可能原因是:鲜杏在运输的过程中碰伤果表面破损, 破损部位容
24、易被氧化而发生颜色变化, 与鲜杏正常部分的差别较大, 容易分割。磨伤果识别率最低为 73.33%, 是由于果皮表面受树枝和叶摩擦形成块状磨伤, 形成的轻微薄层在相同的打光条件下, 缺陷处于图像的高亮区域, 从而导致缺陷少分。总体而言, 该系统在线识别准确率为 83.15%, 表明该系统对鲜杏外部缺陷的检测是可行的。表 2 在线检测结果 Table 2 Online detection results 下载原表 4 结论1) 以鲜杏表面缺陷为研究对象, 以 Lab VIEW 软件为试验平台, 结合 Vision 视觉工具包, 创建人机交互界面, 搭建鲜杏的在线外部缺陷检测系统。通过在线鲜杏试验验
25、证, 该系统的在线缺陷检测准确率达到 83.15%, 说明本研究的在线检测鲜杏外部缺陷的方法是可行的。2) 试验中磨伤果的识别率较低, 针对此种缺陷的处理方法可以尝试不同的图像处理方法。另外, 可以改变光源打光角度和光源强度, 达到削减图像的亮度。参考文献1王玉柱, 孙浩元, 杨丽, 等.我国杏树发展现状分析及建议J.中国农业科技导报, 2003 (2) :24-27. 2新疆维吾尔自治区统计局.新疆统计年鉴M.北京:中国统计出版社, 2015. 3中华人民共和国农业行业标准, NY/T 696 2003, 鲜杏S.2003. 4Mahendran R, Jayashree G C, Alag
26、usundaram K.Application of Computer Vision Technique on Sorting and Grading of Fruits and VegetablesJ.Journal of Food Process Technology, 2012 (S5) :1-7. 5Di Leo G, Liguori C, Pietrosanto A, et al.A vision system for the online quality monitoring of industrial manufacturingJ.Optics and Lasers in Eng
27、ineering, 2017, 89:162-168. 6Blasco J, Aleixos N, Gmez-Sanchis J, et al.Recognition and classification of external skin damage in citrus fruits using multispectral data and morphological featuresJ.Biosystems engineering, 2009, 103 (2) :137-145. 7Li Q, Wang M, Gu W.Computer vision based system for ap
28、ple surface defect detectionJ.Computers and electronics in agriculture, 2002, 36 (2) :215-223. 8Aleixos N, Blasco J, Navarron F, et al.Ultispectral inspection of citrus in real-time using machine vision and digital signal processorsJ.Computers and electronics in agriculture, 2002, 33 (2) :121-137. 9
29、Cubero S, Aleixos N, MoltE, et al.Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetablesJ.Food and Bioprocess Technology, 2011 (4) :487-504. 10Mizushima A, Lu R.An image segmentation method for apple sorting and grading using support vector m
30、achine and Otsus methodJ.Computers and electronics in agriculture, 2013, 94:29-37. 11Ding Z, R Zhang, Z Kan.Quality and safety inspection of food and agricultural products by Lab VIEW IMAQ VisionJ.Food Analytical Methods, 2015, 8 (2) :290-301. 12Ravi V R, Baig A M, Udhaya Karthick G, et al.A Real Ti
31、me Quality Monitoring System for Engineering Industry:A Practical and Rapid Approach Using Embedded Vision System with Lab VIEW Applied Mechanics and MaterialsJ.Trans Tech Publications, 2014, 592:2129-2133. 13Wang W, Li C, Tollner E W, et al.Development of software for spectral imaging data acquisit
32、ion using Lab VIEWJ.Computers and electronics in agriculture, 2012, 84:68-75. 14CHEN H H, C H TING.The development of a machine vision system for shiitake gradingJ.Journal of food quality, 2004, 27 (5) :352-365. 15Saad F S A, Shakaff A Y M, Zakaria A, et al.Bio-inspired Vision Fusion for Quality Ass
33、essment of Harumanis MangoesC/2012 Third International Conference on Intelligent Systems Modelling and Simulation.IEEE, 2012:317-324 16高珏, 殷蓉, 朱培逸, 等.Lab VIEW 在球形水果分级中的应用J.中国农机化学报, 2014, 35 (6) :180-182. 17白峭峰, 梁海龙, 陈仲海, 等.水果内部品质在线无损检测输送装置设计J.机械研究与应用, 2012, 25 (5) :132-134. 18刘向东, 王学农, 王春耀, 等.鲜杏单体排序间隔输送装置的设计与试验J.农业工程学报, 2016, 32 (12) :31-38. 19Klinger T.Image processing with Lab VIEW and IMAQ VisionM.Upper Saddle River:Prentice Hall Professional, 2003. 20李江波, 饶秀勤, 应义斌, 等.基于掩模及边缘灰度补偿算法的脐橙背景及表面缺陷分割J.农业工程学报, 2009, 25 (12) :133-137.
