1、机器视觉技术在牛肉生理成熟度检测中的应用 李岩 刘波 陈怡帆 河北农业大学信息科学与技术学院 华北电力大学(保定)机械工程系 摘 要： 在牛肉生理成熟度的检测中, 脊椎骨末端软骨区域的正确分割和软骨区域特征参数的选取是非常重要的 2 个步骤, 将直接影响检测的准确度。本研究首先对采集到的脊骨图像进行预处理将其转换为二值图像, 然后利用几何不变矩及Hopfield 神经网络完成对软骨区域的自动分割和识别, 并选取内角方差、凹凸度和区域密集性作为牛肉生理成熟度的评判标准。在对生理成熟度分别为A、B、C、D、E 级的各 20 具牛肉样本进行实验检测的过程中, 平均准确率达到了 92%。结果表明:该方
2、法可以有效的消除牛肉切割过程中产生的骨屑及脂肪粒对于检测结果的影响, 具有较好的检测效果。关键词： 自动检测; 生理成熟度; 图像识别; 几何特征参数; 作者简介：李岩 (1980-) , 男, 副教授, 主要研究方向:数字图像处理技术.收稿日期：2017-07-05基金：河北农业大学理工基金项目 (LG20130703) ;河北农业大学理工基金项目 (LG20130701) Application of machine vision technology in the detection of beef physiological maturityLI Yan LIU Bo CHEN Yi-
3、fan College of Information Science and Technology, Hebei Agricultural University; Department of Machinery Engineering, Electric Power University of Northern China; Abstract： In the detection of beef physiological maturity, correct segmentation of the cartilage region at the end of the spine and sele
4、ction of the cartilage region characteristic parameters are two important steps that will directly affect the accuracy of detection.In this study, the preprocessed spine image collected being converted into two binary images, geometric invariant moments and Hopfield are used to complete the automati
5、c segmentation and recognition of cartilage region, with 、and as beef physiological maturity evaluation standard.The average accuracy rate is 88%in detecting 20 samples of physiological maturity levels at A, B, C, D and E respectively.The result shows that the method can effectively eliminate the ef
6、fect of bone chip and fat granule in the process of beef cutting, and has improved beef detection.Keyword： automatic detection; biological maturity; image recognition; geometric characteristic parameter; Received： 2017-07-05根据最新的中国食品产业发展趋势报告称, 在国内肉类消费中, 猪肉的人均消费量已经达到较高水平, 其增长趋于饱和;未来的消费增长将主要来自牛肉和禽肉。随着
7、我国人民平均消费水平的不断增长, 牛肉的品质越来越受到人们的重视。牛肉品质的检测早期主要采用人工主观经验的判定方法, 缺少统一的量化标准且误差大、重复性差。从 20 世纪中期开始陆续出现了一些新的客观评定方法:剪切力测定法。以 WBSF (Warner-Bratzler Stree Force) 值表示牛肉嫩度的一种客观检测方法1。剪切力测定法仍然是目前与人的感官评定结果最相符合的一种牛肉嫩度评价方法, 也是目前普遍采用的牛肉嫩度测定方式2-3。在大多数关于牛肉品质研究中, WBSF 值都被当作一个主要的评价指标4-6。近红外光谱分析法。该方法早期主要用来检测肉类产品中的化学成分。根据Mits
8、umoto7、Hildrum8、Leroy9、Xia10等人的研究发现近红外光的穿透光谱、反射光谱、散射系数与牛肉的持水性、颜色特征和组织结构特征具有显著的关联性, 从而为将近红外光谱分析法应用于牛肉的品质检测提供了理论支持。机器视觉法。作为人工智能的一个主要发展方向机器视觉主要用来替代人眼完成对目标对象的捕获、测量和分析, 将其应用在肉类食品的质量检测中具有实时、高效、准确和检测成本低的优点, 是未来发展的主要趋势。该方法利用图像处理系统和模式识别技术对图像目标像素点的分布、色度、亮度进行统计和分析, 并提取出有用的特征参数, 从而得到相应的分析结论。目前在牛肉品质的量化评定中机器视觉法主要
9、用于对牛肉的生理成熟度、大理石纹、肌肉色和脂肪色 4 个方面进行检测。故, 本研究聚焦于此。1 牛肉的生理成熟度传统的牛肉品质评定中, 通常使用牛龄来表示牛肉的生理成熟度。牛龄越小牛肉的肌肉纤维越细, 烹调时的水分损失越小, 牛肉品质越高。牛龄的大小可以通过牛体的门齿进行人工判断, 但是需要较为丰富的经验且结果往往过于主观化、不易进行量化评定;另外一种判断牛龄的方法是通过对牛肉的生产供应链进行追溯, 该方法能够比较准确的获取牛龄的数据, 但鉴于我国肉类产品的生产、加工市场尚未发展完善, 所以这种方法并不适用。经过大量的研究表明, 牛脊椎骨 (最后 3 根胸椎) 棘突末端软骨的骨质化程度与牛龄具
10、有密切的关系, 所以可将其作为牛肉生理成熟度的判定标准。在我国的牛肉质量分级标准中根据牛肉的生理成熟度将牛肉的品质等级分为A、B、C、D、E 共 5 个级别, 它们与牛龄、脊椎骨末端软骨的骨质化程度的对应关系如表 1 所示。表 1 生理成熟度与牛龄、骨质化程度的关系 Table 1 The relationship between physiological maturity and the degree of bone formation 下载原表 不同骨质化程度时脊椎骨棘突末端软骨的剖面影像如图 1 所示, 从图中可以明显看出随着牛龄的不断增长软骨区域的颜色值由白色向深红色进行过渡, 即骨
11、化率不断增长。图 1 骨质化程度示意图 Fig.1 Diagram of degree of bone 下载原图2 样本图像预处理在利用神经网络对样本图像进行分割、识别之前, 先利用 RGB 彩色空间对图像进行预处理。分析牛脊椎骨图像 (图 2 (a) ) , 为了将软骨部分准确的分离出来, 选取红色分量值 E0 (H) 作为临界值, 从图像中提取出大于该值的像素点, 并从中选取出红、绿、蓝三色分量平均值大于 C0 (H) 且标准偏差小于 20 (H) 的像素点, 将这些像素点的颜色值置为 FFFFFF (H) , 其他像素点的值置为000000 (H) , 得到的二值图像为图 2 (b) 。
12、从图中可以看出除了分辨出的软骨区域以外还存在着大量的脂肪区域和图像噪声, 为了减小后续图像分割识别的计算量、提高系统的反应速度, 利用 MATLAB 中的 bwareaopen (BW, P, conn) 函数对图 2 (b) 进行降噪处理, 将 P 值设定为 700, conn 值设定为 8, 处理后的图像为图 2 (c) 。图 2 图像预处理流程 Fig.2 Image preprocessing flow 下载原图3 软骨区域的分割与识别3.1 几何不变矩的选取与计算通过预处理的结果可以看出图像中仍保留有大量面积大于 700 像素点的脂肪区域, 这些区域同软骨区域具有不同的几何形状特征,
13、 以此作为区分它们的主要手段。区域的一些矩对于平移、旋转、尺度等几何变换具有一些不变的特性, 在物体分类及识别检索方面具有重要的意义11。常用的几何不变矩主要有Zernike 矩和 Hu 矩。其中 Hu 矩对于图像特征的描述主要通过 7 个不变矩 (M1M7 均为低阶矩) 完成, 所以对于图像细节的把握较差, 识别率较低。而在Zernike 矩中可以任意构造高阶矩, 且在图像出现旋转、模糊、噪声的情况下表现良好, 均能较为完整和详细的描述图像的特征, 具有较好的识别效果。为保证图像的尺度不变性和平移不变性, 首先利用标准矩对软骨区域进行归一化处理, 标准矩的定义为:对图像 f (x, y) 进
14、行尺度变换和平移变换, 得到:令 m、n 为 Zernike 矩中正交多项式的阶数, 得到二维图像 Zernike 矩的表达式为:其中 g (x, y) 是大小为 20002000 的数字图像, 对上式进行离散化处理并进行极坐标 (, ) 的变换。引入参数 (r, ) 使之与像素点 (x, y) 一一对应, 定义 r=max (|x|, |y|) 。根据-1000x, y1000, 得到 1r1000, 18r。则 =r/1000, = (4r) 。最终 Zernike 矩的离散表达式为:对复数 Znm的实部和虚部分别求模, 得到软骨区域图像 Zernike 矩的值。3.2 Hopfield
15、神经网络的构建与应用利用 Hopfield 神经网络适用于识别和检索的优点, 结合 Zernike 矩对采集图像中的软骨区域进行精确识别。根据牛脊椎骨图像中软骨区域的各种形态, 选出4 种模板如图 3 所示。图 3 软骨图像模板 Fig.3 Cartilage image template 下载原图Hopfield 神经网络中权值计算公式为:其中 n 为模板数 4, mi为第 n 个模板的第 i 个元素, 利用上式可得到网络权值矩阵 T。为了保证识别的准确性对 4 种模板分别进行尺度、形状和复杂边缘变换, 如图 4 所示。图 4 模板变换 Fig.4 Transform template 下载
16、原图将变换后的模板与原模板进行比较, 计算出模板特征向量之间的最小欧氏距离, 计算公式为:式中 Mn为原模板的特征向量, X i为变换后模板的特征向量, 得到的值如表 2 所示:表 2 模板变换产生的欧式距离值 Table 2 Euclidean Distance generated by Template Transformation 下载原表 以上结果表明图像的几何形状特征选取合理, 图像的变换不会对识别产生影响。3.3 对采集到的样本图像进行识别选取 20 具牛胴体, 对其最后 3 根胸椎棘突末端的区域进行图像采集 (含 28 副软骨区域图像和 28 副非软骨区域图像, 共 56 幅)
17、。考虑到对图像分辨率及清晰度的要求, 选用型号为 MV-300UC 的工业数字摄像头进行图像采集, 分辨率为20481536, 像素尺寸为 3.2m3.2m, 拍摄距离为 85cm。分别计算出这些图像的几何不变矩, 并与 4 个模板的特征向量进行比较计算, 得到软骨图像与模板的欧氏距离平均值为 0.062 8, 非软骨图像与模板的欧氏距离平均值为 0.923。样本图像的欧氏距离分布图如图 5 所示。图 5 样本图像的欧氏距离分布图 Fig.5 Euclidean distance distribution of sample image 下载原图根据以上数据结果, 将 0.4 设定为区分软骨区
18、域与非软骨区域的欧式距离阈值, 利用 Hopfield 神经网络完成上述的计算分析过程, 并对小于该阈值的图像区域进行标记、存储和置 1 操作, 以便进行后续的生理成熟度判定;大于该阈值的图像区域予以放弃。4 对识别出的软骨图像进行生理成熟度的判定对利用 Zernike 矩识别出的牛脊椎骨软骨区域的几何形状参数进行分析, 结合人工计算出来的骨化率做为评判依据, 找出与之最为相关的参数作为牛肉生理成熟度的最佳检测标准。4.1 区域几何形状参数为了更好的选取出软骨区域的几何形状参数, 考虑到图像噪声及脊椎骨在切割时产生的肉末、脂肪颗粒的影响, 首先对图像进行多边形逼近, 采用收缩的方法以图像最小周
19、长表示其外轮廓。示意图如图 6 所示。图 6 图像轮廓的多边形逼近 Fig.6 Polygonal approximation of image contour 下载原图在图像识别中常用的几何特征参数有主轴、副轴、周长和面积等, 这些简单的特征参数与牛肉的生理成熟度并不具备相关性。随着牛龄的增长, 通常伴随着脊椎骨软骨区域骨质化的过程。从几何形态的改变特点来看, 主要可以由以下的复杂特征参数进行描述。4.1.1 内角方差几何图像中的内角个数与图像的复杂程度相关, 其中处于 0180范围的内角对应于图像的凸点;180360范围的内角对应于图像的凹点。而凹点个数是决定图像复杂程度的关键因素。对于一
20、个顶点数为 n 的多边形, 其内角平均值为:由此可以得到内角方差为:越规则的图像内角方差越接近于 0, 随着软骨组织内部含水量的逐渐减少、钙化程度逐渐提高, 图像轮廓趋于不规则, 即内角方差值会逐渐增加。4.1.2 凹凸度凹凸度反映的是图像边缘的凹化程度, 首先构造出目标图像的最小外接凸多边形和最大内接凸多边形 (如图 7 所示) , 计算出两者的面积分别为 Smin 和Smax。图 7 凹凸度的计算 Fig.7 Calculation of concave and convex degree 下载原图凹凸度的计算公式为:Dvo-vex的最小值为 1, 表示图像的顶点均为凸点。随着牛龄的增长,
21、 软骨边缘会逐渐趋于塌陷和收缩, 软骨图像的凹点数所占比例逐步增加, D vo-vex值变大。4.1.3 区域密集性 Ndens用软骨区域面积 S 与软骨区域周长 C 的比值表示软骨图像的密集性。当图像越趋近于圆形时, N dens的值越趋近于 1, 即图像越紧凑。区域密集性计算公式如下:4.2 几何形状参数的相关性与选取考虑到特征参数选取的完备性, 除了以上提到的 3 个几何形状参数以外, 另增加矩形度 Rec和扁度 Ecc2 个区域参数构成用于描述牛肉生理成熟度的特征集。在保证检测效果的前提下为了缩短检测时间、提高检测效率, 求出 5 个参数的自相关矩阵, 去除掉自相关系数小的参数 (表
22、3) 。表 3 特征参数的自相关系数 Table 3 Autocorrelation coefficient of characteristic parameters 下载原表 根据表 3 中的结果, 选取内角方差 、凹凸度 Dvo-vex和区域密集性 Ndens作为骨化程度的分类参数。将它们与人工计算得到的骨化率进行相关性运算, 结果如表 4 所示。考虑区域密集性 Ndens的相关性达到了 50%, 所以设定了 2 套检测方案:第一套方案采用内角方差 和凹凸度 Dvo-vex2 项指标作为牛肉生理成熟度的评判标准;第二套方案增加了区域密集性 Ndens共 3 项指标作为评判标准。表 4 分类
23、参数与骨化率的相关性 Table 4 The correlation between the classification parameters and ossification rate 下载原表 利用定州市畜牧局提供的样本资料对 A、B、C、D、E 级各 20 具牛胴体分别采用2 套检测方案进行检测, 结果如图 8 所示:图 8 生理成熟度检测准确率 Fig.8 The detection accuracy of physiological maturity 下载原图其中第一套检测方案的平均准确率为 88%, 第二套检测方案的平均准确率为92%。所以选取内角方差、凹凸度 Dvo-vex和区
24、域密集性 Ndens作为最终的分类参数。对样本图像采用其它已有的研究方法进行检测:当利用 HSL 颜色空间的 H 分量进行区域分割, 结合形态学操作提取目标区域时检测的准确率为 86%;当利用 OHTA颜色空间中的 I2、I3 分量和面积阈值对图像进行识别和检测时准确率为 90%。实验表明本研究中采用的检测方法更为有效。5 结论与讨论通过以上研究找到了一种合理的用于牛肉生理成熟度自动检测的方法。该方法有别于原有的基于颜色空间的检测方法, 消除了在切割牛胴体中产生的骨屑和脂肪粒对于软骨区域分割的影响, 具有较高的准确率。经过试验验证在对 100个样本的评定过程中平均准确率达到了 92%, 说明方
25、法有效。本次研究的对象为我国北方主要养殖的肉牛品种西门塔尔牛, 而对于其它如云岭牛和南方本地牛等品种并未在本研究的讨论范围内, 表明研究结果具有一定的局限性。另外在研究的过程中发现特征参数的选取对于评定结果起着至关重要的作用, 为了提高检测的准确性应进一步开发更为符合牛肉生理成熟度特征的、新的二次参数。参考文献1陈坤杰, 秦春芳.牛肉品质检测技术的研究进展J.食品科学, 2009 (7) :277-280. 2Boleman S J, Miller R K, et al.Consumer evaluation of beef of known categories of tendernessJ
26、.Journal of Animal Science, 1997, 75:1521-1524. 3Miller M F, Hoover L C, Cook K D, et al.Consumer acceptability of beef steak tenderness in the home and restaurantJ.Journal of Food Science, 1995, 60:963-965. 4Belew J B, Brooks J C, Mckenna D R, et al.Warnerbratzler shear evaluations of 40bovine musc
27、lesJ.Meat Science, 2003, 64:507-512. 5Maher S C, Mullen A M, Moloney A P, et al.Quantifying the extent of variation in the eating quality traits of the M.longissimus and M.semimembranosus of conventionally processed Irish beefJ.Meat Science, 2004, 66:351-360. 6Braghieri A, Cifuni G F, Girolami A, et
28、 al.Chemical, physical and sensory properties of meat from pure and ceossberd Podolian bulls at different ageing timesJ.Meat Science, 2005, 69:681-689. 7Mitsumoto M, Maeda S, Mitsuhashi T, et al.Nearinfrared spectroscopy determination of physical and chemical characteristics in beef cutsJ.Journal of
29、 Food Science, 1991, 56:1493-1496. 8Rodbotten R, Mevik B-H, Hildrum K I.Prediction and classification of tenderness in beef from non-invasive diode array detected NIR spectraJ.Journal of Near Infrared Spectroscopy, 2001, 9:199-210. 9Leroy B, Lambotte S, Doterppe O, et al.Prediction of technological
30、and organoleptic properties of beef Longissimus thoracis from near-infrared reflectance and transmission spectraJ.Meat Science, 2003, 66:45-54. 10Xia J J, Berg E P, Lee J W, et al.Characterizing beef muscles with optica4lscattering and absorption coefficients in VIS-NIR regionJ.Meat Science, 2007, 75:78-83. 11彭彦昆, 张雷蕾.农畜产品品质安全高光谱无损检测技术进展和趋势J.农业机械学报, 2013, 44 (4) :137-145. 12周彤, 彭彦昆.牛肉大理石花纹图像特征信息提取及自动分级方法J.农业工程学报, 2013, 29 (15) :286-293. 13逄滨, 孙啸, 刘德营, 等.牛肉眼肌图像在线采集和实时分割系统J.农业机械学报, 2013, 44 (6) :189-193.
