1、基于机器视觉的淡水鱼品种识别 姚润璐 桂詠雯 黄秋桂 南京农业大学信息科学与技术学院 摘 要： 在我国的淡水鱼加工产业里, 淡水鱼的识别加工主要依靠人工, 这必然将耗费大量的人力和物力。针对这类现象, 研究设计了以白鱼、鲫鱼、桂鱼和鳊鱼为研究对象, 采用数字图像处理技术和 BP 网络神经实现的淡水鱼自动识别系统。首先对采集得到的图像进行预处理, 得到抠除背景的彩色鱼图像;接着分割鱼体, 得到鱼背、鱼肚图像, 进行纹理特征提取和形态特征提取;最后使用 BP 神经网络进行识别。实现了专门识别淡水鱼的软件, 采用了 25 条学习样本和 28 条识别样本, 最终识别率达到 75%。关键词： 图像处理;
2、 淡水鱼品种识别; BP 神经网络; 作者简介：姚润璐 (1996-) , 女, 本科, 主要研究方向:计算科学与技术。作者简介：桂詠雯 (1996-) , 女, 本科, 主要研究方向:计算科学与技术。作者简介：黄秋桂 (1995-) , 女, 本科, 主要研究方向:网络工程。收稿日期：2017-06-22基金：江苏省大学生创新创业项目 (201610307012Y) Recognition of freshwater fish species based on machine visionYao Runlu Gui Yongwen Huang Qiugui School of Informa
3、tion Science and Technology, Nanjing Agricultural University; Abstract： In the freshwater fish processing industry of our courtry, the identification and processing of freshwater fish mainly rely on human resources, which will inevitably consume a lot of labour power and material resources. For this
4、 phenomenon, we researched and designed a scheme using digital image processing technology and BP neural network to realize the recognition, using white fish, crucian carp, bream and mandarin fish as the research objects. Firstly, the collected images are pre processed to get the color fish image wi
5、thout background. Then we split the fish images to obtain fish maw and fish back, in order to extract texture features and extract morphological features. Finally the BP neural network is used to recognize the image. In this project, we implement a software specifically for identifying freshwater fi
6、sh. We adopt 25 learning samples and 28 identification samples. The final recognition rate is 75%.Keyword： image processing; freshwater fish; BP neural network; Received： 2017-06-220 引言我国是世界淡水鱼养殖、生产大国, 淡水鱼作为主要动物蛋白质来源之一, 在我国人民的日常饮食中占有极大的比例, 不论是在江南鱼米之乡还是在中西部地区, 鱼因为它的极高营养价值获得了广大人民的喜爱。但目前我国淡水鱼的加工处理工业机械化
7、程度较低、技术含量不高, 浪费了大量的人力物力, 在很大程度上阻碍了我国淡水渔业的发展。加工处理前识别处理是保证淡水鱼加工质量及其商品价值的重要环节, 故为了提高淡水鱼的附加价值、扩大淡水鱼的销售市场, 基于机器视觉的淡水鱼品种识别必成为淡水鱼前处理环节中的重要一步。目前基于机器视觉对于农产品的品种识别也是一个研究热点。国内外也做出了一些相关研究内容, 并取得了很好的效果1-6。1 原始的鱼图片本识别系统中选取了四类淡水鱼品种进行识别, 分别是是白白鱼鱼、鳊鳊鱼鱼、桂桂鱼鱼以以及及鲫鲫鱼鱼77, , 如如图图 1144 所所示示。所所用用平平台台是是 VVSS, , 用用 CC#语语言言编编写
8、写。图 1 白鱼图片 下载原图图 2 鳊鱼图片 下载原图图 3 桂鱼图片 下载原图图 4 鲫鱼图片 下载原图2 图片预处理过程对获得的原始鱼图片做一些简单的预处理操作, 使其特征更为明显, 便于以后的操作。预处理步骤如图 5 所示。2.1 阈值分割为了将图像与背景进行分离, 本次实验中采用了最佳阈值法先对原始图像进行处理, 得到基于 S 分量的阈值分割之后的二值图像。其中 S 分量代表的是图像的饱和度。因为经研究发现在 S 分量上进行分割是效果最好的8。图 5 图像预处理技术路线图 下载原图处理函数如下:其中 f (x, y) 是图像的像素点的值, g (x, y) 是经过处理后的像素点的值。
9、当系统中选取 T 值为 0.428 时, 有较好的分割效果, 如图 6 所示。2.2 Canny 边缘检测在得到了二值图像的基础上, 采用了 Canny 边缘检测, 效果较为明显。具体效果如图 7 所示。图 6 阈值分割之后 下载原图图 7 边缘检测之后 下载原图2.3 图像形态学操作在得到边缘检测过的目标图像后, 为了得到目标物体的轮廓图, 需要将其内部的点全部掏空, 仅保留边界点。所以其主要工作就是对边缘检测后的图像进行一系列的数学形态操作, 将内部的点都置为白色, 背景为黑色。具体操作流程为:Canny 边缘检测后的图像腐蚀处理填充开运算得到鱼体。图像开运算一般用来消除小物体及纤细点处分
10、离物体, 平滑较大物体边界。区域填充操作实现了填充二值图像中的空洞区域, 删除了没有连接到边界的局部极小值。执行数学形态操作后的效果图像如图 810 所示8。图 8 腐蚀运算后 下载原图图 9 填充之后 下载原图图 1 0 开运算之后 下载原图2.4 得到鱼体经上述处理后, 已经得到目标图像填充操作后的图像, 则只需将填充操作后的图像与剪裁好的彩色图像进行逻辑运算, 使黑色的背景仍为黑色, 白色的目标变为彩色目标图像, 得到还原鱼体后的图像。去除背景后得到的图像效果如图11 所示。图 1 1 得到鱼体 下载原图2.5 分割鱼体大部分淡水鱼的鱼肚和鱼背皮肤纹理差异很大, 本识别系统自动剪切鱼肚和
11、鱼背皮肤各 1 块。具体方法如下。首先, 通过扫描抠除背景后的鱼图像, 计算鱼的宽度并保存至数组, 通过比较定位鱼体最宽位置处直线, 以该直线中点为矩形块中心点, 剪切出像素为 300150 的鱼肚皮肤图片;然后以该直线底端 20%处为中心点, 剪切出像素为 300150 的鱼背皮肤图片, 如图 12 所示。图 1 2 分割鱼体 下载原图3 图像特征提取3.1 形态特征提取图 1 3 鱼的特征部位 下载原图在模式识别的很多案例中, 形态特征往往是很简单直观的重要特征。它用于描述事物的集中特征性, 而与灰度等无关。本项目就鱼的二值图像进行了形态特征的提取, 选取了以下几个形态特征进行研究:鱼尾的
12、似圆度、鱼尾的占空比、鱼的复杂度 (形状参数) 、鱼的最小外接矩形的长宽比及 Hu Jing 定义的 7 个不变矩特征值。接着对图 13 中各部分进行处理。3.2 纹理特征提取3.2.1 HSV 颜色特征对分割得到的鱼背和鱼肚的纹理图进行 HSV 分量的提取, 并且得到 HSV 的一阶矩阵。获得二次统计量, 在此基础上提取 H, S, V 分量特征。3.2.2 灰度共生矩阵灰度共生矩阵是一种通过研究灰度的空间相关特性来描述纹理的常用方法, 在模式识别有很好的效果。提取四种特征值:能量、对比度、相关、熵, 它们是仅有的不相关的特征, 不仅便于计算而且还具有较高的分类精度。同时, 为了减少计算量,
13、 提高程序运行效率, 要将普通的灰度图像减少为 8 阶的灰度级数, 再计算灰度共生矩阵8-10。4 BP 神经网络学习与识别BP 神经网络是一种按误差逆传播算法训练的多层前馈网络, 是目前应用最广泛的神经网络模型之一。BP 神经网络模型拓扑结构如图 14 所示。在本项目中, 利用 BP 神经网络作为分类器进行鱼的种类识别。在实验过程中发现, 学习时隐藏层中的神经元个数和训练次数对 BP 神经网络的识别效果有较大影响。通过查阅相关资料了解到隐含层的单元数目选择往往需要根据设计者的经验和多次实验来确定, 因而不存在一个理想的解析式来表示。在此项目中, 选择较为常用的隐含层确定公式 , 其中 n1
14、为隐含层单元数, n 为输入单元数, m 为输出单元数, 为1, 10之间的常数。在实验数据中, 输入单元数为 21, 输出单元数为 4, 通过测试对比, 在此项目中, 隐含层单元数为9 时, BP 神经网络识别正确率最高。在此基础上, 通过修改学习训练次数, 发现当训练次数为 5 000 时, BP 神经网络的识别正确率和效率较优。目前, 识别正确率在 75%。由于训练样本不够充足, 在提高训练样本后本系统的识别准确率将进一步提高11-13。图 1 4 BP 神经网络拓扑结构 下载原图5 实验结果与分析识别结果如图 15 所示。图 1 5 识别结果 下载原图目前已大致实现预期的功能, 但有如
15、下几个问题:(1) 鱼的纹理特征提取特征数少。没有 LBP 纹理特征, 因为当时在提取这一数值时, 最终得到的不是数据而是一张处理过后的图片, 知识点储备不足, 无法提取出特征信息, 所以也缺少了这一类特征数据。(2) 用于机器学习和机器识别的图像效果不佳且图像量太少。图像拍摄不一, 光线、背景、清晰度等都造成数据的不准确性, 有些图像被淘汰, 导致最后用于机器识别的图像太少。(3) 识别正确率不高。由于特征数据不足, 本系统的识别准确率仍然不够高, 但目前基本能够识别淡水鱼的种类, 在扩充特征数据和样本量后本系统的准确率将进一步提高。通过分析反思认为, 可以有如下改进:(1) 提高图像拍摄统
16、一度。(2) 增大图像库。(3) 增加特征提取种类。6 结论与 MATLAB 平台仿真不同的是, 目前已经运用 C#语言编写, 实现了功能较为完备的专门识别淡水鱼品种的软件。本系统基本实现了鱼的背景抠除、鱼体分割、特征提取和种类识别, 且识别效果较好。但仍存在一些问题, 如方法不够创新。如要得到更高的识别率, 可以在纹理特征提取部分再加上 LBP 纹理特征提取, 在 BP 神经网络之前进行粒子群特征寻优。在神经网络部分也可以进行优化, 日后有待改进。参考文献1陈述平, 朱文慧.全球能源和粮食价格高涨中国淡水鱼常规养殖品种面临的挑战J.饲料广角, 2008 (15) :40-41. 2张志强,
17、牛智有, 赵思明.基于机器视觉技术的淡水鱼品种识别J.农业工程学报, 2011 (11) :388-392. 3ZION B, SHKLYAR A, KARPLUS I.Sorting fish by computer visionJ.Computers and Electronics in Agriculture, 1999 (23) :175-187. 4STORBECK F, DAAN B.Fish species recognition using computer vision and a neural networkJ.Fisheries Research, 2001 (51) :
18、11-15. 5WHITE D J, SVELLINGEN C, STRACHAN N J C.Automated measurement of species and length of fish by computer visionJ.Fisheries Research, 2006 (80) :203-210. 6Hu Jing.Fish species classification by color, texture and multiclass support vector machine using computer visionJ.Computers and Electronic
19、s in Agriculture, 2012 (88) :133-140. 7谢忠红, 郭小清, 程碧云, 等.基于多特征的淡水鱼种类识别研究J.扬州大学学报 (农业与生命科学版) , 2016, 37 (3) :71-77. 8俞朝晖, 于涛, 庞也驰.数字图像处理与工程应用实践.第一版M.北京:中国铁道出版社, 2012. 9万鹏, 潘海兵, 宗力, 等.基于机器视觉技术淡水鱼品种在线识别装置设计J.食品与机械, 2012 (6) :164-167. 10张铮, 任淑霞.数字图像处理与机器视觉.第二版M.北京:人民邮电出版社, 2014. 11蔡楚华, 兰诚栋, 陈康杰.深度学习最佳深度的确定J.微型机与应用, 2017, 36 (9) :57-59, 66. 12陈国良.遗传算法及其应用M.北京:人民邮电出版社, 1996. 13梁军, 程灿.改进的粒子群算法J.计算机工程与设计, 2008, 29 (11) :2893-2896.
