1、运动图像中 QR 码分割与识别 陈超 徐和根 同济大学电子与信息工程学院 摘 要： 针对 QR (Quick Response) 码解码, 提出了一种在运动视频图像中进行有特定边框的 QR 码分割与识别的方法。先通过训练 C4.5 决策树实现对图像中 QR 码ROI Region of Interest) 的自动提取和图像分割, 再经自动 QR 码图像畸变校正后, 对 QR 码进行解码。验证结果表明, 该方法能有效地增强解码器对环境、背景及图形畸变的鲁棒性, 提高了 QR 码的解码正确率。关键词： QR 码; C4.5 决策树; 畸变校正; ROI 分割; 作者简介：陈超 (1991-) ,
2、男, 硕士研究生, 研究方向:自动检测与机器视觉。作者简介：徐和根 (1972-) , 男, 博士, 副教授, 研究方向:自动检测与机器视觉。收稿日期：2017-03-27基金：国家自然科学基金 (61273284) Segmentation and Recognition of QR Code in Moving ImageChen Chao Xu Hegen College of Electronics and Information Engineering, Tongji University; Abstract： A segmentation and decoding method f
3、or QR (Quick Response) code with a specific color border from a moving image is proposed.First, the ROI (Region of Interest) of QR code is extracted and segmented from the image using the C4.5 decision tree.Then the QR code is decoded after automatic distortion correction of the ROI image.Experiment
4、al results show that this method can effectively increase the robustness and the decoding accuracy of decoder for environmental variation and image distortion.Keyword： QR code; C4.5 decision tree; Distortion correction; Segmentation of ROI; Received： 2017-03-270 引言在复杂背景环境下的运动视频图像中进行 QR (Quick Respon
5、se) 码检测解码时, 由于受环境光照变化、运动模糊、图像畸变及 QR 码在图片中的大小和位置不确定等因素的影响, 往往会出现 QR 码识别率较低的问题。针对光照变化的问题, 目前普遍采用的方法是用白平衡进行预处理1,2;对于图像畸变需要进行的畸变校正中使用较多的方法是 Hough 直线检测3,4和角点检测5,6算法;对于 ROI 的提取方法有基于 HSV 颜色空间7或者 RGB 颜色空间的彩色图像分割、基于聚类算法的图像分割8、基于颜色直方图的图像分割9。采用 Hough 变换和角点检测的算法对图像进行校正的时候在图片背景单一, 并且 QR 码占整张图片比例较大的情形下可以取得比较好的效果。
6、但是在本文的应用场景中因为彩色图片背景的复杂, 以及 QR 码所占图片的比例比较小且位置不定的情况下使用 Hough 直线检测和角点检测取得的效果都不是很好, 不能很好的定位出 QR 码的关键点, 从而使得校正结果不理想。而在 ROI (Region of Interest) 分割的时候由于光照的变化, 使用基于 HSV 或 RGB 颜色空间的图像分割的效果都不是很好, 因为使用这些方法对图像进行分割的时候都要对各个颜色通道进行划分阈值的选取, 而阈值的选取只能选取固定值, 很难做到自适应。使用颜色直方图进行图像分割时也涉及到了分割阈值的选取问题, 在光线不定且图像背景复杂的情况下也不能很好的
7、对 QR 码进行分割。在有些图片中有可能出现 QR 码所占图片较小的情况, 且在背景中会出现较接近蓝色的像素, 这会干扰使用聚类算法对图像进行分割。针对环境光照变化、图像畸变及图片中 QR 码大小和位置不确定等问题, 本文提出了一种基于 C4.5 决策树10-11ROI 自动提取及基于 QR 自身定标点的畸变自动校正方法。1 总体构成1.1 有特定颜色边框的 QR 码 ROI 分割为将有特定颜色边框的 QR 码 ROI 提取出来, 本文采用基于 C4.5 决策树算法的来实现颜色的自动提取和 QR 码 ROI 的自动分割, 以增强对环境变化的鲁棒性。其过程如图 1 所示。图 1 使用 C4.5
8、决策树提取 ROI 过程 下载原图构建决策树前, 需要采集训练样本, 为方便起见, 采用了图 2 所示模板, 用于训练识别某个特定颜色, 如图 2 所示。图 2 蓝色训练模板 下载原图图 2 模板选取蓝色和非蓝色作为训练色, 理论上该方法也同样适用于其他颜色。训练样本图片的色彩空间采用 RGB 颜色空间。将此训练模板放置于不同光照和背景的环境中, 利用摄像头从各个角度采集训练样本图片。样本图片经人工标记出蓝色区域和非蓝色区域 (蓝色标记为 1, 非蓝色标记为 0) 。为降低计算量, 在数据用于训练决策树之前, 可对样本像素进行抽样和离散化处理12-14。另外, 由于噪声等因素的干扰, 可能会导
9、致图像中具有相同 RGB分量的像素标记值却不同的矛盾, 因此需要对同一图片的数据进行前剪枝预处理15-16。其方法是先分别统计矛盾数据出现的概率, 根据少数服从多数的原则, 剔除概率出现少的矛盾数据。预处理后的数据输入 C4.5 决策树算法进行训练。训练步骤如下:a) 对每个样本中的各像素, 对属性 (R、G、B) 计算各自信息增益率;b) 排序增益率, 选取最大值作为该级分支属性;c) 生成该级分支树;d) 对次级样本中的各像素, 计算剩下的属性的各自信息增益率;e) 排序增益率, 选取最大值作为下一级分支属性;f) 如此反复, 直至所有属性全部使用完毕 (即为树叶) ;g) 进行后剪枝17
10、, 形成决策树。本文在不同环境下采集了 200 个样本图片参与决策树训练, 生成的决策树即可用于待检样本的颜色提取。为了验证基于 C4.5 决策树的颜色提取效果, 本文使用基于 HSV 颜色空间阈值的颜色提取作为实验对照组。之所以选用 HSV 颜色空间是因为 HSV 颜色空间更符合人眼的感知特性, 另一方面 HSV 是均匀的颜色空间更加适合彩色图像的颜色提取7。分别使用 HSV 颜色空间进行颜色提取 (S 通道的固定阈值为 70-255, H 的固定阈值为 50-180, V 不设阈值) 和使用 C4.5 进行颜色提取的效果对比, 如图 3 所示。从图 3 中可以看出, 对于各种不同的光照条件
11、以及不同的背景情况, C4.5 决策树法比 HSV 颜色空间法拥有更好的自适应性和鲁棒性。利用 C4.5 决策树对 QR 码 ROI 的提取过程, 如图 4 表示。图 3 两种颜色滤波效果对比图 下载原图图 4 用 C4.5 决策树进行 QR 码 ROI 下载原图图 4 (a) 是待检样本, 图 4 (b) 为图 4 (a) 在使用决策树后得到的滤波效果。在此基础上使用连通域检测的方法就可以确定 QR 码在整个图片中的 ROI (如图4 (c) 所示) 。进而提取出 QR 码并缩放到设定的大小 (本文统一将图片高度缩放为 256 个像素, 宽度等比缩放) 如图 4 (d) 所示。1.2 QR
12、码畸变的自动校正校正前, 需要先确定 QR 码的方位。本文采用的方法是, 先找出 QR 码的 3 个定标点的位置, 然后根据这 3 个定标点计算出第四个点的办法来定位 QR 码。由于 QR 码中有 3 个图形分别处在 QR 码的 3 个角上, 如图 5 所示。图 5 QR 码位置探测图形示意图 下载原图每个位置探测图形由黑色、白色、黑色、白色、黑色的次序构成 (如图 5 (a) 所示) , 各颜色的相对宽度的比例为 1131118。通过对 QR 码图像的行和列进行像素点统计, 记录满足条件的点, 最后可以确定 QR 码的 3 个位置探测图形, 从而计算出每个位置探测图形的中心, 即 3 个定标
13、点 (图 5 (b) 中的A, B, C 点) 18。以 A 为扫描起点, 向上逐点扫描。根据位置探测图形的特征, 当检测到扫描点的像素值变化轨迹为深浅深浅时, 根据 QR 码的四周都是空白区, 可以确定此时已扫描到 QR 码的上边界。再向左依此检测像素点变化可以得到图形的左边界, 依此可以确定左上角顶点 a, 同理可以依此得到左下角顶点 c 和右上角顶点 b。根据左下角顶点和右上角顶点可以定位出右下角顶点坐标, 以 b 为坐标原点, 以直线 bc 为起始位置不断的改变直线的斜率直到直线上的像素由较多的深色跳变为几乎全部的浅色就可以确定 bd 边, 同理可以确定 cd 边, 如图 6 所示。图
14、 6 畸变校正示意图 下载原图从而确定它们的交点 d, 如图 6 (b) 所示。校正的依据就是通过坐标变换, 将畸变的 QR 码恢复成正方形的形状。可以利用解决透视变形的“连接点”法来对图形进行校正。校正前后坐标对应关系为5式 (1) 。其中, (x, y) 为畸变图形的坐标, (u, v) 为校正后图形的坐标。式 (1) 中含有 8 个未知参数。通过上述步骤获得的畸变 QR 码的 4 个顶点的坐标 a1 (x0, y0) , b1 (x1, y1) , c1 (x2, y2) , d1 (x3, y3) , 以及期望校正后的 4 个相应点坐标a2 (u0, v0) , b2 (u1, v1)
15、 , c2 (u2, v2) , d2 (u3, v3) , 可利用这 4 对已知的定标点坐标来求解这些未知参数 (如图 6 所示) , 其矩阵的形式如5式 (2) 。由式 (1) 可得到式 (3) , 通过式 (3) 对原图与校正后图像各像素的坐标进行一一映射, 从而得到校正后的图片, 如图 7 所示。图 7 畸变校正 下载原图2 验证与分析本文测试的场景是在一辆 20 多厘米高的 AGV 小车上装有一个斜向下的摄像头, 实现的功能是使小车在不同环境条件下及随机行驶过程中准确找到并解码出地面上的带有蓝色外框的二维码。实验环境的软硬件参数, 如表 1 所示。表 1 实验环境的相关参数 下载原表
16、 为了验证本文提出的图像预处理的方法是否对于 QR 码的解码率有提高作用。本文随机从小车获取的测试场景中提取了 150 幅带 QR 码的图片进行解码实验, 解码流程图如图 8 所示。图 8 总体流程图 下载原图解码直接使用 Google 的 C+版 zxing 算法。图片预处理分成 5 种不同的情况:第一种情况是不使用其他任何图像预处理直接解码;第二种先使用了白平衡然后采用基于 HSV 颜色阈值的 ROI 分割, 再对分割出来的图像进行解码;第三种先采用了基于 C4.5 的 ROI 分割, 在对图像进行解码;第四种, 在第二种预处理的基础上再进行畸变校正, 然后在进行解码;第五种, 在第三种预
17、处理的基础上再进行畸变校正, 然后在进行解码。这 5 种不同方法分别解码 150 幅图片的结果, 如表 2 所示。表 3 各种预处理方法实验结果 下载原表 从表 2 实验结果中可以看出使用了图像预处理后图像的解码率是有了比较大的提高, 在没有使用图像预处理是解码率是比较低的, 对环境的鲁棒性差。单独使用 ROI 提取和畸变校正都对提高解码率有帮助, 特别是使用了 ROI 后解码率的提高比较大。而同时使用 ROI 和畸变校正后使得解码率有了更大的提高。此外, 对于图片中有多个 QR 码的情况, 也可以采取这种方法将二维码自动逐个的分割出来, 再分别进行自动校正和解码。但是, 使用 C4.5 算法
18、提取 ROI 的图片预处理过程时间明显高于 HSV。3 总结本文提出了一种在运动视频图像中进行 QR 码分割与识别的方法, 先通过训练C4.5 决策树实现对图像中具有特定颜色边框的 QR 码 ROI 的自动提取和图像分割, 然后通过自动畸变校正后进行解码。实验证明:结合这些方法, 有效地增强理解码器对环境、背景及图形畸变的鲁棒性, 提高了 QR 码的解码正确率。本方法的不足之处包括:1.QR 码需要添加特定颜色的边框, 以便用 C4.5 决策树进行 ROI 提取和图像分割。2.使用决策树对图像进行颜色识别时, 训练样本过少会使形成的决策树枝叶稀疏, 样本过多则会出现过度拟合, 从而导致颜色漏检
19、或误检。3.构建决策树时没有使用光源强度和图片亮度等信息, 有造成误剪枝的可能。4.使用决策树进行 ROI 分割时, 预处理的时间过长, 算法以及算法的实现代码有待优化。5.在畸变校正的处理过程中虽然绝大多数的情况下都可以找到三个定标点, 但在实验过程中也出现定标点寻找失败的情况, 从而导致无法自动校正畸变。参考文献1韩强, 戎蒙恬, 刘文江.图像信号处理器中的自动白平衡的算法研究J.信息技术, 2009, 11:55-59. 2史榕.自动白平衡算法的研究与实现J.信息技术, 2012, 3:85-89. 3王景中, 贺磊.一种快速有效的 QR 码定位方法J.计算机技术与发展, 2015, 2
20、5 (8) :84-90. 4卫晋伟, 戴曙光, 穆平安.基于形态学和 Hough 变换的 QR 码校正和定位算法J.电脑与信息技术, 2010, 18 (6) :32-36. 5黄珂, 薛月菊, 陈瑶, 陈汉鸣, 李鸿生.QR 码图像几何校正算法的研究J.计算机工程与应用, 2014, 50 (20) :192-197. 6龚平, 刘相滨, 周鹏.一种改进的 Harris 角点检测算法J.计算机工程与应用, 2010, 46 (11) :173-175. 7张国权, 李战明, 李向伟, 魏伟一.HSV 空间中彩色图像分割研究J.计算机工程与应用, 2010, 46 (26) :179-181
21、. 8林开颜, 徐立鸿, 吴军辉.快速模糊 C 均值聚类彩色图像分割方法J.中国图像图学报, 2004, 9 (2) :159-164. 9陈坤, 马燕, 李顺宝.基于直方图和模糊 C 均值的彩色图像分割方法J.计算机应用与软件, 2012, 29 (4) :256-260. 10Kusrini, Hartati S, Wardoyo R, Harjoko A.Efficient C4.5J.IEEE Transactions on Knowledge and Data Engineering, 2002, 14 (2) :438-444. 11Thakur D, Markandaiah N,
22、 Raj D S.Reoptimization of ID3and C4.5decision treeC.2010International Conference on Computer and Communication Technology (ICCCT 2010) , 2010, 448-450. 12刘耀南.C4.5 算法的分析和应用J.东莞理工学院学报, 2012, 19 (5) :47-52. 13李孝伟, 陈福才, 李邵梅.基于分类规则的 C4.5 决策树改进算法J.计算机工程与设计, 2013, 34 (12) :4321-4326. 14苗煜飞, 张宵宏.决策树 C4.5 算
23、法的优化与应用J.计算机工程与应用, 2015, 51 (13) :255-259. 15魏红宁.决策树剪枝方法的比较J.西南交通大学学报, 2005, 40 (1) :44-48. 16Chen Fucai, Li Xiaowei, Liu Lixiong.Improved C4.5decision tree algorithm based on sample selectionC.Proceedings of 2013IEEE 4th International Conference on Software Engineering and Service Science (ICSESS 2013) , 2013, 779-782. 17Zhang Wenchao, Li Yafen.“A Post-Pruning Decision Tree Algorithm Based on Bayesian”C.2013International Conference on Computational and Information Sciences, 2013, 988-991. 18肖翔.QR 码图像的校正与定位方法研究J.计算机科学, 2007, 34 (11) :217-219.
