1、太赫兹安检系统人体图像边缘物体识别 王林华 袁明辉 黄慧 朱亦鸣 上海理工大学太赫兹技术创新研究院上海市现代光学系统重点实验室教育部光学仪器与系统工程研究中心太赫兹波谱与影像技术协同创新中心 摘 要： 提出一种自动识别人体边缘物体的算法, 用于太赫兹人体安检系统的人体边缘物体成像的识别。原始图像经过二值化、滤波除噪、填充、形态学腐蚀膨胀等预处理算法后, 利用顺时针搜寻轮廓追踪算法标记图像轮廓坐标, 对轮廓上各坐标点使用圆形模板占空比检测以及非极小、非极大值抑制算法筛选出所有的凸点和凹点, 并根据相邻凸点和凹点组合特征及其横向距离约束实现边缘物体的识别。500 幅测试图像实验结果表明:该算法对边
2、缘物体可实现快速识别, 误判率在 2%以下;通过调整算法参数, 可良好匹配安检系统的识别精度, 从而达到匹配于系统的分辨极限;具有抗噪声能力强, 识别速度快, 识别精度高等优点。关键词： 太赫兹图像; 边缘识别; 圆形模板; 腐蚀膨胀算法; 作者简介：王林华 (1992-) , 男, 硕士生, 主要从事太赫兹工程方面的研究。Email:wlh_作者简介：朱亦鸣 (1979-) , 男, 教授, 博士, 主要从事太赫兹技术方面的研究。Email:作者简介：袁明辉 (1976-) , 男, 副教授, 博士, 主要从事太赫兹工程方面的研究。Email:收稿日期：2017-03-05基金：国家自然科学
3、基金青年科学基金 (61501297) Recognition of edge object of human body in THz security inspection systemWang Linhua Yuan Minghui Huang Hui Zhu Yiming Terahertz Spectrum and Imaging Cooperative Innovation Center, Engineering Research Center of Optical Instrument and System, Ministy of Education, Shanghai Key L
4、ab of Modern Optical System, Terahertz Technology Innovation Research Institute, University of Shanghai for Science and Technology; Abstract： An automatic recognition algorithm was proposed for recognizing objects concealed on the edge of human body in an image, which was scanned by THz human securi
5、ty system. First, the pretreatment methods, with binarization, filtering, filling, and morphological corrosion and expansion operations, were used to transfer the original THz image into a binary image, whose outline coordinates was later extracted by clockwise contour tracking algorithm. Then, the
6、combinative application of circular template detection and non-minimal, non-maxima suppression algorithm were applied to calculate and select out all the convex and concave points in the extracted profile coordinates. Finally based on the grouping features of these adjacent convex and concave points
7、, together with their distance constraints, the recognition of the edge objects (Objects covered the contour of human, etc.) could be realized. The experimental results, of testing 500 images of different people with different objects hiding on different edge position taking bythe THz human security
8、 system, show that this algorithm represents quick identification and strong robustness, having the distinct advantages of strong anti-noise ability, high recognition speed and precision, and also it can match well the recognition accuracy of security system to achieve the system s resolution limit
9、by adjusting proper parameters of the algorithm.Keyword： terahertz imaging; edge recognition; circular template; erosion and dilation algorithm; Received： 2017-03-050 引言太赫兹成像 (Terahertz imaging) 是一种利用太赫兹波 (通常是指波长在30m3 mm 之间的远红外电磁辐射) 作为信号源进行成像的技术1-3。太赫兹波介于红外和微波之间, 具有 X 射线、光波/红外和微波所不具备的一些特殊性质:相对于 X 射线
10、而言其光子能量很低, 对人体不存在任何伤害;相对于光波/红外波而言其能穿透纸张、塑料和布料等物质, 因此太赫兹波能发现隐藏于人体服装内的物品;相对于微波而言其波长短, 成像精度高4-10。而且太赫兹成像不仅能检测金属物品也能检测非金属违禁品 (如炸药、陶瓷刀、玻璃刀、毒品等) , 这些特性使得太赫兹成像非常适合于进行人体安检。但由于太赫兹波长比 X 射线和可见光波长要大得多, 因而基于太赫兹技术的人体安检成像的分辨率及信噪比相对后两者而言差距较大, 这使得太赫兹成像时在物体识别上存在一定的难度, 尤其是人体边缘物体的识别更为一个技术难点。目前该领域的研究多集中在非边缘物体的自动识别上, 并且已
11、经取得一定的成就, 如张馨等人通过对图像灰度直方图分析并对其曲线拟合, 选择种子点和生长阈值对图像进行区域生长, 实现太赫兹图像目标物的分割, 实现了人体图像内部物体的识别2。赵然等人根据太赫兹图像特点进行图像增强、分割及轮廓提取等处理, 实现了人体图像内部目标检测11。反观在边缘物体识别上的研究, 由于大部分应用情景中待识别物体的成像灰度值与背景及人体可进行区别, 通过设置多阈值分割可回归到非边缘物体的识别问题上, 而对于目标物体与背景灰度值不可区别或区别模糊的情况, 却没有多少研究可供参考, 文中算法的提出算是对此起到一点抛砖引玉的作用。在文中的边缘识别应用中, 放置于人体边缘的物体由于辐
12、射或反射进入系统的太赫兹信号强度与背景值接近, 从而在成像上其灰度值与背景的数值大致相当, 将会造成人体轮廓缺失的效果。因此无法通过借鉴如非边缘物体识别研究中的图像分割和轮廓提取等常规图像处理算法识别这种边缘物体, 需结合人体复杂的真实轮廓信息进行判断。目前大多数太赫兹成像系统都未能很好地实现人体边缘物品的自动识别。而单靠人眼直接观察来识别不仅费时费力, 而且检测效率低。针对目前安检中普遍存在这种边缘物体检测的需要, 文中提出了一种高效的人体边缘物体自动识别算法。1 图像预处理实验室自主研发的被动式/主动式 94 GHz (波长约 3.1 mm) 太赫兹人体安检系统, 可检测人体自身太赫兹波辐
13、射/太赫兹反射波成像。图 1 (a) 所示该系统的人体太赫兹图像, 尺寸大小为 463 pixel539 pixel, 人体右边口袋放了小瓶装汽油, 下方脚部绑着一片陶瓷, 汽油和陶瓷的成像均在人体边缘, 与背景连通。对太赫兹人体图像首先用 OSTU 阈值法计算图像的阈值 T12, 当太赫兹图像选择阈值为 T 进行二值分割时, 人体图像边缘的一些细节会被丢失, 如图 1 (b) 所示。因此为尽可能保全人体信息, 该算法使用 T/3 作为的图像二值化的理想阈值, 其二值化效果如图 1 (c) 所示。图 1 (a) 人体边缘携带物体的扫描图像, (b) 阈值 T 下的二值化和 (c) 阈值T/3
14、下的二值化 Fig.1 (a) Scanning image of human with objects on the edge, (b) binarization with threshold T and (c) with threshold T/3 下载原图二值化的人体图像中, 由于人体内部经常存在某些位置的灰度值低于理想灰度阈值, 二值化图像中这些位置将产生黑块, 如图 1 (c) 所示。使用 MATLAB 的imfill 填充命令可以将这些内部的黑块填补上。同时图像存在的背景噪声 (即背景中的亮点) 可通过 MATLAB 的 bwareaopen 函数进行消除, bwareaopen
15、函数首先通过八领域 (或四领域) 算法区别出各个相互独立的像素块, 然后计算每个像素块中像素点的总数, 总数小于设定阈值的 (即小面积像素块) 将被清除, 记为二值图像 F。二值化后的人体图像边缘参差不齐, 导致人体边缘轮廓长度延长, 从而使得后续轮廓追踪记录时运算量增大, 并且还将有可能造成误识别, 因此必须对图像边缘的刺峰加以消除。腐蚀和膨胀运算是形态学图像处理的基本运算13-15, 通过创建合适的结构元素, 可消除图像中尖刺和凹坑。文中创建 1010 的方形结构元素, 对二值图像 F 做进一步的形态学的腐蚀膨胀、膨胀腐蚀两次反向操作, 可有效消除边缘的噪声。先用腐蚀算法可先消除图像中孤立
16、的噪声和人体边缘刺峰, 而若先采用膨胀算法则可能会使噪声和刺峰得以生长和保留, 不同的先后顺序处理效果如图 2 (a) 和 (b) 所示。明显的, 图 2 (a) 是相对理想的二值化图像, 作为以下边缘物体识别的基础。图 2 (a) 先腐蚀处理消除了边缘刺峰和 (b) 先膨胀处理使刺峰得以生长和保留 Fig.2 (a) First using corrosion process eliminates the edge jagged peak and (b) first using expansion makes the jagged peak grow and retain 下载原图2 人体边
17、缘物体的识别人体安检图像中, 若能识别出物体 G 在人体边缘的两个凸点 Mi、M i+1, 对两个凸点进行连线, 即可完成对边缘物体 G 的识别, 如图 3 所示。所以人体边缘物体的识别问题可转化成凸点的检测问题。检测完所有的凸点后, 根据相邻两个凸点之间具有凹陷特征, 可以判断出这两个相邻凸点之间是否存在物体。而凹陷特征可用凹点进行描述, 所以凹陷特征可转化为凹点的识别问题, 人体边缘物体的识别本质上可转化为凸点和凹点的识别和组合 (包括相邻凸点的横向距离) 问题。图 3 利用圆形模版识别凹凸点原理图 Fig.3 Using circular template to recognize co
18、nvex and concave points 下载原图对于人体边缘凸点和凹点的识别, 要求遍历人体轮廓, 因此需要进行轮廓跟踪。文中给出了一种顺时针搜寻轮廓追踪法, 对人体轮廓坐标进行顺时针跟踪记录。对人体轮廓上的每一个点用文中的圆形模板检测法进行凸点凹点的计算和判断, 最后根据边缘物体的识别规则完成边缘物体识别。2.1 顺时针搜寻轮廓追踪对图 2 (a) 的人体边缘进行轮廓追踪, 依次记录下轮廓坐标点。二值图中, 黑色像素值为 0, 白色像素值为 1, 轮廓追踪规则如下:(1) 从图像顶边的中点处开始垂直往下寻找第一个轮廓点, 当检测到像素值为1, 则停止寻找, 该点即为第一个轮廓点;(2
19、) 确定第一个轮廓点后, 以该轮廓点的右上方相邻像素点作为起始点, 按顺时针方向依次检测第一个轮廓点的八领域像素的值, 一旦检测有像素值为 1, 即停止检测, 记录下该点像素坐标为第二个轮廓点;(3) 以后第 i (i=3) 个轮廓点的追踪, 以第 i-1 个轮廓点为中心点, 第 i-2个轮廓点在中心点的八领域内顺时针移动一格的位置作为检测起始点, 顺时针依次检测 7 个格子, 一旦检测到有像素值为 1, 则停止检测, 记录下该像素点坐标即第 i 个轮廓点。如图 4 所示;图 4 轮廓跟踪算法原理示意图 Fig.4 Regulation of contour tracing algorithm
20、 下载原图(4) 当第 i 个轮廓点与第一个轮廓点坐标相同时, 则不记录第 i 个轮廓点, 并终止循环。由以上轮廓追踪法得到轮廓点记为 Oi (i=1, 2, 3, , N) 。2.2 圆形模板识别凸点和凹点凸点和凹点均可以使用圆形模板进行检测, 这两者的检测区别在于具有不同范围的人体区域占比阈值。圆形模板的检测方式类似一种积分形式, 能在很大程度上消除噪声的影响, 因此具有很强的抗噪能力, 同时具有计算量小效率高的特点。设半径为 R 的圆形模板中心沿轮廓线移动, 则圆形模板在中心 Oi处人体区域面积 SOi占圆形模板总面积 S 的比例值 (Tmin一般取值0.20.4) , 则该点为候选凸点
21、 (集合记为 P) ;若 (Tmax一般取值 0.6-0.8) 则该点为候选凹点 (集合记为 Q) 。这些候选点仅满足阈值条件, 包含了真正的凸点和凹点以及分布在它们两侧紧挨的轮廓点。需要分别用非极小值抑制和非极大值抑制筛选出真正的凸点和凹点。对于候选凸点, 在半径为 R 的范围内, 非极小值抑制为:对于候选凹点, 在半径为 R 的范围内, 非极大值抑制为:通过公式 (1) 和 (2) , 可确定最终的凸点 Mi (i=1, 2, 3, , Nm) 和凹点 Wj (j=1, 2, 3, , Nw) 。2.3 边缘物体的识别当相邻两个横向间距不超过阈值 D 的凸点 Mi和 Mi+1之间存在至少一
22、个凹点 Wj时, 则表示这两个相邻凸点之间存在凹陷即边缘物体。将这两个满足条件的凸点进行线连接, 线连接的方式可直接采用直线连接或者符合人体边缘曲线特征的曲线连接。前者的连接方式速度快, 计算量小;后者可采用 B 样条曲线进行拟合, 计算相对复杂, 仅考虑识别效率文中采用直线连接方式。阈值 D 的作用是限制两个相邻凸点的横向间距, 防止人体裆部、腰部以及头和手臂之间被误检测为物体。人体正常躯干的轮廓上的两点横向间距小, 相比两腿之间的间距, 和张开的手臂的距离要小得多, 阈值 D 取值中间适当值可排除非真正边缘物体的误识别情况。依次对两两相邻的凸点进行上述判断, 并自动连线, 之后再使用 MA
23、TLAB 的imfill 命令对连线好的图像 (如图 5 (a) 所示) 进行封闭填充, 将填充完的二值图像与图 2 (a) 进行差运算, 即得到需要识别的边缘物体。最后为达到警示目的, 可突出边缘物体的视觉效果, 如将物体和人体以不同的颜色进行显示, 用深灰色进行物体标示, 如图 5 (b) 所示。图 5 (a) 对满足条件的相邻凸点连线示意图, (b) 物体与人体不同颜色显示Fig.5 (a) Connect two adjacent convex points which meet the condition, (b) display in different colors of obj
24、ect and human body 下载原图该边缘识别算法对曲线中凹陷识别理论上可达到 2 个像素的分辨极限, 而对水平或竖直直线中凹陷识别理论上可达到 1 个像素的分辨极限。通过调整圆形模板的大小, 可改变检测精度。圆形模板直径越小, 检测精度越高, 抗干扰能力越弱;相反的, 直径越大, 检测精度越低, 抗干扰能力越强。一般而言, 该算法识别率可达到处理后系统扫描图像的识别极限。在文中的识别案例中, 太赫兹人体安检系统在人体边缘的识别精度为 10 个像素 (约 3.7 cm) , 该算法在设置固定的圆形模板直径参数 (30 个像素) 下可达到系统 10 个像素的分辨极限, 此时若将圆形模板
25、直径参数往下调, 则会误识别到噪声凹陷。由此可见, 当人体安检系统边缘分辨率提升时, 该算法仍可有效适应识别需求。该算法的识别精度可随系统边缘分辨率的变化而做出相应的匹配。该算法的验证性实验均在相同的系统环境下完成, 图像处理实验平台为安装 64位 Win10 系统的工程机, 处理器主频为 2.4 GHz, 内存为 4 GB, 使用 MATLAB 版本为 R2015b。实验样品涵盖汽油、液态水、陶瓷刀、塑胶炸弹、烟花爆竹、胶体、粉末、金属刀具共 8 个类别, 样品尺寸大小在 3.717 cm 之间, 安放处在覆盖住人体轮廓的胸部、腰部、胯部、腿部、脚部等人体边缘位置。实验中, 5 位工作人员每
26、人扫描得到 100 幅图像共 500 幅图像 (463 pixel539 pixel) 用于算法的验证, 每人每次扫描均挑选随机数量和类别的样品, 并安放于随机人体边缘位置。验证结果表明, 该算法对 500 幅图像的误判率在 2%以下, 每幅图像识别时间均在 1 s 之内, 转成其他代码语言, 如 C 代码并进行代码优化可进一步缩短识别时间。3 结论文中提出了一种用于太赫兹人体安检的人体边缘物体自动识别算法。首先对原始图像进行二值化、滤波除噪、填充、形态学腐蚀膨胀等预处理, 包括使用OTSU 自动阈值分割算法对图像进行二值化并保留尽可能多的边缘细节;使用数学形态学的先腐蚀膨胀, 后膨胀腐蚀的两
27、次反向处理, 消除二值图像的轮廓边缘刺峰, 使轮廓边缘尽可能光滑以便于后续算法的处理。然后对预处理后的二值图像使用圆形模板占空比检测, 同时结合非极小、非极大值抑制算法筛选出轮廓凸点和凹点。最后根据相邻凸点和凹点组合特征及其横向距离约束实现人体边缘物体的识别。文中提出的这种算法具有抗噪声能力强, 识别速度快, 识别精度高等优点, 通过调整算法参数, 可匹配于原始图像的识别精度, 误判率在 2%以下, 不仅适用于太赫兹人体图像边缘物体的识别, 对其他人体安检的边缘物体识别同样具有较好的指导意义。参考文献1Wang Fang, Qiu Dajian, Xia Hongyan, et al.Prel
28、iminary exploration on identification of probiotics in terahertz timedomain spectroscopyJ.Infrared and Laser Engineering, 2016, 45 (7) :0703001. (in Chinese) 2Zhang Xin, Zhao Yuanmeng, Zhang Cunlin.Passive terahertz image segmentation algorithmJ.High Power Laser and Particle Beams, 2013, 25 (6) :159
29、7-1600. (in Chinese) 张馨, 赵源萌, 张存林.被动式太赫兹图像分割算法J.强激光与粒子束, 2013, 25 (6) :1597-1600. 3Li Han, Yu Chen.Terahertz spectral detection in human renal tissueJ.Infrared and Laser Engineering, 2016, 45 (5) :0525001. (in Chinese) 李晗, 余晨.太赫兹波对肾癌组织的光谱检测J.红外与激光工程, 2016, 45 (5) :0525001. 4Xin F, Su H, Xiao Y.Terah
30、ertz imaging system for remote sensing and security applicationsC/Antennas and Propagation (APCAP) , 2014 3rd Asia-Pacific Conference on, IEEE, 2014:1335-1338. 5Li Bin, Chen Liping.Exploration on precision farming pollution detection using THz technologyJ.Infrared and Laser Engineering, 2016, 45 (4)
31、 :0425003. (in Chinese) 李斌, 陈立平.太赫兹技术用于精准农业污染检测探索研究J.红外与激光工程, 2016, 45 (4) :0425003. 6Walker Gillian C, Matthews Wendy, Roychowdhury Soumali, et al.Sub-surface terahertz imaging through uneven surfaces:visualizing neolithic wall paintings in catalhoyukJ.Optics Express, 2013, 21 (7) :8126-8134. 7Seco
32、-Martorell C, Lopez-Dominguez V, Arauz-Garofalo G, et al.Goyas artwork imaging with teraherz wavesJ.Optics Express, 2013, 21 (5) :17800-17805. 8Dandolo C L K, Jepsen P U, Christensen M C.Characterization of european lacquers by terahertz (THz) reflectometric imagingC/2013 Digital Heritage Internatio
33、nal Congress, 2013:89-94. 9Cai He, Guo Xuejiao, He Ting, et al.Terahertz wave and its applicationsJ.Chinese Journal of Optics and Applied Optics, 2010, 3 (3) :209-222. (in Chinese) 蔡禾, 郭雪娇, 和挺, 等.太赫兹技术及其应用研究进展J.中国光学与应用光学, 2010, 3 (3) :209-222. 10Xie Qi, Yang Hongru, Li Hongguang, et al.Explosive ide
34、ntification based on terahertz time-domain spectral systemJ.Optics and Precision Engineering, 2016, 24 (10) :2392-2399. (in Chinese) 解琪, 杨鸿儒, 李宏光, 等.基于太赫兹时域光谱系统的爆炸物识别J.光学精密工程, 2016, 24 (10) :2392-2399. 11Zhao Ran, Zhao Yuanmeng, Zhang Cunlin.Target aided identification in passive human THz imageJ.Hi
35、gh Power Laser and Particle Beams, 2014, 26 (7) :132-136. (in Chinese) 赵然, 赵源萌, 张存林.被动式人体太赫兹图像中的目标辅助识别J.强激光与粒子束, 2014, 26 (7) :132-136. 12Gonzalez R C, Richard R E.Digital Image ProcessingM.Translated by Ruan Qiuqi, Ruan Zizhi.3rd Edition.Bejing:Electronic Industry Press, 2011:478-479, 404-406. (in
36、Chinese) Gonzalez R C, Richard R E.数字图像处理M.阮秋琦, 阮字智, 译.第 3 版.北京:电子工业出版社, 2011:478-479, 404-406. 13Zhang L, Chen G.Extracting music image from images based on region labeling algorithm with erosion and dilationC/Computer Science and Service System, 2011International Conference on, IEEE, 2011:1271-127
37、4. 14Pan Feng, Yan Beibei, Xiao Wen, et al.Digital holographic reconstruction image fusion based on mathematical morphologyJ.Chinese Optics, 2015, 8 (1) :60-67. (in Chinese) 潘锋, 闫贝贝, 肖文, 等.基于数学形态学的数字全息再现像融合方法J.中国光学, 2015, 8 (1) :60-67. 15Wang Yueyong, Yu Haiye, Liu Yuanyuan.Recognition of seedlings in mechanical transplanting processing by morphological image detectionJ.Optics and Precision Engineering, 2016, 24 (3) :651-658. (in Chinese) 王跃勇, 于海业, 刘媛媛.基于形态学图像检测的机械手移栽穴苗识别技术J.光学精密工程, 2016, 24 (3) :651-658.
