1、模拟雾环境下目标识别的影响研究 徐方卉 王子颉 周宏茗 周小丽 刘木清 复旦大学光源与照明工程系 复旦大学先进照明技术教育部工程研究中心 摘 要： 雾环境不仅导致人眼的视觉可见度下降, 而且也会对目标识别能力造成影响, 使应用于交通行业的图像监控系统无法准确有效地识别各类标识和牌照信息。我国城市道路照明设计标准 (CJJ 452015) 和 IESNA、CIE 等组织的相应规范标准也并没有对此进行说明与补充。本文在实验室人工造雾, 研究不同浓度的雾环境对目标识别准确率的影响情况。此研究可为雾条件下相关交通标识字符尺寸的设计要求以及图像采集设备的精度要求提供依据。实验也为后续系统研究雾环境对目标
2、识别准确率的影响打下基础。关键词： 雾; 光学字符识别; 透射率; 道路照明; 照明设计; Study on the Influence of Target Recognition in Simulated Fog EnvironmentXU Fanghui WANG Zijie ZHOU Hongming ZHOU Xiaoli LIU Muqing Department of Light Source and Illuminating Engineering, Fudan University; Abstract： The haze environment not only causes
3、the decline of visual visibility, but also affects the target recognition ability, so that the Image Monitor System applied to the traffic field cant identify all kinds of identification and license plate information accurately and effectively. Chinas Urban Road Lighting Design Standards ( CJJ 45201
4、5) and IESNA, CIE and other organizations of the corresponding standards have not been explained and added. In this paper, the influence of different concentrations of fog environment on target recognition accuracy was studied. This study can provide some basic theory for the design requirements of
5、traffic-related signs and the accuracy requirements of image acquisition equipment under haze conditions. The experiment also laid the foundation for the follow-up system to study the effect of haze environment on the accuracy of target recognition.Keyword： fog; optical character recognition (OCR) ;
6、 transmittance; road lighting; lighting design; 引言近年来, 环境污染导致的雾天气逐渐成为人们关注的焦点。雾对人们的生活与生产具有多方面的影响。其中, 雾对 OCR (Optical Characte Recognition, 光学字符识别) 识别系统目标识别能力的影响是本文的关注重点。雾环境不仅导致人眼的视觉可见度下降, 而且也对 OCR 识别系统的的目标识别能力造成影响, 使应用于交通行业的图像监控系统无法准确有效地识别各类标识和牌照信息。而我国城市道路照明设计标准 (CJJ 452015) 和 IESNA、CIE 等组织的相应规范标准也并没
7、有对此进行说明与补充。本文在实验室人工造雾, 研究不同浓度的雾环境对 OCR 目标识别准确率的影响情况。此研究可为雾条件下相关交通标识字符尺寸的设计要求以及图像采集设备的精度要求提供依据。实验也为后续系统研究雾环境对目标识别准确率的影响打下基础。1 实验装置的建立1.1 均匀雾环境的建立雾的成因主要是由于空气中所含的水汽多于一定温度条件下的饱和水汽量, 多余的水汽就会凝结出来从而形成雾。雾主要形成条件有冷却、加湿、凝结三种。本文主要利用加湿的方法进行造雾。本实验的造雾设备是使用纯净水的超声波加湿器。根据电光源在雾气中的视觉可见度实验研究, 自然界中的雾气粒子半径大约为 (110) m, 超声波
8、加湿器喷出的水雾粒子半径大约在 (0.253) m, 基本在实际雾粒子尺寸要求范围内1。本实验的研究对象是不同雾浓度条件下对目标物拍摄的图片, 不希望引入背景亮度、对比度等其他变量, 因此将实验设置在长宽高为 3 m0.65 m1.2 m 的黑色暗箱内。实验装置如图 1 所示。暗箱的支架为木结构, 表面贴有避免反光的黑色泡沫塑料板。作为识别目标的白色塑料灯片设置在暗箱一端, 印有识别目标的定制灯片背后是外接在暗箱之外的密闭小木箱, 其外尺寸为 36.7 cm84.7 cm21.3 cm, 内尺寸为 33.8 cm81.7 cm19.8 cm。木箱中垂直装有两根直管荧光灯, 荧光灯与灯片之间 (
9、即小木箱与大暗箱的拼接处) 嵌入扩散板, 因此荧光灯可以给灯片提供均匀的背光源。与灯箱相对的另一端是带有视觉窗口的黑色活动挡板。挡板关闭时用照度计测得暗箱内照度为 0.000, 说明可以忽略背景亮度和对比度对测量结果的影响。图 1 实验装置 Fig.1 Experimental apparatus 下载原图暗箱长边侧壁的顶端打了 4 个圆孔, 均匀分布在暗箱两侧, 每侧各两个, 用洗衣机进水管分别连接了四台加湿器。圆孔的直径约为 3 cm。此处设定灯箱所处的一端为箱子前端。左前洞与箱子前端距离为 49.5 cm, 距地面 114 cm;左后洞与箱子前端距离为 147.5 cm, 距地面高度为
10、113.5 m;右前洞与箱子前端距离为45 cm, 距地面 114 cm;右后洞与箱子前端距离为 147 cm, 距地面高度为 114 m。洗衣机进水管均与箱壁近似垂直, 出口略微朝上偏, 因此雾气入箱后有一个上抛的过程, 避免暗箱顶端中线的雾气浓度过低。加湿器与进水管的连接处用密封胶密封, 加湿器与箱壁的连接处用硅胶密封, 减少雾气的泄漏, 以免影响加湿效果。1.2 均匀照明环境的建立与雾浓度等级的确定本实验选用 2 根飞利浦 1 050 lm 的 T8 直观荧光灯对识别目标图样进行背光照明, 选用 650 nm、5 m W 的洪都电激励式可见连续半导体激光二极管进行雾浓度标定。本实验中选用
11、了点状光斑的激光二极管代替参考文献1和2中所使用的白炽灯, 作为雾浓度标定光源。与白炽灯相比较而言, 激光二极管的优点在于光路定向性很好, 能量密度高, 穿过浓雾仍可以在探头上形成照度足够的光斑, 同时对光传播路径以外的人眼或图像采集设备造成的影响极小。以确定雾浓度为例, 将照度计作为测量工具, 以激光二极管作为标准光源, 通过光源的透射率 T 来定义雾的浓度百分比。光的透射率由以下公式定义:式中 T 为光源的透射率 (%) ;E为有雾气条件下的照度值 (lx) ;E 为无雾气条件下的照度值 (lx) , 也称为初始照度值。则雾浓度百分比 P (%) 的表达式为即通过标定激光二极管的照度透射率
12、数值能够获得对应雾气箱里雾的浓度。本实验中选用的激光二极管自带透镜, 3 米处成像为直径约 10 mm 的圆点。激光二极管用支架固定在暗箱前端灯片左下方接近地面的位置, 调整角度使其光路平行于地面和暗箱侧壁。在支架旁的箱壁泡沫塑料板上打一个小孔, 引出电源线, 再用胶带将电源线中段固定在箱壁上, 避免在箱外控制电源时扯动电源线, 使支架角度发生变化。1.3 观测目标的选取本实验中使用的观测目标如图 2 所示, 包含 11 组不同尺寸的中英文字符。每组字符的高度见图中右侧的标注。其中, (1) (8) (11) 行三组字符是无规律的纯数字内容 (实际为圆周率节选) ; (2) (6) 行两组字符
13、是纯汉字内容; (3) (7) (9) (10) 行是符合英文语法的纯英文单词或短语; (4) (5) 行混合了中英文字符和阿拉伯数字。本实验的研究目标之一是为室外的监控摄像头 (包括交通监控摄像头) 相关设计提供数据支持, 因此在选取识别目标时, 优先选取了一些交通标志和车辆牌照相关的中英文字符。字符从上到下尺寸依次下降, 提供了不同尺寸的识别目标。其中车牌照图案的字体为公安交警部门专用的防伪字体, 无法获取字体文件, 因此采用的是经程序处理的高清车牌照图片;其余字符的字体均选用了交通标志通用的大黑字体。实验中通过统计 OCR 识别结果中识别正确字符的个数与识别区域内总字符个数的比值, 来衡
14、量 OCR 识别的准确程度。在无雾的理想情况下, 这 11 组数据的OCR 目标识别准确率均可达到 100%。1.4 数据与图像处理数据与图像处理操作详细步骤如下:1) 将一轮实验中手机连拍获得的照度计示数变化整理为 Excel 文档, 根据预设的连拍时间间隔, 标注每个照度值的序号和时间点。根据公式 (2) 计算出雾浓度。2) 整理出一轮实验的全部图片, 根据记录的拍照时间点, 将照片与拍摄时的雾浓度数据一一对应。3) 将一轮实验的图片放在单独的文件夹里, 在 Photoshop 中打开最后拍摄的一张清晰度最高的图片, 使用“录制动作”的功能记录裁剪图片中一组字符的操作, 再使用“批处理”功
15、能裁剪该文件夹中的全部图片, 以此确保同一组字符在进行 OCR 识别时选区范围是相同的, 排除区域选择带来的识别准确率差异。4) 将经过裁剪的图片 (图 3) 导入手机上的 OCR 识别程序 Text Grabber 中, 根据该组字符的语种选择适当的识别语种, 识别范围设置为整张图片, 读取OCR 识别结果, 并统计其准确率。准确率计算方法为 OCR 识别结果中识别正确字符的个数与识别区域内总字符个数的比值3。图 3 为实验时在模拟雾环境下拍摄的照片。图 2 识别目标区域划分方式及其字符尺寸 Fig.2 The area division and character size of reco
16、gnizable object 下载原图1.5 图像采集装置的搭建暗箱后端的活动挡板上, 开有一个 38.3 cm23.2 cm 的视觉窗口。窗口下边缘距隔板底边 62.7 cm, 其上边缘距隔板上端 25.3 cm, 即其中心位于隔板的中偏上位置。视觉窗口上配制一块 45 cm30 cm 的防雾玻璃, 可以将视觉窗口完全覆盖住。暗箱向后延伸大约 1 m 的侧壁和顶棚, 遮挡外部的光照, 避免数码相机在视觉窗口附近对箱内图像的拍摄受侧方向的眩光影响。数码相机安装在三脚架上, 三脚架紧贴活动挡板外侧, 使数码相机与灯片的垂直距离近似为 3 m。数码相机的安装高度可根据拍摄目标的位置进行调整, 从
17、合适的角度清晰完整地拍摄观测目标。图 3 实验时模拟雾环境下识别目标经裁剪后的照片 Fig.3 The clipped photo of target in simulated fog environment 下载原图2 不同雾浓度对目标识别的影响研究2.1 实验步骤1) 在暗箱干燥的状态下接通荧光灯和激光二极管的电源, 预热 50 分钟以上。补充加湿器中的纯净水。确认激光二极管的光斑准确地投射在照度计探头上。关闭活动隔板。2) 确认本轮实验需拍摄的目标图像位置, 调节相机三脚架使镜头捕获合适的画面。调整并记录相机倍率以及其他参数, 确保本轮拍摄过程中使用同样的相机设置。3) 荧光灯和激光二极
18、管预热完毕后, 打开照度计并观察示数, 确认照度计读数维持在一个稳定值附近, 记录照度计的初始示数。4) 打开手机上连拍照片的应用软件 Fast Camera, 设定连拍时间间隔为 5 秒, 将手机放置在照度计上方合适的拍摄位置, 以便实验过程中自动定时记录照度计示数。5) 打开 4 台加湿器最大档位, 充雾约 8 分钟, 直到从视觉窗口观察时几乎观测不到灯箱和激光二极管的光, 且隔板空隙处溢出少量的雾。6) 关闭加湿器, 同时操作手机开始自动连拍, 注意听清连拍软件的快门音效并计数, 进入箱体后端的箱壁遮挡区域, 操作数码相机按一定的时间间隔与箱外的快门音同步拍摄观测目标。使用屏幕亮度调低的
19、便携式平板电脑记录每张图像所对应的快门音效序数, 以便在后续数据处理中为每张图像找到对应的照度计示数。7) 图片的拍摄速度应参考由肉眼辅助观测的识别目标清晰度上升速度, 以免产生大量冗余数据, 增加处理的工作量。8) 当箱内的雾逐渐消散, 肉眼辅助观测的识别目标清晰度接近无雾状态时, 停止图像拍摄, 保持对快门音效的计数, 至箱外停止手机的连拍。将默数的连拍数量与手机软件内连拍照度计示数的数量进行核对, 以防由于计数错误产生偏差。9) 确认各项图像数据采集无误后, 结束实验。10) 拉开活动隔板, 用玻璃水擦拭视觉窗口处的玻璃。用电风扇对箱内吹风, 协助空气流通。静置 23 小时, 待箱内的雾
20、完全散尽后, 方可进行下一轮实验。注意事项:裁剪图像选择识别区域时, 应选取在程序中实测识别准确率尽可能高的裁剪方式。经多次尝试发现, 选区时在字符段落的左右两侧留白, 上下方向紧贴字符裁剪, 可获得相对较高的识别准确率。但由于实验操作时的误差, 实验中获得的同一组图像之中仍会有细微的位置浮动, 此时应该酌情适当放宽裁剪区域。若批量裁剪后发现个别选区中有字符不完整, 应重新统一选择该批图像的选区范围。2.2 实验数据及分析2.2.1 数据处理与处理方式根据文献4和5, 常用的 OCR 光学字符识别技术包括统计特征字符识别技术、结构字符识别技术和基于人工神经网络的识别技术。在识别内容为有意义的短
21、语或句子, 符合某一语种的语法的情况下, OCR 识别的准确率不仅受图像质量影响, 还会由于程序内置的识别字典以及自组织性、自适应性、学习能力、联想功能和容错性能得到很大的提升。换而言之, 对于有意义的识别对象, 当图像质量使 OCR 识别程序足以辨明其中的部分字符时, 程序的联想容错能力即可使该幅图像的 OCR 识别准确率得到极大的提高。因此, 在数据分析的过程中, 我们引入“识别目标字符内容的语种及其是否有意义, 符合语法”这一参量, 用于分析不同组数据性质之间的差异。使用 MATLAB R2017a 中的曲线拟合工具 (Curve Fitting Toolbox) 拟合 OCR 字符识别
22、准确度数据, 由于 R 是整个模型拟合效果的衡量。但 R 不能像假设检验那样给出一个临界值, 大到什么程度模型算好, 可以使用;小到什么程度算差, 不能使用, 没有一个严格的标准具有很大的主观随意性。要对模型进行整体检验, 必须构造出分布已知的统计量。F 值越大, 回归平方和越大, 残差平方和越小, 表明 X 对 Y 的解释能力越强6。MATLAB 提供两种最小二乘法的稳定算法, (1) 最小绝对残差法 (LAR) , 使拟合曲线与数据表的残差绝对值为最小, 而不是残差的平方为最小值, 从而以减少数据的极值对拟合的影响; (2) 双平方加权法 (Bisquare weights) , 每点的权
23、值与偏离拟合曲线的程度有关。该算法认为, 拟合曲线附近点的权值不变;减少远离拟合曲线的数据点处的权值, 甚至将随机产生的极值点处的权值置为零。大多数情况下, 因为 Bisquare weights 算法既能得到好的拟合曲线, 又能减少离群值的影响, 其效果要优于LAR 算法。根据文献7里的算法, 选择模型使得拟合 R 尽可能大, 均方误差 (MSE) 和均方根误差 (RMSE) 尽可能小的模型进行拟合。表 1 为所有字符组的结果数据。H 为识别目标字符实际高度;a 为识别目标字符所占视角;R 为拟合函数拟合优度;S 1为实验记录中准确率数值首次超过 50%时的雾浓度;内容表示识别目标字符内容的
24、语种及其是否有意义, 符合语法;拟合质量表示综合 R 数值以及函数图像趋势判断所得的拟合函数是否符合期望。表 1 所有字符组的结果数据 Table 1 All groups of charactersresulting data 下载原表 下面依次进行分析, 在图 5图 13 中, 横坐标为雾浓度百分比, 纵坐标为识别准确率百分比。a) 字符组 1、2。图片处理过程中发现, 识别对象图样的前 2 行字符串过短, 程序识别时难以将它识别为字符。尝试在 Photoshop 中将图片均匀地连续复制, 拼合为一长串字符, 并在两段留白, 符合程序惯用的识别模式。然而这两行字符的位置处于灯箱顶端, 亮度
25、的均匀度较低, 拍摄图片的背景有明显的渐变, 经批量复制后形成了连续的“锯齿状”亮度变化 (如图 4 所示, 该图片经过了增强对比度、连续复制、添加左右宽边的处理) , 因此识别结果中出现了许多多余的“I”字符。经考虑决定舍弃这两行的图片数据。b) 字符组 3。该组字符的内容为英文“stop”, 虽然是有意义的单词, 但缺少上下文, 程序并不能直接根据语法或其他迹象推测出其实际内容, 较为依赖图像质量, 因此拟合曲线的质量较好 (如图 5 所示) 。图 4 被舍弃的字符组 1、2Fig.4 The first and second groups of characters which are
26、deserted 下载原图c) 字符组 4。该组字符内容为“出口 EXIT”, 中英文夹杂, 且互为译文, 可推测程度略高于前一组字符, 但仍旧属于短单词, 缺少上下文。拟合函数曲线质量可以接受。OCR 识别结果出现的主要误差在于将字母“I”误识别为数字“1”或小写字母“i”。由此可以看出 OCR 识别的准确率也受到相近形状的字符的影响 (图 6) 。d) 字符组 5。该组字符是两张车牌照图像。由于对比度不同, 图像质量有差异, 上方车牌照的识别准确率略高于下方车牌照。统计数据时将两个车牌照内容的准确率相加 (图 7) 。由于我国车牌照字体为公安交警部门专用的防伪字体, 难以获得矢量字体文件,
27、 因此该组识别内容选用的是经过 Photoshop 预处理的高清车牌照位图图片。印刷成品的图像质量较好, 无明显锯齿状边缘, 可视为与其余字符质量近似的识别目标。导入 OCR 软件识别之前, 该组图片增加了一道反色工序, 使字样变为白 (灰) 底黑字, 与其余字符统一形式, 符合正常印刷书写习惯, 以免引入其他变量。车牌照内容仅为一组编码, 无可供联想推测的上下文信息, 因此识别准确率变化趋势较均匀。然而, 由于该组内容夹杂中英文字符, 软件识别判断的范围较广, 其同等雾浓度下的识别准确率相较前几组有所下降。e) 字符组 6。该组字符是一行汉字交通标识用语“禁止机动车通行”, 是具有明确含义的
28、日常用语。OCR 程序处理此类识别目标时明显受益于其智能联想类比功能, 一旦可以模糊分辨内容 (譬如识别出里面的一两个字) , 很容易将结果矫正为正确的短语 (图 8) 。图 5 字符组 3 雾浓度-识别准确率拟合函数 Fig.5 The fitting function between fog density and discernment accuracy in third groups of characters 下载原图图 6 字符组 4 雾浓度-识别准确率拟合函数 Fig.6 The fitting function between fog density and discernme
29、nt accuracy in fourth groups of characters 下载原图图 7 字符组 5 雾浓度-识别准确率拟合函数 Fig.7 The fitting function between fog density and discernment accuracy in fifth groups of characters 下载原图f) 字符组 7。该组字符是一句英文句子, 有明确的含义和语法。函数图像相较前几组图像质量较好的原因, 是由于从该组字符开始, 增加了取样点, 数据点之间的跨度更小了, 而且由于字号减小, 取样的字符数更多, 正确率百分比变化的跨度也更小。然而从
30、图像切线斜率来看, 该组字符识别准确率的变化也是比较迅速的, 符合之前关于有意义内容识别率变化趋势的预期 (图 9) 。g) 字符组 8。在准备实验数据时, 我们将圆周率数字视为无规律无意义不存在于识别字典的字符串。从数据结果看, 不能排除“圆周率前 80 位也是众所周知的常用数据, 被收录进了识别库”这一可能性。但我更倾向于认为识别率的高变化率是由于该组字符排版非常整齐, 易于切分。根据文献4, 在单字识别技术越来越成熟的今天, 正确的图像切分方式可以大幅提高 OCR 识别的准确率, 而像该组数字一样排版整齐行列对齐的字符, 是最容易找到正确划分方式的 (图 10) 。图 8 字符组 6 雾
31、浓度-识别准确率拟合函数 Fig.8 The Fitting Function between fog density and discernment accuracy in sixth groups of characters 下载原图图 9 字符组 7 雾浓度-识别准确率拟合函数 Fig.9 The Fitting Function between fog density and discernment accuracy in seventh groups of characters 下载原图图 1 0 字符组 8 雾浓度-识别准确率拟合函数 Fig.10 The Fitting Func
32、tion between fog density and discernment accuracy in eighth groups of characters 下载原图h) 字符组 9。该组字符是有明确意义的名词性质的纯大写字母英文短语。从拟合函数图像来看似乎质量尚可, 然而观察采样点分布, 识别准确率的变化趋势也很陡峭 (图 11) 。i) 字符组 10。该组字符是一句完整的英文句子。字号小, 字符数多使得准确率百分比变化跨度小, 拟合函数图像质量尚可。并且由于灯片上本身字符尺寸的限制, 该组字符很难拍摄出高质量的图片, 因此准确率增加幅度也就没有前几组数据那么大 (图 12) 。j) 字
33、符组 11。该组字符又是典型的“识别准确率变化过大导致函数拟合失败”的例子, 与第 9 组的情况类似, 由于字号极小, 即使无雾的情况下也难以拍出高清图片, 因此拟合图像质量比第 9 组稍高一点 (图 13) 。图 1 1 字符组 9 雾浓度-识别准确率拟合函数 Fig.11 The fitting function between fog density and discernment accuracy in ninth groups of characters 下载原图图 1 2 字符组 10 雾浓度-识别准确率拟合函数 Fig.12 The fitting function betwee
34、n fog density and discernment accuracy in tenth groups of characters 下载原图图 1 3 字符组 11 雾浓度-识别准确率拟合函数 Fig.13 The fitting function between fog density and discernment accuracy in eleventh groups of characters 下载原图3 实验结论本实验在室内人工模拟的雾环境下, 通过激光二极管的透射率确定雾浓度, 保持照明条件不变, 研究不同的雾浓度对 OCR 目标识别准确率的影响。使用加湿器对实验暗箱内充雾达到较大值之后, 在箱内平稳散雾的过程中使用数码相机
