1、改进的红外图像神经网络非均匀性校正算法摘 要：红外焦平面阵列（IRFPA）像元响应存在不一致性，会严重影响红外成像系统成像的质量，实际应用中需要采用响应的非均匀性校正（NUC）技术。传统的神经网络校正算法在校正结果中存在图像模糊和伪像的问题，影响人们对于目标的观察。在分析了传统的神经网络性校正算法所出现问题原因的基础上，提出了有效的改进算法：用非线性滤波器代替传统算法中使用的均值滤波器。算法改进之后所得到的校正图像，不仅在清晰度方面有明显的改善，而且有效的消除了传统算法中存在伪像的问题。关键词：非均匀性；神经网络；模糊；伪像中图分类号：TN215 文献标识码 ：AImproved infrar
2、ed image neural network non-uniformity correction algorithmAbstract：The responsive of infrared focal plane arrays (IRFPA) is different; it will affect the quality of imaging system seriously. Non-uniformity correction technology will need in practical application. The calibrated images have the prob
3、lems of blurring and existing ghost artifacts when use the traditional neural network correction algorithm. And it is bad for the observation of the target. After analysis the reasons for the problems in the traditional neural network correction algorithm，proposed the improved algorithm. Replace the
4、 mean filter, which used in the traditional algorithm, by the nonlinear filter. The corrected image by the improved algorithm not only a marked improvement in clarity, but also effectively eliminate the problem of artifacts in traditional algorithms.Keywords：Non-uniformity; Neural network; Blurring;
5、 Ghosting artifacts 0 引言红外技术是 20 世纪初新出的一种不可见光技术，目前已被广泛应用于军事和民事领域，如红外探测，红外监视等。而 IRFPA 作为红外技术的核心部分，起着关键的作用，但是 IRFPA 上存在的非均匀性是影响红外系统的一个重大因素。因此，对于非均匀性的研究是目前广泛讨论的问题。目前国内外已经出现了多种 IRFPA 非均匀性校正方法，归纳起来它们大致可以分为两类：基于定标的 NUC 算法 1，这类算法由于精度高、算法简单，得到了广泛的应用。但是定标类校正方法由于受到 IRFPA 工作时间和环境的影响，其响应参数会发生缓慢漂移，进而影响校正精度。因此，定标
6、类校正方法通常需要进行周期性定标校正 2，这样在校正过程中就需要设备停止工作，所以会带来很大的不便。第二类是基于场景的 NUC 算法 3，这类校正算法在一定程度上能够克服 IRFPA 响应漂移带来的校正误差，并且不需要参考源，因此基于场景的算法成为了目前研究的主要方向。神经网络校正方法以其较好的自适应性和误差跟踪能力而成为场景类校正方法中最具发展前途的一种方法。但是，传统的神经网络校正算法存在校正结果模糊，且存在伪像的问题。本文的主要工作就是针对该算法存在的问题，对其进行改进，并取得了很好的效果。1. 非均匀性的产生非均匀性指的是焦平面阵列在外界均匀光强照射时，各单元的输出不一致，在图像上表现
7、为空间噪声或固定图案噪声。假设每个探测器的响应模型为线性模型，对于焦平面阵列中第 个像元在 时ijn刻的输出响应可以表示为： (1) ()()ijijijijxnkynb式中， 为第 个像元在 时刻接收到的辐射ijynijn照度， 为探测器单元输出， 和 分ijxijkijbn别为增益因子和噪声因子。在理想情况下，各探测元的 都相同，且 为0。这样， 就ijkijb()ijx可以真实地反映出输入图像。但是在实际情况中，各点的 和 都不相同，这就是红外图像非()ijnij均匀性。式(1)又可以表示为：(2)()()ijijijijyGnxOn式中， 为增益校正因子，()1/ijk为偏移量校正因子
8、。式(2)即ijijijOnb为像元的非均匀性校正公式。2. 传统神经网络非均匀性校正算法原理20 世纪90 年代初, 美国海军研究中心的D. A. Scribner 等人首先将BP 人工神经网络结构引入了对红外成像系统进行非均匀性校正的领域, 它的校正原理是利用现有视场场景来持续的对探测元进行增益和偏移的校正，图1 是BP人工神经网络算法应用于非均匀性校正的具体实现形式 4 。I n p u t L a y e rx ( i - 1 , j )x ( i , j - 1 ) x ( i , j ) x ( i + 1 , j )x ( i , j + 1 )C o r r e c t i o
9、 n L a y e rO u t p u t L a y e rH i d d e n L a y e ry ( i , j )图 1 基于神经网络的非均匀性校正算法网络结构Fig.1 Network structure of the non-uniformity correction algorithm based on neural networks网络结构各层的作用：(一) 输入层该层的输入为连续帧的未校正二维红外图像灰度值， 分别表示像素所在的行值、列值。,ij(二) 隐含层隐含层的作用是对校正后的输出图像进行线性平滑，并将处理的结果送到校正层，用于确定下一步的校正参数。由于各探测元
10、的响应特性参数近似不相关，因此可以把某一像素的邻域平均作为该像素的理想输出。对第 n 帧校正过后图像的第 i 行、j 列的像素作四邻域均值滤波： (3) 1,1,1()()()4ijijijijijfnxnxn将上式的计算结果反馈给校正层。(三) 校正层（NUC 层）在这一层对输入灰度值用式(2)进行校正，还需要利用NUC层的输出和隐含层的反馈输入对增益校正系数和偏置校正系数进行修正。修正过程如下：定义关于 、 的误差函数为（为方便起见以下ijGijO公式下标省略）：(4)2(,)Exf根据最陡下降法， 的梯度为：(5) (GOf(6) 2)Ox则使误差函数趋近于最小的最陡下降路径（负梯度方向
11、）为：(7) 1()nxyf(8)2式中 表示迭代步长，选择合适的迭代步长是该算法的关键，它直接影响到迭代过程收敛的速度和处理的效果。对于迭代步长取值范围确定的方法在参考文献中有详细的介绍 5，这里就不再赘述。3. 改进算法传统神经网络校正算法处理结果，随着迭代次数增加红外图像会变得越来越模糊，静止目标会逐渐融入背景，究其原因是它把四邻域的平均值作为该像元的期望输出值。并且由于参数的修正需要一定的时间，当目标再次运动时，还会产生伪像 6。目前对于伪像的消除主要集中于两个方面的研究：（1）改变迭代步长：选取较小的迭代步长可以减小伪像的影响，但是过小的迭代步长会增加算法的收敛时间 7。 （2）改变
12、隐含层中使用的滤波器8，由于传统的算法中使用的是平滑滤波，使得目标的边缘对滤波结果影响比较大，而目标边缘的影响正是伪像产生的根本原因，因此对于算法中滤波器的改进成为了消除伪像的主要研究方向。另外，普通均值滤波器可以有效的滤除高斯噪声，而对脉冲噪声却无能为力。基于以上分析，神经网络校正算法中选取不同的滤波器，可以得到不同的校正效果。实验证明使用基于 -裁剪均值滤波器的神经网络算法，能够有效的改善传统算法中目标融于背景和伪像的问题。本文又在 -裁剪均值滤波器的基础上对其进行改善，无论是对于伪像的消除方面还是红外图像非均匀性的校正方面都取得了很好的效果。本文算法原理框图如图 2 所示：/ /P a
13、r a m e t e r s o f n o n -u n i f o r m i t y c o r r e c t i o n - t r i m m e d m e a n v a l u e f i l t e r+-+y ( n + 1 )f ( n )e ( n )c o r r e c t i o nG ( n + 1 ) O ( n + 1 )x ( n )图2 本文算法方框图Fig.2 Network structure of the improved algorithm3.1. -裁剪均值滤波器传统的 -裁剪均值滤波器 9：设以点 为,xy中心的窗口有 个像素，对这 N
14、个像素按21Nk灰度值由小到大顺序进行排列得到 ，则12,滤波器的输出为： (9)1, iiNgxyx 式中， ( )为裁剪系数， 是取整运算，0.5通过调整系数 ，滤波器对高斯噪声和脉冲噪声有较好的抑制作用。为了更灵活的对序列元素进行取值，对上述滤波器进行稍微的改进得到 -裁剪均值滤波器：,(10) 1(,)NiigxyxK式中， （ ） ， （ ）为裁剪系00数， ， 是取整运算。 -裁KN,剪均值滤波器就是在序列 中，跳过前12,Nx个像素，求接下来 K 个像素灰度的均值。由于不同的噪声类型需要的滤波器类型不同，因此可以单独的改变 、 的值来取不对称的序列值进行运算。试验中可以通过连续的
15、改变 、 的值，并计算不同裁剪系数下滤波图像的信噪比，取信噪比最高的滤波结果作为最终的输出。该算法拥有均值和中值滤波器的优点，比传统 -裁剪均值滤波器更加的灵活。3.2. 改进的神经网络算法鉴于传统算法中隐含层采用均值滤波带来的问题，将隐含层输出重新定义如下：(11) 1Nij iifnxnK其中， （ ） ， （ ）为裁剪系00数， ， 是取整运算。 是对KN窗口内 N 个像素的灰度值进行排序后得到的序列。由于选取不同的裁剪系数会得到不同的 ，为ijfn了使滤波效果最优化，通过在取值范围内连续改变、 的值，对比不同的裁剪系数得到的滤波图像的信噪比（SNR） ，选取使得 SNR 最大的滤波图像
16、作为最终的隐含层输出 ，而算法中的其余部ijfn分则保持不变。SNR 定义如下 10：(12)2,1,/10lgNMijijijijijxSNR式中，N,M 分别为图像的宽度和高度， 为原图像，x为滤波后的图像。x4. 实验结果与分析 由于缺少具有非均匀性的红外图片，本文通过人工对原始红外图像添加非均匀性噪声对非均匀性图像进行模拟。实验中分别使用传统算法和改进算法，对具有非均匀性的红外图像进行处理，校正过程中迭代步长 设置为 0.00001，处理结果如图 3所示。从图 3 的结果中可以看出，传统神经网络算法校正后的红外图像比较模糊。本文中的改进算法由于结合了中值滤波和均值滤波两种滤波器的优点，
17、使得它不仅对于非均匀性有较高的校正能力，并且得到的校正图像比较清晰。为了直观的的对比改进后的算法与传统算法的性能，实验中通过均方根误差（RMSE ）曲线进行直观的对比，RMSE 定义如下式：(13)21()NMijijijRSExy式中， 是输入的源图像第 i 行、j 列像素的灰度ijx值， 是校正后的输出灰度值, M、N 分别是图像y的宽度和高度。图 4 所示是两种算法的 RMSE 曲线图，从图中可以看出，本文算法所获得结果的 RMSE 比传统算法要低。(a)(b)(c)(d)图 3 两种方法处理结果：（ a）原始图像（b）添加了非均匀性的图像（c）传统算法处理结果（d）本文方法处理结果Fi
18、g.3 Results obtained by two ways:(a) Original image (b) Non-uniformity image (c) Result obtained by traditional algorithm (d) Result obtained by this article algorithm0 100 200 300 400 500 600 700 800 900 10000.010.020.030.040.050.060.070.08FramesRMSETraditional algorithmThis article algorithm图 4 两种
19、算法的 RMSE 曲线Fig.4 RMSE curves of the two algorithms另外，从图 4 中可以看到在算法都收敛以后，传统算法 RMSE 曲线相较于本文算法得到的 RMSE曲线波动大，这就是传统基于神经网络算法存在的一个问题：伪像。由于伪像的存在使得校正后的图像跟实际图像有很大的误差。 本文算法通过裁剪滤波器对输出图像进行滤波，首先对像素及其周围像素灰度进行排序，然后只选取部分像素灰度值进行均值运算，可以部分消除目标边缘对滤波器输出的影响。因此，本文算法能够有效的降低伪像的影响。对于伪像消除效果可以从另一组图像的处理结果看出来。为了使 RMSE 曲线更加清晰，本文只截
20、取了 300 幅图像的处理结果的 RMSE 曲线，如图 5 所示。0 50 100 150 200 250 3000.0060.0080.010.0120.0140.0160.0180.02FramesRMSETraditional algorithmThis article algorithm图 5 RMSE 曲线Fig.5 RMSE curves从图中可以看出曲线在第 190 张图片附近出现了明显的凸起，所以判定在这附近几幅图像中出现了伪像。然后取出处理后的图像，发现在第 187 张到 188 张中图像中的人物突然摘掉眼镜导致了伪像的产生。两种算法处理的具体效果如图 6 所示：原图如 6(
21、a)所示，当突然摘掉眼镜以后，仔细观察图6(b)中的传统方法处理结果，可以清晰的看见一个眼镜的伪像。而图 6(c)本文算法处理结果中几乎淡不可见。由此可以看出本文算法无论是在校正结果清晰度方面，还是在伪像的消除方面，相对于传统的神经网络校正算法都有很大的改善。(a)(b)(c)图 6 伪像的消除 （a）未摘掉眼镜的图像（b）传统算法（c）本文算法Fig.6 The result of eliminate artifacts (a) The image have glass (b)Traditional algorithm (c) This article algorithm5. 总结本文针对传
22、统神经网络非均匀性校正算法存在的一些不足，提出了 -裁剪均值滤波器与神经网络相结合的改善算法。通过比较可以看出，本文的改进算法不仅在非均匀性的校正效果方面，比传统算法有很大的提升，而且，还解决了传统算法中存在伪像的问题。但是，在处理过程中也出现一些问题，比如，在处理速度方面要比传统算法要慢，算法复杂度增大，下一步就是就这些问题进行改善。6. 参考文献1 Qu Huiming, Chen Qian. Surrounding temperature compensation for infrared focal plane arrays non-uniformity correction J. I
23、nfrared and Laser Engineering, 2011, 40(12): 2328 - 2332. (in Chinese)屈惠明，陈钱. 环境温度补偿的红外焦平面阵列非均匀性校正J. 红外与激光工程，2011, 40(12): 2328 - 2332.2 Zhang Hao, Liu Zhenguo, Hu Xiaomei. Non- uniformity correction based on active movement control of scene J. Infrared and Laser Engineering, 2011, 40(3): 397 401. (
24、in Chinese)张昊，刘振国，胡晓梅.场景主动运动控制的非均匀性校正方法J. 红外与激光工程，2011, 40(3): 397 - 401.3 Fan Xiumei, Wei Zhen, Yan Furong. Non- uniformity correction of focal array system based on BP Neural network J. Journal of Tianjin University of Technology. 2010, 26(6): 75 -78. (in Chinese)樊秀梅，魏臻，闫富荣.基于 BP 神经网络的焦平面阵列的非均匀性校正
25、J. 天津理工大学学报, 2010, 26(6): 75 - 78.4 Zhou Huixin, Bai Liping, Qin Hanlin. Non- uniformity correction algorithm for infrared focal plane arrays based on adaptive-filter J. High Power Laser and Particle Beams, 2009, 21(11): 1611 1614. (in Chinese)周慧鑫,拜丽萍,秦翰林. 基于自适应滤波的红外焦平面阵列非均匀性校正算法J. 强激光与粒子束, 2009, 21
26、(11): 1611 - 1614.5 Yan Yi, Hong Jingxin, Wang Wenyin. The study of adapted by oneself non-uniformity correction algorithm in infrared focal plane arrays J. Infrared Technology, 2008, 30(9): 520 523. (in Chinese)颜益,洪景新,王文颖. 对红外焦平面非均匀性自适应校正算法的研究J. 红外技术，2008, 30(9): 520 - 523.6 Zhang Tianxu, Shi Yan.
27、Eliminating the “ghosting” artifact and target fade-out in adaptive non- uniformity correction for IRFPA J. Journal of Infrared and Millimeter Waves, 2005, 24(5): 335 341. (in Chinese)张天序,石岩. 红外焦平面阵列非均匀性自适应校正算法中目标退化与伪像的消除方法J. 红外与毫米波学报，2005, 24(5)：335 - 341.7 Zhu Jie, Ma Peng, Bai Yun. BP Neural netw
28、ork nonuniformity correction technique for FPA and improved algorithm J. Infrared Technology, 2010, 32(7): 377 379. (in Chinese )朱杰，麻芃，白云. 焦平面阵列 BP 神经网络非均匀性校正及其算法改进J. 红外技术, 2010, 32(7): 377 - 379.8 A.Rossi, M.Diani, G.Corsini. Bilateral filter- based adaptive nonuniformity correction for infrared fo
29、cal-plan array systemsJ. Optical Engineering. 2010, 49 (9): 057003-1 057003 - 13.9 Li Honggui, Li Xingguo, Zhang Qi. Application of nonlinear filter for infrared image enhancement J. Journal of Data Acquisition & Processing, 1999, 14(3): 302 306. (in Chinese)李宏贵,李兴国,张奇. 非线性滤波器在红外图像增强中的应用J. 数据采集与处理, 1999, 14(3): 302 - 306.10 Kang Jie, Yang Gang. A novel morphology filter of preserving image detail J. Journal of Shaanxi University of Science & Technology, 2006, 24(4): 67 -70. (in Chinese)亢洁,杨刚. 一种新颖的保持细节的图像滤波器J. 陕西科技大学学报, 2006, 24(4): 67 70.
