1、摘 要 图像融合的速度和质量是相互制约的一对矛盾的主题，图像的实时融合是目前图像融合技术亟待研究、解决的问题之一，我们提出的图像融合的开窗处理技术在一定程度上解决了这个问题；文中给出了图像开窗融合准则，确定了开窗融合适用范围和最大开窗面积的计算方法，得到最大开窗面积的近似计算公式；并对开窗融合的结果进行了分析、验证和对比，证实了此技术的可行性。关键词 图像融合 开窗处理 实时融合Keywords: image fusion; image process technology based on windowing; real-time fusion0. 引言图像融合的目的就是通过对多幅图像信息的
2、提取与综合，从而获得对同一场景或目标的更为准确、全面、可靠的图像描述。该融合图像应更符合人或机器的视觉特性，以利于对该图像的进一步分析、理解以及目标的检测、识别或跟踪。图像融合充分利用了多个被融合图像中包含的冗余信息和互补信息,图像融合技术不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。多传感器图像融合有着广泛的应用前景，国内、外都投入大量的资金来进行这个领域的研究。作为一门新兴学科，图像融合是许多传统学科和新技术的集成与应用，虽然图像融合在理论和技术方面己取得了一定的成果，但怎样将这些理论和方法变成普遍化的准则，并在实际中得到成功应用，还存在很大不足，图像融合的实际应用
3、中有大量的图像序列以及视频信息，对图像序列以及视频信息的实时融合处理是目前图像融合技术亟待研究、解决的问题之一。实时图像融合技术应用的突出障碍是处理速度。对于像素级融合，图像的融合算法直接影响融合图像质量，往往精细的融合图像需要巨量数据处理，这使得图像融合处理系统的研制开发具有相当高的难度。在实时图像处理系统中，如何在有限的时间内完成大量信息的处理，满足系统的实时性一直是困扰着人们的一个难题。从人的视觉理论分析，只有图像处理速度达每秒 20 帧以上时才能达到实时的效果，即要求实时图像处理系统在 40ms内完成对一帧图像的运算处理，才能保证图像处理的实时性。由此看来，完全实现实时图像融合难度较大
4、，需要解决好硬件、配准及融合算法等多方面的问题。可见，图像融合的速度和质量是相互制约的，是一对矛盾的主题。能否有一种方案，既能实现实时图像融合，又能保证我们需要的图像融合质量呢？我们提出的“开窗融合”方法，既能够很好的解决图像融合的实时问题，又能保证观察目标的主要细节信息，在一定程度上解决了这个问题。1.图像融合的开窗处理1.1 开窗的定义人眼的视觉模型如图 1.1，眼睛正视可以看到的景物要比余光扫描到的景物清晰明了。观察者感兴趣的目标往往只集中在一小部分区域，例如图 1.2 中的目标，图 1.1 人眼的视域模型Fig1.1 View model of human eye最多只占到整幅图像面积
5、的几千分之一,因此可以理解为观察者需要看清楚的图像区域并不是整幅图像，只需要将目标的细节特性清晰显示，而对大面积背景图像的清晰度要求相对低得多。在这种情况下对整幅图像进行增强处理，将会造成处理时间的大大浪费。在硬件速度难以提高，软件算法不能再精简的情况下，为节约处理时间，提高增强算法的实时性。提出了在图像内部开窗的概念，即在图像中选取适当大小的子图像进行增强算法的处理，子图像之外的部分不经过处理直接显示。开窗面积的大小可根据不同应用环境有所图 1.2 人眼视域模型中的景物Fig1.2 The scenery in the view model变化。如此一来，既不影响增加目标的清晰度，又兼顾到了
6、增强处理的实时性，为实时化增强开辟新的途径。由于经过增强后的子图像明显变得清晰，看起来就像在图像中间开了一个窗口，因此叫开窗增强。1.2 开窗融合基于开窗增强的思想，我们把要融合的两幅图像中的一幅作为背景，在其中合适的部位（一般是中心区域）开一个一定大小的增强窗口，取另一幅图像（已与背景图像配准）的相同窗口区域与背景的窗口区域进行像素级融合，我们称之为开窗融合。2.图像开窗融合准则21 适用范围近年来，图像融合技术在军事、医学、遥感等诸多领域都有应用，融合算法研究工作也有了迅猛发展，使其成为技术发达国家近几年的研究热点，特别是将其应用在高技术军事领域。应用于这些领域的像素级图像融合算法也很多，
7、比较常用的有以下几种：HIS 变换法，PCA 变换法，HPF 法（高通滤波法）图像金字塔法，小波变换等。还包括加权平均法、像素灰度值选大、像素灰度值选小等简单的算法。 还有一些算法如：证据理论法、神经网络法、专家系统法、演化算法等，主要用于目标识别中的分类、统计等功能。对于这些应用和融合算法，究竟哪些需要使用开窗融合技术，哪些又不需要呢？为此我们须要确定了开窗融合的适用范围。开窗融合技术与全尺寸融合相比最大不同就是融合后信息量减少以损失部分图像信息为代价来提高融合速度。由此可见，此技术应用于对速度要求较高的实时图像处理系统中，且此系统利用现有融合算法对全尺寸图像融合处理的速度不能满足实时性要求
8、，而系统对图像信息的要求又符合开窗的定义。 22 开窗面积由于图像开窗融合会损失部分图像信息，所以在满足实时图像处理系统的前提下，相对于原始图像而言所开窗口越大越好。假设 是原始图像的面积， 是最大开窗nmSmaxW面积。那么所开窗口面积 axax W此时，图像融合速度满足实时要求。开窗最大面积 可以通过以下计算求出：设m和 为 已配准原图像， 为窗口图像，系统硬件 CPU 的处理速),(yxf),(fnm),(yg度 （单位 MIPS），系统软件的运行效率 ，那么系统总体运行速度：(1 对图像 和 融合算法的运算量 （单位 MIPS），完成一帧图像融合时),(f),(yxf 间 (2) t满
9、足实时性要求处理速度达每秒 20 帧以上，于是就有 (3) 20maxtSWn综合(1),(2),(3)可得 (4) axnm如果一般软件的运行效率 60%，优化后可以达到 80%以上，我们可以把软件的运行效率近似的认为 80%，算式(4)可以简化为(5) maxW式中 ，对于特定的系统 是常数，那么 也是常数。由以上算式(5) 04.nmSnS可以看出，窗口大小与系统硬件 CPU 的处理速度 成正比，与融合算法的运算量 成反比。3. 试验结果分析我们采用的试验系统组成原理如图 3.1 所示：图 3.1 系统原理框图Fig3.1 Block diagram of the systematic
10、principle前端共光轴图像采集系统由可见光 CCD（或微光 CCD）和红外摄像机组成。图像处理单元是由基于 DSP 芯片 TMS320DM642 设计的硬件电路组成。试验的目标是一个被黑色塑料袋遮盖的盛满热水的茶杯，图 3.2、图 3.3 是我们分别采集的使用黑色塑料袋遮盖前后的融合图像，由这两幅图像可以明显看出图像融合的优势所在，即融合图像综合了可见光图像和红外图像的优点：黑色塑料袋在可见光图像中把塑料瓶完全遮盖了，而红外图像又只有热塑料瓶的轮廓，但是融合后的图像却把两者的特点都体现出来。可见光图像只敏感于目标场景的反射，与目标场景的热对比无关。而红外图像的对比度差，动态范围大，具有穿
11、透烟尘能力强、可识别伪目标、可昼夜工作等特点，但其只敏感于目标场景的辐射，而对场景的亮度变化不敏感。可见二者均存在不足之处。融合后的图像能增强场景理解、突出目标，有利于在隐藏、伪装和迷惑的背景下更快更精确地探测目标。将融合图像显示成适合人眼观察的自然形式，可明显改善人眼的识别性能，减小操作者的疲劳感，并能显著提高图像分辨效果和人眼对场景目标的发现和识别概率。图 3.2 融合图像Fig3.2 The fusion image 图 3.3 遮盖后融合图像Fig3.3 The covered fusion image图 3.4、图 3.5 的试验目标是一个被黑色塑料袋遮盖的盛满热水的塑料瓶，我们分别
12、采集的使用黑色塑料袋遮盖前后的融合图像，我们在这两幅图像中进行了开窗融合（窗口大小 168x160，单位都是像素）。下面我们来计算此系统采取金字塔融合算法的实时融合的最大开窗尺寸，TMS320DM642每秒可以进行 24 亿次 16 位的运算或 48 亿次的 8 位的运算。即处 图 3.4 原始开窗融合图像（168x160）Fig3.4 the fusion image of windows (168x160)图 3.5 遮盖后开窗融合图像（168x160）Fig3.3 the covered fusion image of windows (168x160)理速度是 48000MIPS，我们
13、采用的基于金字塔融合算法的运算量大约是 600MIPS。由式（5）可以计算出： nmSW%32ax而原始配准图像尺寸 （图像长度单位像素）。28360所以 10a图中窗口大小 。通过对采集到融合图像的目测可以看出，开窗融合max8W图像与全尺寸融合图像相比，并无明显的缺陷，主要目标信息完整，融合效果良好。在实时性验证试验中，融合速度达到 20 帧/s 以上，目测运动画面没有明显停顿现象。4.结论本文提出了能够解决图像融合实时性问题的开窗融合技术；此技术应用于对速度要求较高而当前的硬件系统又不能满足实时性要求的图像融合系统，并且只适用于显示画面中区域图像信息就能达到观察要求的系统，开窗的尺寸取决于系统的硬件速度和融合算法的运算量。随着图像融合技术的发展，将会有越来越多的新算法提出，这些算法的复杂度和信息处理量也会不断地提高，硬件技术的发展不可能完全达到实时系统的设计要求，所以开窗融合技术在未来相当长的时间内会有很好的应用前景，尤其适用于军事、航空航天等实时性要求较高的应用领域；此技术还有待完善，如果能实现任意位置开窗以及窗口叠加处理技术，就可以拓宽此技术的应用范围，很好地解决技术应用的局限性问题。
