1、收稿日期 : 20120427; 修回日期 : 20120728基金项目 : 重庆市科技攻关项目 ( CSTC， 2010AC2037)作者简介 : 江 铁 ( 1987) ， 男 ， 硕士研究生 ， 研究方向为图像融合 ;朱桂斌 ， 博士 ， 教授 ， 从事图像处理 、信息安全研究 。基于金字塔变换的多曝光图像融合江 铁1，朱桂斌2，孙 奥1(1重庆通信学院应急通信重庆市重点实验室，重庆 400035;2重庆通信学院信息技术教研室，重庆 400035)摘 要 : 在同一场景不同光线下得到的图像序列 ， 常出现过曝光或曝光不足的现象 ， 造成图像质量低 ， 重要信息丢失 。为解决这些问题 ，
2、文中对拉普拉斯金字塔与梯度金字塔变换融合的方法进行了分析研究 ， 后者增加了图像方向信息 。在图像融合过程中 ， 采用分块的方法 ， 首先生成原始多曝光图像的权重图 ， 再根据金字塔原理对权重图进行加权平均得到融合后图像 。实验结果表明 ， 该算法能够得到具有更多有用信息的高对比度的融合图像 ， 融合效果良好 ， 具有较好的实用价值 。关键词 : 图像融合 ; 多曝光图像 ; 梯度金字塔 ; 权重图中图分类号 : TP31 文献标识码 : A 文章编号 : 1673629X( 2013) 01009504doi: 103969/j issn1673629X201301024Multiexpos
3、ure Image Fusion Based on Pyramid TransformationJIANG Tie1， ZHU Guibin2， SUN Ao1( 1 Chongqing Key Laboratory of Emergency Communication， Chongqing Communication Institute，Chongqing 400035， China;2 Department of IT， Chongqing Communication Institute， Chongqing 400035， China)Abstract: The images which
4、 obtained in the same scene under different light are often over exposed and underexposed These image havelow quality Lots of important information is loss To solve these problems， the Laplacian pyramid and gradient pyramid transformation areanalyzed The latter increases the information of image dir
5、ection In the process of image fusion， using the block method， it is first to gen-erate the weight diagram of the original multiexposure images Then generate a high dynamic range images based on Laplacian pyramidweighted average of the weight figure The experimental results show that the algorithm c
6、an obtain highcontrast fusion image with moreuseful information The algorithm works well and has good practical value to some extentKey words: image fusion; multiexposure image; pyramid transform; weight figure0 引 言在日常生活中 ， 因为受到硬件设备的限制及相机本身存在的误差 ， 人们用传统相机拍照只能记录有限范围的对比度 、亮度 、色度 ， 即对现实场景的细节信息不能完全记录 。为
7、了解决这样的问题 ， 人们通常用相机拍摄一系列不同曝光度的同一场景的图像 。在不同曝光度下 ， 图像所呈现的细节信息不同 ， 对这样的图像序列进行融合处理 1， 2， 就可以使更多的图像细节信息表现出来 ， 可抑制各图缺点 ， 使图像质量更好 。金字塔变换 3， 4和基于小波变换的图像融合是主要的多尺度分解图像融合方法 。通过多分辨率分析 ，将图像分解为不同尺度和方向的子图像 ， 这些子图像代表了图像中不同的特征 ， 从而更好满足融合的需要 。目前对多曝光图像的快速融合研究比较少 ， 将拉普拉斯金字塔 5变换运用于其中是由 Mertens 6等人首先提出 。文中分别运用拉普拉斯金字塔 7， 8
8、与梯度金字塔 9， 10对多曝光图像进行了融合实验 。对两种不同的金字塔的融合进行了对比分析 。在融合策略中 ， 采用分块 11的方法 ， 参考三个测度因子 ( 对比度 、熵 、适度曝光量 ) 来计算每个块的信息 。对同一位置处的块进行加权归一化处理 ， 得到一张加权图 。通过再次运用拉普拉斯金字塔原理来对加权图进行融合 ， 从而得到最终的融合图像 12。1 拉普拉斯金字塔变换原理通过对 Burt 所提的拉普拉斯金字塔变换分析可知 ， 其算法主要分为两个主要过程 : REDUCE 过程和第 23 卷 第 1 期2013 年 1 月计算机技术与发展COMPUTER TECHNOLOGY AND
9、DEVELOPMENTVol23 No1Jan 2013EXPAND 过程 。REDUCE 过程 : 图像首先与低通滤波器 w ( 如 55) 卷积 ， 将得到的结果进行 1/2 下采样 ， 重复这个过程 l 次 ， 得到尺寸逐级减半的一系列图像 ， 由于滤波器w 的形状类似高斯分布曲线 ， 所以由上述过程分解得到的图像被称为高斯金字塔 。如式 ( 1) 所示 :Gl( i， j) =2m = 22n = 2w( m， n) Gl1( 2i + m， 2j + n) ，( 1lN， 0 i Cl， 0 j Rl) ( 1)其中 ， Gl为第 l 层高斯金字塔图像 ; N 为总层数 ;Cl， R
10、l分别为第 l 层子图像的列数和行数 ; w( m， n)=h( m) h( n) 为窗口函数 ， h 满足约束条件 :( 1) 归一化性 :2m = 2h( m) = 1;( 2) 对称性 : h( i) = h( i) ;( 3) 奇偶项等贡献性 : h( 0) + h( 2) + h( + 2) =h( 1) + h( + 1) 。由以上约束条件可得 :h( 0) =38， h( 1) = h( + 1) =14，h( 2) = h( + 2) =116( 2)窗口函数 w( m， n) 可表示如下 :w =12561 4 6 4 14 16 24 16 46 24 36 24 6411
11、6424616441( 3)至此 ， 由 G0， G1， ， GN构成了高斯金字塔 。EXPAND 过程 : 此过程主要是预测在 1/2 下采样前的第 l 1层高斯分解图像 Gl1， 即通过扩展插值操作如式 ( 4) 所示 :G*l( i， j) = 42m = 22n = 2w( m， n) Gl(i + m2，j + n2) ，( 0 lN， 0 i Cl， 0 j R) ( 4)其中 :Gli + m2，j + n2( )=Glm + i2，n + j2( )， 当m + i2，n + j2为整数时0， 其他( 5)扩展插值预测算法与分解过程相同 。对高斯金字塔的每一层进行扩展插值后 ，
12、 便可得到一个扩展图像序列 G*0， G*1， ， G*N。图像拉普拉斯金字塔生成 : 由上述所得的图像序列 G0， G1， ， GN和 G*0， G*1， ， G*N对应作差便可得图像的拉普拉斯分量 ， 这个过程相当于带通滤波 ， 如下式所示 :LPl= Gl G*l， N l0 ( 6)LPN= GN( 7)所得图像序列 LP0， LP1， ， LPN即为拉普拉斯金字塔 。图像的重构 : 图像的重构过程相当简单 ， 就是将所得的拉普拉斯分量与扩展分量相加 ， 用下式表示 :Gl= LPl+ G*l， N l0 ( 8)从塔顶按照上式逐层进行递推 ， 重建过程实际就是分解的反向操作 。通过上
13、述过程 ， 便可得到原图像 。2 梯度金字塔变换原理对上述所得的高斯金字塔中的各分解层再进行四个方向 ( 水平 、两个对角线方向 、垂直方向 ) 的梯度方向滤波 ， 就可得到图像的梯度金字塔分解 ， 如下式所示 :GPkl= dl* Gk+ w* Gk，( 0kN， l = 1， 2， 3，4) ( 9)其中 dl为第 l 方向的梯度算子 ; w为 33的核矩阵 。对于梯度方向滤波算子 dl定义如下 :d1= 1 1 ， d2=1槡20 11 0 ，d3= 11 ， d4=1槡2 1 00 1 ( 10)对于 w， 其定义为 :w=1161 2 12 4 21 2 1( 11)通过式 ( 9)
14、 计算便可以得到水平 、垂直及两个对角线方向的四个分解图 ， 由这四个方向的分解图就构成了梯度金字塔 。图像在四个方向上的细节和边缘信息能够很好地提取出来 。梯度金字塔的重构主要分四个步骤 。( 1) 求方向拉普拉斯金字塔 。Lkl=18dl* GPkl( 12)Lkl为图像的方向拉普拉斯金字塔 :( 2) 求 FSD( FilterSubtractDecimate) 拉普拉斯金字塔 Lk。累加图像的方向拉普拉斯金字塔 Lkl便可得图像的 FSD 拉普拉斯金字塔 ， 即 :Lk=4l = 1Lkl( 13)( 3) 图像拉普拉斯金字塔生成 。69 计算机技术与发展 第 23 卷LPk= 1 w
15、 * Lk( 14)( 4) 得图像的拉普拉斯金字塔后 ， 再按照上述第一小节的重构方法得到最终的图像 。3 图像融合在图像融合过程中 ， 最主要的就是计算图像的权重图 。其思想为 : 首先采用分块的方法将图像分为若干块 ， 然后计算每个块的信息量 ， 这个信息量通过三个度量因子来测定 ， 即对比度 、熵以及适度曝光量 。分别计算出每个块中像素的三个度量因子值后 ， 对相同块进行加权归一化处理 ， 从而得到一张加权图 。通过对加权图进行上述的拉普拉斯金字塔变换和梯度金字塔变换 ， 再与原多曝光图像的拉普拉斯金字塔变换和梯度金字塔变换相同层的图像进行加权平均 ， 得到新的拉普拉斯金字塔和梯度金字
16、塔分解 ， 然后通过重构形成最终的融合图像 。因此具体的图像融合过程主要分为两个部分 : 计算权重图和加权平均 。( 1) 生成权重图 。在前面已经提到 ， 在计算每个图像块的信息的时候 ， 主要考虑对比度 、熵以及适度曝光量 。因此首先计算图像块的对比度 。在图像中 ， 细节信息较丰富的地方 ， 其对比度也相对较强 ， 如通常所说的图像边缘 。在计算对比度的过程中 ， 首先将图像进行拉普拉斯滤波 。滤波过程采用拉普拉斯算子与图像卷积 ， 得到的系数取绝对值 ， 即为图像块中像数的对比度信息 。在信息论中可以知道 ， 信息的熵值可以反应其信息量的大小 ， 因此计算图像的熵值来作为一项指标来评估
17、图像块的信息量的大小 。很容易知道 ， 图像越粗糙 ， 其熵值也会越大 ， 因此熵具有随机性 。熵的定义如下 :e =L1i = 0p( zi) log2p( zi) ( 15)式中 p( z) 是图像的直方图数据 ; L 是图像的灰度级 。适度曝光量的计算主要是根据人眼的视觉特性同时参考图像的空间频率特性 。当曝光适度时 ， 人眼可以清楚的看到 ， 图像的高度大多分部在中间区域 。因此对图像中间区域的像素分配更多的权重 。其计算如下式所示 :p( x， y) = exp( ( I( x， y) 05)222) ( 16)其中 I( x， y) 为图像的归一化像素值 ; 为方差 ，实验中取 0
18、02。在计算三个测量因子的过程中 ， 图像块的大小为33， 总共 9 个像素点 ， 而整个块的信息量取中心像素点的三个测量因子的联合乘积来表示 。每个图像块中 ， 中心位置处的像素联合三信息测度因子的线性结合表示为 :wk( x， y) = ( Ck( x， y) + a) ( Sk( x， y) + b) ( Pk( x， y) + c) ( 17)式中 k 是图像的序列号 ， k( 1， 2， ， N) ; C， S，P 分别指的是对比度 、熵 、适度曝光量 ; a， b， c 常数项设定为 a= b = c = 1。然后将所有多曝光图像序列中相同位置块的权重值 wk( x， y) 进行归
19、一化处理即 :wk( x， y) =Nk = 1wk( x， y) 1wk( x， y) ( 18)最终得到不同曝光图像相对应的权重图 。( 2) 加权平均 。将上述得到的权重图按照金字塔分解的形式进行分解 ， 得到与原图像拉普拉斯金字塔相同大小的各层图像 ， 然后将权重图分解图与原图像分解图进行加权平均 。则有 :LPl=Nk = 1LPklwkl( 19)式中 l 是分解的层数 ， l( 1， 2， ， N) 。同样 ， 最终生成的高动态范围图像为 :G0=Nl = 0LPl， l( 20)4 实验结果与分析首先用单反相机拍摄六张不同曝光度的相同场景的图像序列如图 1 所示 。对每张图进行
20、拉普拉斯金字塔变换和梯度金字塔变换 ， 然后按照文中所述图像融合方法进行融合 ， 最后将得到不同质量的高动态范围图像 ， 如图 2 所示 。从最终的融合结果来看 ， 总体说运用拉普拉斯金字塔变换所得到的结果比运用梯度金字塔得到的图像质量更好 ， 从图 2 看出 ， 其展现出的图像细节信息更加的丰富 ， 而且室内室外的场景都能清楚的表现出来 ， 而梯度金字梯变换所得到的融合图像 ， 室外的场景质量差 ， 图像中出现了色彩平移现象 ， 因此与原图像相比出现了色彩失真现象 。理论上来讲 ， 运用梯度金字塔变换由于考虑到了图像的方向信息 ， 生成的融合图像应该能够较好地表现其细节信息 ， 然而结果不是
21、很理想 ，原因是信息的延迟与超前采样的频率不匹配 。5 结束语文中主要对两种金字塔变换即拉普拉斯金字塔变换和梯度金字塔变换的原理进行了分析研究 ， 并将其运用于多曝光图像的融合中 ， 主要考虑其多分辨率与多尺度特性 ， 然后在融合过程中通过对图像分块处理 ，79第 1 期 江 铁等 : 基于金字塔变换的多曝光图像融合图1 多曝光图像序列图2 不同方法生成的高动态范围图像分别计算其三个信息测量因子 ， 用其联合乘积来表示整个块的信息量 。再通过加权处理 ， 得到最终的高动态范围图像 。实验验证了考虑了图像方向信息的梯度金字塔变换的融合结果实际上没有拉普拉斯金字塔变换的结果理想 ， 为以后的研究工
22、作提供很好的参考 。总体来讲 ， 基于金字塔变换的多曝光图像融合能够较好地表现实际场景中的细节信息 ， 融合效率较高 ， 具有一定的实用价值 。参考文献 : 1 那 彦 ， 焦李成 基于多分辨分析理论的图像融合方法 M 西安 : 西安电子科技大学出版社 ， 2007 2 李玲玲 像素级图像融合方法与应用 M 兰州 : 甘肃人民出版社 ， 2006 3 朱瑞辉 ， 万 敏 ， 范国滨 基于金字塔变换的图像融合方法 J 计算机仿真 ， 2007， 24( 12) : 178180 4 Adelson E H， Anderson C H， Bergen J R Pyramid methodsin i
23、mage processing J RCA Engineer ， 1984， 30( 5) : 3341 5 陈 浩 ， 王延杰 基于拉普拉斯金字塔变换的图像融合算法研究 J 激光与红外 ， 2009， 39( 4) : 439442 6 Mertens T， Kautz J， Reeth F V Exposure Fusion: A Simpleand Practical Alternative to High Dynamic Range Photogra-phy J Computer Graphics Forum， 2009， 28( 1) : 161171 7 Burt P J， Ade
24、lson E H The Laplacian pyramid as a compactimage code J IEEE Transactions on Communication，1983， 31( 4) : 532540 8 崔 颢 基于方向可控金字塔的图像融合算法 J 航空计算技术 ， 2011， 41( 4) : 2427 9 吴伟华 ， 钟 声 基于梯度的多曝光图像融合 J 计算机与现代化 ， 2011( 6) : 1820 10 许 欣 ， 陈 强 基于梯度域融合的图像视觉效果改善 J 中国图象图形学报 ， 2011， 16( 2) : 278286 11 Goshtasby A A Fusion of multiexposure images J Imageand Vision Computing， 2005， 23( 6) : 611618 12 华顺刚 ， 王丽丹 ， 欧宗瑛 基于多幅不同曝光量照片的场景高动态范围图像合成 J 大连理工大学学报 ， 2007， 47( 5) : 67868289 计算机技术与发展 第 23 卷
