基于拉普拉斯金字塔变换的图像融合算法研究.pdf

1、第 39卷 第 4期 激 光 与 红 外 Vol. 39, No. 42009年 4月 LASER 2. 中 国 科 学 院 研 究 生 院 ,北 京 100039)摘 要 :阐 述 了 基 于 拉 普 拉 斯 金 字 塔 变 换 的 图 像 融 合 原 理 和 方 法 :首 先 对 源 图 像 分 别 进 行 拉 普拉 斯 金 字 塔 分 解 ,然 后 对 分 解 后 的 各 层 图 像 采 用 不 同 的 融 合 准 则 进 行 融 合 ,最 后 ,对 融 合 金 字塔 做 拉 普 拉 斯 金 字 塔 反 变 换 得 到 最 终 的 融 合 图 像 。 通 过 对 可 见 光 与 红 外

2、图 像 的 融 合 结 果 分析 ,实 验 结 果 表 明 ,该 算 法 能 得 到 具 有 更 多 有 用 信 息 的 高 对 比 度 的 融 合 图 像 。 融 合 效 果 良 好 。关 键 词 :图 像 融 合 ;拉 普 拉 斯 金 字 塔 ;融 合 准 则 ;红 外 图 像中 图 分 类 号 : TP391. 4 文 献 标 识 码 : AResearch on Image Fusion Algorithm Based on LaplacianPyram id TransformCHEN Hao1, 2 ,WANG Yan2jie1(1. Changchun Institute of

3、Op tics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China;2. Graduate School of the Chinese Academy of Sciences, Beijing 100039, China)Abstract: This paper exp lains the theory and method of image fusion based on Lap lacian pyram id. The Lap lacian im2age fusion schem

4、e begins by constructing Lap lacian pyram ids for each source image, and then each level of Lap lacianpyram ids is fused with different fusion rule. Finally, the end fused image is obtained by inverse Lap lacian pyram idtransform. By analyzing the fusion image with visible and infrared image, the ex

5、perimental results show that this algo2rithm can p roduce high2contrast fusion image that are clearly more appealing and have greater useful information con2tent. It p roves that the algorithm can get a good fusion result.Key words: image fusion; Lap lacian pyram id; fusion rule; infrared image1 引 言

6、图 像 处 理 中 的 金 字 塔 算 法 最 早 是 由 Burt和Adelson提 出 的 ,是 一 种 多 尺 度 、 多 分 辨 率 的 方 法 。基 于 金 字 塔 分 解 的 图 像 融 合 算 法 的 融 合 过 程 是 在 不同 尺 度 、 不 同 空 间 分 辨 率 和 不 同 分 解 层 上 分 别 进 行的 ,与 简 单 图 像 融 合 算 法 相 比 能 够 获 得 更 好 的 融 合效 果 ,同 时 能 够 在 更 广 泛 的 场 合 使 用 。2 图 像 拉 普 拉 斯 金 字 塔 分 解 的 基 本 原 理由 于 图 像 的 拉 普 拉 斯 金 字 塔 的 构 成

7、 是 在 高 斯 金字 塔 的 基 础 上 演 变 而 来 的 ,因 此 首 先 得 对 图 像 进 行高 斯 金 字 塔 分 解 。2. 1 图 像 的 高 斯 金 字 塔 分 解设 原 图 像 为 G0 ,以 G0 作 为 高 斯 金 字 塔 的 第 0层 (底 层 ) ,对 原 始 输 入 图 像 进 行 高 斯 低 通 滤 波 和隔 行 隔 列 的 下 采 样 ,得 到 高 斯 金 字 塔 的 第 一 层 ;再对 第 一 层 图 像 低 通 滤 波 和 下 采 样 ,得 到 高 斯 金 字塔 的 第 二 层 ;重 复 以 上 过 程 ,构 成 高 斯 金 字 塔 。 高作 者 简 介

8、:陈 浩 ( 1982 - ) ,男 ,博 士 研 究 生 ,主 要 研 究 邻 域 为数 字 图 像 处 理 。 E2mail: ciompchen163. com收 稿 日 期 : 2008209225斯 金 字 塔 的 构 建 过 程 为 :假 设 高 斯 金 字 塔 的 第 l层图 像 为 Gl :Gl ( i, j) = 2m = - 22n = - 2 (m , n) Gl - 1 (2 i +m , 2 j + n)(1 l N , 0 i R l , 0 j Cl ) (1)式 中 , N 为 高 斯 金 字 塔 顶 层 的 层 号 ; R l 和 Cl 分 别 为高 斯 金

9、字 塔 第 l层 的 行 数 和 列 数 ; (m , n)是 一 个 二维 可 分 离 的 5 5窗 口 函 数 ,表 达 式 为 : = 12561 4 6 4 14 16 24 16 46 24 36 24 64 16 24 16 41 4 6 4 1(2)至 此 ,由 G0 , G1 , , GN 就 构 成 了 高 斯 金 字 塔 ,其 中 G0 为 金 字 塔 的 底 层 (与 原 图 像 相 同 ) , GN 为 金字 塔 的 顶 层 。 可 见 高 斯 金 字 塔 的 当 前 层 图 像 是 对 其前 一 层 图 像 先 进 行 高 斯 低 通 滤 波 ,然 后 作 隔 行 和

10、 隔列 的 降 2采 样 而 生 成 的 。 当 前 层 图 像 的 大 小 依 次 为前 一 层 图 像 大 小 的 1 /4。2. 2 图 像 的 拉 普 拉 斯 金 字 塔 分 解将 Gl 内 插 方 法 ,得 到 放 大 图 像 G3l ,使 G3l 的 尺寸 与 Gl - 1的 尺 寸 相 同 ,表 示 为 :G3l ( i, j) = 4 2m = - 22n = - 2 (m , n) Gl ( i +m2 , j + n2 )(0 l N , 0 i R l , 0 j Cl )(3)式 中 ,G3l ( i +m2 , j + n2 ) =Gl ( i +m2 , j + n

11、2 ) ,当 i +m2 , j + n2 为 整 数 时0,其 他(4)令L Pl = Gl - G3l + 1 ,当 0 l N 时L PN = GN ,当 l =N 时(5)式 中 , N 为 拉 普 拉 斯 金 字 塔 顶 层 的 层 号 ; L Pl 是 拉 普拉 斯 金 字 塔 分 解 的 第 l层 图 像 。由 L P0 , L P1 , , L Pl , , L PN 构 成 的 金 字 塔 即 为拉 普 拉 斯 金 字 塔 。 它 的 每 一 层 图 像 是 高 斯 金 字 塔 本层 图 像 与 其 高 一 图 像 经 内 插 放 大 后 图 像 的 差 ,此 过程 相 当

12、于 带 通 滤 波 ,因 此 拉 普 拉 斯 金 字 塔 又 称 为 带通 金 字 塔 分 解 。2. 3 由 拉 普 拉 斯 金 字 塔 重 建 原 图 像由 式 (5)可 得 :GN =L PN ,当 l =N 时Gl =L Pl + G3l + 1 ,当 0 l N 时(6)式 (6)说 明 ,从 拉 普 拉 斯 金 字 塔 的 顶 层 开 始 逐 层 由上 至 下 按 式 ( 6)进 行 递 推 ,可 以 恢 复 其 对 应 的 高 斯金 字 塔 ,并 最 终 可 得 到 原 图 像 G0。3 基 于 拉 普 拉 斯 金 字 塔 分 解 的 图 像 融 合图 像 拉 普 拉 斯 金 字

13、 塔 分 解 的 目 的 是 将 源 图 像分 别 分 解 到 不 同 的 空 间 频 带 上 ,融 合 过 程 是 在 各空 间 频 率 层 上 分 别 进 行 的 ,这 样 就 可 以 针 对 不 同分 解 层 的 不 同 频 带 上 的 特 征 与 细 节 ,采 用 不 同 的融 合 算 子 以 达 到 突 出 特 定 频 带 上 特 征 与 细 节 的 目的 。 即 有 可 能 将 来 自 不 同 图 像 的 特 征 与 细 节 融 合在 一 起 。设 LA l 和 LB l 分 别 为 源 图 像 A, B 经 过 拉 普 拉 斯金 字 塔 分 解 后 得 到 的 第 l层 图 像

14、,融 合 后 的 结 果 为L Fl (0 l N )。 当 l =N 时 , LAN 和 LBN 分 别 为 源 图像 A, B 经 过 拉 普 拉 斯 金 字 塔 分 解 后 得 到 的 顶 层 图像 。 对 于 顶 层 图 像 的 融 合 ,首 先 计 算 以 其 各 个 像 素为 中 心 的 区 域 大 小 为 M N (M , N 取 奇 数 且 M 3,N 3)的 区 域 平 均 梯 度 :G = 1(M - 1) (N - 1) M - 1i = 1N - 1j = i( I2x + I2y ) /2 (7)其 中 , Ix 与 Iy 分 别 为 像 素 f ( x, y)在 x

15、与 y方 向 上的 一 阶 差 分 ,定 义 如 下 : Ix = f ( x, y) - f ( x - 1, y) (8) Iy = f ( x, y) - f ( x, y - 1) (9)因 此 对 于 顶 层 图 像 中 的 每 一 个 像 素 LAN ( i, j)和 LBN ( i, j)都 可 以 得 到 与 之 相 对 应 的 区 域 平 均 梯度 GA ( i, j)和 GB ( i, j)。由 于 平 均 梯 度 反 映 了 图 像 中 的 微 小 细 节 反 差 和纹 理 变 化 特 征 ,同 时 也 反 映 出 图 像 的 清 晰 度 。 一 般来 说 平 均 梯 度

16、 越 大 ,图 像 层 次 也 丰 富 ,则 图 像 越 清晰 。 因 此 顶 层 图 像 的 融 合 结 果 为 :L FN ( i, j) = LAN( i, j) GA ( i, j) GB ( i, j)LBN ( i, j) GA ( i, j) GB ( i, j)(10)当 0 l N 时 ,则 对 于 经 过 拉 普 拉 斯 金 字 塔 分解 的 第 l层 图 像 ,首 先 计 算 其 区 域 能 量 :ARE ( i, j) = p- pq- q ( p, q) |LAN ( i + p, j + q) |(11)044 激 光 与 红 外 第 39卷BRE ( i, j)

17、= p- pq- q ( p, q) |LBN ( i + p, j + q) |(12)这 里 p = 1, q = 1, = 1161 2 12 4 21 2 1,则 其 他 层 次图 像 的 融 合 结 果 为 :L Fl ( i, j) =LA l ( i, j) ARE ( i, j) BRE ( i, j)LB l ( i, j) ARE ( i, j) BRE ( i, j)0 l N(13)在 得 到 金 字 塔 各 个 层 次 的 融 合 图 像 L F1 , L F2 , , L FN 后 ,通 过 式 ( 6)重 构 ,便 可 得 到 最 终 的 融 合图 像 。4 图

18、像 融 合 效 果 的 客 观 评 价由 于 人 对 融 合 图 像 质 量 进 行 主 观 评 价 时 ,评 价尺 度 很 难 掌 握 ,采 用 客 观 评 价 标 准 就 能 克 服 人 的 视觉 特 性 、 心 理 状 态 等 因 素 的 影 响 。 本 文 中 主 要 采 用以 下 几 个 指 标 来 衡 量 融 合 图 像 的 效 果 :(1)熵图 像 的 熵 是 包 含 平 均 信 息 量 多 少 的 度 量 ,其 定义 为 :H = - L - 1i = 0p ( i) log2 p ( i) (14)式 中 , p ( i)为 灰 度 i的 分 布 概 率 ,其 范 围 是 0

19、, 1, ,L - 1 。 融 合 后 图 像 的 熵 值 大 小 反 映 了 图 像 包 含 信息 量 的 多 少 ,熵 值 越 大 说 明 融 合 的 效 果 相 对 越 好 。(2)空 间 频 率已 知 融 合 图 像 F大 小 为 M N , M 为 图 像 行 数 ,N 为 图 像 列 数 。 行 频 率 为 :RF = 1MNMi = 1Nj = 2 F ( i, j) - F ( i, j - 1) 2 (15)列 频 率 为 :CF = 1MNMi = 1Nj = 2 F ( i, j) - F ( i - 1, j) 2 (16)则 空 间 频 率 为 :SF = RF2 +

20、 CF2 (17)空 间 频 率 反 映 图 像 的 全 面 活 跃 水 平 ,其 值 越 大 ,图 像 越 清 晰 。(3)平 均 梯 度已 知 融 合 图 像 F大 小 为 M N ,则 由 式 (7) 式(9)可 计 算 出 图 像 的 平 均 梯 度 。 平 均 梯 度 越 大 ,图像 越 清 晰 。5 实 验 结 果 及 分 析本 文 的 所 有 算 法 都 是 运 用 Matlab7. 0实 现 的 。图 1、 图 3和 图 2、 图 4是 两 组 已 配 准 好 且 像 素 位 宽一 致 的 待 融 合 源 图 像 ,图 1、 图 2为 可 见 光 图 像 ,图3、 图 4为 红

21、 外 图 像 。 图 5是 图 1和 图 3采 用 本 文 算法 融 合 后 得 到 的 图 像 ,图 6是 图 2和 图 4采 用 本 文算 法 融 合 后 得 到 的 图 像 。 在 融 合 过 程 中 ,金 字 塔 的分 解 为 4层 ,其 中 在 对 顶 层 图 像 融 合 时 ,计 算 区 域 平均 梯 度 大 小 的 区 域 为 5 5。 两 组 图 像 分 别 是 夜 晚和 白 天 的 景 象 ,融 合 后 都 能 比 较 全 面 地 反 映 场 景 。这 表 明 了 本 文 算 法 在 红 外 图 像 与 可 见 光 图 像 融 合 方面 应 用 的 广 泛 性 。图 1 可

22、见 光 图 像 1图 2 可 见 光 图 像 2图 3 红 外 图 像 1144激 光 与 红 外 No. 4 2009 陈 浩 等 基 于 拉 普 拉 斯 金 字 塔 变 换 的 图 像 融 合 算 法 研 究图 4 红 外 图 像 2图 5 融 合 图 像 1图 6 融 合 图 像 2表 1是 对 上 述 图 像 的 客 观 数 据 统 计 ,采 用 本 文算 法 进 行 融 合 的 图 像 ,其 熵 、 空 间 频 率 、 平 均 梯 度 相对 源 图 像 都 有 提 高 ,这 表 明 采 用 本 文 算 法 能 较 好 地综 合 源 图 像 信 息 。 但 是 ,该 算 法 也 有 不

23、 足 之 处 ,通 过对 融 合 图 像 的 观 察 ,尤 其 是 对 融 合 图 像 2的 观 察 ,虽然 隐 藏 在 烟 雾 后 面 的 人 和 发 光 物 体 能 很 好 地 表 现 出来 ,但 天 空 中 的 云 的 表 现 显 然 有 问 题 。 这 说 明 各 层拉 普 拉 斯 金 字 塔 的 融 合 准 则 仍 有 改 进 的 余 地 。表 1 客 观 数 据 统 计图 像 熵 空 间 频 率 平 均 梯 度可 见 光 图 像 1 5. 0785 10. 5102 3. 4509红 外 图 像 1 6. 7291 8. 5163 4. 7978融 合 图 像 1 6. 8656

24、12. 8368 6. 5063可 见 光 图 像 2 7. 1831 10. 5319 5. 4611红 外 图 像 2 6. 3753 2. 6543 1. 9724融 合 图 像 2 7. 2054 10. 9678 6. 31866 结 论针 对 红 外 和 可 见 光 图 像 的 特 点 ,本 文 提 出 了 一种 改 进 的 基 于 拉 普 拉 斯 金 字 塔 的 图 像 融 合 算 法 ,该算 法 充 分 利 用 了 可 见 光 图 像 较 高 的 空 间 分 辨 率 和 红外 图 像 对 热 目 标 敏 感 的 特 点 。 实 验 数 据 和 视 觉 效 果表 明 ,该 融 合

25、 算 法 有 效 地 保 留 了 图 像 信 息 。 对 于 算法 的 不 足 之 处 ,还 需 要 针 对 源 图 像 的 特 点 ,对 融 合 算子 进 行 研 究 ,以 获 取 完 美 的 融 合 图 像 。参 考 文 献 : 1 朱 瑞 辉 ,万 敏 ,范 国 滨 . 基 于 金 字 塔 变 换 的 图 像 融 合 方法 J .计 算 机 仿 真 , 2007, 24 (12) : 178 - 180. 2 Moira I Sm ith, Jam ie P Heather. Review of image fusiontechnology in 2005 J . Proc. SP IE

26、, 2005, 5782: 29 - 45. 3 玉 振 明 ,高 飞 . 基 于 金 字 塔 方 法 的 图 像 融 合 原 理 及 性能 评 价 J . 计 算 机 应 用 研 究 , 2004, 21 ( 10 ) :128 - 130. 4 韩 崇 昭 ,朱 红 艳 ,段 战 胜 . 多 源 信 息 融 合 M . 北 京 :清华 大 学 出 版 社 , 2006. 5 Yajun Song, Kun Gao, Guoqiang N i, et al. Imp lementationof real2time Lap lacian pyram id image fusion p roce

27、ssingbased on FPGA J . Proc. SP IE, 2007, 6833, 683316 - 1- 683316 - 8. 6 柴 奇 ,杨 伟 ,管 怡 ,等 . 一 种 改 进 的 可 见 光 与 红 外 图 像融 合 算 法 J . 红 外 技 术 , 2008, 30 (2) : 87 - 90. 7 李 建 林 ,俞 建 成 ,孙 胜 利 . 像 素 级 的 图 像 融 合 方 法 J .红 外 , 2007, 28 (11) : 9 - 13. 8 李 印 清 ,李 玲 玲 ,李 保 . 图 像 融 合 质 量 定 量 评 价 方 法 J . 中 国 惯 性 技 术 学 报 , 2007, 15 (6) : 702 - 706.244 激 光 与 红 外 第 39卷