图像拼接技术.doc

1、图像拼接技术图 像 拼 接 技 术 就 是 将 数 张 有 重 叠 部 分 的 图 像 (可 能 是 不 同 时 间 、 不 同 视 角 或 者 不 同传 感 器 获 得 的 )拼 成 一 幅 大 型 的 无 缝 高 分 辨 率 图 像 的 技 术 。图 像 配 准 和 图 像 融 合 是 图 像 拼 接 的 两 个 关 键 技 术 。图 像 配 准 是 图 像 融 合 的 基 础 ,而 且 图 像 配 准 算 法 的 计 算 量 一 般 非 常 大 ,因 此 图 像 拼接 技 术 的 发 展 很 大 程 度 上 取 决 于 图 像 配 准 技 术 的 创 新 。 早 期 的 图 像 配 准

2、技 术 主 要 采 用 点匹 配 法 ,这 类 方 法 速 度 慢 、 精 度 低 ,而 且 常 常 需 要 人 工 选 取 初 始 匹 配 点 ,无 法 适 应 大 数 据量 图 像 的 融 合 。图 像 拼 接 流 程 图 像 拼 接 的 方 法 很 多 ,不 同 的 算 法 步 骤 会 有 一 定 差 异 ,但 大 致 的 过 程是 相 同 的 。 一 般 来 说 ,图 像 拼 接 主 要 包 括 以 下 五 步 : a)图 像 预 处 理 。 包 括 数 字 图 像 处 理 的 基 本 操 作 (如 去 噪 、 边 缘 提 取 、 直 方 图 处 理 等 )、建 立 图 像 的 匹 配

3、 模 板 以 及 对 图 像 进 行 某 种 变 换 (如 傅 里 叶 变 换 、 小 波 变 换 等 )等 操 作 。 b)图 像 配 准 。 就 是 采 用 一 定 的 匹 配 策 略 ,找 出 待 拼 接 图 像 中 的 模 板 或 特 征 点 在 参 考图 像 中 对 应 的 位 置 ,进 而 确 定 两 幅 图 像 之 间 的 变 换 关 系 。 c)建 立 变 换 模 型 。 根 据 模 板 或 者 图 像 特 征 之 间 的 对 应 关 系 ,计 算 出 数 学 模 型 中 的 各参 数 值 ,从 而 建 立 两 幅 图 像 的 数 学 变 换 模 型 。 d)统 一 坐 标 变

4、 换 。 根 据 建 立 的 数 学 转 换 模 型 ,将 待 拼 接 图 像 转 换 到 参 考 图 像 的 坐 标系 中 ,完 成 统 一 坐 标 变 换 。 e)融 合 重 构 。 将 带 拼 接 图 像 的 重 合 区 域 进 行 融 合 得 到 拼 接 重 构 的 平 滑 无 缝 全 景 图 像 。相 邻 图 像 的 配 准 及 拼 接 是 全 景 图 生 成 技 术 的 关 键 ,有 关 图 像 配 准 技 术 的 研 究 至 今 已有 很 长 的 历 史 ,其 主 要 的 方 法 有 以 下 两 种 :基 于 两 幅 图 像 的 亮 度 差 最 小 的 方 法 和 基 于 特征

5、的 方 法 。本 文 采 用 基 于 特 征 模 板 匹 配 特 征 点 的 拼 接 方 法 。 该 方 法 允 许 待 拼 接 的 图 像 有 一 定 的倾 斜 和 变 形 ,克 服 了 获 取 图 像 时 轴 心 必 须 一 致 的 问 题 ,同 时 允 许 相 邻 图 像 之 间 有 一 定 色差 。 全 景 图 的 拼 接 主 要 包 括 以 下 4个 步 骤 ： 图 像 的 预 拼 接 ,即 确 定 两 幅 相 邻 图 像 重 合 的较 精 确 位 置 ,为 特 征 点 的 搜 索 奠 定 基 础 。 特 征 点 的 提 取 ,即 在 基 本 重 合 位 置 确 定 后 ,找到 待

6、匹 配 的 特 征 点 。 图 像 矩 阵 变 换 及 拼 接 ,即 根 据 匹 配 点 建 立 图 像 的 变 换 矩 阵 并 实 现 图像 的 拼 接 。 最 后 是 图 像 的 平 滑 处 理 。图像配准图像配准(Image registration)就是将不同时间、不同传感器(成像设备)或不同条件下( 天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。配 准 技 术 的 流 程 如 下 ： 首 先 对 两 幅 图 像 进 行 特 征 提 取 得 到 特 征 点 ； 通 过 进 行 相 似 性度 量 找

7、到 匹 配 的 特 征 点 对 ； 然 后 通 过 匹 配 的 特 征 点 对 得 到 图 像 空 间 坐 标 变 换 参 数 ： 最 后由 坐 标 变 换 参 数 进 行 图 像 配 准 。 而 特 征 提 取 是 配 准 技 术 中 的 关 键 ， 准 确 的 特 征 提 取 为 特征 匹 配 的 成 功 进 行 提 供 了 保 障 。 因 此 ， 寻 求 具 有 良 好 不 变 性 和 准 确 性 的 特 征 提 取 方 法 ，对 于 匹 配 精 度 至 关 重 要 。 图 像 配 准 的 方 式图 像 配 准 的 方 式 可 以 概 括 为 相 对 配 准 和 绝 对 配 准 两 种

8、：相 对 配 准 是 指 选 择 多 图 像 中 的 一 张 图 像 作 为 参 考 图 像 ， 将 其 它 的 相 关 图 像 与 之 配 准 ，其 坐 标 系 统 是 任 意 的 。绝 对 配 准 是 指 先 定 义 一 个 控 制 网 格 ， 所 有 的 图 像 相 对 于 这 个 网 格 来 进 行 配 准 ， 也 就是 分 别 完 成 各 分 量 图 像 的 几 何 校 正 来 实 现 坐 标 系 的 统 一 。如 何 确 定 多 图 像 之 间 的 配 准 函 数 映 射 关 系 是 图 像 配 准 的 关 键 。 通 常 通 过 一 个 适 当 的多 项 式 来 拟 合 两 图

9、像 之 间 的 平 移 、 旋 转 和 仿 射 变 换 ， 由 此 将 图 像 配 准 函 数 映 射 关 系 转 化为 如 何 确 定 多 项 式 的 系 数 ， 最 终 转 化 为 如 何 确 定 配 准 控 制 点 （ RCP） 。 图 像 配 准 方 法目 前 ， 根 据 如 何 确 定 RCP 的 方 法 和 图 像 配 准 中 利 用 的 图 像 信 息 区 别 可 将 图 像 配 准方 法 分 为 三 个 主 要 类 别 ： 基 于 灰 度 信 息 法 、 变 换 域 法 和 基 于 特 征 法 1， 其 中 基 于 特 征法 又 可 以 根 据 所 用 的 特 征 属 性 的

10、不 同 而 细 分 为 若 干 类 别 。 以 下 将 根 据 这 一 分 类 原 则 来 讨论 目 前 已 经 报 道 的 各 种 图 像 配 准 方 法 和 原 理 。 绪 论基 于 灰 度 信 息 的 图 像 配 准 方 法 一 般 不 需 要 对 图 像 进 行 复 杂 的 预 先 处 理 ， 而 是 利 用 图像 本 身 具 有 灰 度 的 一 些 统 计 信 息 来 度 量 图 像 的 相 似 程 度 。 主 要 特 点 是 实 现 简 单 ， 但 应 用范 围 较 窄 ， 不 能 直 接 用 于 校 正 图 像 的 非 线 性 形 变 ， 在 最 优 变 换 的 搜 索 过 程

11、中 往 往 需 要 巨大 的 运 算 量 。 经 过 几 十 年 的 发 展 ， 人 们 提 出 了 许 多 基 于 灰 度 信 息 的 图 像 配 准 方 法 ， 大 致可 以 分 为 三 类 ： 互 相 关 法 （ 也 称 模 板 匹 配 法 ） 、 序 贯 相 似 度 检 测 匹 配 法 、 交 互 信 息 法 。互 相 关 法互 相 关 法 是 最 基 本 的 基 于 灰 度 统 计 的 图 像 配 准 的 方 法 ， 通 常 被 用 于 进 行 模 板 匹 配 和 模 式识 别 。 它 是 一 种 匹 配 度 量 ， 通 过 计 算 模 板 图 像 和 搜 索 窗 口 之 间 的 互

12、 相 关 值 ， 来 确 定 匹 配的 程 度 ， 互 相 关 值 最 大 时 的 搜 索 窗 口 位 置 决 定 了 模 板 图 像 在 待 配 准 图 像 中 的 位 置 。序 贯 相 似 度 检 测 匹 配 法 （ SSDA）序 贯 相 似 度 检 测 匹 配 法 （ Sequential Similarity Detection Algorithms， SSDA）是 由 Barnea 等 人 提 出 来 的 。 SSDA 方 法 的 最 主 要 的 特 点 是 处 理 速 度 快 。 该 方 法 先 选择 一 个 简 单 的 固 定 门 限 T， 若 在 某 点 上 计 算 两 幅 图

13、 像 残 差 和 的 过 程 中 ， 残 差 和 大 于 该固 定 门 限 T， 就 认 为 当 前 点 不 是 匹 配 点 ， 从 而 终 止 当 前 的 残 差 和 的 计 算 ， 转 向 别 的 点 去计 算 残 差 和 ， 最 后 认 为 残 差 和 增 长 最 慢 的 点 就 是 匹 配 点 。 交 互 信 息 法交 互 信 息 法 最 初 是 Viola 等 人 于 1995年 把 交 互 信 息 引 入 到 图 像 配 准 的 领 域 的 ， 它是 基 于 信 息 理 论 的 交 互 信 息 相 似 性 准 则 。 初 衷 是 为 了 解 决 多 模 态 医 学 图 像 的 配

14、准 问 题 。 交 互 信 息 用 来 比 较 两 幅 图 像 的 统 计 依 赖 性 。 首 先 将 图 像 的 灰 度 视 作 具 有 独 立 样 本 的 空 间均 匀 随 机 过 程 ， 相 关 的 随 机 场 可 以 采 用 高 斯 马 尔 科 夫 随 机 场 模 型 建 立 ， 用 统 计 特 征及 概 率 密 度 函 数 来 描 述 图 像 的 统 计 性 质 。 交 互 信 息 是 两 个 随 机 变 量 A 和 B 之 间 统 计相 关 性 的 量 度 ， 或 是 一 个 变 量 包 含 另 一 个 变 量 的 信 息 量 的 量 度 。 交 互 信 息 是用 A 和 B 的

15、个 体 熵 和 和 联 合 熵 来 表 示 ： （ 14 11） 其 中 ： 这 里 分 别 为 随 机 变 量 A 和 B 的 边 缘 概 率 密 度 ； 为 两 个 随 机 变 量 的 联 合 概 率 密 度 分 布 。 交互 信 息 用 于 图 像 配 准 的 关 键 思 想 是 ： 如 果 两 幅 图 像 达 到 匹 配 ， 它 们 的 交 互 信 息 达 到 最 大值 。 在 图 像 配 准 应 用 中 ， 通 常 联 合 概 率 密 度 和 边 缘 概 率 密 度 可 以 用 两 幅 图 像 重 叠 区 域 的联 合 概 率 直 方 图 和 边 缘 概 率 直 方 图 来 估 计

16、， 或 者 用 Parzen 窗 概 率 密 度 估 计 法 来 估 计 ，从 而 来 计 算 交 互 信 息 。 交 互 信 息 图 像 配 准 方 法 一 经 提 出 ， 有 不 少 基 于 此 类 的 研 究 ，尤 其 在 医 学 图 像 的 配 准 问 题 上 。 比 如 将 交 互 信 息 和 梯 度 结 合 起 来 改 善 其 极 值 性 能 的 算 法 、多 分 辨 率 图 像 金 字 塔 法 等 等 。 但 交 互 信 息 是 建 立 在 概 率 密 度 估 计 的 基 础 上 的 ， 有 时 需 要建 立 参 数 化 的 概 率 密 度 模 型 ， 它 要 求 的 计 算 量

17、 很 大 ， 并 且 要 求 图 像 之 间 有 很 大 的 重 叠 区域 ， 由 此 函 数 可 能 出 现 病 态 ， 且 有 大 量 的 局 部 极 值 。 傅 氏 变 换 方 法最 主 要 的 变 换 域 的 图 像 配 准 方 法 是 傅 氏 变 换 方 法 ， 它 主 要 有 以 下 一 些 优 点 ： 图 像 的平 移 、 旋 转 、 仿 射 等 变 换 在 傅 氏 变 换 域 中 都 有 相 应 的 体 现 ； 利 用 变 换 域 的 方 法 还 有 可 能获 得 一 定 程 度 的 抵 抗 噪 声 的 鲁 棒 性 ； 由 于 傅 氏 变 换 有 成 熟 的 快 速 算 法 和

18、 易 于 硬 件 实 现 ，因 而 在 算 法 实 现 上 有 其 独 特 的 优 势 。 相 位 相 关 技 术 是 配 准 两 幅 图 像 平 移 失 配 的基 本 傅 氏 变 换 方 法 。 相 位 相 关 依 据 的 是 傅 氏 变 换 的 平 移 性 质 。 给 定 两 幅 图 像 ， 它 们 之 间的 唯 一 区 别 是 存 在 一 个 位 移 ， 即 ： （ 14 12） 则 它 们 之 间 的 傅 氏 变 换 满 足 下 式 ： （ 14 13） 它 们 之 间 的 共 扼 傅 氏 变 换 和 满 足 下 式 ： （ 14 14） 这 就 是 说 两 幅 图 像 有 相 同 的

19、 傅 氏 变 换 幅 度 和 不 同 的 相 位 关 系 ， 而 相 位关 系 是 由 它 们 之 间 的 平 移 直 接 决 定 的 。 两 幅 图 像 的 交 叉 功 率 谱 如 下 ： （ 14 15） 这 里 *为 共 扼 运 算 ， 可 以 看 出 两 幅 图 像 的 相 位 差 就 等 于 它 们 交 叉 功 率谱 的 相 位 。 对 其 进 行 傅 立 叶 反 变 换 会 得 到 一 个 脉 冲 函 数 ， 它 在 其 他 各 处 几 乎 为 零 ， 只 在平 移 的 位 置 上 不 为 零 。 这 个 位 置 就 是 要 确 定 的 配 准 位 置 。 共 同 之 处基 于 特

20、 征 的 匹 配 方 法 的 共 同 之 处 是 首 先 要 对 待 配 准 图 像 进 行 预 处 理 ， 也 就 是 图 像 分割 和 特 征 提 取 的 过 程 ， 再 利 用 提 取 得 到 的 特 征 完 成 两 幅 图 像 特 征 之 间 的 匹 配 ， 通 过 特 征的 匹 配 关 系 建 立 图 像 之 间 的 配 准 映 射 关 系 。 由 于 图 像 中 有 很 多 种 可 以 利 用 的 特 征 ， 因 而产 生 了 多 种 基 于 特 征 的 方 法 。 常 用 到 的 图 像 特 征 有 ： 特 征 点 （ 包 括 角 点 、 高 曲 率 点 等 ）直 线 段 、 边

21、 缘 、 轮 廓 、 闭 合 区 域 、 特 征 结 构 以 及 统 计 特 征 如 矩 不 变 量 、 重 心 等 等 。 点 特 征是 配 准 中 常 用 到 的 图 像 特 征 之 一 ， 其 中 主 要 应 用 的 是 图 像 中 的 角 点 ， 图 像 中 的 角 点在 计 算 机 视 觉 模 式 识 别 以 及 图 像 配 准 领 域 都 有 非 常 广 泛 的 应 用 。 基 于 角 点 的 图 像 配 准 的主 要 思 路 是 首 先 在 两 幅 图 像 中 分 别 提 取 角 点 ， 再 以 不 同 的 方 法 建 立 两 幅 图 像 中 角 点 的 相互 关 联 ， 从 而

22、 确 立 同 名 角 点 ， 最 后 以 同 名 角 点 作 为 控 制 点 ， 确 定 图 像 之 间 的 配 准 变 换 。由 于 角 点 的 提 取 已 经 有 了 相 当 多 的 方 法 可 循 ， 因 此 基 于 角 点 的 方 法 最 困 难 的 问 题 就 是 怎样 建 立 两 幅 图 像 之 间 同 名 点 的 关 联 。 已 报 道 的 解 决 点 匹 配 问 题 的 方 法 包 括 松 弛 法 、 相 对距 离 直 方 图 聚 集 束 检 测 法 、 Hausdorff 距 离 及 相 关 方 法 等 等 。 这 些 方 法 都 对 检 测 到 的角 点 要 求 比 较 苛

23、 刻 ， 比 如 有 求 同 样 多 的 数 目 ， 简 单 的 变 换 关 系 等 等 ， 因 而 不 能 适 应 普 遍的 配 准 应 用 。 提 高 匹 配 质 量基 于 图 像 配 准 的 原 理 、 步 骤 和 方 法 ， 以 及 如 何 确 定 图 像 配 准 的 准 则 ， 知 道 影 像 匹 配的 速 度 、 精 度 和 可 靠 性 是 评 价 匹 配 质 量 好 坏 的 三 个 重 要 指 标 。 如 何 尽 可 能 提 高 匹 配 质 量 、特 别 在 精 度 和 可 靠 性 满 足 的 前 提 下 进 一 步 提 高 影 像 匹 配 速 度 ， 一 直 是 计 算 机 视

24、 觉 、 模 式识 别 等 领 域 研 究 的 课 题 。 2图像融合图 像 融 合 （ Image Fusion） 是 指 将 多 源 信 道 所 采 集 到 的 关 于 同 一 目 标 的 图 像 数 据 经 过图 像 处 理 和 计 算 机 技 术 等 ， 最 大 限 度 的 提 取 各 自 信 道 中 的 有 利 信 息 ， 最 后 综 合 成 高 质 量的 图 像 ， 以 提 高 图 像 信 息 的 利 用 率 、 改 善 计 算 机 解 译 精 度 和 可 靠 性 、 提 升 原 始 图 像 的 空间 分 辨 率 和 光 谱 分 辨 率 ， 利 于 监 测 。 图 像 融 合 技

25、术 是 指 将 多 源 信 道 所 采 集 到 的关 于 同 一 目 标 的 图 像 经 过 一 定 的 图 像 处 理 ， 提 取 各 自 信 道 的 信 息 ， 最 后 综 合 成 同 一 图 像以 供 观 察 或 进 一 步 处 理 。高 效 的 图 像 融 合 方 法 可 以 根 据 需 要 综 合 处 理 多 源 通 道 的 信 息 ， 从 而 有 效 地 提 高 了 图像 信 息 的 利 用 率 、 系 统 对 目 标 探 测 识 别 地 可 靠 性 及 系 统 的 自 动 化 程 度 。 其 目 的 是 将 单 一传 感 器 的 多 波 段 信 息 或 不 同 类 传 感 器 所

26、 提 供 的 信 息 加 以 综 合 ， 消 除 多 传 感 器 信 息 之 间 可能 存 在 的 冗 余 和 矛 盾 ， 以 增 强 影 像 中 信 息 透 明 度 ， 改 善 解 译 的 精 度 、 可 靠 性 以 及 使 用 率 ，以 形 成 对 目 标 的 清 晰 、 完 整 、 准 确 的 信 息 描 述 。 这 诸 多 方 面 的 优 点 使 得 图 像 融合 在 医 学 、 遥 感 、 计 算 机 视 觉 、 气 象 预 报 及 军 事 目 标 识 别 等 方 面 的 应 用 潜 力 得 到 充 分 认识 、 尤 其 在 计 算 机 视 觉 方 面 ， 图 像 融 合 被 认 为

27、 是 克 服 目 前 某 些 难 点 的 技 术 方 向 ； 在 航 天 、航 空 多 种 运 载 平 台 上 ， 各 种 遥 感 器 所 获 得 的 大 量 光 谱 遥 感 图 像 （ 其 中 分 辨 率 差 别 、 灰 度等 级 差 别 可 能 很 大 ） 的 复 合 融 合 ， 为 信 息 的 高 效 提 取 提 供 了 良 好 的 处 理 手 段 ， 取 得 明 显效 益 。 一 般 情 况 下 ， 图 像 融 合 由 低 到 高 分 为 三 个 层 次 ： 数 据 级 融 合 、 特 征 级 融 合 、 决 策 级融 合 。 数 据 级 融 合 也 称 像 素 级 融 合 ， 是 指

28、 直 接 对 传 感 器 采 集 来 得 数 据 进 行 处 理 而 获 得 融合 图 像 的 过 程 ， 它 是 高 层 次 图 像 融 合 的 基 础 ， 也 是 目 前 图 像 融 合 研 究 的 重 点 之 一 。 这 种融 合 的 优 点 是 保 持 尽 可 能 多 得 现 场 原 始 数 据 ， 提 供 其 它 融 合 层 次 所 不 能 提 供 的 细 微 信 息 。像 素 级 融 合 中 有 空 间 域 算 法 和 变 换 域 算 法 ， 空 间 域 算 法 中 又 有 多 种 融 合 规 则 方 法 ，如 逻 辑 滤 波 法 ， 灰 度 加 权 平 均 法 ， 对 比 调 制

29、 法 等 ； 变 换 域 中 又 有 金 字 塔 分 解 融 合 法 ， 小波 变 换 法 。 其 中 的 小 波 变 换 是 当 前 最 重 要 ， 最 常 用 的 方 法 。 在 特 征 级 融 合 中 ，保 证 不 同 图 像 包 含 信 息 的 特 征 ， 如 红 外 光 对 于 对 象 热 量 的 表 征 ， 可 见 光 对 于 对 象 亮 度 的表 征 等 等 。 决 策 级 融 合 主 要 在 于 主 观 的 要 求 ， 同 样 也 有 一 些 规 则 ， 如 贝 叶 斯 法 ，D-S 证 据 法 和 表 决 法 等 。 融 合 算 法 常 结 合 图 像 的 平 均 值 、 熵 值 、 标 准 偏 差 、 平 均梯 度 ； 平 均 梯 度 反 映 了 图 像 中 的 微 小 细 节 反 差 与 纹 理 变 化 特 征 ， 同 时 也 反 映 了 图 像 的 清晰 度 。 目 前 对 图 像 融 合 存 在 两 个 问 题 ： 最 佳 小 波 基 函 数 的 选 取 和 最 佳 小 波 分 解 层 数 的 选取 。