1、第 27卷 第 4期2006年 12月上 海 海 事 大 学 学 报JOURNAL OF SHANGHA IMAR ITIME UN IVERSITYVol. 27 No. 4Dec. 2006文 章 编 号 : 167229498 (2006) 0420080204基 于 双 正 交 平 面 上 匹 配 点 对 的 摄 像 机 自 标 定 算 法任 蕾 ,杨 忠 根(上 海 海 事 大 学 信 息 工 程 学 院 , 上 海 200135 )摘 要 :论 述 由 位 于 正 交 平 面 上 的 特 征 点 对 集 合 复 原 无 穷 远 单 应 性 矩 阵 和 摄 像 机 内 参 数 的 新
2、 算 法 .通 过 对 无 穷 远 单 应 性 矩 阵 的 特 征 分 解 ,计 算 5参 数 摄 像 机 内 参 数 阵 . 提 出 3种 求 解 极 点 的 方 法 ,并对 它 们 的 效 果 进 行 对 比 . 实 验 表 明 ,该 算 法 可 行 且 具 有 较 好 鲁 棒 性 .关 键 词 : 单 应 性 矩 阵 ; 极 点 ; 正 交 平 面 ; 摄 像 机 自 标 定中 图 分 类 号 : TN941. 1 文 献 标 志 码 : ACamera self2calibration algorithm frommatched2point sets on two orthogonal
3、 planesREN Lei, YANG Zhonggen( Information Eng. College, ShanghaiMaritime Univ. , Shanghai 200135, China)Abstract: A new algorithm is p resented to determ ine infinite homography matrix and camera intrinsic ma2trix parameters under one camera motion set from the matched2point sets on two orthogonal
4、p lanes. Thecamera intrinsic matrix with five parameters is obtained through eigen value decomposition of the infinitehomography matrix. Based on the different methods obtaining ep ipole, three techniques are p rovided andcompared. Experiments demonstrate that the new algorithm is feasible and robus
5、t.Key words: homography matrix; ep ipole; orthogonal p lane; camera self2calibration收 稿 日 期 : 2006206221;修 回 日 期 : 2006209228基 金 项 目 :上 海 市 高 等 学 校 科 学 技 术 发 展 基 金 (01G02)作 者 简 介 :任 蕾 (19792) ,女 ,山 东 淄 博 人 ,助 教 ,博 士 研 究 生 ,研 究 方 向 为 通 信 与 信 息 系 统 , ( E2mail) leiren cie. shm tu. edu. cn0 引 言计 算 机 视 觉
6、 的 重 要 任 务 之 一 是 从 场 景 的 二 维 视图 进 行 目 标 的 三 维 重 建 ,因 此 必 须 进 行 摄 像 机 标 定 .自 从 HARTLEY 1 和 FAURGERAS 2 首 次 提 出 摄 像机 自 标 定 思 想 后 ,摄 像 机 自 标 定 已 成 为 计 算 机 视 觉的 热 门 研 究 课 题 . 其 中 ,先 估 计 无 穷 远 单 应 性 矩 阵 然后 复 原 内 参 数 阵 是 摄 像 机 线 性 自 标 定 的 常 用 技 术 ,受 到 学 术 界 的 广 泛 重 视 . 3 5 本 文 介 绍 1种 从 一 运 动 组 下 的 双 正 交 平
7、 面 上 特征 点 对 集 合 唯 一 确 定 无 穷 远 单 应 性 矩 阵 的 新 算 法 ,并 通 过 对 无 穷 远 单 应 性 矩 阵 的 特 征 分 解 ,计 算 5参数 摄 像 机 内 参 数 阵 . 计 算 极 点 过 程 中 ,提 出 3种 不 同的 求 解 思 路 ,通 过 实 验 对 该 算 法 的 性 能 进 行 分 析 .1 基 本 知 识摄 像 机 内 参 数 阵K =fh s h0fv v01(1)若 像 点 pi 在 数 字 坐 标 系 中 表 示 为 m i =m1 i m 2 i 1 T ,在 图 像 坐 标 系 中 表 示 为 m ( I)i =m ( I
8、)1 i m ( I)2 i 1 T ,则m i = Km ( I)i , 即 m ( I)i = K- 1 m i (2)其 中 ,上 标 T表 示 转 置 , ( h0 , v0 )是 图 像 主 点 , ( fh , fv )是 图 像 水 平 轴 和 垂 直 轴 的 尺 度 因 子 , s是 畸 变 因 子 .假 设 摄 像 机 成 像 服 从 针 孔 成 像 的 透 视 投 影 模型 ,则 三 维 点 Pi 在 摄 像 机 坐 标 系 中 的 坐 标 Xi 与 其二 维 像 点 pi 的 图 像 坐 标 m ( I)i 及 数 字 坐 标 m i 服 从 透视 投 影 公 式Xi =
9、 X3 im ( I)i = X3 i K- 1 m i (3)其 中 ,点 Pi 的 深 度 X3 i是 Xi 的 第 3分 量 .设 摄 像 机 历 经 三 维 运 动 ( R, t) ,其 中 , R为 三 维旋 转 阵 , t为 三 维 平 移 矢 量 ,则 三 维 点 Pi 在 摄 像 机 运动 前 后 的 三 维 坐 标 (Xi , X i )服 从 几 何 变 换X i = RXi + t (4)将 式 ( 3 ) 代 入 式 ( 4 ) , 有 X 3 i K- 1 m i =X3i RK- 1 m i + t,两 边 乘 以 K后 ,等 价 地H m i + uim i +
10、vi e = 0 (5)其 中 , ui = X 3 iX3 i, vi = lX3 i,有 对 H 的 约 束 方 程 X 3 im i= X3 i H m i + le,其 中 ,无 穷 远 平 面 单 应 性 矩 阵H = KR K- 1 (6)l = ( Kt) 3 是 Kt的 第 3分 量 ,极 点e = Ktl (7)考 虑 位 于 有 限 远 平 面 上 的 点 Pi ,设 该 平 面 在 摄 像机 坐 标 系 中 的 方 程 为nT Xi = X3 i nT K- 1 m i = d (8)其 中 ,单 位 矢 量 n 是 该 平 面 的 法 线 方 向 , d 是 坐 标原
11、点 到 该 平 面 的 距 离 . 将 式 (8)代 入 式 (5) ,有- uim i = H m i (9)其 中 ,在 摄 像 机 运 动 ( R, t)下 的 有 限 远 平 面 的 单应 性 矩 阵H = K R + tnTd K- 1 = H + exT (10)及 其 特 征 矢 量 x = K- T nd (11)点 对 (m i , m i )的 相 应 关 系 由 矩 阵 H 确 定 . 在运 动 ( R, t)下 , 不 同 的 平 面 有 不 同 的 单 应 性 矩 阵H ,但 却 有 唯 一 的 H .由 式 (5) ,有 外 极 线 约 束 (m i ) T Fm
12、i = 0 (12)其 中 ,基 础 矩 阵 F = e H = e H (13)上 标 的 含 义 是 :矢 量 e =eXeYeZ对 应 于 反 对 称 阵e =0 - eZ eYeZ 0 - eX- eY eX 0(14)式 (13)表 明 ,矩 阵 方 程 e H = F (15)的 通 解 是 H = H + exT (16)其 中 , x为 任 何 矢 量 ,在 仅 有 一 个 运 动 (R, t)时 ,依 据外 极 线 约 束 ( 12) ,使 用 双 视 图 复 原 技 术 的 8点 算法 ,可 确 定 基 础 矩 阵 F和 极 点 e. 注 意 ,不 能 从 H 必须 满 足
13、 的 约 束 方 程 ( 13)唯 一 地 确 定 无 穷 远 单 应 性矩 阵 H .2 无 穷 远 平 面 单 应 性 矩 阵 及 摄 像 机 内参 数 矩 阵2. 1 有 限 远 平 面 单 应 性 矩 阵 H 的 复 原设 点 对 (m i , m i )是 位 于 有 限 远 平 面 上 的 点在 摄 像 机 运 动 (R, t)下 形 成 的 点 对 , H 是 该 平 面 的单 应 性 矩 阵 . 由 式 (9)得m i H m i = 0 (17)根 据 该 式 , 使 用 平 面 上 的 点 对 集 合 ( m i ,m i ) | i = 1, 2, , N ,在 仅 相
14、差 一 个 常 数 尺 度 因 子意 义 上 ,可 最 优 地 复 原 H .2. 2 从 两 有 限 远 平 面 的 单 应 性 矩 阵 H ( 1) 和 H ( 2)计 算 极 点 e2. 2. 1 求 解 极 点 算 法 1因 为 H 是 在 仅 相 差 一 个 常 数 尺 度 因 子 意 义 上复 原 的 ,从 式 (10) ,有H ( 1) - wH ( 2) =qKt ( n ( 1) / d( 1) - n ( 2) / d( 2) ) T K- 1 = e T (18)其 中 w是 平 衡 尺 度 ,将 上 式 两 边 转 置 得 到H ( 1) T - wH ( 2) T =
15、 eT (19)设 极 点 的 正 交 矢 量 为 : e 1 , e 2 ,则 可 以 得 到H ( 1) T e 1 = wH ( 2) T e 1 (20)H ( 1) T e 2 = wH ( 2) T e 2 (21)即 e 1 , e 2是 有 限 远 单 应 性 矩 阵 对 ( H ( 1) T , H ( 2) T )对应 于 同 一 个 特 征 值 的 广 义 特 征 矢 量 ,因 此 ,可 由 e =e 1 e 2得 到 极 点 ,式 中 的 “ ” 表 示 向 量 叉 乘 .2. 2. 2 求 解 极 点 算 法 2将 式 (19)变 成 以 下 形 式 h1 i h2
16、i e 1- w- i= 0, i = 1, 2, 3 (22)其 中 , h11 h12 h13 = H ( 1) , h21 h22 h23 =H ( 2) , 1 2 3 = T ,因1- w- i必 是 非 零 矢18第 4期 任 蕾 ,等 :基 于 双 正 交 平 面 上 匹 配 点 对 的 摄 像 机 自 标 定 算 法量 ,故 有 : eT ( h1 i h2 i ) = 0, i = 1, 2, 3成 立 ,定 义 :ri = h1 i h2 i , i = 1, 2, 3,并 且 令 M = r1 r2 r3 T ,由 以 上 可 得 到 :M e = 0,对 M 进 行 奇
17、 异 值 分 解 ,从 而求 得 极 点 .2. 2. 3 求 解 极 点 算 法 3将 H ( 1) 进 行 奇 异 值 分 解 ,得 H ( 1) = U 1 S1 VT1 ,则式 (18)可 以 改 写 为S1 - wU T1 H ( 2) V1 = e T (23)其 中 , e = U T1 e, = VT1 , 令 Y = U T1 H ( 2) V1 = y1 y2 y3 ,式 (23)可 改 写 为S1 - w Y = e T (24)该 式 同 样 可 利 用 算 法 2中 式 ( 22)的 形 式 展 开 ,可 得到 如 下 方 程0 - y13 k1 y12 k1y23
18、k2 0 - y21 k2- y23 k3 y31 k3 0e = 0 (25)其 中 : S1 =k1 0 00 k2 00 0 k3, y1 = y11 y12 y13 T , y2 = y21 y22 y23 T , y3 = y31 y32 y33 T 令 YY =0 - y13 k1 y12 k1y23 k2 0 - y21 k2- y32 k3 y31 k3 0,对 其 进 行 奇 异 值 分 解求 出 e ,并 经 变 换 即 可 得 到 极 点 .2. 3 无 穷 远 平 面 单 应 性 矩 阵 H 和 摄 像 机 内 参 数 阵按 上 述 方 法 计 算 出 在 一 运 动
19、组 (R, t( j) ) | j = 1, 2下 的 双 有 限 远 平 面 的 单 应 性 矩 阵 H ( 1) ( j)和 H ( 2) ( j)以 及在 此 运 动 下 的 极 点 e( j) 后 ,对 平 面 ( k) | k = 1, 2,由式 (10)有s( k)( 1) H ( k) ( 1) = H + e( 1) ( k) T( 1) (26)s( k)( 2) H ( k) ( 2) = H + e( 2) ( k) T( 2) (27)s( k) H ( k) ( 1) - e( 1) x( k) T( 1) + e( 2) x( k) T( 2) = H ( k) (
20、 2) (28)式 (28)中 , s( k) = s( k)( 1)s( k)( 2) , x( k)( 1) =1s( k)( 2)( k)( 1) , x( k)( 2) =1s( k)( 2)( k)( 2)(29)由 此 计 算 以 上 各 个 参 数 和 无 穷 远 平 面 单 应 性 矩 阵H = H ( 1) ( 2) - e( 2) x( 1) T( 2) -13 H ( 1)( 2) - e( 2) x( 1) T( 2) =H ( 2) ( 2) - e( 2) x( 2) T( 2) -13 H ( 2)( 2) - e( 2) x( 2) T( 2) (30)有 唯
21、一 解 的 充 要 条 件 :平 移 运 动 组 ( t( 1) , t( 2) )是 线 性无 关 组 .为 能 通 过 一 运 动 组 计 算 摄 像 机 内 参 数 阵 ,加 入两 平 面 正 交 的 附 加 约 束n ( 1) T n ( 2) = 0 (31)将 该 式 与 式 (26) , (27) , (10)结 合 得 出x( 1) T( 1) C x( 2)( 1) = 0x( 1) T( 2) C x( 2)( 2) = 0(32)其 中 , C = KKT ,然 后 调 用 文 献 6 中 关 于 计 算 相 关参 数 和 该 实 正 定 对 称 阵 的 方 法 ,复 原
22、 摄 像 机 内 参 数阵 . 具 体 算 法 本 文 不 再 详 述 .2. 4 算 法 描 述综 上 所 述 ,可 得 摄 像 机 自 标 定 算 法 :(1) 摄 像 机 作 运 动 组 (R, t( 1) ) ; (R, t( 2) ) ,使得 平 移 运 动 组 ( t( 1) , t( 2) )是 线 性 无 关 组 ;(2) 对 属 于 运 动 ( R, t( j) ) | j = 1, 2下 的 平 面 ( k) | k = 1, 2的 点 对 集 合 ,依 据 约 束 式 ( 17) ,最 优 地复 原 有 限 远 平 面 单 应 性 矩 阵 集 合 H ( k) ( j)
23、| j = 1, 2; k =1, 2;(3) 对 j = 1, 2的 运 动 ( R, t( j) ) ,分 别 利 用 上 述得 到 的 2 个 有 限 远 平 面 的 单 应 性 矩 阵 H ( 1) ( j) 和H ( 2) ( j) ,依 据 计 算 极 点 的 3种 方 法 分 别 求 解 极 点 e( j) ;(4) 利 用 以 上 得 到 的 有 限 远 平 面 单 应 性 矩 阵 集合 H ( k) ( j) | j = 1, 2; k = 1, 2和 极 点 集 合 e( j) | j = 1,2 ,用 式 (30)计 算 无 穷 远 平 面 单 应 性 矩 阵 H ;(5
24、) 对 实 正 定 对 称 阵 C 进 行 Cholesky分 解 :C =VVT ,其 中 , V为 上 三 角 阵 ;令 K = Vv33,其 中 , v33是矩 阵 V的 右 下 角 元 素 .3 实 验 结 果实 验 中 取 摄 像 机 内 参 数 阵 理 论 值 : fu = 1 000,fv = 1 000, s = 0. 02, u0 = 0, v0 = 0.运 动 组 参 数 设 置 :旋 转 阵 中 各 个 旋 转 角 度 分 别为 : = /6; = /4; = /3;平 移 矢 量 t11 t12 t13 T = 0. 214 2 0. 257 0 0. 942 4 T
25、, t21 t22 t23 T = 0. 190 5 - 0. 238 1 0. 952 4 T.该 运 动 组 下 的 无 穷 远 平 面 单 应 性 矩 阵 理 论 值 :H =0. 353 5 0. 612 4 - 707. 099 7- 0. 573 2 0. 739 2 353. 553 40. 000 7 0. 000 3 0. 612 4为 验 证 本 文 算 法 的 鲁 棒 性 ,对 图 像 加 入 随 机 噪声 ,强 度 分 别 取 0. 000 2, 0. 000 4, 0. 000 6, 0. 000 8,0. 001 0, 0. 001 2, 0. 001 4, 0.
26、001 6, 0. 001 8,0. 002 0, 0. 004 0, 0. 006 0, 0. 008 0, 0. 010 0. 对 每 种噪 声 做 100次 实 验 ,统 计 复 原 误 差 的 均 值 .表 1中 的 复 原 误 差 均 定 义 为 估 计 值 与 理 论 值 之28 上 海 海 事 大 学 学 报 第 27卷 差 的 F范 数 . 本 文 中 F范 数 定 义 如 下 : 矩 阵 A 的 F范 数 =矩 阵 (ATA )对 角 线 元 素 之 和 的 平 方 根 . H 复原 误 差 和 K复 原 误 差 的 性 能 比 较 分 别 见 图 1 和图 2.表 1 3种
27、 摄 像 机 自 标 定 算 法 的 性 能 比 较噪 声 强 度 0. 000 2 0. 000 4 0. 000 6 0. 000 8 0. 001 0 0. 001 2 0. 001 4 0. 001 6 0. 001 8 0. 002 0 0. 004 0 0. 006 0 0. 008 0 0. 010 0H 复 原误 差K复 原误 差算 法 1 2. 569 8 2. 478 2 2. 581 0 2. 932 6 2. 975 5 3. 137 6 3. 389 8 3. 994 7 4. 194 6 4. 439 3 7. 382 4 11. 257 5 14. 864 0 1
28、8. 881 3算 法 2 2. 299 6 2. 356 1 2. 264 4 2. 490 1 2. 706 9 2. 824 4 3. 228 0 3. 647 7 4. 056 9 4. 307 4 7. 230 9 11. 104 3 14. 432 4 18. 099 6算 法 3 2. 134 2 2. 310 6 2. 390 2 2. 319 9 2. 903 9 3. 075 7 3. 259 2 3. 911 9 4. 060 9 4. 333 2 7. 267 4 10. 493 7 13. 760 3 18. 315 8算 法 1 13. 751 5 15. 037
29、5 16. 683 5 16. 667 2 20. 137 7 21. 926 0 25. 970 1 30. 705 5 32. 693 1 34. 953 2 68. 796 1 106. 318 160. 386 241. 549算 法 2 11. 427 0 11. 854 5 13. 279 4 15. 315 8 16. 907 8 19. 915 8 22. 113 7 25. 862 1 26. 951 0 31. 842 3 63. 276 6 98. 528 3144. 375 213. 710算 法 3 11. 294 1 11. 950 2 13. 812 1 14.
30、469 8 18. 428 5 19. 408 1 24. 968 3 28. 544 9 30. 138 2 31. 634 2 60. 486 5 96. 585 0136. 300 225. 163图 1 H 复 原 误 差 性 能 比 较图 2 K复 原 误 差 性 能 比 较4 结 论本 文 提 出 从 一 运 动 组 下 的 双 正 交 平 面 上 的 点 对集 合 ,唯 一 确 定 无 穷 远 单 应 性 矩 阵 ,进 而 复 原 摄 像 机内 参 数 阵 的 新 算 法 . 文 中 讨 论 了 3种 计 算 极 点 的 方法 ,同 时 ,为 实 现 仅 由 一 运 动 组 进
31、行 摄 像 机 自 标 定 ,对 空 间 平 面 加 入 正 交 约 束 . 实 验 结 果 表 明 ,计 算 极 点的 3种 算 法 性 能 相 差 较 小 ,随 噪 声 强 度 的 增 大 误 差也 明 显 增 大 ,基 本 呈 线 性 变 化 ,波 动 较 小 ,因 此 该 摄像 机 自 标 定 算 法 可 行 且 具 有 较 好 鲁 棒 性 .参 考 文 献 : 1 HARTLEY R. Estimation of relative camera positions for uncalibrated camera C / /Proc of the 2nd European Confer
32、ence on Computer V ision,Sp ringer2Verlag, 1992, 579 - 587. 2 FAURGERAS O D. W hat can be seen in three dimensions with an uncalibrated stereo rig C / /Proc of the 2nd European Conference on ComputerV ision, Sp ringer2Verlag, 1992, 563 - 578. 3 杨 长 江 ,孙 凤 梅 , 胡 占 义 . 基 于 二 次 曲 线 的 纯 旋 转 摄 像 机 自 标 定
33、J . 自 动 化 学 报 , 2001, 27 (3) : 310 - 317. 4 吴 朝 福 ,胡 占 义 . 摄 像 机 自 标 定 的 理 论 与 算 法 J . 计 算 机 学 报 , 2001, 24 (11) : 1 121 - 1 135. 5 吴 朝 福 ,胡 占 义 . 线 性 确 定 无 穷 远 平 面 的 单 应 性 矩 阵 和 摄 像 机 自 标 定 J . 自 动 化 学 报 , 2003, 28 (4) : 488 - 496. 6 YANG Zhonggen, REN Lei. A new algorithm for linearly reconstructi
34、ng the infinite homography matrix and intrincic parameter matrix of a camera C / /YUAN Baozong, RUAN Q iuqi, TANG Xiaofang. Proc of the 7th International Conference on Signal Processing, Beijing: PHE I & IEEEPress, 2004: 1 247 - 1 251.(编 辑 李 佩 芬 )38第 4期 任 蕾 ,等 :基 于 双 正 交 平 面 上 匹 配 点 对 的 摄 像 机 自 标 定 算 法
