1、 http:/ - 1 - 中国 科技 论文 在线 倾斜摄影测量技术综述 #朱庆，徐冠宇，杜志强，于杰，王京晶 *基金项目：高等学校博士学科点专项科研基金资助课题（20090141110030） 作者简介：朱庆，（1966-），男，教授，主要研究方向：数字摄影测量与三维地理信息系统。 E-mail: （武汉大学测绘遥感信息工程国家重点实验室，武汉 430079） 摘要：传统的航空航天摄影测量技术主要针对地形地物顶部进行测量，而对起伏明显的地形 5 地物侧面的纹理和三维几何结构等信息获取一直十分有限， 倾斜摄影测量因此成为近年来国 际上发展十分迅速的一项高新技术。本文简要评述了几种典型的倾斜摄
2、影测量软硬件系统， 分析了倾斜摄影测量的关键技术，总结提炼了倾斜摄影测量技术发展的主要趋势和研究要 点。 关键词：摄影测量与遥感；倾斜影像测量；多角度相机；三维重建；侧面纹理；真正射纠正 10 中图分类号：P208 Review of oblique photogrammetric technology ZHU Qing, XU Guanyu, DU Zhiqiang, YU Jie, WANG Jingjing (State Key Laboratory of Information Engineering in Surveying, Mapping oblique photogrammet
3、ry; multi-angle camera; 3D reconstruction; faade texture; true-ortho image rectification 25 0 引言 倾斜影像(oblique image)是指由一定倾斜角度的航摄相机所获取的影像 1 。倾斜摄影技 术是国际测绘遥感领域近年发展起来的一项高新技术， 通过在同一飞行平台上搭载多台传感 器，同时从垂直、倾斜等不同的角度采集影像，获取地面物体更为完整准确的信息 2 。 常用的影像数据主要来源于垂直角度(或倾角很小)的航空或卫星影像，这些影像大多只 30 有地物顶部的信息特征，缺乏地物侧面详细的轮廓及纹理信息，
4、不利于全方位的模型重建和 场景感知。并且，这些影像上建筑物容易产生墙面倾斜、屋顶位移和遮挡压盖等问题，不利 于后续的几何纠正和辐射处理。 2008年第 21届 ISPRS 大会和 2011年第 53届德国摄影测量周， 倾斜摄影测量技术都是 大会的主要议题之一。新型多线(面)阵、多角度数码相机的应用(如 ADS40/80,SWDC-5 等) 35 为多视影像和大角度倾斜影像的获取提供了可能；高性能倾斜摄影测量处理系统(OPS,如 Pictometry, MultiVision等)的不断改进也使得倾斜影像的处理更加便利。 1 多角度相机及处理系统 1.1 多角度相机 世界上较早的倾斜摄影相机被认为
5、是徕卡公司 2000年推出的 ADS40 三线阵数码相机， 40 http:/ - 2 - 中国 科技 论文 在线 提供地物前视，正视和后视 3个视角方向的影像。美国 Pictometry公司和天宝公司(Trimble) 则专门研制了倾斜摄影用的多角度相机，可以同时获取一个地区多个角度的影像；我国的四 维远见公司也研制了自主知识产权的多角度相机。 这些典型多角度相机系统的参数和性能对 比如表 1 所示： 表 1 典型多角度相机系统参数和特点 45 Tab 1 The typical multi-angle camera systems parameters and characteristic
6、s 相机类型 相机名称 主要参数 特点 三线阵 ADS40/80 三个全色线阵 CCD，每个 2*12000 像元，四个多光谱线阵 CCD，每个 12000像元；像元大 小 6.8；焦距 62.77mm 推扫式成像；前视后视可获得较好的倾斜影 像；需集成 POS系统 3镜头 AOS 单机幅面 7228*5428；像元大小 6.8； 焦距 47mm； 倾角 30-40 一台相机获取垂直影像，两台获取倾斜影 像；镜头在曝光一次后自动旋转 SWDC-5 单机幅面 5412*7216；像元大小 6.8；焦距 100mm/80mm；倾 角 40-45 一台相机获取垂直影像，四台获取倾斜影 像；集成测量型
7、 GPS和 POS 5镜头 Pictometry 单机幅面 4008*2672；像元大小 9；焦距 65mm/85mm；倾角 40-60 一台相机获取垂直影像，四台获取倾斜影 像；产品包含两级影像 (1)三线阵相机系统 三线阵 ADS40/80 相机系统可以获取高分辨率的影像，通过连续推扫式成像，其前视和 后视相机可以提供同一航带上地物的倾斜影像。相机的前视倾角约为 28 度，后视倾角约为 50 14度，获取的多视影像可以较为清晰地反映出地物的侧面纹理特征。此类影像处理很复杂， 需要伴随高精度的 POS 数据，生成多级影像产品，但前后视倾角难以获取地物完整的侧面 轮廓。 (2)三相机系统 天宝
8、 AOS 倾斜相机系统由 3 台大幅面数码相机组成，一台下视获取垂直影像，另外两 55 台获取倾斜角度在 30度到 40度之间的倾斜影像。通过旋转型架构结构，实现前后左右倾斜 和垂直五个方向的摄影。整个镜头在曝光一次后自动旋转 90 度，以此获取地物四个方向上 的侧视影像。 (3)五相机系统 SWDC-5 倾斜摄影相机由 5 台哈苏 H3D 相机组成，中间一台垂直摄影，其余四台分别 60 向四个方向进行倾斜摄影，其倾斜角在 40 度到 45 度之间，相机上方安置有 IMU导航系统， 同时集成 GPS定位系统，可以在曝光瞬间准确获取相机倾角及外方位元素。 Pictometry相机系统由 5台数码
9、相机组成，一台获取垂直影像，另外四台从前后左右四 个方向同时获取地物的侧视影像。相机倾斜角度在 40度到 60 度之间，因此可以较为完整地 获取地物侧面的轮廓和纹理信息。其产品包含两级影像：具有一般分辨率的“Community” 65 级影像和基于其分割得到的较高分辨率的“Neighborhood”级影像 1,3 。 1.2 倾斜影像处理系统 伴随多角度相机的是倾斜影像处理系统的快速发展。美国 Pictometry 公司推出的 Pictometry倾斜影像处理软件，能够较好地实现倾斜影像的定位量测、轮廓提取、纹理聚类 等处理功能。 法国 Infoterra 公司的像素工厂(Pixel Fact
10、ory)作为新一代遥感影像自动化处理系 70 统，Street Factory子系统可以对倾斜影像进行精确的三维重建和快速的并行处理。此外，徕 http:/ - 3 - 中国 科技 论文 在线 卡公司的 LPS 工作站、AeroMap公司的 MultiVision 系统、Intergraph公司的 DMC系统等， 都陆续开发了针对倾斜影像的量测 46 、匹配 7 、提取 8 、建模 912 等模块。 1) Pictometry系统 Pictometry倾斜影像处理软件提供了倾斜影像管理工具 EFS(Electronic Field Study)，可 75 以结合地理信息数据，对影像进行量测、定
11、位、提取等操作，并对基于影像建立的模型做出 一定的分析和可视化 1315 。其产品目前已在微软的 Virtual Earth中得到应用 5 。 2) Street Factory系统 Street Factory系统通过对获得的倾斜影像进行几何处理、多视匹配、三角网构建，提取 出典型地物的纹理特征， 并对该纹理进行可视化处理， 最终得到三维模型。 依托 Pixel Factory 80 的影像解译和并行处理能力，Street Factory仅依靠倾斜影像，无需 LIDAR 等辅助设备，便 可以提供逼真的建模场景和智能的处理流程，构建不同层次细节度(LoD)下的三角网模型， 在精度、自动化、适应
12、性及简洁性等方面都有着一定的优势。 2 倾斜摄影测量关键技术 2.1 倾斜摄影测量的基本原理 85 倾斜影像是通过具有一定倾角的倾斜航摄相机获取的，具有如下的特点：(1)可以获取 多个视点和视角的影像，从而得到更为详尽的侧面信息 16 ；(2)具有较高的分辨率和较大的 视场角 8,17 ；(3)同一地物具有多重分辨率的影像；(4)倾斜影像地物遮挡现象较突出 8,17 。针 对这些特点，倾斜摄影测量技术通常包括影像预处理、区域网联合平差、多视影像匹配、 DSM生成、真正射纠正、三维建模等关键内容，其基本原理如图 1 所示： 90 http:/ - 4 - 中国 科技 论文 在线 三维建模 真正射
13、纠正 DSM生成 多视影像匹配 区域网联合平差 几何校正 多视影像 3D数据库（DSM，DOM，TDOM， 矢量数据，三维模型等）图1 多视影像处理的基本原理 Fig 1 The basic principles of multi-view image processing 2.2 倾斜影像测量的关键技术 95 1) 多视影像联合平差 多视影像不仅包含垂直摄影数据，还包括倾斜摄影数据，而部分传统空中三角测量系统 无法较好地处理倾斜摄影数据，因此，多视影像联合平差需充分考虑影像间的几何变形和遮 挡关系 18 。结合 POS 系统提供的多视影像外方位元素，采取由粗到精的金字塔匹配策略， 在每级影像
14、上进行同名点自动匹配和自由网光束法平差，得到较好的同名点匹配结果 1920 。 100 同时，建立连接点和连接线、控制点坐标、GPU/IMU 辅助数据的多视影像自检校区域网平 差的误差方程，通过联合解算，确保平差结果的精度。 2) 多视影像密集匹配 影像匹配是摄影测量的基本问题之一，多视影像具有覆盖范围大，分辨率高等特点 21 。 因此，如何在匹配过程中充分考虑冗余信息，快速准确获取多视影像上的同名点坐标，进而 105 获取地物的三维信息，是多视影像匹配的关键 2223 。由于单独使用一种匹配基元或匹配策 略往往难以获取建模需要的同名点，因此近年来随着计算机视觉发展起来的多基元、多视影 像匹配
15、，逐渐成为人们研究的焦点 2426 。 目前，在该领域的研究已取得很大进展，例如建筑物侧面的自动识别与提取。通过搜索 多视影像上的特征，如建筑物边缘、墙面边缘和纹理，来确定建筑物的 2 维矢量数据集，影 110 http:/ - 5 - 中国 科技 论文 在线 像上不同视角的 2 维特征可以转化为 3 维特征 10 ，在确定墙面时，可以设置若干影响因子 并给予一定的权值，将墙面分为不同的类，将建筑的各个墙面进行平面扫描和分割，获取建 筑物的侧面结构，再通过对侧面进行重构，提取出建筑物屋顶的高度和轮廓 8,16 。 3) 数字表面模型生成和真正射影像纠正 多视影像密集匹配能得到高精度高分辨率的数
16、字表面模型(DSM)， 充分表达地形地物起 115 伏特征，已经成为新一代空间数据基础设施的重要内容。由于多角度倾斜影像之间的尺度差 异较大，加上较严重的遮挡和阴影等问题，基于倾斜影像的 DSM自动获取存在新的难点。 可以首先根据自动空三解算出来的各影像外方位元素， 分析与选择合适的影像匹配单元进行 特征匹配和逐像素级的密集匹配，并引入并行算法，提高计算效率。在获取高密度 DSM数 据后，进行滤波处理，并将不同匹配单元进行融合，形成统一的 DSM。 120 多视影像真正射纠正涉及物方连续的数字高程模型(DEM)和大量离散分布粒度差异很 大的地物对象，以及海量的像方多角度影像，具有典型的数据密集
17、和计算密集特点。因此， 多视影像的真正射纠正，可分为物方和像方同时进行。在有 DSM的基础上，根据物方连续 地形和离散地物对象的几何特征，通过轮廓提取、面片拟合、屋顶重建等方法提取物方语义 信息；同时在多视影像上，通过影像分割、边缘提取、纹理聚类等方法获取像方语义信息， 125 再根据联合平差和密集匹配的结果建立物方和像方的同名点对应关系， 继而建立全局优化采 样策略和顾及几何辐射特性的联合纠正，同时进行整体匀光处理，实现多视影像的真正射纠 正。 3 结论 本文简要评述了倾斜摄影测量的基本原理和关键技术。倾斜摄影测量技术以大范围、高 130 精度、高清晰的方式全面感知复杂场景，系统具备高性能的
18、协同并行处理能力，在新一代城 市空间数据基础设施建设中有着巨大的发展潜力。随着我国城市化进程的快速推进，精细化 的三维城市模型作为城市规划、建设、管理和信息化的基础数据，得到了日益广泛的应用并 逐渐成为城市空间数据框架的重要内容。然而，传统的航空和卫星遥感手段主要针对城市建 筑顶部进行模型重建， 而对侧面的三维重建一直缺少有效的解决手段。 倾斜摄影技术的发展， 135 可以有效解决这一难题，将静态的，基于立体像对和点特征的传统摄影测量技术推向了一个 新的高度，即动态的，基于多视影像和对象特征的实时摄影测量技术。因此，诸如高分辨率 DSM、逼真的真正射影像和精细的三维城市模型等倾斜摄影测量产品需
19、求尤为迫切，而发 展基于多平台多传感器的倾斜影像自动化、智能化的处理技术，已经成为新一代数字摄影测 量研究的核心主题。 140 参考文献 (References) 1 MISHRA P, OFEK E, KIMCHI G. Validation of vector data using oblique imagesOL.2012-3-10. http:/dl.acm.org/citation.cfm?id=1463464 2 王伟，黄雯雯，镇姣. Pictometry倾斜摄影技术及其在 3维城市建模中的应用J. 测绘与空间地理信息， 145 2011,34（3）：181-183. 3 PRAN
20、DI F, ACHILLE C, BRUMANA R, et al. Lidar and Pictometry images intergrated use for 3D model generationOL.2012-3-15. http:/www.isprs.org/proceedings/XXXVII/congress/2_pdf/6_WG-II-6/16.pdf 4 LE BESNERAIS G, SANFOURCHE M, CHAMPAGNAT F. Dense height map estimation from oblique aerial image sequencesJ. C
21、omputer vision and image understanding,2008,109(2):204-225. 150 5 GRENZDORFFER G J, GURETZKI M, FRIEDLANDER I. Photogrammetric image acquisition and image analysis of oblique imageryJ.The Photogrammetric Record,2008,23(124):372-386. 6 HOHLE J, AALBORG. Photogrammetric measurements in oblique aerial
22、imagesOL.2012-3-10. http:/vbn.aau.dk/files/17874670/Photogr_Meas.pdf http:/ - 6 - 中国 科技 论文 在线 7 NYARUHUMA A P, GERKE M, VOSSELMAN G. Line matching in oblique airborne images to support 155 automatic verification of building outlinesOL.2012-3-10. ftp:/ftp4cast.chapman.edu/private/publications/ASPRS-2
23、010-April/Nyaruhuma.pdf 8 XIAO J, GERKE M, VOSSELMAN G. Automatic detection of buildings with rectangular flat roofs from multi-view obligue imageryOL.2012-3-15. http:/pcv2010.ign.fr/pdf/partA/xiao-pcv2010.pdf 9 FRUEH C, SAMMON R, ZAKHOR A. Automated texture mapping of 3D city models with oblique ae
24、rial 160 imageryOL.2012-3-10. http:/ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1335266 10 WANG M, BAI H, HU F. Automatic texture acquisition for 3D model using oblique aerial imagesOL.2012-3-10. http:/ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=4683272 11 STILLA U, KOLECKI J, HOEGNER L. Texture
25、 mapping of 3D building models with oblique direct geo-referenced airborne in image sequencesOL.2012-3-10. 165 http:/www.isprs.org/proceedings/XXXVIII-1-4-7_W5/paper/Stilla-176.pdf 12 JURISCH A, MOUNTAIN D. Evaluating the viability of Pictometry imagery for creating models of the built environmentOL
26、.2012-3-10. http:/ 13 GERKE M, KERLE N. Automatic structural seismic damage assessment with airborne oblique Pictometry imageryOL.2012-3-15. 170 ftp:/ftp.ecn.purdue.edu/jshan/000000_special_issue/03Gerke/Haiti_paper_PERS_revised_270411_forPDF.pdf 14 WANG Y D, SCHULTZ S, GIUFFRIDA F. Pictometrys prop
27、rietary airborne digital imaging system and its application in 3D city modelingOL.2012-3-10. http:/testcis.cis.rit.edu/cnspci/references/dip/urban_extraction/wang2008.pdf 15 KARB O N, SCHROTH R. Oblique aerial photography:a status reviewOL.2012-3-10. 175 http:/www.ifp.uni-stuttgart.de/publications/p
28、howo09/140Karbo.pdf 16 NYARUHUMA A P, GERKE M, VOSSELMAN G. Evidence of walls in oblique images for automatic of buildingsOL.2012-3-10. http:/www.isprs.org/proceedings/XXXVIII/part3/a/pdf/263_XXXVIII-part3A.pdf 17 NYARUHUMA A P, GERKE M, VOSSELMAN G. Incorporating scene constraints into the triangul
29、ation of airborne oblique imagesOL.2012-3-10. 180 http:/www.isprs.org/proceedings/XXXVIII-1-4-7_W5/paper/gerke_130.pdf 18 JACOBSEN K. Geometry of vertical and oblique image combinationsOL.2012-3-10. http:/www.ipi.uni-hannover.de/uploads/tx_tkpublikationen/KJ_oblique.pdf 19 WEITH-GLUSHKO S, SALVAGGIO
30、 C. Automatic tie-point generation for oblique aerial imagery:an algorithmOL.2012-3-10. http:/testcis.cis.rit.edu/cnspci/references/theses/senior/weith-glushko2004.pdf 185 20 ZHANG J Q, ZHANG Y, ZHANG Z X. Determination of exterior parameters for video image sequences from helicopter by block adjust
31、ment combined vertical and oblique imagesOL.2012-3-10. http:/spiedigitallibrary.org/proceedings/resource/2/psisdg/5286/1/191_1 21 GRUEN A. Development and status of image matching in photogrammetryJ. The Photogrammetric Record,2012,27(137):36-57. 190 22 HIRSCHMUTTER H. Accurate and efficient stereo
32、processing by semi-global matching and mutual informationOL.2012-3-10. http:/ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1467526 23 GERKE M. Dense matching in high resolution oblique airborne imagesOL.2012-3-15. http:/www.isprs.org/proceedings/xxxviii/3-w4/pub/cmrt09_gerke.pdf 24 吴波.自适应三角形约束下的立体影像可靠匹配方法D.武汉：武汉大学，2006. 195 25 王竞雪.移动高程平面约束的多视影像可靠匹配方法D.葫芦岛：辽宁工程技术大学，2010. 26 张云生.自适应三角形约束的多基元多视影像匹配方法D.武汉：武汉大学，2011.
