1、数字摄影测量学一、 绪论两个基本关系：几何关系、对应性关系划分摄影测量发展阶段的根本依据是他们处理两种关系的方式数据获取技术发展航空数码成像；卫星成像；POS;LiDAR;SAR;低空摄影测量；移动测量系统理论发展灭点理论；广义点理论；多基线立体；影像匹配理论发展；目标自动识别应用发展灭点应用实践；广义点摄影测量的应用；数码城市建模；数据处理新算法二、 数字影像获取与处理（4-9 节）2.4、数字航摄仪线阵：ADS40、ADS80、TLS、JAS面阵：DMC、UCD、A3、SWDC2.5、POSPOS=GPS+IMU用于在无地面控制或少量地面控制情况下航空遥感对地定位和影像获取差分 GPS 获
2、取高精度位置测量数据INS 输出高采样率的位置数据，高精度的姿态数据2.6、LiDAR快速获取精确的高分辨率 DSM 以及地面物体的三维坐标2.7、航天数字影像获取系统及特点特点：高分辨率，线阵式 CCD、采用有理函数模型、立体成像、定位精度高提供高分辨率的全色、多光谱、高动态范围和高信噪比的影像、多景影像主要问题：云量和雪量问题；获得与传统航片一样的制图精度比较困难2.8、SAR一般是侧视成像，是一种高分辨率相干成像系统；斜距投影主要存在斑点噪声、斜距影像的近距离压缩、透视收缩、叠掩、阴影及地形起伏引起的像点位移等几方面的问题2.9、倾斜摄影测量特点：反映地物周边真实情况、可实现单张影像量测
3、、建筑物侧面纹理可采集、数据量小易于网络发布三、 摄影测量解析方法（1-6 节）背景：近景摄影测量中，常常采用大角度大重叠度的摄影方式，外方位元素中存在大的旋转角，相邻摄站点之间存在较大的位置差异，初值很难获取。经典欧拉角方法不再适用。需要不依赖位置与姿态初始值的解析方法。3.1、空间后方交会在后方交会中，有效可靠地描述两坐标系之间的旋转关系是解决问题的关键。描述旋转的常用形式：欧拉角、正交旋转矩阵、四元数欧拉角：能明确表示旋转矩阵 R 的几何意义，但需要较好的位置和姿态初值。方向余弦法方案：将 9 个方向余弦值作为待求参数，参与平差解算。R 中只有 3 个独立元素，其余 6 个参数可以根据
4、6 个正交条件推得。因此可根据 6 个正交条件建立 6 个条件方程，按附有条件的间接平差直接解算未知参数。优点：不要求初值，避免了三角函数的计算和欧拉角方法中因旋转角定义不同而导致的公式不同所带来的不便，收敛速度快。四元数几何意义：代表了一个转动，可同时确定刚体的位置和姿态。方案:旋转矩阵用四元数表示，只有一个约束条件，同样据此可建立附有限制条件的间接平常模型解求未知参数优点：和方向余弦法一致缺点：较差的初值，收敛情况不如方向余弦法；都能正确收敛时，收敛次数相当，而方向余弦法计算结果更接近于经典欧拉角方法。Givens 变换：用正交变换解最小二乘问题，数值稳定性和解的精度往往优于组成法方程组的
5、方法。当法方程组病态时尤其如此。3.2、相对定向原理：共面方程 完成标志：上下视差为 0。连续法相对定向元素：以左像空间坐标系为基础，右像片相对于左像片的相对方位元素称为。单独法相对定向元素：在以左摄影中心为原点、左主核面为 XZ 平面、摄影基线为 X 轴的右手空间直角坐标系中，左右像片的相对方位元素称为。大角度相对定向：经典方法 、v 的假设不合理；迭代难以收敛。基于方向余弦和四元数的连续相对定向均需考虑基线长度的约束条件。相对定向迭代解法：一般是在影像的内方位和姿态的近似值为已知时被应用。相对定向直接解法：当内方位、姿态均为未知时采用。原理：展开共面方程，将所有未知元素合并用系数 L 表示
6、。利用 8 对以上同名点，解算其中 8 个未知数。再由这 8 个系数求得连续像对的相对定向元素。注：反求过程首先假定 Bx;检验|选择候选点-抑制局部非最大缺点：差分近似偏导数只考虑极小值，易受噪声影响。Harris 算子：图像中某一像素点的自相关矩阵，其特征值是自相关函数的一阶曲率，如果 X、Y 两个方向上的曲率值都高，那么就认为该点是角点。过程：计算梯度-高斯滤波-计算 M、响应值-非极大值抑制增大 k 值，将减小角点响应值 R，降低角点检测的灵敏度，减小被检测角点的数量；优缺点：只用到一阶导数，不涉及阈值，计算简单，自动化程度高，提取的点特征均匀、合理而且稳定。但影像尺度改变其特征也会跟
7、着改变。Frstner 算子：计算各像素的 Roberts 梯度和像素（c，r）为中心的一个窗口的灰度协方差矩阵，在影像中寻找具有尽可能小而接近圆的误差椭圆的点作为特征点。过程：计算 Roberts 梯度-灰度协方差阵-q(误差椭圆圆度)、w（权值）-确定待选点-选择极值点可首先用一简单的差分算子提取初选点，然后采用 Frstner 算子在 3*3 窗口计算兴趣值，并选择备选点最后提取的极值点为特征点。优点：能给出特征点的类型且精度较高，同时对影像亮度和对比度变化敏感；复杂性：Moravec 算子掩膜 2 维遍历-形成角点强度图像-去除伪点-抑制局部非最大优点：无需梯度运算，具有积分特征、良好
8、的定位能力在纹理信息丰富的区域，SUSAN 算子对明显角点提取的能力较强；在纹理相近处，Harris 算子提取角点的能力较强。4.3、线特征提取线特征：影像的“边缘”与“线”边缘: 影像局部区域特征不相同的那些区域间的分界线线: 具有很小宽度的其中间区域具有相同的影像特征的边缘对距离很小的一对边缘构成一条线; 线特征提取算子通常也称边缘检测算子一阶差分算子中若卷积值大于阈值，二阶差分算子若卷积值过零点则模板中心点对应像素就是边缘点LSD 算子基本思想：首先利用高斯模板对原始图像进行去噪处理，然后计算每个像素的梯度幅值和梯度方向，并对梯度幅值进行排序，按照梯度幅值的顺序，通过迭代方法将具有梯度方
9、向相似性的像素划分为具有同一梯度方向的像素区域，最后利用矩形结构逼近这些相同梯度方向的区域，取矩形结构的中心线作为该区域线段特征。过程：梯度幅值和梯度方向估计-直线支撑区域生成-矩形逼近直线支撑区域-直线检测优点：实时性、准确性、鲁棒性，计算效率高，不需过多设置参数，能控制虚假直线4.4、面特征提取影像分割是提取面特征的主要手段图像分割算法大致分为三类基于阈值：计算量小、易于实现，但未考虑空间特征，抗噪性差；基于边缘：抗噪性和检测精度难以兼顾基于区域：区域生长、分裂合并、分水岭分割、空间自相关遥感影像分割的难点：数据量明显增加；同物异谱；尺度依赖性强4.5、圆点特征定位Wong-Trinder
10、 圆点定位算子基本思想：利用二值图像重心对圆点进行定位。首先将窗口中的影像二值化，再计算目标重心坐标（x，y）与圆度 r. 当 r 小于阈值时，目标不是圆；否则圆心为（x,y） 。阈值取最小灰度值与平均灰度值和的一半。受二值化影响，误差可达 0.5 像素。用原始图像灰度作为权进行改进，理想情况下，定位精度可达 0.01 像素。椭圆拟合法基本思想：首先用边缘检测算子对椭圆边缘进行粗定位，然后剔除粗差，再对像素级边缘点进行亚像素边缘检测得到亚像素精度的边缘点，最后对提取的标志边缘点进行椭圆最小二乘拟合，从而确定标志中心的精确位置。定位精度约为 0.02 像素4.6、角点特征定位Frstner 定位
11、算子特点：速度快、精度较高步骤：最佳窗口选择-在最佳窗口内加权重心化以原点到窗口内边缘直线的距离为观测值，梯度模之平方为权,列误差方程高精度角点与直线定位算子一维理想边缘的成像为刀刃曲线;梯度与系统的线扩散函数成正比。平差模型采用梯度的模为观测值。因为梯度方向代替直线方向存在不容忽视的误差，Hough 变换等使用梯度方向的方法不可能达到很高的精度。过程：确定窗口（粗定位）-列误差方程（梯度模为观测值）-确定直线参数初值（Hough 变换）-剔除粗差（选权迭代）-计算角点-评估精度五、 基于灰度的影像匹配（概述，3、4 节）匹配：在不同数据集合之间建立对应或相关关系影像匹配：在影像间建立对应关系
12、,实质:在两幅（或多幅）影像之间识别同名点配准: 在遥感影像和地图间建立对应关系数字影像匹配：在两张或多张数字影像的要素之间自动建立对应关系，这些影像是（或至少局部是）对同一场景在不同位置或不同时刻的成像。要素：是数字影像中的点（即像素） ，也可以是数字影像中提取的其它特征5.1、数字影像匹配基础理论基础：相关函数四类遥感影像配准：不同主点、不同时期、不同传感器、场景到模型需考虑：几何变形类型、辐射变形类型、噪音干扰、匹配精度、应用类型等5.2、基于灰度影像匹配定义：以影像上局部范围内的灰度值及其分布作为匹配实体（或比较要素） ，通过计算匹配实体之间的相似性测度寻找共轭实体的影像匹配方法相似性
13、测度（代价函数）距离型：差平方和、差绝对值方向型：相关函数、协方差函数（中心化）夹角型：相关系数（标准化）局限性：窗口形状、窗口影像内容、影像强度的变化5.3、VLL 法定义：直接确定物体表面点空间三维坐标的影像匹配方法铅垂线轨迹法影像匹配过程：给定地面点的平面坐标，与近似最低高程。从最低高程出发，计算像点坐标、相关系数，按步长搜索 Z，使相关系数最大。可用抛物线拟合法或减小步长增加精度基于物方的多视影像匹配过程: 确定过目标点的光线 S0p0,根据目标点初始高程和误差，确定高程搜索范围，根据精度要求确定步长。计算物方坐标，像点坐标，n 幅待匹配影像窗口与目标影像窗口的相关系数,按步长搜索 Z
14、 使相关系数和最大。5.4、最小二乘影像匹配基本思想：依据目标窗口影像的灰度值分布，以搜索窗口的中心位置和形状作为待定参数，通过极小化目标窗口与搜索窗口的影像灰度值差的平方和来估计待定参数值，从而确定同名点。特点：考虑辐射畸变、几何畸变，搜索窗口的形状是不断变化的优点：模型化几何变换、精度高、符合误差传播定律不仅可以被用于一般的数字地面模型获取、正射影像生成，而且可以用于控制点的加密（空中三角测量）及工业上的高精度测量可以引入各种已知参数和条件，进行整体平差；可以引入粗差检测可以求单点视差、空间坐标，同时求待定点坐标与影像的方位元素还可以解决多点、多片影像匹配缺点：要求相对精确的初值单点最小二
15、乘：过程：迭代进行匹配，计算改正值、变形参数，几何畸变改正、重采样，辐射畸变改正，计算相关系数带有共线条件的多片影像匹配基本思想：将共线条件作为制约条件，最小二乘影像匹配与共线方程两类误差方程联合组成法方程式误差方程式个数 nmm+2n 未知数个数 6n+3VLL 方式的最小二乘解物方空间点的平面位置是固定的，当高程改变时，目标窗口和搜索窗口影像都会改变。误差方程式个数 mm 未知数个数 8引入共线条件：误差方程式个数 mm+4 未知数个数 8+1多片影像匹配：误差方程式个数 nmm+2n+2 未知数个数 2+6n+3位置偏移向量 a0、b 0的估计精度由 3 个参数所决定：影像噪声方差、窗口
16、内像素数量 N、梯度图像的方差和协方差六、 基于特征的影像匹配（1-3 节）6.1、特征匹配概述特征匹配：通过计算从影像中提取的特征属性或描述参数之间的相似性测度来实现配准的影像匹配方法。具有整像素定位精度步骤：特征提取-候选特征的确定-变换参数估计或最终的特征对应影像匹配策略建立金字塔多层数据结构：先验视差未知，已知两种情况确定层数特征提取：分级，提取方式与目的相适应，点的两种分布方式特征点的匹配：二维与一维匹配；匹配的备选点选择方法；提取与匹配的顺序；匹配的准则；粗差的剔除6.2、跨接法影像匹配先进行几何改正再进行特征匹配特征参数：三个特征点（灰度梯度最大点、两个突出点）的像素号与g过程：
17、特征提取-构成跨接法匹配窗口（两个特征连接）-跨接法影像匹配计算目标窗口与重采样的匹配窗口的相关系数，按最大相关系数的准则确定同名特征。相对几何变形改正并不要求重采样后的搜索窗口的形状与目标窗口的形状完全相同。只要求长度相同6.3、SIFT 影像匹配基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的特征匹配适用于具有几何畸变、辐射畸变、空间分辨率不一致的影像优点：1. SIFT 特征是图像的局部特征，对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。2. 独特性好，信息量丰富，可在海量特征数据库中进行快速、准确的匹配3. 多量性，即使少数的几个物体也
18、可以产生大量 SIFT 特征向量。4. 可扩展性，可以很方便的与其它形式的特征向量进行联合。缺点：实时性不高、有时特征点少、对边缘模糊的目标无法准确提取特征点SIFT 特征提取1） 尺度空间的极值探测；高斯核是实现尺度变换的唯一线性变换核；一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到；尺度空间因子越小：图像被平滑的越少，相应的尺度也就越小DOG 算子：两个不同尺度的高斯核的差分；LOG 算子的近似2） 关键点的精确定位；通过拟合三维二次函数以精确确定关键点的位置；目的：进一步精化极值点在图像尺度空间的位置方法：对尺度空间函数进行泰勒展开，求取函数极值进行位置修正同时去除低对
19、比度的关键点和不稳定的边缘响应点3） 确定关键点的主方向；使 SIFT 算子具有旋转不变性一个关键点可能会被指定具有多个方向4） 关键点的描述。对每个关键点使用 44 共 16 个种子点来描述；每个种子点有 8 个方向向量信息；这样对于一个关键点就可以产生 128 维的 SIFT 特征向量。长度归一化可去除光照的影像SIFT 特征匹配当两幅影像的 SIFT 特征向量生成后，采用关键点特征向量的欧式距离作为两幅影像中关键点的相似性判定度量。在目标图像中取出某个关键点，并通过遍历找出其与右影像中欧式距离最近的前两个关键点。如果最近的距离与次近的距离比值少于某个阈值（经验值 0.8） ，则接受这一对
20、匹配点。降低阈值，可增加匹配点的正确率，但匹配点数同时会减少。优化：尺度空间的层数约束条件：唯一性约束、核线约束、视差范围约束、互对应约束核线上特征点的快速查找：将影像划分为格网，并记录每一格网中的特征点高维空间搜索的优化算法：BBF 算法、哈希表查找粗差剔除：RANSAC 算法6.4、RANSAC 估计思想：尽量用比较少的点估计出模型，再用剩余点来检验模型。减轻了存在严重错误点时异常数据对模型参数估计的影响。基本假设：数据集中含有噪声；给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法基于 RANSAC 算法的直线估计随机选择两点确定一条直线 l;根据阈值 t，确定与直线 l 的
21、几何距离小于t 的数据点集 S(l)，并称它为直线 l 的一致集；重复若干次随机选择，得到 n 条直线和相应的一致集；使用几何距离，求最大一致集的最佳拟合直线，作为数据点的最佳匹配直线。RANSAC 用于误匹配剔除自动提取两幅图像的特征点集，建立初始“匹配对集”RANSAC 去除错误匹配对由最大一致集（即正确匹配对）重新估计基本矩阵七、 整体影像匹配（1-2 节）整体影像匹配：考虑相容性、一致性、整体协调性，可以纠正或避免错误的结果，从而可以提高影像匹配的可靠性。算法：多点最小二乘影像匹配、松弛法影像匹配、动态规划影像匹配、人工神经网络影像匹配、半全局影像匹配等7.1 多点最小二乘影像匹配定义
22、：将有限元内插法与最小二乘影像匹配相结合，直接解求规则分布格网上的视差（或高程）的整体影像匹配方法有限元法：为解算一个函数，有时需要把它分成为许多适当大小的“单元” ，在每一个单元中用一个简单的函数来近似的代表它。对于曲面也可以用大量的有限面积单元来趋近它，这就是任意一点的视差值可用其所在格网的 4 个顶点的视差值作双线性内插求得。以视差为参数展开误差方程；与起起视差表面平滑作用的虚拟误差方程式联合求解优点：不仅可以基于像方，也可基于物方；可同时确定地形特征线。缺点：即使采用多级数据结构，收敛速度也很慢。7.2、松弛法影像匹配并行算法：对每个象素的处理是独立的，不依赖于其他象素的处理结果；效率
23、高，但可能产生与邻近的结果不协调和不合理的现象串行算法：在处理某个像元时，须要考虑先前已处理过的邻近点的结果；在相关算法中引入了预测，减小了搜索范围，减少了运算工作量；在某种意义上，还可以减少相关的粗差。但先前结果出错会影响后面的处理结果。松弛算法：是一种并行和迭代的算法，在每一次迭代过程中，在每一点上的处理是并行的，但是在下一次迭代过程，它将根据上次迭代过程中周围点上的处理结果来调整期结果。基本思想：在松弛法的每一次迭代计算过程中，它并不进行绝对的分类，只是确定概率，每次迭代过程中求得 Pij的增量，增量由相容系数决定基于松弛法的整体影像匹配影像匹配的实质是确定左（或右）影像中某个目标（或像
24、点）j 在另一张影像上的共轭目标（或像点）i 的问题。若将目标点 j 视为类别，而共轭备选点 i 的集合视为目标，则影像匹配问题可用松弛法来解决整体影像匹配过程局部匹配：根据匹配窗口的影像信息，计算其相似性测度，给出候选匹配点整体挑选：根据挑选规则从候选匹配点中选出最终的匹配结果整体最佳：通过邻域内匹配点的兼容性来实现。好的匹配点获得的邻域支持强度较大，坏的匹配点获得的邻域支持强度较小。相容系数：通过邻域内匹配点的视差变化的一致性来确定八、 数字微分纠正（2-4 节）基本任务：实现两个二维图像之间的几何变换定义：根据有关的参数与数字地面模型，利用相应的构像方程式，或按一定的数学模型用控制点解算
25、，从原始非正射数字影像获取正射影像，将影像化为很多微小的区域逐一进行，且使用数字方式处理的过程直接法：由原始像点求纠正后的相应点坐标间接法：由纠正后的像素坐标反求原始像点8.1 框幅式中心投影影像的数字微分纠正间接法特点：纠正图像上所得的点规则排列，在规则排列的灰度量测值中进行灰度内插，适合于制作正射影像图直接法特点：是一个迭代运算过程；纠正图像上所得的点非规则排列，有的像元可能“空白” （无像点） ，有的可能重复（多个像点） ，难以实现灰度内插并获得规则排列的纠正数字影像8.2 线性阵列扫描影像的数字微分纠正处理过程1.根据图像的成像方式确定影像坐标和地面坐标之间的数学模型；2.根据所采用的
26、数学模型确定纠正公式；3.根据地面控制点和对应像点坐标进行平差计算变换参数，评定精度；4.对原始影像进行几何变换计算，像素亮度值重采样。纠正方法：共线方程法，有理函数法，多项式法共线方程法间接法：首先求各元素对应的外方位元素，才能求出该相应像点的 y 及 t,或 y 及 x关键在于确定像点的成像时刻，需要迭代计算实用过程：DEM 重采样得到规则格网-每个 DEM 网格，利用共线方程反求出其四个格网点对应的像点坐标（仍需迭代）-逐像素进行正射纠正直接法：过程与框幅式中心投影影像的正解法过程基本相同直接法与间接法相结合：（无需迭代）在影像上确定一个规则格网，其所有格网点的行、列坐标已知，间隔按像元
27、的地面分辨率化算后与数字高程模型 DEM 的间隔一致，用直接法解算它们的地面坐标，这些点在地面上是一个非规则网点，由它们内插出地面规则格网点对应的像坐标，再按间接法进行纠正8.3、数字真正射影像遮蔽绝对遮蔽：被遮挡的建筑物在影像上不可见相对遮蔽：地面上有些区域在一张像片上可见，而在另一张影像上不可见真正射影像以 DSM 为基础来进行数字微分纠正1.利用 DSM 进行正射纠正，改正由地形起伏和建筑物造成的投影差；2.检测并标识被建筑物遮挡的区域；3.合并相邻的正射影像，对被遮挡区域进行填充。多度重叠影像：选择一张影像作为主纠正影像，而其它影像则作为从属影像遮挡部分在从属影像上可见，否则利用相邻区
28、域的纹理进行填充补偿对生产工艺、成本、航空摄影等多方面都提出了更高的要求提取 DSM 或 DBM 十分耗时8.4、数字正射影像的匀光匀色影像镶嵌技术：将同一场景中的两幅或者两幅以上有部分重叠区域的影像进行镶嵌从而得到宽视角影像的过程匀光匀色：为了消除影像照度与色彩上的差异，对影像进行的色彩平衡处理单幅影像匀光：Mask 法过程：用一张模糊的透明正片作为遮光板，将模糊透明正片与负片按轮廓线叠加在一起进行晒像，得到一张反差较小而密度比较均匀的像片；然后用硬性相纸晒印，增强整张像片的总体反差；最后得到晒印的光学像片原理：模拟出影像的背景影像，将其从原影像中减去就可以得到受光均匀的影像；然后进行拉伸处理增大影像的反差，就可以消除单幅影像的光照不平衡现象背景影像的生成的两种方法基于影像的成像模型对亮度分布不均匀问题进行处理利用低通滤波的方法，从影像中快速分离出亮度分布信息多幅影像匀光：Wallis 滤波器采用线性变换将局部影像的灰度均值和方差映射到给定的灰度均值和方差确定标准参数再变换，彩色影像分通道，选择一张具有代表性的作为基准
