遥感数字图像处理_影像融合.pdf

1、2011 年遥感数字图像处理 06 次实习报告 1 / 8 实习序号及题目 实习 6. 影像融合 实习人姓名 专业班级及编号 09 地基 01 号 任课教师姓名 实习指导教师姓名 实习地点 榆中校区实验楼 A209 实习日期时间 2011 年 11 月 29 日 实习目的 1、 掌握影像融合的概念和方法，并具体加以实现 。 2、学会对影像 融合效果进行评价。 3、学会利用 ENVI 的帮助 Help 系统来了解 ENVI 的一些操作方法。 实习内容 1、 利用纠正好的全色波段影像对多光谱波段影像进行几何精纠正，要求 GCP 单点位置精度高于 0.5m；在实习报告中给出精度计算结果表 。 2、

2、采用下述方法 对全色波段影像和多光谱影像进行 影像融合： HSV 变换 ； Brovey 变换 ； Gram-Schmidt 变换 ； 主成分替换 ； CN 变换 ；全景锐化 ； 小波融合 。 3、 根据各个算法相应的帮助系统（ help）说明各个算法的原理和关键参数设置 。 4、 比较融合前后多光谱影像的差异 。 5、 比较不同算法所得融合影像之间的差异，指出融合效果最好的前三种算法。 基本原理 1、 影像融合的 概念：影像融合是将同一目标或场景的用不同传感器获得的，或用同种传感器以不同成像方式，或在不同成像时间获得的不同影像，融合为一幅影像，在保持多光谱影像辐射信息的同时又提高影像空间分辨

3、率的遥感影像处理方法。 2、 影像融合分为三个 层次 ： 像素级：是最低层次的信息融合，其实现过程是直接在采集到的原始图像数据层上进行的，即在可见光，红外及雷达影像等原始数据经过严格的几何配准的基础上进行逐像元运算处理的数据综合分析。常用的像素级融合的方法有 ： HSV 变换， Brovey 变换 ，PCA 变换 ， 高通滤波法， 平滑滤波法， Gram-Schmidt 方法 ， CN（ Color Normalized）变换 ，小波变换法等。 特征级 ： 属于中间层次，其处理方法是首先对来自不同传感器的原始信息进行特征抽取，然后再对从多传感器获得的多个特征信息进行综合分析和处理，以实现对多传

4、感器 数据的分类，汇集和综合。充分考虑影像特征边缘，形状，纹理等特征，使特征地物信息得到更好的综合。其优点在于实现了可观的信息压缩，便于实时处理。由于所提取的特征直接与决策分析有关因而融合结果能最大限度地给出决策分析所需要的特征信息。 决策级融合 ： 是一种高层次信息融合，其结果将为各种控制或决策提供依据。 因2011 年遥感数字图像处理 06 次实习报告 2 / 8 此，决策级融合必须结合具体的应用及需求特点，有选择的利用特征级融合 所 抽取或测量的有关对象的各类特征信息，才能实现决策级别融合的目标，其结果也将直接影响最后的决策水平 ， 是根据一定的准则和可信度完成融合的。 3 影像融合的目

5、的： 综合利用多源、多分辨率遥感信息的优势，提高待分析影像的空间分辨率和清晰度 。 增强目标特征的可识别性 。 提高制图精度和水平。 4、本次实习用到的几种影像融合的方法 : HSV 融合， HSV 法是基于 HSV 色彩模型的融合变换方法。先将多光谱影像进行彩色变换， 从 RGB 模型转到 HSV 模型， 分离出 亮度 V 、色度 H 和饱和度 S，然后 用 高分辨率全色 波段 影像 替换 分离的 亮度 V 分量，再 用最近邻法、双线性内插法、三次卷积法三种方法中的一种， 按照 高分辨率影像像元大小， 自动地对 分离的色度 H 和饱和度 S 分量进行重采样 ，最后对代换后的三个波段进行 HS

6、V 逆变化，变回到 RGB 模型中。这样就完成了影像的融合，融合后的影像具有了高分辨率。 Brovey 融合 ， 是把 RGB 影像显示进行多光谱波段颜色归一化，将高分辨率全色波段影像和多光谱影像红，绿，蓝波段的比重各自相乘完成融合。计算公式如下： I PRdBrovey Re I PGGreenBrovey I PBBlueBrovey 其中 3 BGRI ， P 为配准后的高空间分辨率全色波段影像 。 主成分替换， 用 PC 可以对具有高空间分辨率的光谱图像进行锐化。第一步，先对多光谱数据进行主成分变换。第二步，用高分辨率波段替换第一主成分波段，在此之前，高分辨率波段已被缩放匹配到第一主成

7、分波段，从而避免波谱信息失真。第三步，进行主成分逆变换。函数自动地用最近邻 法 、双线性 内插法 或三次卷积 法 将多光谱数据重采样到高分辨率像元尺寸 ， 生成包含更高分辨率影像信息的新的多光谱影像 。 Gram-Schmidt 方法 A）步骤： 根据遥感传感器类型特点，用低空间分辨率的多光谱影像模拟其全色波段影像（ IKONOS, IRS1, Landsat7, QuickBird, SPOT 5, KOMPSAT-2, RapidEye, GeoEye-1, and WorldView-2）作为第一波段，与其他多光谱影像一起进行 Gram-Schmidt 变换；用高空间分辨率全色波段影像替

8、换变换影像中的第一波段； Gram-Schmidt 反变换，从中得到融合影像。 B） G-S 变换与主成分变换的区别在于 : 主成分变换的第一分量 PC1 包含信息最多 , 而后面的分量信息含量逐渐减少 ;但 G-S 变换产生的各分量只是正交 , 各分量信息量没有明显的区别。同时，其 变换前后的第一分量没有变化。 CN（ Color Normalized） 变换 ， CN 波谱锐化的彩色标准化算法也被称为能量分离变换，它使用来自锐化图像的高空间分辨率（和低波谱分辨率）波段对输入图像的低空间分辨率（但是高波谱分辨率）波段进行增强。该功能 仅对包含在融合影像波 段范围内的各个输入波段进行融合处理，

9、其范围以外的波段不进行处理； 波段范围由波段中心波长和半幅全宽（ FWHM， full width half maximum）值来确定； 特别适合高光谱影像的融合处理 。下面为公式： 全景锐化 ， 该方法适合高分辨率影像，融合效果较好。第一步，从低分辨率多光_ _ _ _ _ _ _ _ _I n p u t B a n d S h a r p e n i n g B a n d N u m B a n d s i n S e g m e n tC N s h a r p e n e d b a n d I n p u t B a n d s i n S e g e m e n t N u m

10、 B a n d s i n S e g m e n t 2011 年遥感数字图像处理 06 次实习报告 3 / 8 谱波段中模拟出一个全色波段。第二步，把模拟的全色波段和多光谱波段进行 Pan Sharpening 变换，将模拟的全色波段作为第一波段。第三步，用高分辨率的全色波段替换Pan Sharpening 变换后的第一波段。第四步， 进行 Pan Sharpening 逆变换，得到融合影像。 小波融合， 是将输入的 影 像转换到小波空间，然后将其小波系数融合，最后，通过小波逆变换得到融合影像。小波 影 像具有与原 影 像不同的特性，表现在 影 像的能量主要集中于低频部分，而水平、垂直和

11、对角线部分的能量则较少；水平、垂直和对角线部分表征了原 影 像在水平、垂直和对角线部分的边缘信息，具有明显的方向特性 。 数据准备 1、 广东省佛山市 Quickbird 可见光 /近红外波段（ 2.44m 分辨率） 多光谱 影像数据 :005547195010_01_p001_mul。 2、 广东省佛山市 同地区 Quickbird 全色波段（ 0.61m 分辨率） 影像 数据 ：005547195010_01_p001_pan， 其中全色波段已经过几何精纠正。 操作方法及过程 1、 影像的几何精纠正 先 将 全 色 波段 影像 005547195010_01_p001_pan 和 多 光

12、谱 影 像005547195010_01_p001_mul 分别加载到两个不同的主窗口中，然后，Map|Registration|Select GCPs:Image to Image，并将全色影像作为 Base Image，将多光谱影像作为 Warp Image。根据两幅上有明显特征的相同地物，选择 20 个控制点， 并确保单点误差和总体误差都小于 0.5，对 多光谱影像进行二阶 几何 精 纠正 后，导出几何精纠正后的影像 registration。 利用卷帘工具对 精纠正后的多光谱影像与全色波段的影像进行卷帘操作 ，结合控制点误差表，评价几何精纠正的精度。 编辑 多光谱影像和全色 波段 影像

13、头文件信息 ， 在 Available Bands List 中，选择精纠正后的多光谱影像，右击选择 Edit Head，在弹出的对话框中选择 Edit Attributes 下拉菜单中的 Wavelength 选项 ， 将 1、 2、 3 波段的 中心波长 值分别设为 660nm、 560nm、 485nm。同理，将全色 波段 影像的 Wavelength 设置为 675nm，同时将其 FWHM（半幅全宽） 的属性值设为 450nm。 2、 影像融合 HSV 融合 A）步骤： 加载经过精纠正的影像 registration， 显示在 display#1 中， 然后，Transform|Ima

14、ge Sharpening|HSV， 在对话框 Select Input RGB 中 选择打开 registration 影像的 display#1，在 High Resolution Input File 对话框中 Select Input Band 中 选择全色 波段 影像，Resampling 选择 Nearest Neighbor，最后选择融合后的影像的保存路径。 B） 将经融合处理得到的影像加载到新的窗体中，同全色 波段 影像和多光谱影像进行比较， 从信息量、清晰度、保真度三个方面 分析融合效果。 Brovey 融合 A）步骤： 加载经过精纠正的影像 registration， 显示

15、在 display#1 中，然后，Transform|Image Sharpening|Color Normalized(Brovey)， 在对话框 Select Input RGB 中 选择打开 registration 影像的 display#1，在 High Resolution Input File 对话框中 Select Input Band中 选择全色 波段 影像， Resampling 选择 Nearest Neighbor，最后选择融合后的影像的保存2011 年遥感数字图像处理 06 次实习报告 4 / 8 路径。 B） 将经融合处理得到的影像加载到新的窗体中，同全色影像和多光

16、谱影像进行比较，分析融合效果。 Gram-Schmidt 方法 A） 步骤： Transform|Image Sharpening| Gram-Schmidt Spectral Shaping， 在 对话框 Select Low Spatial Resolution Multi Band Input File 中 选择精纠正后的多光谱影像 registration， 在对话框 Select High Spatial Resolution Pan Input Band 中 选择高分辨率的全色 波段 影像，Method for Low Resolution Pan 选择 Average of Lo

17、w Resolution Multispectral File，Resampling 选择 Nearest Neighbor，最后选择融合 后的影像的保存路径。 B） 将经融合处理得到的影像加载到新的窗体中，同全色影像和多光谱影像进行比较，分析融合效果。 主成分替换 A） 步骤： Transform|Image Sharpening| PC Spectral Sharpening， 在对话框 Select Low Spatial Resolution Multi Band Input File 中 选择精纠正后的多光谱影像 registration， 在对话框 Select High Spat

18、ial Resolution Input File 中 选择高分辨率的全色 波段影像 ， Resampling 选择 Nearest Neighbor，最后选择融合后的影像的保存路径。 B） 将经融合处理得到的影像加载到新的窗体中，同全色影像和多光谱影像进行比较，分析融合效果。 CN（ Color Normalized） 变换 A） 步骤： Transform|Image Sharpening| CN Spectral Sharpening， 在对话框 Select Low Spatial Resolution Image to be Sharpened 选择精纠正后的多光谱影像 regist

19、ration， 在对话框 Select High Spatial Resolution Sharpening Image 选择高分辨率的全色 波段 影像，Sharpening Image Multiplicative Scale Factor 设定为 1，最后选择融合后的影像的保存路径。 B） 将经融合处理得到的影像加载到新的窗体中，同全色影像和多光谱影像进行比较，分析融合效果。 小波变换。 A） 步骤： Transform|Wavelet Fusion，其中 对话框 Select Image A 中 选择精纠正后的多光谱影像 registration， Select Image B 选择高分

20、辨率的全色 波段 影像， Fusion Strength 选择默认的，最后选择融合后的影像的保存路径。 B） 将经融合处理得到的影像加载到新的窗体中，同全色影像和多光谱影像进行比较，分析融合效果。 全景锐化 A） 步骤： File|Launch ENVI Zoom，打开 ENVI Zoom，加载精纠正过的多光谱影像和全色 波段 影像，然后 Processing|Pan Sharpening， 在对话框 Select Low Spatial Resolution Multi Band Input File 选择 纠正后的 多光谱影像， Select High Spatial Resolution

21、 Multi Band Input File 选择全色 波段 影像， Sensor 设置为 QuickBird， Resampling 设置为 Nearest Neighbor，选择输出路径。 B） 在 ENVI Zoom 分析经过 Pan Sharpening 处理后的影像的效果。 结果与分析 1、 控制点精度分析和几何精纠正效果 以全色波段为参考对多光谱影像进行几何精纠正，在全图上均匀的分布有 20 个控制点，下面为每个 控制 点的精度计算结果表： 2011 年遥感数字图像处理 06 次实习报告 5 / 8 Points Base(x) Base(y) Warp(x) Warp(y) Pr

22、edict(x) Predict(y) Error(x) Error(y) RMS1 1245 1640 312 410 312.04 410 0.04 0 0.042 82 927 21 232.33 21.09 232.23 0.09 -0.1 0.133 871 57 218 14.67 218.09 14.75 0.09 0.08 0.124 458 1737 115.33 434.33 115.39 434.51 0.06 0.18 0.195 144 1666 36.33 416.33 36.33 416.26 0 -0.07 0.076 1117 876 279.67 219.6

23、7 279.73 219.62 0.06 -0.05 0.087 1603 484 401.33 121.67 401.25 121.58 -0.08 -0.09 0.118 725 1163 182 291.33 181.8 291.43 -0.2 0.1 0.229 1162 1582 291.25 395.75 291.34 395.7 0.09 -0.05 0.110 759.25 796.75 190 199.75 190.22 199.9 0.22 0.15 0.2711 1491 999.25 373.64 250.18 373.44 250.07 -0.2 -0.11 0.23

24、12 1347 58 336.71 15 336.64 15.06 -0.07 0.06 0.0913 651.5 1474 163.75 369.25 163.64 369.06 -0.11 -0.19 0.2214 1654 976.75 414.25 244 414.28 244.27 0.03 0.27 0.2715 1560 1173 390.75 293.25 390.7 293.21 -0.05 -0.04 0.0716 1613 698 404 175 403.93 174.93 -0.07 -0.07 0.117 1611.5 653 403.25 163.75 403.53

25、 163.72 0.28 -0.03 0.2818 576 72 145 18.75 144.88 18.58 -0.12 -0.17 0.2119 58 882.25 15.25 221 15.16 221.07 -0.09 0.07 0.1120 170 148 44.25 37.75 44.28 37.81 0.03 0.06 0.07 从上 表 可以看出， 每个点的误差都远小于 0.5 个象元 ， 总误差 Total RMS Error: 0.167765，也远远小于 0.5 个像元。 将进行几何精纠正后的多光谱影像与全色波段的影像进行卷帘操作，在卷帘过程中，图像显示地非常清晰，没有动

26、画跳动，说明几何精纠正的效果比较好。 2、 HSV 融合前后影像比较 图 1（ 全色 波段 影像 ） 图 2（ 精纠正后的多光谱影像 ） 图 3（ HSV 融合后的影像 ） 分析： 通过 HSV 融合 ，将 融合 后 的影像 和 全色 波段 影像相比较，融合后的影像色彩信息更加丰富，影像的分辨率基本上没什么变化 ，清晰度较好； 融合后的影像与多光谱影像相比较，影像的分辨率有了很大的提高，色彩的亮度、色度、饱和度都有较明显的改变，颜色分布与地物信息的吻合度比较高， 保真度较好， 使得地物信息得到极大的丰富 ， 便于辨别和分析。 通过融合 ，提高了影像的空间分辨率和清晰度。 3、 Brovey 融

27、合前后影像比较 图 4（ 全色 波段 影像 ） 图 5（ 精纠正后的多光谱影像 ）图 6（ Brovey 融合后的影像 ） 2011 年遥感数字图像处理 06 次实习报告 6 / 8 分析： Brovey 融合后的影像色彩畸变比较大，与多光谱影像相比较，影像上的地物的清晰程度有很大的提高，分辨率较高， 清晰度较好， 但是影像中的阴影地方 出现 蓝色，颜色不符合实际；河流颜色发生的畸变也比较大，出现不整齐的暗绿色 ， 绿色植物的颜色变得过于鲜绿，而红色的屋顶的颜色也有较大的失真 ，保真度不是很好，从而使得影像的 色彩 信息有所损失。 4、 Gram-Schmidt 融合 前后影像比较 图 7（

28、全色 波段 影像 ） 图 8（ 精纠正后的多光谱影像 ）图 9（ Gram-Schmidt 融 合后的影像 ） 分析： Gram-Schmidt 融合 后的影像总体上来说分辨率有很大的提高，清晰度高，光谱信息比较丰富，但颜色的匹配还不是很理想，整个影像的色调基本上一致，呈现出泛红的现象，地物之间的辨别基本上是通过影像上的灰度信息，而色彩提供的信息量较少，区分度不高 ，只有一些蓝色的屋顶 被显示为蓝色，而绿色 植被 显示为灰白色，颜色发 生了畸变，保真度不是很好。 5、 主成分替换融合 前后影像比较 图 10（ 全色 波段 影像 ） 图 11（ 精纠正后的多光谱影像 ）图 12（主成分替换 融

29、合后的影像 ） 分析： 主成分替换融合 后的影像清晰度高，涵盖的地物信息量大，颜色的畸变很小，和 Gram-Schmidt 融合后 的影像效果类似，颜色的匹配还不是很理想，整个影像的色调基本上一致，呈现出泛 蓝 的现象，色彩不够丰富。 6、 CN 变化融合前后影像比较 2011 年遥感数字图像处理 06 次实习报告 7 / 8 图 13（ 全色 波段 影像 ） 图 14（ 精纠正后的多光谱影像 ）图 15（ CN 变化融合 后的影像 ） 分析： CN 变化融合后的影像分辨率得到很好的改善，清晰度变高， 但是颜色 匹配就没有 HSV 融合好了，发生了稍微的畸变， 但 没有 Brovey 融合发生

30、的畸变大，例如植被显示为浅蓝色，而不是绿色，就整个影像来说， 色彩的亮度、色度、饱和度 不够丰富 ，使影像看起来跟自然色彩有一点的区别。 7、 小波变换 融合 前后影像对比 （ Fusion Strength 处在正中间） 图 16（ 全色 波段 影像 ） 图 17（ 精纠正后的多光谱影像 ）图 18（小波融合 后的影像 ） 分析： 经过上述小波融合处理后，影像的清晰度提高的效果不是很好，地物的边界比较模糊，边界的锐化程度不高，影像中地物的色彩信息也不够丰富，色彩的饱和度低，整体上对地物的分析效果不是很好。 Fusion Strength 处于 A、 B 正中间和偏向于高清晰度的 B 影像 图

31、 19（ Fusion Strength 处 图 20（ Fusion Strength 偏向 于 A、 B 正中间 ） 于高清晰度 B 影像 ） 分析： 在小波融合的过程中，通过对 Fusion Strength 的值的调整，所得到的影像的效果是有明显差别的。 Fusion Strength 偏向于高清晰度的 B 影像 ， 处理后的结果 使 影像的清晰度 变 高，地物边界信息比较丰富，但是影像中地物的色彩饱和度不高，色彩信息不够丰富 ， 但就左边的影像处理效果有很大的改善。 如果 Fusion Strength 偏向于色彩丰富的 A影像，处理后的结果是影像变的模糊，色彩变的丰富。通过对 Fu

32、sion Strength 的调节比较，可以得到满意的融合效果。 8、全景锐化 后的影像（全景锐化是在 ENVI Zoom 中实现的，所以下面的图像是在 ENVI Zoom 中显示的） 2011 年遥感数字图像处理 06 次实习报告 8 / 8 分析： 经过 全景锐化 处理后，影像的分辨率和清晰度都比较高，色彩的失真程度比较小，融合效果很好。只是在影像中，有些地物的颜色有点偏深，如河边的绿色植物的颜色就有点偏蓝，整体上很理想。 9、比较几种融合效果发现一下三种的融合效果较好： HSV 融合 、 CN（ Color Normalized） 融合、全景锐化的效果比较理想 ，另外只要对小波融合中 F

33、usion Strength 调节的适当时，也能产生理想的融合效果。 存在问题与解决办法 1、本次实习中，对于几何精纠正控制点的选择要求比较高，刚开始 时很难达到要求，当积累了一定的经验后，控制点的选择就比较容易了。另外发现控制点选择时不能用自动找点的方法进行，不知道原因，查阅了资料还是未解决，希望下次实习时向老师问清楚。 2、在进行主成分替换融合时，发现做出的结果有时候颜色畸变很大，整个 影像 显示为粉红色，通过查阅资料发现，原因在于几何精纠正出现了问题，进行了多次几何精纠正才做出正确的结果。 3、在全景锐化时，将做出的结果放在 ENVI Zoom 中显示时，比较符合预期的效果，如果在 EN

34、VI 视窗中显示时，整体很暗，原因可能与它们显示时自动拉伸的方法有关。 总结 1、本次实习所花的时间比较多，原因在于既要进行几何精纠正又要进行影像融合，而且，关于影像融合的原理了解的不是很多，写报告时，查阅 ENVI Help 系统，对其原理进行理解和掌握，而且通过多次操作，设置不同的参数，观察处理效果，对比不同参数的作用。 2、 通过本次实习的完成进一步理解影像处理，对 HSV、 Brovey 变换、 Gram-Schmidt Spectral Shaping、 PC Spectral Sharpening、 CN Spectral Sharpening、小波融合、 Pan Sharpening处理原理掌握操作步骤和步骤有更深入的理解。不同的影像融合处理手段能够有效的解决影像的多种来源的问题，也能够有针对性的分别提取某个影像上的信息，各取所长，然后整合到一个影像中，这样大大提高了遥感的可读性，以及对影像分析的精确性。每个影像融合方法都有自己处理影像的侧重点和不足，根据需要选择合适的方法非常重要。 图 21（全景锐化结果影像）