1、遥感反演及遥感数据产品的生产过程,1. 遥感反演概述 2. 遥感数据产品生产的流程 2.1 遥感产品生产线结构 2.2 遥感数据的预处理 2.3 遥感反演 2.4 遥感产品的完善和发布 3. 例子：GLASS叶面积指数产品生产线 3.1 数据源 3.2 预处理 3.3 反演算法 3.4 质量控制和质量标志,1,遥感反演及遥感数据产品的生产过程,这节课授课目标： 了解“蛋糕是怎么做的”，吃蛋糕才不会噎着 目前的遥感数据产品多数还不完善，解决使用中遇到的问题还需要专业知识 了解遥感数据处理的原理 理解遥感数据产品还存在问题的原因,2,1. 遥感反演概述,3,1.1 什么是遥感反演,正演,反演,1.
2、 遥感反演概述,4,1.2 遥感反演问题的本质和科学问题 遥感的本质是反演，而从反演的数学来源讲，反演研究所针对的首先是数学模型。，首先要解决的问题是对地表遥感像元信息的地学描述。 但陆地遥感反演的根本问题在于定量遥感往往需要用少量观测数据估计非常复杂的地表系统的当前状态，本质上是一个病态反演问题。 解决病态反演问题的办法，一是扩充信息源，比如综合使用多源遥感数据或地面观测资料，引入先验知识；二是控制信息分配，让有限的观测信息尽量分配到目标参数，抑制反演过程中的误差传播。,1. 遥感反演概述,5,1.3 常见的几种遥感反演方法 经验回归 例如逐步多元回归、神经元 公式推导及线性反演 简化、线性
3、化 ；例如大气校正公式、分裂窗 迭代优化 Newton 迭代、遗传算法 查找表 多数情况下只是作为一种简化工具,1. 遥感反演概述,6,1.4 遥感反演的注意事项 信息量问题 数据信息已知参数先验约束 模型的可反演性 合适的参数化方法 反演算法的稳定程度 对噪声的抵抗能力 反演算法中使用约束条件 正则化方法、贝叶斯反演、物理边界 优化反演算法以提高计算效率 优化代价函数、选择合适的迭代算法、建立查找表,1.5 MODIS数据参数反演系统,气溶胶产品 经验公式、查找表 大气水汽含量 经验公式、查找表 大气校正 公式推导 BRDF及反照率产品 公式推导（线性方程求解） 地表温度 公式推导、迭代优化
4、 叶面积指数 经验回归、公式查找表,1. 遥感反演概述,气溶胶产品 查找表选择暗目标：2100纳米反射率和440纳米反射率之间有经验关系，假设纳米处无大气影响，可得440纳米处的地表反射率。 建立440纳米处地表反射率、气溶胶类型、气溶胶光学厚度、太阳角度、观测角度等自变量与TOA反射率的查找表。 根据各种已知条件（即上面用下划线表示的量）就可从查找表中得到气溶胶光学厚度。,1. 遥感反演概述,大气水汽含量 经验公式、查找表先在地表反射率为常数或呈线性变化的假设下求取某波段的大气透过率然后通过使用该波段透过率与水汽含量的查找表求取水汽含量,1. 遥感反演概述,大气校正 公式推导大气辐射传输方程
5、简化为如下公式就可直接求出逆向公式,1. 遥感反演概述,BRDF及反照率产品线性方程求解 线性核驱动模型因为非线性因素都体现到核函数中，而核函数是估定的、不包含位置参数的函数，因此反演该模型就可以用最小二乘法解线性方程实现。 获得核驱动模型参数后，相应波段的半球反照率可由核驱动模型积分得出。 总的反照率则是各波段反照率的加权和。,1. 遥感反演概述,地表温度 公式推导（分裂窗） 假设： a)地表比辐射率已知；b)大气窗口的水汽吸收系数可以看作常数；c)大气温度与下垫面温度相差不大，黑体辐射公式可以采用线形近似。 公式推导（略） 最终公式系数获取方法（拟合MODTRAN模拟的数据）,1. 遥感反
6、演概述,地表温度 迭代优化（Z Wan - 1997 ）MODIS个波段昼夜两次观测，大气地表参数同时反演 未知数：个通道的发射率、昼夜两个地表温度、昼夜两套大气等效辐射温度和水汽含量 迭代算法：Quasi-Newton法、最小二乘拟合法 优化：对大气辐射传输过程建立查找表、用一个经验回归公式获取解的初始值 大量的误差分析和验证工作,1. 遥感反演概述,叶面积指数 经验回归 获取与卫星图像同步的地面测量叶面积指数从卫星图像计算植被指数建立测量点上NDVI或SAVI与叶面积指数的经验关系将此经验关系应用到整个图像,1. 遥感反演概述,叶面积指数与fPar 公式查找表（R Myneni-2002）
7、辐射传输方程，包含很多参数 将辐射传输方程的求解过程分解，分解后的每一模块只包含少量参数 对每个模块建立查找表 将观测的多波段（或多角度）数据与查找表对照，就得到叶面积指数与fPar,1. 遥感反演概述,第三讲：遥感反演及遥感数据产品的生产过程,1. 遥感反演概述 2. 遥感数据产品生产的流程 2.1 遥感产品生产线结构 2.2 遥感数据的预处理 2.3 遥感反演 2.4 遥感产品的完善和发布 3. 例子：GLASS叶面积指数产品生产线 3.1 数据源 3.2 预处理 3.3 反演算法 3.4 质量控制和质量标志,16,2. 遥感数据产品生产的流程,17,遥感数据产品生产在遥感信息流中的位置,
8、遥感数据产品生产,2. 遥感数据产品生产的流程,18,2.1 遥感产品生产线结构,遥感数据源,参数产品的应用,2. 遥感数据产品生产的流程,19,2.2 遥感数据预处理,2. 遥感数据产品生产的流程,20,2.2 遥感数据预处理广义的辐射畸变包括： 传感器缺陷、地形和光照条件的变化、大气的吸收和散射 这里讨论的是狭义的辐射畸变，即传感器自身特点引起的图像缺陷 因为传感器辐射畸变是与观测目标无关的伪信号，所以必须进行校正,为什么要进行辐射畸变校正,2. 遥感数据产品生产的流程,21,2.2 遥感数据预处理坏像元 探测器损坏或者数据传输过程中 丢失 点缺失、行缺失或者列缺失 探测器之间的差异 面阵
9、探测器，线阵探测器 低信噪比波段和红外探测器容易 受到探测器差异的影响 光学系统透过率的非均匀 透镜系统都会有靠近光轴部分透过率高于远离光轴透过率的现象,传感器辐射畸变类型,机载WiDAS传感器近红外图像辐射畸变校正前后,2. 遥感数据产品生产的流程,22,2.2 遥感数据预处理辐射定标的目的： 把遥感原始数据的DN值与遥感传感器接收到的辐射能量联系起来遥感数据辐射定标的注意事项 同一传感器的不同个体之间定标系数会有差异 传感器定标系数会随时间漂移 复杂的辐射定标方法，如热红外定标需要逐扫描线对比黑体观测给出动态的定标系数,遥感数据的辐射定标,2. 遥感数据产品生产的流程,23,2.2 遥感数
10、据预处理几何校正的目的： 把遥感图像的图像坐标与真实目标的地理坐标联系起来 遥感几何校正的注意事项 几何校正具有误差，特别是对于批量生产的产品，目前自动校正的几何误差可能有数百米到数公里 校正后数据的投影有很多种，并且有很多参数，投影转化的不准确也造成人为的几何误差 几何校正中的升降尺度变换（即重采样）会带来误差 地形造成几何校正的困难,遥感数据的几何校正,2. 遥感数据产品生产的流程,24,2.2 遥感数据预处理根据成像模型和卫星轨道参数自动推算人工选择控制点校正自动匹配选择控制点校正校正方式 多项式校正、样条校正、三角网格校正 正射校正,几何校正的常用方法,2. 遥感数据产品生产的流程,2
11、5,2.2 遥感数据预处理大气校正的目的： 消除大气辐射的影响，恢复大气下界的地面反射率或者地面辐射亮度大气影响的表现方式 大气吸收，大气层辐射，相邻像元的影响 大气校正的难度大气参数的获取 遥感反演气溶胶参数（暗目标方法） 遥感反演大气温湿度廓线（红外高光谱）,遥感数据的大气校正,2. 遥感数据产品生产的流程,26,2.2 遥感数据预处理正确的云、雪检测对于遥感产品生产的重要性：多数遥感产品云、雪检测 效果不理想 薄云、高云阈值的确定 亚像元的云分布 云与雪的光谱特征的相似与差异,遥感数据的云、雪检测,2. 遥感数据产品生产的流程,27,2.2 遥感数据预处理,思考：遥感数据预处理中的哪些误
12、差 会传递到最终的数据产品？,传感器的缺陷，不准确的定标，不准确的几何位置，重采样误差，大气校正误差，薄云等,2. 遥感数据产品生产的流程,28,2.3 遥感反演,遥感反演的三要素,2. 遥感数据产品生产的流程,29,2.3 遥感反演物理模型经验模型（统计模型）半经验模型（物理模型简化）计算机仿真模型,遥感模型,2. 遥感数据产品生产的流程,30,2.3 遥感反演辐射传输（RT）模型 广泛用于大气、地表、叶片 几何光学（GO）模型 景合成的思想，即像元光谱是组分光谱的面积比例加权平均 GO-RT混合模型,遥感物理模型,2. 遥感数据产品生产的流程,31,2.3 遥感反演优点 原理比较清晰，可以
13、分析原理改进模型 不足 非线性，计算量大，不容易反演 模型依赖于对目标的一些假设，不满足假设的目标不适用 即使最严格物理模型，仍然是对复杂自然现象的近似，因此仍然有误差,遥感物理模型的优点与局限,2. 遥感数据产品生产的流程,32,2.3 遥感反演线性回归模型 多项式回归模型 指数函数模型 多变量回归模型优点：一般比较简单，计算量小，易反演 局限：受限于提取模型用的训练数据，如果时间、地点、目标改变了，模型就不再适用,遥感经验模型（统计模型）,经验模型的优点与局限,2. 遥感数据产品生产的流程,33,2.3 遥感反演非线性模型线性化，非敏感参数用常数值代替 优点：既简单又有一定物理意义 局限：
14、作为物理模型的简化，也有一定适用范围蒙特卡洛仿真 真实景观+三维辐射传输 优点：逼真 局限：计算量非常大,半经验模型（物理模型简化）,计算机仿真模型,2. 遥感数据产品生产的流程,34,2.3 遥感反演第三公设: Verstraete 等 (1996) 提出的反演10个公设的第 3 条“定量遥感反演的必要条件是独立观测的个数大于未知数的个数” 遥感反演信息量缺乏问题的解决方法 引入多源数据 使用先验知识,遥感反演的信息源,2. 遥感数据产品生产的流程,35,2.3 遥感反演多种遥感数据的联合反演 相似特征的多个传感器数量联合，时间空间分辨率显著不同的数据互补，光学和微波遥感数据协同 地面观测数
15、据支持遥感反演 地面观测可以提供一些模型需要而又难以从遥感数据反演的参数，如气温 地面观测点较多的条件下（比如用无线传感器网络获取很多数据），可用地面观测值订正遥感反演结果 统计知识（先验知识）支持遥感反演 通过地面观测或者较高质量的遥感产品获得统计知识,增加信息源的方式,2. 遥感数据产品生产的流程,36,2.3 遥感反演多源数据联合反演，是增加了信息，还是增加了误差?误差源的复杂化，误差传播过程的复杂化原理上说，增加数据源应该有利于参数反演，但是前提条件是使用了正确的反演方法。,多源遥感反演的误差,2. 遥感数据产品生产的流程,37,2.3 遥感反演常见的遥感反演算法 推导反演模型的解析表
16、达式（速度最快） 线性最小二乘法（线性问题） 人工神经网络（能处理非线性问题，但是效果不稳定） 查找表（未知参数不能太多） 迭代优化（较慢，容易陷入局部极值） 遗传算法（更慢）,反演算法,不能用于业务化生产,2. 遥感数据产品生产的流程,38,2.3 遥感反演什么叫反演算法的不稳定？ 出现没有物理意义的反演结果，如极高或极低的地表温度 反演结果对数据噪声敏感，稍微改变数据中的噪声，反演结果就会偏离很远 反演结果对初值或其他反演控制参数敏感 反演不稳定的原因 信息量缺乏、模型参数自相关、不恰当的反演算法 反演不稳定的对策 用先验知识做约束条件、精心选择反演算法和反演策略,反演算法的不稳定性及对策
17、,2. 遥感数据产品生产的流程,39,2.3 遥感反演,思考：遥感反演过程中哪些因素会影响数据产品的质量？有什么注意事项？,模型有误差，但更重要的是不要选错误的模型； 各种数据源都有误差，要尽量选择包含丰富信息而又噪声小的数据，但更重要的是设计反演算法一定要注意控制误差的传播 反演算法会不稳定，一个好的反演算法要尽量减少不稳定，另一方面，用户不要简单认为反演结果都是好结果,2. 遥感数据产品生产的流程,40,2.4 遥感产品的后处理因为遥感产品中存在误差以及诸多其他问题。,为什么要强调遥感产品的后处理？,完备的说明文档及元数据,2. 遥感数据产品生产的流程,41,2.4 遥感产品的后处理质量标
18、志 现在比较通用的做法是给出逐像元的质量标志位 质量分级 现在使用这种方式比较少，但总的说仍然是质量好的数据才能提供给用户 人工抽查 需要投入大量具有专业知识的人员 精度验证 自我验证、第三方验证,遥感产品的质量控制措施,2. 遥感数据产品生产的流程,42,典型的质量标志位说明,Bits are listed from the MSB (bit 31) to the LSB (bit 0):Bit Description14-17 band 4 data quality four bit range;SAME AS ABOVE10-13 band 3 data quality four bit
19、 range;SAME AS ABOVE6-9 band 2 data quality four bit range;SAME AS ABOVE2-5 band 1 data quality four bit range;SAME AS ABOVE0-1 MODLAND QA bits; corrected product produced at00 - ideal quality all bands 01 - less than ideal quality some or all bandscorrected product not produced due to10 - cloud eff
20、ects all bands 11 - other reasons some or all bands may be fill valueNote that a value of (11) overrides a value of (01).,MYD09A1数据产品(7个波段的地表反射率)质量标志位的定义,2. 遥感数据产品生产的流程,43,2.4 遥感产品的后处理不同时间、空间分辨率的产品的生成 根据一定合成策略，生成升尺度（低分辨率）的遥感产品 通过合成，也可以一定程度减少缺失数据 多种产品的融合 把不同数据源的产品进行融合，可进一步提高精度和减少缺失 缺失填补 根据先验知识填补缺省值 根
21、据参数分布的自相关性进行时空滤波填补 人工编辑 例如分类后处理，通过聚类、剔除等操作去除小的碎屑多边形,遥感产品的完善,2. 遥感数据产品生产的流程,44,2.4 遥感产品的后处理文件名规范 一般反映数据源、获取时间、地理位置、参数类型等 数据文件格式 最常见的是GeoTiff和HDF格式 压缩包 很多产品压缩存储以节省占用空间和网络传输时间,遥感产品的格式规范,2. 遥感数据产品生产的流程,45,2.4 遥感产品的后处理算法手册 详细介绍数据源特性，反演算法原理以及预期的精度 用户手册 介绍数据文件的格式和质量标志等信息 产权及引用信息 数据的使用者对于数据提供者应该给予的支持 产品元数据
22、每一个数据产品文件还会有一个描述文件，记录很多相关信息，称为元数据,完备的说明文档和元数据,2. 遥感数据产品生产的流程,46,2.4 遥感产品的后处理产品介绍网站 产品下载网站 其他产品提供方式 产品宣传册 宣传推广,产品发布,第三讲：遥感反演及遥感数据产品的生产过程,1. 遥感反演概述 2. 遥感数据产品生产的流程 2.1 遥感产品生产线结构 2.2 遥感数据的预处理 2.3 遥感反演 2.4 遥感产品的完善和发布 3. 例子：GLASS叶面积指数产品生产线 3.1 数据源 3.2 预处理 3.3 反演算法 3.4 质量控制和质量标志,47,MODIS LAI (Collection 4)
23、 over Bondville in 2001,MODIS LAI over the Counami Site (Broadleaf forest ),3. 例子：GLASS叶面积指数产品生产线,背景：现有LAI指数全球产品的不足,3. 例子：GLASS叶面积指数产品生产线,49,3.1 数据源主要输入数据 MODIS地表反射率产品（2000年后） AVHRR地表反射率产品（2000年前）训练数据 NASA发布的MODIS叶面积指数（LAI）产品 欧洲CYCLOPES项目发布的叶面积指数（LAI）产品 地面站点观测,3. 例子：GLASS叶面积指数产品生产线,50,3.2 预处理,MODIS地
24、表反射率的预处理,直接使用了NASA发布的MOD09A1产品（已经过预处理）,GLASS系统中的预处理,3. 例子：GLASS叶面积指数产品生产线,51,3.2 预处理,为什么要时间序列平滑？,去除残余的云干扰， 填补缺失数据,3. 例子：GLASS叶面积指数产品生产线,52,3.3 反演算法,General Regression Neural Networks,A GRNN with a multi-inputmulti-output architecture,3. 例子：GLASS叶面积指数产品生产线,53,3.3 反演算法采用GRNN人工神经网络（计算效率高） 输入1年的反射率时间序列，
25、输入1年的LAI时间序列（多对多的映射关系，输出的LAI时间序列是平滑的） 训练数据采用全球不同类别的若干站点的反射率和LAI时间序列（训练数据的代表性和精度决定产品精度）,反演算法特点,3. 例子：GLASS叶面积指数产品生产线,54,叶面积指数（LAI）反演算法流程图,预处理,预处理,算法,算法,3. 例子：GLASS叶面积指数产品生产线,55,3.3 反演算法,GLASS产品生产线硬件设计,根据863项目总体建设原则，已经建成了具有“先进性、可靠性、可维护性、开放性和安全性”等特点的全球陆表特征参量生产系统。,3. 例子：GLASS叶面积指数产品生产线,56,3.3 反演算法,GLASS
26、产品生产线硬件实物,3. 例子：GLASS叶面积指数产品生产线,57,3.3 反演算法,GLASS产品生产管理系统软件设计方案,生产管理系统是采用Linux计算机集群构建的生产环境，在多个计算节点上完成生产部署，作业分发，生产状态采集。它的构架采用三层结构设计，由外层（用户交互界面层）、核心层（业务逻辑层）以及内层（应用数据访问层）构成。,3. 例子：GLASS叶面积指数产品生产线,58,3.3 反演算法,GLASS产品生产管理系统软件设计方案,3. 例子：GLASS叶面积指数产品生产线,59,3.3 反演算法,GLASS数据产品生产流程,3. 例子：GLASS叶面积指数产品生产线,60,3.
27、4 质量控制和质量标志,GLASS三级产品HDF文件命名、格式组织及元数据(XML)设计规范,GLASS01NYY.VXX.AYYYYDDD.HRRVPP.YYYYDDD.hdf GLASS：产品前缀 01：LAI产品 N：产品空间分辨率 YY ：产品生产所用算法或所用数据的标识符 01-使用MODIS Terra数据,8天，SIN投影；02-使用MODIS Aqua数据,8天，SIN投影；03-使用AVHRR数据，正弦投影；04-使用AVHRR数据，SIN投影 VXX：产品版本号，自V01起算 AYYYYDDD：生产产品所用数据的获取时间 YYYY-年份 DDD-儒略日 HRRVPP：产品景
28、号信息(即产品所在的SIN投影格网的行列号) HRR-行号 VPP-列号 YYYYDD：产品生产的时间 YYYY-年份 DDD-儒略日,GLASS01A01.V01.A2003033.h01v07.2011148.hdf,3. 例子：GLASS叶面积指数产品生产线,61,3.4 质量控制和质量标志,3. 例子：GLASS叶面积指数产品生产线,62,3.4 质量控制和质量标志,3. 例子：GLASS叶面积指数产品生产线,63,3.4 质量控制和质量标志,叶面积指数产品质量标志位,处理结果,时间分辨率：8天 空间分辨率：15km 时间跨度：1981-2010,GLASS LAI产品,GLASS L
29、AI产品,3. 例子：GLASS叶面积指数产品生产线,66,3.4 质量控制和质量标志,人工抽查的质量检查方法,3. 例子：GLASS叶面积指数产品生产线,67,3.4 质量控制和质量标志,人工抽查的质量检查方法,典型区域选择：北美洲森林、格陵兰岛冰雪覆盖区、沙哈拉大沙漠，中纬度农地覆盖区和热带雨林区等 抽取数据数量原则上抽取陆地范围不小于全球陆地面积的20%。 选择典型季节每个tile每个季度选2天，不同tile选择不同的时间段。MOD09A1抽查的34个tile如下:,原始数据、预处理数据、产品对比,LAI,预处理数据,原始数据,检查结论：所检查出的空间不连续几乎都是v02区域，这里的空间不连续本质上也是反射率QC值，有雪覆盖与无雪覆盖的交错。另外，此区域靠近极地，目前的数据质量认为可以接受。,3. 例子：GLASS叶面积指数产品生产线,69,3.4 质量控制和质量标志,人工抽查的质量检查方法,3. 例子：GLASS叶面积指数产品生产线,70,3.4 质量控制和质量标志,GLASS产品数据分发网站的设计,71,本节课通过介绍遥感产品生产的流程，目的是让大家明白遥感产品生产过程中有很多不完善之处或误差来源，因此在使用遥感数据产品时需要谨慎对待，遇到问题需要从产品生产过程中去分析原因。,本节总结,
