1、数学成像中的几个问题,报 告 提 要,一、数学成像 二、已做的工作 三、几个问题,1,一、数学成像,2,数学成像包括： 从数据到图像成像 从图像到图像处理 从图像到语义解译,报 告 提 要,一、数学成像 二、已做的工作 三、几个问题,3,二、已做的工作,4,围绕成像过程中降质辨识和增强处理两个核心问题开展研究工作。完成的项目：遥感图像超分辨率处理星载SAR图像提高分辨率技术,5,图像复原与超分辨的总体方案 降质过程辨识 图像后处理 处理结果,二、已做的工作,1.总体方案,二、已做的工作,2. 降质过程辨识,系统的点扩散函数（降质算子）等价于一个低通滤波器。,二、已做的工作,描述成像系统和目标之
2、间相对匀速直线运动的降质算子： 水平方向线性移动垂直方向线性移动线性移动既不在水平方向，也不在垂直方向,（1）线性移动降质函数,Gauss降质函数是最常用的，可表示为对图象来说，一个二维Gauss函数总可以分解为两个一维Gauss函数的卷积。,（2）Gauss降质函数,光学系统散焦引起的降质函数是一个均匀分布的圆形或方形光斑，即,（3）散焦降质函数,运动模糊降质算子的拟合实验结果,误差图,方形散焦/斑算子的拟合结果,误差图,此外，还研究了平台的以下运动过程对成像质量的影响： 匀加速直线运动 角振动 简谐振动 复杂运动（恒幅变频运动、复杂简谐） 得到了它们对应的点扩散函数。,2. 降质过程辨识,
3、二、已做的工作,(1) 光波衍射限下的MTFo1取决于波长及孔径的形式，对于圆形孔径为式中， 为非相干光学系统的空间截止频率(lp/mm)，为非相干光波长， FN=F/D为相对孔径的倒数，F为焦距，D为入瞳直径。,(2) 非衍射象差系统的MTFO2式中，=0.51r，r为象差引起的弥散圆半径。,光学系统的调制传递函数,光学系统的调制传递函数,(3) 表征光学材料不均匀性、应力不均匀性、零件加工误差、装配校正误差及测量误差等因素的影响，实践经验指出， 。,(4) 焦点偏移的 MTFO4为 式中，为轴向离焦量，NA=D/2F为数值孔径。对于同样的离焦量，像元尺寸小的比像元尺寸大的MTF下降严重。,
4、(3) 光串扰的 ，当CCD敏感元之间的沟存在缺陷时，像元的电子会在像元之间扩散，引起MTF下降，其值为式中， 为扩散长度， ， 为像元间距。,(1) 几何尺寸的 ，当CCD器件在扫描方向和在垂直扫描方向的取样尺寸相当时，常用下式表示两个方向的,(2) 电荷转移损失的式中，为一次转移的失效率；M为转移次数。,CCD探测器的调制传递函数,3、卫星振动的 ：卫星振动造成象移，令A为振动振幅，则,1、电子线路的 ，通常认为很小，即 。,2、大气传输的 ：,4、卫星运动的 ：在积分时间内，卫星运动引起造成模糊，有式中，s为积分时间内相对运动引起的像移。,其它因素的调制传递函数,综上所述，CCD相机系统
5、的调制传递函数在二维图象中可分解为沿卫星飞行方向的 和沿垂直卫星飞行方向的 ，沿卫星飞行方向的可表示为垂直卫星飞行方向的可表示为,CCD相机系统的MTF,先验信息的开采技术和表示方法 图象复原 频域超分辨率处理 空域超分辨率处理,3. 图像后处理,二、已做的工作,图像概率模型的先验提取,3. 后处理先验提取,二、已做的工作,噪声概率模型的先验提取,卫星遥感的噪声主要有光电噪声、散弹噪声、电子热噪声和散斑噪声等。前三种噪声通常用高斯分布模型和泊松分布模型来描述，而第四种噪声在同态滤波后也可用加性的高斯噪声来描述。零均值高斯白噪声分布模型是一种广泛使用的处理模型，但是在某些情况下噪声服从广义高斯分
6、布、Laplace分布、Poisson分布以及其它混合模型。,3. 后处理先验提取,二、已做的工作,频域插值方法是比较现代的插值方法，主要有FIR插值法和FFT插值法。我们的基本方法是将增强技术应用到频域内插算法中，改善来原来FFT插值机械补零的问题。,3. 后处理频域内插与增强超分辨技术,二、已做的工作,理论上，实施此技术的需要四幅低分辨率图，但实际中难以获得，使算法不得不应用在欠定条件下。 通过理论分析建立一系列数学模型； 对图像进行频谱分析、模糊分析和信噪比分析，提取相应参数，进而研究该算法的使用条件； 在欠定和病态条件，重点研究了算法的正则化技术； 研究重复递归迭代算法，形成算法模块，
7、并通过大量实验对软件模块进行考核和优化。,3. 后处理频域解混叠超分辨及其正则化,二、已做的工作,频域内插与增强算法中，抑制振铃的实施方案见下图：,振铃抑制技术研究方案,3. 后处理振铃抑制技术及其自适应算法,二、已做的工作,利用热扩散理论建立图像处理的偏微分方程模型，可解决以下问题： 图像去噪过程中的边缘保护和增强，极大地改善去噪效果； 图像复原和插值过程中的振铃抑制，在完成复原与插值操作的同时，确保不产生虚假信息，并同时抑制噪声。,3. 后处理偏微分方程去噪、复原与超分辨技术,二、已做的工作,图像稀疏表示定义传统的表示方法试图使用性质相同的一类基函数来表示图像，一旦基函数确定后，对一个信号
8、一般只能有唯一的一种表示方法。其中的基函数一般是完备基。稀疏表示方法构造完备(超完备)的基函数集，根据图像的特点，自适应地选择尽可能少的基来精确地表示原信号，从而有利于获得信号的内在本质特性。,3. 后处理图像稀疏表示及超分辨的基追踪方法,二、已做的工作,稀疏表示带来的好处（1）可以在保持表示精度的前提下，大幅度减少表示参数的个数，降低复杂性；（2）图像去噪、复原及超分辨可以看作参数估计过程，参数个数的减少有利于提高估计精度，即提高处理效果。,3. 后处理图像稀疏表示及超分辨的基追踪方法,二、已做的工作,双正弦信号的稀疏表示,3. 后处理图像稀疏表示及超分辨的基追踪方法,二、已做的工作,基追踪
9、方法,基追踪方法是在上述稀疏表示模型下的一种稀疏表示寻优方法，即具体怎么得到最稀疏的表示。,其特点为： (1)深厚的理论支撑(存在性，唯一性，等价性)； (2)全局最优解； (3)内涵丰富(稀疏、超完备），可扩展性好。,3. 后处理图像稀疏表示及超分辨的基追踪方法,二、已做的工作,29,4. 处理结果,二、已做的工作,原分辨率为1m的卫星图象 超分辨处理的结果,原分辨率为1m的卫星图象 超分辨处理的结果,原分辨率为1m的卫星图象(经过放大、色阶调整),原分辨率为1m经过超分辨处理后的图象(经过色阶调整),（2）抑制噪声的处理结果,第三组,放大的低分辨率图象128128 处理后的图象256256
10、,频域法处理多帧低分辨率图象（16帧）的结果,（3）多帧超分辨处理结果,频域法处理低分辨率噪声模糊图象的结果 (16帧),放大的低分辨率模糊图象128128 处理后的图象256256,放大的低分辨率噪声图象128128,处理后图象256256,SNR= 22.18dB,SNR= 16.59dB,放大的低分辨率模糊图象128128 处理后的图象256256,放大的低分辨率噪声图象128128,处理后图象256256,报 告 提 要,一、数学成像 二、已做的工作 三、几个问题,39,1、 降质过程辨识 2、超分辨的概念 3、采样与重构（病态问题）,40,三、几个问题,上天的相机在地面经过严格的测试
11、，按航天的标准在做，为什么回来的图像质量不尽理想？ 以前是分开考虑，如提高相机分辨率，考虑压缩、信噪比等，没有从全链路的角度和观点来研究。,41,背景,三、几个问题降质过程辨识,考虑从 成像全链路主要误差因素的影响分析与仿真 成像全链路主要误差因素的物理建模与数学建模两方面出发来实现 基于全链路误差分析的系统优化与指标分配 基于全链路误差建模的后处理方法提高质量,思路,三、几个问题降质过程辨识,技术途径,指标分配方案,三、几个问题降质过程辨识,44,三、几个问题超分辨的概念,搞系统设计的与搞处理的对于超分辨理解的不同，如何从数学上表述清楚。,45,三、几个问题采样与重构,1、CCD采样面临由高
12、分辨率所带来的幅宽和行速率等问题,幅宽问题: 以0.1米分辨率成像为例，假设一个CCD线阵的阵元数为8000个，要实现20km幅宽的成像，需要25个线阵的拼接。行速率问题: 以0.1米分辨率成像为例， 需要的行速率将达到70kHz，而目前市场上CCD线阵的行速率一般只能达到20kHz。,高分辨率是星载遥感成像技术的发展趋势，传统光学成像难以满足高分辨率的需求,46,三、几个问题采样与重构,1、CCD采样面临由高分辨率所带来的幅宽和行速率等问题,2、海量数据在轨处理、存储和传输是高分辨率成像的瓶颈,美国成像侦察卫星“锁眼12” , 分辨率为0.1m，对8km8km的地面区域成像, 原始数据量达到
13、6.4GB, 要求达到至少1Gbps传输速率。“过量”采数据， “超大”计算 ， “大量”丢弃数据,高分辨率是星载遥感成像技术的发展趋势，传统光学成像难以满足高分辨率的需求,47,三、几个问题采样与重构,1、CCD采样面临由高分辨率所带来的幅宽和行速率等问题,2、海量数据在轨处理、存储和传输是高分辨率成像的瓶颈,3、现有成像方式的数据利用率低,对于军事应用而言，有价值的往往只是一幅大场景中的小部分信息，且应用效果受系统固有分辨率的制约, 造成数据的利用率低。,高分辨率是星载遥感成像技术的发展趋势，传统光学成像难以满足高分辨率的需求,48,三、几个问题采样与重构,现有光学遥感成像系统,Shann
14、on采样定理 采样频率 2信号带宽,理论基础,现有星载遥感成像系统的理论基础是香农采样定理， 该定理要求采样频率大于2倍信号带宽，导致数据海量、 星上系统复杂和数据利用率低等问题,49,三、几个问题采样与重构,数学界提出了“压缩采样原理 ”,以少量采样数据精确重构原信号, 实现图像的高分辨率, 可以大大减少采样, 降低系统存储、处理和传输的压力 基于压缩采样还可以实现智能信息感知，包括变分辨率、变视场成像，成像与信息提取一体化。,针对上述问题，需要在采样理论上进行突破,50,三、几个问题采样与重构,1）减少采样数据 2）降低系统复杂度和CCD的技术难度 3）缓解星上数据处理、存储和传输的压力
15、4）实现智能感知，提高数据的利用率,基于压缩采样的成像系统有望：,51,三、几个问题采样与重构,带 限,点态采样,线性重构,压缩采样突破香农采样定理的限制，利用信号表示的稀疏性，可以在远低于Nyquist采样率的条件下完全重构原信号。,稀疏表示,投影测量,非线性重构,经典采样,压缩采样,图像存在相关性, 只有少数表示系数较大,新的采样方式,大部分计算在地面,信号模型,采 样,重 构,52,三、几个问题采样与重构,对场景逐点均匀采样,通过投影测量对场景进行综合采样,直接获取少量“压缩”了的数据，采样更少加密功能、且对丢失数据不敏感,传统成像的采样方式,压缩采样,53,三、几个问题采样与重构,挑战一：复杂场景的稀疏建模问题,挑战二：高效稳健的图像重构算法,挑战三：压缩采样的物理实现,由稀疏变换矩阵和压缩成像系统共同决定观测矩阵,成像处理和信息提取一体化,场景稀疏化 表示,图像重构,数据获取,54,三、几个问题其它,多径成像的问题？ 随机共振成像的问题？ 十亿像素成像？,谢谢!,
