1、第二章：数字图像基础,一：视觉与图像,二：图像采集和取样,三：图像基本操作,四：线性系统与频谱分析,人眼视觉,感光细胞(photoreceptor cells)： 杆状细胞(rod)：单色夜视 锥状细胞(cone)：彩色视觉只有在光线明亮的情况下才起作用，具有辨别光波波长的能力，因此对颜色十分敏感 一种：对光波段中央敏感，产生绿色感 另两种：对光波段两端敏感，产生红色和蓝色对绿色最敏感、红色次之、蓝色最弱所以常作为三基色 红(red) 绿(green) 蓝(blue)Primary Color 基色,在视网膜表面分布的分离光接收器提供了图案视觉。这种光接收器分为两类:锥状体和杆状体。每只眼睛的
2、锥状体数目在600万到700万之间。它们主要位于视网膜的中间部分,称之为中央凹,且对颜色灵敏度很高。用这些锥状体,人们可以充分地分辨图像细节,因为每一个锥状体都连接到自身的神经未端。肌肉控制眼球转动,直到感兴趣的物体图像落到中央凹上。锥状视觉叫做白昼视觉或亮光视觉。 杆状体数目更多,约有7500到15000万个杆状体分布在视网膜表面。由于分布面积较大而且几个杆状体连接到一个神经末端,因此,减少了这些接收器感知细节的数量。杆状体用来给出视野内一般的总体图像。它们没有彩色感觉,而在低照明度下对图像较敏感。例如,在白天呈现鲜明色彩的物体,在月光下都没有颜色,因为此时只有杆状体受到刺激。这个现象就是众
3、所周知的夜视觉或叫做暗视觉。,视觉特性,1、频率特性 人眼是一种带通特性，对时间域和空间域都如此,2、视觉暂留（惰性）,3、视觉适应性,同时对比度现象 感觉的亮度区域不是简单地取决于强度,如图所示,所有的中心方块都有完全相同的强度，然而背景暗时看起来亮，背景亮时看起来暗。,一个更熟悉的例子是一张纸,当放在桌子上时看上去似乎比较白,但是当我们用纸来遮蔽眼睛直视明亮的天空时,纸看起来总是黑的。,4、马赫带效应,厄恩斯特.马赫在1865年首先描述的现象 人眼具有天然的视觉轮廓增强作用，对亮度突变有“超调”响应，在亮度低的一侧感觉更暗，在亮度高的一侧感觉更亮，在边界处有增强作用。,基于视觉系统倾向不同
4、强度区域边界周围的“欠调”或“过调”。虽然条带强度恒定,但实际感觉到了一幅带有毛边(特别是靠近边界处)的亮度图形。这些表面上的毛边叫做马和赫带。,5、视错觉,眼睛填充上了不存在的信息或者错误地感知物体的几何特点,第二章：数字图像基础,1. 图像采集和量化过程2. 图像表示3. 空间和灰度分辨率4. 采样奈奎斯特定律,一：相关知识,二：图像采集和取样,图像输入输出设备,图像输入设备 数字化器是将模拟图像转换成数字图像的数字化输入装置。常用的数字化器数码电视摄像机数码相机扫描仪等,图像输出设备 数字图像的显示是图像数字化的逆过程（D/A） 。在多媒体技术中，显示器和其他图像输出设备（如打印机、胶片
5、纪录仪、静电绘图仪等）都可以看成为输出显示媒体。显示器是典型的暂时显示设备，而打印机等永久显示设备。,图像的数字化,所谓的图像数字化，是指将模拟图像经过离散化之后，得到用数字表示的图像。,2. 1 取样和量化的基本概念数字化包括取样和量化两个过程 ：取样 ：对空间连续坐标(x, y)的离散化 量化 ：幅值 f (x, y)的离散化数字化图像所需的主要硬件：采样孔、图像扫描机构 、光传感器 、量化器 、输出存储体,采样和量化过程,采样,采样是指将在空间上连续的图像转换成离散的采样点（即像素）集的操作。由于图像是二维分布的信息，所以采样是在 x轴和y轴两个方向上进行。一般情况下， x轴方向与y轴方
6、向的采样间隔相同。,图像在取样时，必须满足二维采样定理，确保无失真或有限失真地恢复原图像 。,定义二维图像信号 的傅里叶频谱为 。二维傅里叶正反变换 ：,如果2D信号 的傅里叶频谱 满足 其中 对应于空间位移变量x和y的最高截止频率。,则当采样周期 满足此时，通过采样信号 能唯一地恢复原图像信号f (x,y),空间采样奈奎斯特定律,不小于2倍最高频率采样可以完全恢复。现实大部分情况不满足。一般先用滤波器低通然后采样，误差较原始混叠更易控制。,（a）原图像的频谱 （b）采样信号的频谱图2.3 采样信号的频谱,采样,采样时的注意点是：采样间隔的选取，以及采样保持方式的选取。 采样间隔太小，则增大数
7、据量；太大，则会发生频率的混叠现象。 采样保持，一般不做特殊说明都是采用0阶保持的方式，即一个像素的值是其局部区域亮度（颜色）的均值。,分辨率,分辨率是指映射到图像平面上的单个像素的景物元素的尺寸。 单位：像素/英寸，像素/厘米 （如：扫描仪的指标 300dpi）,或者是指要精确测量和再现一定尺寸的图像所必需的像素个数。 单位：像素*像素 （如：数码相机指标30万像素（640*480）,空间分辨率,量化,量化是将各个像素所含的明暗信息离散化后，用数字来表示。 使连续信号的幅度用有限级的数码表示的过程。一般的量化值为整数。 充分考虑到人眼的识别能力之后，目前非特殊用途的图像均为8bit量化，即用
8、0 255描述“从黑到白”。遥感/医学图像 8-12bit量化在3bit以下的量化，会出现伪轮廓现象。,灰度分辨率,256，128，64，32灰度级 16，8，4，2灰度级,低bit量化的伪轮廓现象示意图,量化的准则不同，会导致不同的量化效果。从不同的角度将量化方法分成：（1）按量化级步长均匀性均匀量化和非均匀量化。（2）按量化对称性对称量化和非对称量化,（3）按量化时处理的采样点数分标量量化和矢量量化。,均匀量化和非均匀量化,均匀量化是简单地在灰度范围内等间隔量化。非均匀量化是对像素出现频度少的部分量化间隔取大，而对频度大的量化间隔取小。,一般情况下，对灰度变化比较平缓的部分用比较多的量化级
9、，在灰度变化比较剧烈的地方用比较高的分辨率。,图2.4 均匀对称量化,（a）中央上升型 （b）中央平稳型,（a）中央上升型 （b）中央平稳型,图2.5 非均匀对称量化,2.3.1 标量量化标量量化：将数值逐个量化 。例：假设抽样信号的范围是05 V，将它分为8等分，这样就有8个量化电平，分别是0 V ，5/8 V，10/8 V，15/8 V，35/8 V。对每一个采样将它量化为离它最近的电平。在量化后，为了能在数字信号处理系统中处理二进制码，还必须经过编码操作。0 V用000表示，5/8 V用001表示，35/8 V用111表示，这样一来每个采样可以用3比特来表示,量化器设计的任务：划分子区间
10、和设定量化值，使量化造成的失真最小。失真的度量：使k个子区间的总误差平方 最小或是当造成的失真人眼看不出时，失真最小。当概率分布为p(z)，量化值为qi时,均匀量化将 均分成个k子区间后，每个区间的长度各子区间以它的中心位置作为量化值,1.均匀量化（线性量化）,当待量化值在区间内均匀分布时 最小 ：,Max量化器是一种非均匀量化器主要思想： 不等于常数，使 最小。说明样本值在某个取值范围内较频繁出现，而在另外一些范围内出现不多。可对样本值较频繁出现的取值范围采用较小的量化区间，而在其它地方用较大的量化区间。这样就可在不增加量化级数的条件下，降低平均误差，减少量化噪声。,2. Max量化器,Ma
11、x量化器在总误差平方和最小的意义上是最优的。但一般而言，图像在0附近出现的概率较高，因此Max量化器在0附近必然量化间隔很密，量化较精细。实际中，人眼在0附近的分辨率并不灵敏，所以用Max量化器量化得太细是没有意义的。,定义：将一组采样的信号幅度矢量在容许的误差范围内用更少的离散矢量代替。与标量量化相比，矢量量化提供较低的失真，但运算量比标量量化大得多。原理：一次量化2个以上采样点，量化过程需要用到一个码书。实质就是在码书中找到输入矢量X的最近码字，其衡量标准就是误差测度，通常采用平方误差测度 。,2.3.2 矢量量化,图2.6 一维矢量量化,例题：原始图像块是一个4灰度级的16维矢量。矢量的
12、每个分量就是一个像素的灰度值，其灰度有四个等级，0最黑，3最亮。假设码书含4个16维码字。经计算可以发现码字y1离x最近，故用索引01进行编码。,y0 y1 y2 y3,图2.7 原始图像和灰度级 图2.8 码书Cy0,y1,y2,y3,目的：对任一输入矢量X，在码书中寻找最佳匹配码矢Xi。常用的最佳匹配原则：寻求最小误差。若码书尺寸为M，矢量X对应码矢Xi，信号矢量X的概率密度函数为p(X)，则总的量化误差可表示为,矢量误差 j可取1,2, p; p属于正整数。常用的误差有 ： 均方绝对值误差（MAE） 均方误差（MSE）,（2.18）,（2.19）,（2.20）,图像表示,（a）连续图像
13、（b）数字化结果,一幅连续图像f (x, y)被取样，则产生的数字图像有M行和N列。坐标(x, y)的值变成离散值，通常对这些离散坐标采用整数表示 ：,4行5列,图2.2 图像的坐标,取样和量化的结果是一个矩阵,一幅行数为M、列数为N的图像大小为MN的矩阵形式为：,（2.4）,其中矩阵中的每个元素代表一个像素,假定图像尺寸为M、N，每个像素所具有的离散灰度级数为G这些量分别取为2的整数幂m，n，k，即M=2m，N=2n，G=2k存储这幅图像所需的位数是：,（2.5）,灰度分辨率：灰度2b灰度级，b比特空间分辨率：矩阵MN。数据量：M*N*b bit若要求 M*N*b = 常数1、若图像中存在大
14、面积灰度变化平缓的区域或头像特写，则M、N应该小，b应该大2、若图像景物复杂，细节多，如群众场面，则则M、N应该大，b应该小，否则容易丢失细节。,采样点数与量化级数的选取,黑白图像,黑白图像是指图像的每个像素只能是黑或者白，没有中间的过渡，故又称为值图像。2值图像的像素值为0、1。,灰度图像,灰度图像是指每个像素的信息由一个量化的灰度级来描述的图像，没有彩色信息。,灰度图像描述示例,彩色图像,彩色图像是指每个像素的信息由RGB三原色构成的图像，其中RBG是由不同的灰度级来描述的。,彩色图像不能只用一个矩阵来描述，一般是用三个矩阵同时来描述。,三、图像的基本操作1、加减乘除,四个数学表达式（注意
15、灰度取值范围）,（1）. 用途,求平均值去除加性噪声；去除不需要的加性图案（缓慢变换的背景，周期性的噪声，附加污染），检查变化；乘可用掩膜图象乘某一幅图象可以遮住图象中的某些部分。除可产生对彩色或多光谱图象十分重要的比率图象；,（2）. 加,求平均值去除加性噪声；（对被随机噪声污染的静止景物的N幅图象求平均值，可使信噪比增加N倍）,（3）. 减,将完全相同的略有偏移的两幅图象相减，会得到偏导数图象去除背景， （图象减法对去除背景以及运动检测都是十分有用的）运动检测，梯度幅度；,2灰度直方图,在数字图像处理中，灰度直方图是最简单且最有用 的工具，可以说，对图像的分析与观察，直到形成一个有效的处理
16、方法，都离不开直方图。,灰度直方图的定义,灰度直方图是灰度级的函数，是对图像中灰度级分布的统计。即：横坐标表示灰度级，纵坐标表示图像中对应某灰度级所出现的像素个数。,灰度直方图的计算示例,灰度直方图,灰度图的灰度直方图,直方图表明每一个灰度有多少个象素,彩色图的灰度直方图,灰度直方图的性质,所有的空间信息全部丢失每一灰度级的像素个数可直接得到,灰度直方图的应用,灰度直方图是最简单的，最有用的工具。简单性从其一维的数据形式，以及简单的计算方法可以感受到。有用性，在这里通过几个应用例子来说明。,（1）数字化的参数,直方图给出了一个简单可见的指示，用来判断一幅图像是否合理的利用了全部被允许的灰度级范
17、围。一幅图像应该利用全部或几乎全部可能的灰度级，否则等于增加了量化间隔。丢失的信息将不能恢复。,（2）图像分割阈值选取,假设某图像的灰度直方图具有 二峰性，则表明这个图像较亮的区域和较暗的区域可以较好地分离，取二峰间的谷点为阈值点，可以得到好的值处理的效果。,灰度直方图具有二峰性,具有二峰性的灰度图的2值化,四、线性系统理论及傅立叶变换,一线性系统理论,二傅立叶变换,三离散图象变换,1. 引言，定义 调谐信号与复信号分析 若干有用函数2. 卷积 卷积滤波,线性系统理论及傅立叶变换,一线性系统理论,二傅立叶变换,三离散图象变换,1. 定义；调谐信号与复信号分析；常用函数,线性移不变性：当线性系统
18、的输入是两信号之和时，其输出等于两输入信号单独作用时输出的和；对于移不变系统，改变输入信号的时空原点只导致输出信号作同样的平移）调谐信号和响应：由于调谐信号能简化线性系统分析，故常用它来表示正弦信号 。,传递函数 ：线性移不变系统的性能可用其传递函数完全刻画；传递函数是以频率为自变量的复值函数，它反映了调谐信号输入与输出之间的幅度和相位的关系；对线性移不变系统，调谐信号输入乘以对应于输入信号频率的传递函数就得到系统的输出 常用函数：矩形脉冲，三角函数，阶跃函数，高斯函数，冲激函数，,2. 卷积，卷积滤波,卷积模型的引入：与冲激响应的卷积；描述有限点采样计算：卷积的应用：去卷积（图像成像及退化模
19、型），去噪声，增强卷积滤波：平滑，边缘增强，去卷积,1. 定义2. 傅立叶变换的性质3. 二维傅立叶变换4. 傅立叶变换的分析5. 线性系统和傅立叶变换,线性系统理论及傅立叶变换,一线性系统理论,二傅立叶变换,三离散图象变换,我们人类视觉所感受到的是在空间域和时间域的信号。但是，往往许多问题在频域中讨论时，有其非常方便分析的一面。例如，空间位置上的变化不改变信号的频域特性。,问题的提出：,二维离散傅里叶变换（DFT）,二维连续傅里叶变换二维连续函数 f (x, y)的傅里叶变换定义如下：设 是独立变量 的函数，且在 上绝对可积，则定义积分 为二维连续函数 的付里叶变换，并定义 为 的反变换。
20、和 为傅里叶变换对。,（3.1）,（3.2）,【例】求图3.1所示函数,的傅里叶变换。,解：将函数代入到(3.1)式中，得,其幅度谱为,二维信号的图形表示,图3.1 二维信号f (x, y),（a）信号的频谱图 （b）图（a）的灰度图图3.2 信号的频谱图,二维信号的频谱图,3.1.2 二维离散傅里叶变换尺寸为MN的离散图像函数的DFT 反变换可以通过对F(u,v) 求IDFT获得,线性系统与变换,傅氏变换,离散变换,线性系统,N*N 图像,DFT变换进行图像处理时有如下特点：（1）直流成分为F(0,0)。（2）幅度谱|F(u,v)|对称于原点。（3）图像f (x, y)平移后，幅度谱不发生变
21、化，仅有相位发生了变化。,（3.5）,（3.6）,二维离散傅里叶变换的性质1周期性和共轭对称性周期性和共轭对称性来了许多方便。我们首先来看一维的情况。设有一矩形函数为,求出它的傅里叶变换：,幅度谱：,（a）幅度谱 （b）原点平移后的幅度谱 图3.4 频谱图,DFT取的区间是0,N-1，在这个区间内频谱是由两个背靠背的半周期组成的 ，要显示一个完整的周期，必须将变换的原点移至u=N/2点。根据定义，有 在进行DFT之前用(-1)x 乘以输入的信号 f (x) ，可以在一个周期的变换中（u0，1，2，N1），求得一个完整的频谱。,（3.7）,推广到二维情况。在进行傅里叶变换之前用(-1)x+y 乘
22、以输入的图像函数，则有： DFT的原点，即F(0,0)被设置在u=M/2和v=N/2上。(0,0)点的变换值为： 即 f (x,y) 的平均值。如果是一幅图像，在原点的傅里叶变换F(0,0)等于图像的平均灰度级，也称作频率谱的直流成分。,（3.8）,（3.9）,（a）原始图像 (b) 中心化前的频谱图 (c) 中心化后的频谱图图3.5 图像频谱的中心化,二维离散Fourier变换,正变换：,反变换：,二维离散Fourier变换,因为Fourier变换是一种正交变换，所以其正、反变换的系数可以有几种表示形式。 按照严格意义上的正交变换，正、反变换的系数相等，为：,按照计算方便的角度，正、反变换的
23、系数可以按照前面的方式给出，并且正、反变换的系数可以取反。,2可分性离散傅里叶变换可以用可分离的形式表示 这里对于每个x值，当v0，1，2，N1时，该等式是完整的一维傅里叶变换。,（3.10）,（3.11）,二维变换可以通过两次一维变换来实现。同样可以通过先求列变换再求行变换得到2D DFT。,图3.6 二维DFT变换方法,3离散卷积定理设f(x,y)和g(x,y) 是大小分别为AB和CD的两个数组，则它们的离散卷积定义为卷积定理,（3.12）,（3.13）,快速Fourier变换（FFT）,2、FFT的设计思想是:首先，将原函数分为奇数项和偶数项，通过不断的一个奇数一个偶数的相加（减），最终
24、得到需要的结果。也就是说FFT是将复杂的运算变成两个数相加（减）的简单运算的重复。,快速Fourier变换（FFT）,一、快速Fourier变换的推导,（分成奇数项和偶数项之和）,序列f(x) N点采样,快速Fourier变换（FFT）,实现上式运算的流图称作蝶形运算,前一半,蝶形运算,后一半,（N/2个蝶形),(前一半),(后一半),由X1(k)、X 2(k)表示X(k)的运算是一种特殊的运算-碟形运算,【例】用MATLAB实现图像的傅里叶变换。 解：MATLAB程序如下： A=imread(pout.tif); %读入图像 imshow(A); %显示图像 A2=fft2(A); %计算二
25、维傅里叶变换 A2=fftshift(A2); %将直流分量移到频谱图的中心figure, imshow(log(abs(A2)+1),0 10); %显示变换后的频谱图,3. 傅立叶变换的分析,正交完备集合上的投影，去除高阶相关性：可以让各种互不相关的特征分开排放，有利于辨别、提取、去除。映射到正交完备集合上的系数表达的平方和是最小的。时间上不具有局部性，是一种全局分析,Fourier变换有两个好处：1）可以得出信号在各个频率点上的强度。2）可以将卷积运算化为乘积运算。,因此二维Fourier变换的应用也是根据这两个特点来进行的。,（a）原始图像 （b）图像频谱图3.7 傅里叶变换,Four
26、ier变换的频率特性,Fourier变换的频率特性,在图像滤波中的应用,首先，我们来看Fourier变换后的图像，中间部分为低频部分，越靠外边频率越高。因此，我们可以在Fourier变换图中，选择所需要的高频或是低频滤波。,Fourier变换的高通滤波,Fourier变换的低通滤波,在图像压缩中的应用,变换系数刚好表现的是各个频率点上的幅值。在小波变换没有提出时，用来进行压缩编码。考虑到高频反映细节、低频反映景物概貌的特性。往往认为可将高频系数置为0，骗过人眼。,基于Fourier变换的压缩,压缩率为：1.7：1,压缩率为：2.24：1,压缩率为：3.3：1,基于Fourier变换的压缩,压缩
27、率为：8.1：1,压缩率为：10.77：1,压缩率为：16.1：1,FFT在卷积运算中的应用,如果抽象来看，其实图像处理算法都可以认为是图像信息经过了滤波器的滤波（如：平滑滤波、锐化滤波等 ）。 如果滤波器的结构比较复杂时，直接进行时域中的卷积运算是不可思议的。Fourier变换可以卷积运算转换为点乘运算，由此简化运算，提高计算速度。,离散余弦变换（DCT）,问题的提出：Fourier变换的一个最大的问题是：它的参数都是复数，在数据的描述上相当于实数的两倍。为此，我们希望有一种能够达到相同功能但数据量又不大的变换。在此期望下，产生了DCT变换。,二维离散余弦变换（DCT）,任何实对称函数的傅里
28、叶变换中只含余弦项，余弦变换是傅里叶变换的特例，余弦变换是简化DFT的重要方法。一维离散余弦变换将一个信号通过对折延拓成实偶函数，然后进行傅里叶变换，我们就可用2N点的DFT来产生N点的DCT。,F(k)C(k),C(k)=,离散余弦变换（DCT）,正变换：逆变换：其中：,【例】应用MATLAB实现图像的DCT变换。 解：MATLAB程序如下： A=imread(pout.tif); %读入图像 I=dct2(A); %对图像作DCT变换 subplot(1,2,1),imshow(A); %显示原图像 subplot(1,2,2),imshow(log(abs(I),0 5);,离散余弦变换
29、（DCT）,DCT变换的应用：余弦变换实际上是利用了Fourier变换的实数部分构成的变换。余弦变换主要用于图像的压缩，如目前的国际压缩标准的JPEG格式中就用到了DCT变换。具体的做法与DFT相似。即高频部分压缩多一些，低频部分压缩少一些。,（a）原图 （b）DCT系数图3.10 离散余弦变换,二维离散沃尔什-哈达玛变换（DHT）,前面的变换都是余弦型变换，基底函数选用的都是余弦型。图像处理中还有许多变换常常选用方波信号或者它的变形。沃尔什（Walsh）变换。沃尔什函数是一组矩形波，其取值为1和-1，非常便于计算机运算。沃尔什函数有三种排列或编号方式，以哈达玛排列最便于快速计算。采用哈达玛排
30、列的沃尔什函数进行的变换称为沃尔什-哈达玛变换，简称WHT或直称哈达玛变换。,哈达玛变换,哈达玛矩阵：元素仅由1和1组成的正交方阵。正交方阵：指它的任意两行（或两列）都彼此正交，或者说它们对应元素之积为零。哈达玛变换要求图像的大小为N2n 。一维哈达玛变换核为 其中， 代表z的二进制表示的第k位值。,一维哈达玛正变换为 一维哈达玛反变换为 二维哈达玛正反变换为,二维哈达玛正、反变换也具有相同形式。正反变换都可通过两个一维变换实现。高阶哈达玛矩阵可以通过如下方法求得：N8的哈达玛矩阵为,沃尔什变换哈达玛变换矩阵，其列率的排列是无规则的。将无序的哈达玛核进行列率的排序，之后得到的有序的变换就成为沃尔什（Walsh）变换。 一维Walsh变换核为 二维沃尔什正变换和反变换为,N8时的沃尔什变换核的值为 卡胡南-列夫变换（K-L变换）Kahunen-Loeve变换是在均方意义下的最佳变换。优点：能够完全去除原信号中的相关性，因而具有非常重要的理论意义。缺点：基函数取决于待变换图像的协方差矩阵，因而基函数的形式是不定的，且计算量很大。,H8=,二维离散小波变换,一种窗口大小固定，但形状可改变，因而能满足时频局部化分析的要求的变换。,小波变换结果图,
