1、1,2018/10/12,数字图象处理 Digital Image Processing,课本和主要参考书: 1.冈萨雷斯，数字图像处理（第二版），电子工业出版社，2007 2.余松煜等编著，数字图像处理，上海交通大学出版社，2007 3.章毓晋,图象工程(上册)图象处理,清华大学出版社,2005 4.章毓晋,图象工程(中册)图象分析,清华大学出版社,2005 5. Milan Sonka等著，Image processing, analysis and computer vision” Second Edition)，人民邮电出版社原版影印，2003 6.R.C.Gonzalez,R.E.W
2、oods,Digital Image Processing Second Edition, Prentice Hall,Inc.,2002,2,2018/10/12,1.1 基本概念 1.2 研究内容和方法 1.3 发展和应用 1.4 技术特点,第一章 概论,3,2018/10/12,1.1.1 图像（Image）一、图像二维或三维景物（万事万物）呈现在人心目中的影象。二、图像的特点1）图像带有大量的信息，一幅图像顶得上千言万语。2）图像包括照片、绘图、视频图像等。3）人类从外界获得的信息约有75%以上来自视觉系统。,1.1 基本概念,4,2018/10/12,三、图象表示2-D数组 f (x
3、, y)x ， y：2-D空间XY中坐标点的位置。f：代表图象在(x, y)的性质F 的数值。f，x，y 的值可以是任意实数。性质F : 可对应不同物理量灰度图象里用灰度表示,5,2018/10/12,1.1.2 数字图像（Digital Image） 一、数字图像 （Digital Image）把连续空间的图像在坐标空间(X,Y)和性质空间F都离散化，便于计算机进行加工处理，这种离散化的图像就是数字图像。数字图像是本课程的主要研究对象。 二. 数字图像的表示在计算机中，图像被分割成像素（Pixel），各像素的灰度值用整数表示。一幅MN个像素的数字图像，其像素灰度值可以用M行、N列的矩阵F表示
4、。,6,2018/10/12,数字图象表示：矩阵 矢量,7,2018/10/12,8,2018/10/12,数字图像举例：左图为MAN(人)，右图为TANK（物）,1.1.3、数字图像举例,9,2018/10/12,256*256*8=524288(bit)=65536(byte),10,2018/10/12,Lena512*512*8*3=6291456(bit)=786432(byte),11,2018/10/12,数字图像处理（Image Processing）是指应用计算机来合成、变换已有的数字图像，从而产生一种新的效果，并把加工处理后的图像重新输出，这个过程称为数字图像处理。,例如
5、CT技术 Computer omography计算机X射线断层造影技术,1.1.4 数字图像处理,12,2018/10/12,1.1.5 图像工程,一、图像工程的示意图,13,2018/10/12,1. 图像处理：对图像进行各种加工，以改善图像的视觉效果；强调图像之间进行的变换；图像处理是一个从图像到图像的过程。,14,2018/10/12,3. 图像理解： 研究图像中各目标的性质和它们之间的相互联系；得出对图像内容含义的理解及原来客观场景的解释；以客观世界为中心，借助知识、经验来推理、认识客观世界，属于高层操作（符号运算）。,2. 图像分析：对图像中感兴趣的目标进行提取和分割，获得目标的客观
6、信息（特点或性质），建立对图像的描述；以观察者为中心研究客观世界； 图像分析是一个从图像到数据的过程。,15,2018/10/12,二、图象技术图象技术在广义上是各种与图象有关的技术的总称。主要功能/作用包括：对图象的各种加工（见下）基于加工结果的判断决策和行为规划为此进行的软硬件设计及制作,16,2018/10/12,三、图像工程与相关学科的联系和区别图像工程是一门交叉学科，研究方法上，与数学、物理学（光学）、生理学、心理学、电子学、计算机科学相互借鉴；研究范围上，与计算机图形学、模式识别、计算机视觉相互交叉。图像工程与相关学科的联系:计算机图形学CG、计算机视觉CV、图像处理IP互相渗透，
7、覆盖面有很多重合；,17,2018/10/12,图形学：原指用图形、图表、绘图等形式表 达数据信息的科学，而计算机图形学 研究的就是如何利用计算机技术来产生这些形式。图象模式识别：试图把图象分解成可用符号 较抽象地描述的类别。计算机视觉：主要强调用计算机实现人的视觉功 能，目前的研究内容主要与图象理解相结合。,18,2018/10/12,一、基本的图像处理和分析系统构成二、IP的主要研究内容三、图像处理的基本方法,1.2 IP的主要研究内容和方法,19,2018/10/12,图像存储系统,图象输入系统,图象处理与 分析系统,图象输出系统,通信系统,1.2.1 基本的图像处理和分析系统构成（五大
8、模块）,20,2018/10/12,21,2018/10/12,1.2.3 主要内容和处理方法,、图像增强、图像恢复 、图像压缩编码 、图像分割 、目标表达和描述,22,2018/10/12,Original image,Enhanced image,1、图像增强：改善图像的主观质量，标准因人而异。内容包括灰度变换增强、直方图修正、空间滤波和频率滤波（平滑和锐化）等。,23,2018/10/12,Image corrupted by noise (0.1),2、图像恢复:也称为图像复原,当造成图像退化（图像质量下降）的原因已知时， 复原技术可以对图像进行校正。图像复原最关键的是对每种退化都需要
9、有一个合理的模型。,Result using filter,24,2018/10/12,3、图像压缩编码：是基于图像信息量大、冗余信息多的特点实现图像的压缩。图像编码分为有失真编码和无失真编码两大类（有损压缩和无损压缩）。内容包括简单编码方法、预测编码方法、变换编码方法等。,JPEG 0.5bpp JPEG2000 0.5bpp,压缩了48倍,25,2018/10/12,Original image Segmentation,4、图像分割：图像分割是按图像的灰度、颜色或几何性质等测度把一些物体或区域加以分离的过程。通过图像分割找出感兴趣的物体或区域，以便于进一步分类、分析和识别处理。是图像分析
10、的基础。,26,2018/10/12,、目标表达和描述目标表达：将分割出的物体或区域（目标）采用一种不同于原始图像的表达形式来表示。具体分为边界表达（外部表达法）和区域表达（内部表达法）。图像描述：用适当的数学语言来表示区域间的关系（联系和区别），得出一种简练的表达方式，称为描述。常用的有边界描述符、区域描述符、结构描述符等。除此以外，图像匹配（Matching）和图像识别（Recognition）等也是图像处理与分析的研究内容。但不在本课程中介绍。,27,2018/10/12,图像处理的基本方法,空间域 处理,变换域 处理,傅里叶变换（DFT） 离散余弦变换（DCT） 离散小波变换（DWT）
11、 新的变换Curvelet,28,2018/10/12,Cameraman,DFT,29,2018/10/12,一、发展过程早期的计算机满足不了图像处理的要求。没有IP。60年代，FFT算法的提出，使得图像处理的某些计算得以实现，美国在64年用计算机辅助绘制出了月球表面的地图。70年代IP有了较大的发展，1976年出版了第一本图像处理的专著（Rosenfeld）。80年代开始从2D图像发展到3D图像处理，得到了广泛应用。90年代，以多媒体技术为代表，IP的应用涉及到人类生活的各个方面。21世纪，IP将改变人们的生活方式。,1.3 图像处理（IP)的发展和应用,30,2018/10/12,二、应
12、用领域示例 (1)视频通信：可视电话，电视会议，按需电视，远程教育； (2)文字档案：文字识别，过期档案复原，邮件分捡，支票，签名辫伪，办公自动化； (3)生物医学：红白学球计数，染色体分析、X光、CT、MRI、PET图象分析，医学手术模拟规划，远程医疗； (4)遥感测绘：巡航导弹制导，无人驾驶飞机飞行，精确制导，矿藏勘探，资源探测，气象预报，自然灾害监测； (5)工业生产：工业检测，工业探伤，自动生产流水线监控，移动机器人，无损探测，金相分析，印刷板质量检验，精细印刷品缺陷检测； (6)军事公安：雷达图象分析、巡航导弹路径规划 / 制导，罪犯脸形合成、识别，指纹、印章的鉴定识别； (7)交通
13、管理：太空探测、航天飞行、公路交通管理。,31,2018/10/12,一、数字图像的特点 1. 数据量大（TV图像 500-700*480）一幅512*512的灰度图像（256级灰度）约260KB；卫星图像 3240*2340、SAR合成孔径雷达图像8000*8000； 2. 占用频带较宽(5-6MHZ),技术实现难度大，成本高； 3. 相关性很大，冗余信息多； 二、数字图像处理的优点（相对于光学图像处理、视频信号处理）1. 灵活性强: 可以拼贴、调整、修改；2. 精度高：分辨率高、处理方便3. 再现性好：可以永久保存,1.4 主要技术特点,32,第二章 数字图像基础,视觉现象图像基础,33,
14、Before=128,ground=64,Before=128,ground=192,同时对比度实验,一、同时对比度在相同亮度的刺激下,由于背景亮度不同,人眼所感受到的主观亮度不同，这种效应称为同时对比度。 由于同时对比是由亮度差别引起的，故也称为亮度对比。,2.1、视觉现象,34,二、对比灵敏度 在均匀照度背景 I上，有一照度为 I+I的光斑，称眼睛刚好能分辨出的照度差I与 I 的比（I/ I）为对比灵敏度； 由于背景亮度 I 增大， I 也需要增大，因此在相当宽的强度范围内，对比灵敏度是一个常数，约等于0.02，这个比值称为韦伯比（Weber比）。亮度很强（弱）时不为常数。,35,三、Ma
15、ch带 在亮度变化部位附近的暗区和亮区中分别存在一条更黑和更亮的条 带，称之为“马赫带”。,36,同时对比度是相邻区域亮度差引起的现象，马赫带是明暗边界引起的现象。同时对比度和马赫带效应表明，人所感觉到的亮度并不是强度的简单函数。,视觉现象小结,37,空间坐标的离散化叫做空间采样；设f（x,y）为一连续图像，S（x,y）为空间取样函数（脉冲阵列），则采样后的图像F（x,y）= f（x,y）S（x,y）；二维连续图象二维图象矩阵 （）均匀采样：等距采样 （）非均匀采样-重要部分密集采样在较尖锐的灰度过渡区附近采用较密的采样；在较平滑的灰度过渡区附近采用较稀的采样；缺点：需要确定边缘，过程更复杂。
16、,、空间采样,一、图像的采样和量化,2.2、图像基础,38,、量化性质空间（灰度）的离散化叫做量化。 量化过程：将模拟量样值按一定方式离散化为数字量，完成模/数转换，得到灰度值。 均匀量化 灰度量化级数一般取2的n次幂,如2的8次幂（256级灰度）。1次幂为黑白图像。 非均匀量化,39,2018/10/12,40,、图象分辨率 空间采样分辨率: 采集时用多少个象素表示一幅图象Height*Width采集完成后该图象大小不变 幅值量化分辨率: 量化级数2级,1bit;16级,4bits;256级,8bits 显示器分辨率: 显示屏的分辨率,可调Img为512*512,显示器选1024*768，显
17、示器选640*480,41,空间分辨率变化所产生的效果,256*256,128*128,64*64,32*32,16*16,42,幅度分辨率变化所产生的效果,256级,64级,16级,8级,4级,2级,46,2018/10/12,空间和幅度分辨率同时变化所产生的效果,47,4、 图象的表示 (1)、 确定性表示: 矩阵表示:向量表示: 按行堆迭,48,矩阵表示的优点：与图像直观对应；矩阵运算易处理；矢量表示的优点：能量表示简洁相邻点的表示有规律可循，便于公式计算,这两种表示方法各自的优点：,49,(2)、随机性表示:一幅图象看成二维随机场的一个样本,象素值看作随机变量a 分布: (信号/相邻象
18、素差值信号/Frame差值信号的振幅分布函数）振幅分布函数:数字图象:直方图b 数字特征:均值(平均亮度):方差(分散程度):自相关函数:（稳定画面的统计特性）,50,能量和功率能量：功率：C 图象的信息量：熵灰度级数为 ，其出现概率为 各灰度值信息量为：图象平均信息量(熵)为：,51,2018/10/12,三、 象素间的联系,1、象素的邻域4-邻域N4(p)：坐标表示对角邻域ND(p)：8-邻域N8(p)：,52,2018/10/12,2、连接和连通（adjacency, 邻接）vs. (connectivity, 连接)邻接仅考虑象素间的空间关系 两个象素是否连接：(1) 是否接触（邻接）
19、(2) 灰度值是否满足某个特定的相似准则（同在一个灰度值集合中取值）设V表示连接的灰度值集合，如V=8,9,16；,53,2018/10/12,3种连接(1) 4-连接： 2个象素 p 和 r 在V 中取值且 r 在N4(p)中(2) 8-连接：2个象素 p 和 r 在V 中取值且 r 在N8(p)中,54,2018/10/12,(3) m-连接（混合连接）： 2个象素 p 和 r 在V 中取值列条件之一 r 在N4(p)中 r 在ND(p)中且集合N4(p)N4(r)是空集（这个集合是由 p 和 r 的在V中取值的4-连接象素组成的）,55,2018/10/12,混合连接的应用：消除8-连接
20、可能产生的歧义性原始图 8-连接 m-连接,56,2018/10/12,连通 连接是连通的一种特例 通路由一系列依次连接的象素组成从具有坐标(x, y)的象素p到具有坐标(s, t)的象素q的一条通路由一系列具有坐标(x0, y0)，(x1, y1)，(xn, yn)的独立象素组成。这里(x0, y0) = (x, y)，(xn, yn) = (s, t)，且(xi, yi)与(xi-1, yi-1)连接，其中1 i n，n为通路长度。称P和q 联通4-连通，8-连通 4-通路，8-通路,57,2018/10/12,象素集合的邻接和连通 对2个图象子集 S 和 T 来说，如果S中的一个或一些象
21、素与 T 中的一个或一些象素邻接，则可以说2个图象子集S 和 T 是邻接的连通组元：S中与p连通的像素的集合（包括p）称为一个连通组元。,58,2018/10/12,3、象素间的距离,距离量度函数 （三个条件）3个象素p，q，r，坐标(x, y)，(s, t)，(u, v)(1) 两个象素之间的距离总是正的(2) 距离与起终点的选择无关 (3)最短距离是沿直线的,59,2018/10/12,距离量度函数(1) 欧氏（Euclidean）距离(2) 城区（city-block）距离(3) 棋盘（chessboard）距离,60,2018/10/12,等距离轮廓图案 D4距离 D8距离,61,20
22、18/10/12,4、用距离定义邻域考虑在空间点 (xp, yp)的象素 p4-邻域N4(p)8-邻域N8(p),62,clear m=256; n=256; ground_gray=128+64; X=ones(m,n)*ground_gray; figure; imshow(uint8(X); before_gray=128; m0=100; n0=100; step=50; X(m0:m0+step,n0:n0+step)=before_gray; figure; imshow(uint8(X);,Matlab实现程序1,63,clear X=imread(lena256.bmp); f
23、igure; imshow(uint8(X); m,n=size(X); X1=X(1:2:m,1:2:n); figure; imshow(uint8(X1); imwrite(X1,lena1.bmp);,Matlab实现程序2,64,65,作业1：1、用matlab程序实现同时对比度实验。 2、用matlab程序实验空间分辨率变化效果。 3、用matlab程序实验幅度分辨率变化效果,66,2018/10/12,坐标变换-空间变换,几何运算一般表达式如常用的仿射变换矩阵表达形式(齐次坐标公式),四、图象坐标变换,67,2018/10/12,典型仿射变换几个常用的简单变换平移-缩放-绕原点旋
24、转-,68,2018/10/12,级联-构造复杂的变换如绕点 旋转应用:几何失真校正,图象配准,拼接,几何变形等,69,2018/10/12,变换的推广3-点映射变换：将一个三角形映射为另一个三角形，而将一个矩形映射为一个平行四边形 拉伸（stretch）和剪切（shearing）变换,70,2018/10/12,模型 图象f (x, y)受几何形变的影响变成失真图象 g(x, y ) 线性失真（非线性）二次失真,1、空间变换,五、几何失真校正,71,2018/10/12,约束对应点方法在输入图（失真图）和输出图（校正图）上找一些其位置确切知道的点，然后利用这些点建立两幅图间其它点空间位置的对应关系选取四边形顶点四组对应点解八个系数,g(x, y),72,2018/10/12,用整数处的象素值来计算在非整数处的象素值(x, y)总是整数，但(x, y )值可能不是整数最近邻插值也常称为零阶插值将离(x, y )点 最近的象素的灰 度值作为(x, y ) 点的灰度值赋给 原图(x, y)处象素,2、灰度插值,
