1、图像处理技术,张永梅,信息工程学院,教材,龚声蓉，数字图像处理与分析，清华大学出版社，2006。,图像工程（第2版）上册：图像处理中册：图像分析下册：图像理解,主要参考书,主要参考书,Kenneth R. Castleman, Digital Image Processing ，清华大学出版社，1998。 R.C.冈萨雷斯等，数字图像处理，电子工业出版社，2003。 朱虹，数字图像处理基础，科学出版社，2005。 容观澳，计算机图像处理 ，清华大学出版社，2000。,主要参考书,章毓晋， 图像处理和分析，清华大学出版社，1999。 何斌等， Visual C+数字图像处理，人民邮电出版社，20
2、01。,主要参考资料,IEEE Transactions on Medical Imaging Medical Physics Physics in Medicine and Biology IEEE Transactions on Communications IEEE Transactions on Computers IEEE Transactions on Information Theory IEEE Transactions on Pattern Analysis and Machine Intelligence Pattern Recognition Computer Visio
3、n, Graphics, and Image Processing,主要网上资源,Yahoo Signal and Image Processing Links : http:/ Digital Image and Signal Processing Links:http:/icsl.ee.washington.edu/links/dsp.html,课程性质与目的,数字图像处理是计算机应用领域中的一个重要方面，是模式识别、计算机视觉、图像通讯、多媒体技术等学科的基础，是一门涉及多领域的交叉学科。,课程性质与目的,本课程通过介绍图像的数学描述、图像的数字化、图像变换、图像增强、图像恢复、图像编码
4、、图像重建、图像分割与边缘提取、图像的分析和识别等基本的图像处理方法，使学生能熟练地掌握数字图像处理的基本过程，并能应用这些基本方法开发数字图像处理系统。 要求学生在学习本课程以后，具有阅读各类图像处理文献的能力和进行图像处理系统的开发能力，并为学习图像处理新方法奠定理论基础，提高解决实际问题的能力，为进一步开展相关方向的研究和应用打下基础。,课程性质与目的,学习图像技术所需的基础知识 高等数学，线性代数，数值分析 计算机语言相关课程 计算机图形学 计算机视觉,本课程成绩由平时成绩和期终成绩进行评定： 平时成绩：30% 论文查新 平时考勤，作业，实验,考核方法及成绩评定标准,期终成绩：70%,
5、联系方式,电子邮件： 联系方式： 13810842037,图像处理的研究对象图像的数字化图像变换图像增强图像恢复（复原）图像编码图像的分割和描述,图像的数字化：将代表图像的连续（模拟）信号转变为离散（数字）信号的变换过程。,图像变换,傅里叶变换 Walsh变换 离散余弦变换 小波变换 ,空间域,变换域,图像编码压缩,图像压缩编码技术可以减少描述图像的数据量，以便节省图像传输、处理时间、减少存储空间。 主要方法：熵编码、预测法编码、变换编码、分形编码,图像增强和复原,目的：提高图像质量（去除噪声、提高图像的清晰度） 主要方法：灰度修正、平滑、几何校正、图像锐化、频域增强、维纳滤波、卡尔曼滤波,图
6、像的分割,目的：提取出感兴趣的对象。为进一步的理解和识别做准备。 主要方法：灰度阈值分割、基于纹理的分割、区域生长法,图像的理解和识别,图像经过预处理后，进行图像分割和特征提取，从而进行判决分类。 常用的模式：统计模式分类和句法模式分类。,讲课内容第一章 导论 2学时第二章 数字图像表示及其处理 2学时第三章 图像变换 4学时第四章 图像增强 4学时第五章 图像恢复 2学时第六章 图像编码 6学时第七章 图像分割与边缘提取 2学时第八章 图像的分析和识别 2学时 复习课 2学时,实验内容实验一 图像变换 2学时实验二 图像增强 2学时实验三 图像编码 2学时 讲课：26学时 实验：6学时 总计
7、：32学时,第1章 导论,基本要求 了解：数字图像处理课程研究的主要内容 熟悉：数字图像处理技术的应用及发展历史内容 本课程研究的主要内容 图像处理的应用 图像处理的发展,第1章 导论,1.1 图像基本概念 1.2 图像工程简介1.3 图像处理系统1.4 数字图像处理与分析,1.1 图像基本概念,1.1.1 图像和数字图像1.1.2 图像的表达,1.1.1 图像和数字图像,图像用各种观测系统以不同形式和手段观测客观世界而获得的，可以直接或间接作用于人眼，并进而产生视知觉的实体。图像的分类,数学函数产生的图像可见的图像不可见的物理图像,成象过程是复杂的光学过程，这涉及到光度 学，色度学。光度学：
8、亮度形成机制。色度学：光的反射和发射与光波的波长关系（和颜色，彩色有关系）。,图像函数,单色图像：反映图像亮度值，则和波长无关，则图像函数为f(x,y)。例如：一张黑白照片，可以应用二维函数f(x,y)表示，x,y是平面两个轴的坐标， f(x,y)表示f(x,y)点的亮度值（灰度值）。 一幅彩色图像：各点值还应反映出色彩变化，即可用f(x,y,) 表示，其中为波长。 活动彩色图像(电视、电影）：还应是时间t的函数，即可表示为f(x,y,t) 。,图像函数,图像的例子,人眼所见照片：单张图像电视电影：图像序列,数字图像举例,左图为MAN（人），右图为TANK（物）。,百闻不如一见,One pic
9、ture is worth more than ten thousand words.Anonymous,人类通过眼、耳、鼻、舌、身 接受信息，感知世界。约有75%的信息是通过视觉系统获取的。 数字图像处理是用数字计算机处 理所获取视觉信息的技术。,1.1.1 图像和数字图像,图像类型广义 图片，动画，绘图，文字/档，.狭义 单幅 序列图像，.静止 运动图像（视频），.2-D 3-D，彩色，立体对， 多光谱，多视场图像，.灰度 深度，纹理图像，.,1.1.2 图像的表达,图像表示2-D数组 f (x, y)x ， y：2-D空间XY中坐标点的位置f：代表图像在(x, y)的性质F 的数值f,x
10、,y 的值可以是任意实数性质F : 可对应不同物理量灰度图像里用灰度表示,图像表示矩阵 矢量,1.2 图像工程简介,1.2.1 图像技术和图像工程1.2.2 图像工程的三个层次1.2.3 图像工程相关学科和领域1.2.4 图像工程的技术应用1.2.5 图像工程文献统计分类1.2.6 图像、图形发展特点 1.2.7 几个术语,1.2.1 图像技术和图像工程,图像技术图像技术在广义上是各种与图像有关的技术的总称。主要功能/作用包括：对图像的各种加工基于加工结果的判断决策和行为规划为此进行的硬件设计及制作,1.2.2 图像工程的三个层次,图像工程：不同层次图像技术的有机结合及应用图像工程三层次：图像
11、处理（图像 图像）图像分析（图像 数据）图像理解（图像 解释）,1.2.2 图像工程的三个层次,1.2.2 图像工程的三个层次,图像处理：对图像进行各种加工，以改善图像的视觉效果；强调图像之间进行的变换；图像处理是一个从图像到图像的过程。,图像分析：对图像中感兴趣的目标进行提取和分割，获得目标的客观信息（特点或性质），建立对图像的描述；以观察者为中心研究客观世界；图像分析是一个从图像到数据的过程。 图像理解： 研究图像中各目标的性质和它们之间的相互联系；得出对图像内容含义的理解及原来客观场景的解释；以客观世界为中心，借助知识、经验来推理、认识客观世界，属于高层操作（符号运算）。,(a) 桥梁的
12、全色图像 (b) 桥梁的多光谱图像 (c) 桥梁的SAR图像 桥梁的三类遥感图像,1.2.3 图像工程相关学科和领域,主要相关学科：图形学：原指用图形、图表、绘图等形式表 达数据信息的科学，而计算机图形学 研究的就是如何利用计算机技术来产 生这些形式。图像模式识别：试图把图像分解成可用符号 较抽象地描述的类别。计算机视觉：主要强调用计算机实现人的视 觉功能，目前的研究内容主要与图像 理解相结合 。,1.2.4 数字图像处理的发展概况和应用,发展概况： 二十世纪二十年代：图像远距离传输。 二十世纪五十年代：数字计算机发展到一定水平，数字图像处理引起巨大关注。 1964年：美国喷气推进实验室用计算
13、机对“徘徊者七号”太空船发回的大批月球照片进行处理。数字图像处理应用从空间研究计划扩展到生物医学，工业生产，军事侦察等领域。,1921年一幅由电报打印机重建的数字图像,1921年底应用照像复制技术，在电报接收终端用穿孔纸带还原图像,1929年采用编码图片纸带调制光束，改善了系统底板的感光，使灰度级增加到十五个等级。,阿波罗登月,图像处理最先应用于空间探索,二十世纪六十年代末：数字图像处理较完整的理论体系已形成，成为一门新兴的学科。 二十世纪六十年代至八十年代：随着离散数学理论的创立和完善，数字图像处理理论和方法进一步完善，应用范围更加广泛。 二十世纪八十年代以来：数字图像处理向更高级的方向发展
14、：实时性，智能化，普及化，网络化，低成本。,应用领域： 通信：图像传输，电视电话，HDTV（High Definition Television，高清晰度电视）等。 宇宙探测：星体图片处理。 遥感：地形、地质、矿藏探查，森林、水利、海洋、农业等资源调查，自然灾害预测，环境污染的监测，气象云图。 生物医学：CT（computed tomography，计算机X射线断层扫描技术)，MRI（nuclear magnetic resonance imaging，核磁共振成像），X射线成像，B超，红外图像，显微图像。 工业生产： 产品质量检测，生产过程控制，CAD（Computer Aided Desi
15、gn)，CAM(computer Aided Manufacturing)。,应用领域： 军事：军事目标侦察，制导系统，警戒系统，自动火器控制，反伪装等。 公安：现场照片，指纹，手迹，印章，人像等处理和鉴别。 档案： 过期的文字、图片档案的修复和处理。 机器人视觉 娱乐： 电影特技，动画，广告，MTV等。,应用举例,空间探索,地球资源勘探,遥感图像,遥感图像融合,通过图像融合，将全色图像的空间结构细节特征与多光谱图像的光谱特征相结合，有效提高了目标识别率。,(a) 多光谱图像 (b) 全色图像 (c) 融合图像 融合前后图像,气象云图 气象预报,CT扫描仪,CT图像,计算机合成图像,广告设计,
16、网页设计,娱乐,军事应用 目标跟踪,交通监控 自动驾驶,1.2.5 图像工程文献统计分类,中国图像工程综述 （中国图像图形学报, 5月期） 文献统计分类共统计15种刊物已进行10年（1996-2005）涉及到18819篇论文选取了4032篇论文,1.2.5 图像工程文献统计分类,图像工程期刊（1） CT： CT理论与应用研究（2） CX： 测绘学报（3） DC： 电子测量与仪器学报（4） DK： 电子科学学刊（5） DX： 电子学报（6） JX： 计算机学报（7） MR： 模式识别与人工智能（8） SC： 数据采集与处理 （9） TX： 通信学报（10） XC： 信号处理（11） YX： 遥感
17、学报（12） ZS： 中国生物医学工程学报（13） Zti：中国体视学和图像分析（14） Ztu：中国图像图形学报（15） ZX： 自动化学报,1.2.5 图像工程文献统计分类,1.2.5 图像工程文献统计分类,1.2.6 图像、图形发展特点,实时产生高质量的图形和图像是近年来所追求的目标。,高分辨率（显示分辨率和采集分辨率） 高速度 立体化 多媒体化 智能化 标准化,1.2.7 几个术语,（1）景物（SCENE）在图像处理中，把通常人眼所看到的客观存在的世界称为景物。 （2）图像（IMAGE）所谓图像就是视觉景物的某种形式的表示和记录。 （3）图形（GRAPHICS）指人为的图形，如图画，动
18、画等人造的二维图形，也可表示三维的。,1.2.7 几个术语,（4）图像处理（IMAGE PROCESSING ，IP）把用电视摄像机（或其他传感器，红外，X光等）得到的景物和照片等（二维数值数据）进行加工处理后输出另外的图像（指广义图像）。 （5）计算机图形学（COMPUTER GRAPHICS，CG）计算机实现图形的生成，表示，处理和显示，以及借助图形信息进行人-机图形处理的一门学科。 （6）计算机视觉（COMPUTER VISION）为机器人提供眼睛的功能。,1.2.7 几个术语,（7）图像处理与计算机图形学的区别与联系 图像处理与计算机图形学的区别：, 数据来源不同 图像数据来自客观世界
19、； 图形数据来自主观世界。, 处理方法不同图像处理方法包括几何修正、图像变换、图像增强、图像分割、图像理解、图像识别等；图形处理方法包括几何变换、开窗和裁剪、隐藏线和隐藏面消除、曲线和曲面拟合、明暗处理、纹理产生等。,图像处理与计算机图形学的区别：, 理论基础不同图像处理理论主要用到数字信号处理、概率与统计、模糊数学等；计算机图形学理论主要用到仿射与透视变换、样条几何、计算几何、分形理论等。,图像处理与计算机图形学的区别：, 用途不同图像处理主要用于遥感、医学、工业、航天航空、军事、公安等；计算机图形学主要用于CAD/CAM/CAE、CAI、计算机艺术、计算机模拟、计算机动画等。,图像处理与计
20、算机图形学的区别：,图像处理与计算机图形学的关系：随着科学技术的发展，这两门学科互相渗透，逐渐靠近。,1.3 图像处理系统,图像采集模块可采用CCD照相机、视频摄象机、扫描仪等；,显示模块CRT (Cathode Ray Tube，阴极射线管）或TV，纯平彩显、液晶彩显等；存储模块采用磁盘、光盘（可读写）；通信模块实现网络传输图像（局域网等）；处理模块主要是运算，用算法的形式描述，用软件实现。,图像存储数据量度单位比特（bit），字节（byte = 8 bit）千字节（ K byte）兆（10 6）字节（M byte）吉（10 9）字节（G byte）太（10 12）字节（T byte）,图像
21、存储1Byte(字节) = 8bit(位)1KB = 1024Byte(字节) 1MB =1024KB1GB= 1024MB1TB =1024GB,图像表示格式和文件格式,表示格式：矢量格式：用线段或线段的组合体来表示图像 光栅格式：用许多图像点的集合来表示图像文件格式： BMP格式，GIF格式，TIFF格式，JPEG 格式,图像处理对图像的增强以改善图像视觉质量对退化图像的恢复以消除各种干扰的影响根据对场景的多个投影来重建场景的图像对图像进行编码以减少表达图像的数据量，从而有利于存储和传输给图像加入数字水印，以保护图像的所有权,1.4 数字图像处理与分析对于数字媒体和各种以数字方式存储的数据
22、，通过信息处理和模式识别方法进行数据分析，进而为各种应用服务。,该领域目前的主要研究方向:,视音频检索 视音频理解 视音频处理,图像分析 视觉监控 网络信息分析,文字处理 信息检索 网络行为分析 射频识别,(排名不分先后),理论与应用问题:,视频中的低分辨率图像处理 光照变化问题 个体变化问题 ,从系统角度,基于步态的性别识别,Male,Female,Video Retrieval by Face,监视环境数据库,数据库采集：目前供采集到约200人的步态信息。,生物特征识别,人脸识别签名识别,人脸识别三维人脸识别基于序列图像的人脸识别人脸老化模拟基于红外图像的人脸识别,基于超分辨率的人脸老化模
23、拟(1),基于超分辨率的人脸老化模拟(2),在线签名识别,2D-Shape,Genuine sample,Forgery sample,彩色与非彩色图像, 图像的恢复与重建,介绍各种增强方法及其应用。增强图像的有用信息，消弱噪声的干扰。,由断层扫描重建二、三维图像。,把退化、模糊了的图像复原。包括图像辐射校正和几何校正等内容。, 图像增强, 图像编码简化图像的表示，压缩图像的数据，便于存储和传输。256K 21k, 图像分割图像分割是指将一幅图像划分为互不重叠的区域的处理。重点介绍图像分割的方法及其应用。, 纹理分析主要介绍影像纹理的概念、特征提取与分析的一些方法与应用。, 图像识别对图像中的
24、不同对象进行分类、描述和解译。,目前面临的挑战,超低码率的图像编码技术、癌细胞的识别技术、模糊图像复原技术、手写体的识别技术、知识的挖掘、图像的浏览、复杂应用的实时系统技术等等。这些挑战集中在以下三个方面：,（1）图像处理的网络化；（2）复杂问题的求解；（3）处理的高速化。,在一个大型项目里，这三方面的挑战往往是交织在一起的，因此包含有综合技术集成的研究是科研人员面临的新课题，这也正是当前图像应用急需解决的重要课题。,由于纯软件处理所进行的是事后处理，长期以来人们关心的重点是能够具体实现种种图像处理的算法。图像处理硬件化芯片研制，把图像处理的众多功能固化在芯片上，则更便于应用。图像处理的网络化
25、、复杂问题的求解以及处理速度的高速化这三方面的问题并不是孤立存在的，三方面的技术的融合，可以形成基于网络的、智能化的高速图像处理系统，以期满足实际应用的巨大需求。,图像处理技术的进展,从图像处理技术的发展来看 在实时性上实现了实时采集、实时传输、实时显示、实时处理； 在视觉模拟上实现了多目多维处理； 在分辨率上实现了高分辨率显示与处理； 在色彩上实现了无限色； 在硬件处理器结构上实现了多结构和可重结构； 在图像系统结构上实现了以计算机内存为中心和以网络为中心的系统结构；,图像处理技术的进展,从图像处理技术的发展来看 在显示方式上实现了单屏图像显示； 在芯片上实现了超大规模集成和可再编程； 在图像压缩上实现了超低码率的压缩； 在数据传输上实现了Internet网上的图像传输； 在并行处理上实现了多DSP、多CPU、多微机、MMX/SSE的并行处理； 在软件平台上实现了多平台（Windows、Linux等）； 在算法上实现了多领域、多层次、多创新的大发展 。,
