1、第4章 医学多媒体技术基础,主要内容,4.1 多媒体技术概述 4.2 多媒体信息处理 4.3 实用多媒体技术 4.4 数据压缩技术 4.5 虚拟现实技术,4.1 多媒体技术概述,媒体含义： 一指存储信息的实体，如软盘、硬盘、光盘、磁带、半导体存储器等； 二指携带信息的载体，如文本、图形/图像、声音、视频、动画等。这里，我们所说的“媒体”指的是第二种，即携带信息的载体。 多媒体(Multimedia)顾名思义，即两种或两种以上媒体的有机组合。表现形式有：文字、声音、图形、图像、动画、视频等。 多媒体技术(Multimedia Technique) 就是把文本、图形/图像、声音、视频、动画等媒体通
2、过计算机集成在一起的技术。,多媒体技术的主要特点 多样性： 信息媒体的多样性是指计算机能处理多种信息媒体，也就是能对不同的输入信息可以经过加工、变换或处理输出新的信息，而不是简单的记录和重放。 交互性： 多媒体技术则可以实现人对信息的主动选择、编辑和控制，即人机交互操作。,多媒体技术的主要特点 集成性： 对文字、图像、图形、声音、视频、动画等信息进行综合处理，使各媒体协调一致。 多媒体的集成性主要表现在在两个方面，一方面是信息媒体的集成，即将各种不同的媒体信息有机地同步，集成为一个完整、协调的多媒体信息。另一方面是各种不同的显示或表现媒体设备的集成。 实时性： 多媒体技术还表现在信息处理的实时
3、性。如在多媒体系统中，由于声音和活动视频图像与时间密切相关，使声音和图像在播放时不出现停滞（要实时同步）。这样，在进行多媒体交互时，就好像面对面一样。,多媒体计算机与网络,MPC(Multimedia Personal Computer) 计算机能够集声、文、图、像处理于一体，诞生了有多媒体处理能力的计算机。所谓多媒体计算机是指具有多媒体处理功能的个人计算机 多媒体技术与网络技术的结合使得计算机的信息具有资源共享、信息交换和信息分布处理、分布控制等特点。,4.2多媒体信息处理,4.2.1多媒体信息的组成 文字图形/图像声音视频动画,4.2多媒体信息处理,4.2.2多媒体信息处理的特点 数据类型
4、复杂 数据信息量大 数据的实时性要求高 数据的分布性广 数据的交互性要求强,4.2.3 声音信息处理(声音信息数字化),声音 声音信号数字化 采样 数字化 声音文件的存储格式,声音信息数字化及存储,声波采样与数字化,采样频率f：1/T，每秒钟的采样次数 ； 采样点精度 ：存放采样点振幅值A的二进制位数 ； 声道数 ：声音通道的个数 ，立体声 为双声道。 每秒钟存储声音容量的公式为： 采样频率采样精度（位数）声道数/8=字节数,采样频率：采样频率高，声音保真度越好。声音的频率范围20KHz到22KHz,进行数字化时，在多媒体技术中常用的标准采样频率为44.1KHz、48KHz或更高。 采样精度：
5、采样数据位数对声音的音质有重大影响。分8位A/D转化器（采样信号分256份），16位A/D转换器（65536份），后者比前者音质好（音质细腻）。 声道数：单声道、双声道、杜比5.1或7.1声道的环绕立体声等。,采样,量化,编码,(2)声音文件的格式 波形音频文件（WAV） 文件所需要的空间很大，可以以任何声源录制生成，在各种计算机上的播放效果基本一致。 数字音频文件（MID） MIDI代表音乐数字接口，是数字音乐的一个国际标准，文件所需空间很小，其中包含的不是采样数据，而是一些指令。MIDI文件无法得到自然界中的所有声音，播放效果还与合成器的质量有关，不同档次的声卡差异较大。 光盘数字音频文件
6、(CD-DA) 采样频率44.1KHz、采样数据16位；能完全重现原声音的效果。CD唱片对声音的生成、处理、还原方法与WAVE文件基本相同，是通过数字采样技术制作的，但不生成WAV文件，而是把采样数据直接写在光盘上。,MP3文件 采用ISO成立的运动图像专家组(Moving Picture Experts Group, MPEG)制定的MPEG-1的音频压缩技术生成。 其压缩是一种有损压缩， WMA文件 WMA文件是Microsoft公司的压缩音频文件格式，其压缩率一般可以达到1:18。文件扩展名为.WMA. WMA的全称是Windows Media Audio，是微软力推的一种音频格式。WM
7、A格式是以减少数据流量但保持音质的方法来达到更高的压缩率目的。 RealAudio文件 RealAudio文件是RealNetworks公司开发的一种新型流式音频（Streaming Audio）文件格式；它采用RealNetworks所制定的音频、视频压缩规范进行有损压缩，主要用于在低速率的广域网上实时传输音频信息。文件扩展名为：.RA、.RM 或.RAM。,4.2.4 图形图像信息处理,图形和图像 图形: 指从点、线、面到三维空间的黑白或彩色几何图，也称矢量图，这类图形比较适合用数学方法来表示，所以可以减少存储量。图形有二维和三维之分，图形的绘制一般需要专门的绘图软件，如：AutoCAD、
8、CorelDraw等。图形文件即可以存储为矢量文件也可以存储为位图文件 图像：不像图形有明显规律的线条，在计算机中很难用矢量来表示，基本上只能用点阵来表示，每个点组成图像，这点称为像素，图像文件一般存为位图文件。,电脑中的图像分为点阵图像与矢量图形,6464像素点阵图像,模拟图像的数字化采集得到的是点阵图像,矢量图形,2.多媒体信息的数字化采集与生成,（2）图象的数字化采集,图像采样与量化就是把图像分割成为一系列小区域，用特定位数的二进制数值来表示每一个小区域的亮度、色彩等特征。 具体的做法就是对图像在水平方向和垂直方向上等间隔地分割成矩形网状结构，所形成的矩形微小区域，称之为像素点。一幅图像
9、画面可被表示成MN个像素构成的像素点的集合， MN称为图像的分辨率。,2.多媒体信息的数字化采集与生成,（2）图象的数字化采集,图像采样时的分辨率是影响图像质量的重要指标。分辨率越高，得到的图像样本就越细腻逼真，图像的质量越高。,6464像素,128128像素,1616像素,2.多媒体信息的数字化采集与生成,（2）图象的数字化采集,在图像量化时，一个黑白图像（灰度图像），若只有黑白之分，则可用“0”或“1”两个值来表示，只须使用一位二进制数据表示每个像素的颜色值。当使用8位时，可表示256级的灰度值。,对于单色灰度图像，只用一组二进制数据。彩色图像一般用三组二进制数据分别表示每个像素的红（R）
10、、绿（G）、蓝（B）三个基色，其每个像素产生的数据位数为三组二进制数据的位数之和。,使用3X8位(24位真彩色),使用4位(16级灰度),使用1位(2色),分辨率,屏幕分辨率：显示器屏幕上的最大显示 区域，即水平与垂直方向的像素个数。 如：1440*900,图像分辨率：图像分辨率是指组成一幅图像的像素密度的度量方法。分辨率的单位为PPI(Pixels Per Inch)，通常叫做：像素每英寸，即每英寸图像内有多少个像素点。,图像深度,图像深度（也称图像灰度、颜色深度） 表示数字位图图像中每个像素上用于表示颜色的二进制数字位数。如：图像深度为2，能表示颜色的种类为2的2次方4种颜色。若深度为24
11、，即255种红色和255种绿色和255种蓝色混合出16672216 种颜色。它能够表达自然界各种颜色，通常称之真彩色“True Color” 。,图形图像的存储格式,图像文件存储着二进制编码形式保存的像素信息。它可看成是一个两维矩阵，每个矩阵元素就是像素。像素是表示图像的最基本单位。每个像素的二进制编码位数称为幅值深度或像素深度。图像的典型像素深度为1、2、4、8、12、16或24位。,图形图像的存储格式,常见的图像文件格式 BMP 格式 JPEG 格式 GIF格式 WMF格式 PSD格式 EMF格式 PNG格式,图形图像的存储格式,常见的图像文件格式 EPS格式 TGA格式 SVG格式 TI
12、FF格式,BMP（Bitmap）格式 BMP（位图格式）是DOS和WindowS兼容计算机系统的标准Windows图像格式。BMP格式支持RGB、索引颜色、灰度和位图颜色模式，但不支持Alpha通道。BMP格式支持1、4、24、32位的RGB位图。 JPEG（Joint Photographic Experts Group）格式 JPEG（联合图片专家组）是目前所有格式中压缩率最高的格式。大多数彩色和灰度图像都使用JPEG格式压缩图像，压缩比很大而且支持多种压缩级别的格式，当对图像的精度要求不高而存储空间又有限时，JPEG是一种理想的压缩方式。在WorldWideweb和其它网上服务的HTML
13、文档中，JPEG用于显示图片和其它连续色调的图像文档。JPEG支持CMYK、RGB和灰度颜色模式。JPEG格式保留RGB图像中的所有颜色信息，通过选择性地去掉数据来压缩文件。,GIF（Graphic Interchange Format）格式 GIF（图像交换格式）是一种LZw压缩格式，用来最小化文件大小和电子传递时间。在WorldWideWeb和其它网上服务的HTML（超文本标记语言）文档中，GIF文件格式普遍用于现实索引颜色和图像。GIF还支持灰度模式。 TIFF（TagImage File Format）格式 TIFF（标记图像文件格式）用于在应用程序之间和计算机平台之间交换文件。TIF
14、F是一种灵活的图像格式，被所有绘画、图像编辑和页面排版应用程序支持。几乎所有的桌面扫描仪都可以生成TIFF图像。而且TIFF格式还可加入作者、版权、备注以及自定义信息，存放多幅图像。,图像文件的压缩图像会存储所有的像素信息，所需的存储量远多于图形或文本的存储量。为了解决数据量大的问题，需要对图像进行压缩处理。压缩方式分为两类：即有损压缩和无损压缩。,4.2.5 视频信息处理,视频技术最早是从电视系统发展而来的，根据人眼的视觉暂留原理，每秒钟中超过24副连续画面变换时，人眼将无法识别出静态的图像，看上去是平滑连续的视觉效果，这种连续的画面就是视频。 加上伴音信息，存储视频需要的数据非常大，必须压
15、缩后才能使用。所以视频都有一个先压缩再解压的过程，由于不同的公司推出了各自的压缩编码，因此对应很多视频格式。,视频信息处理,常见视频格式 AVI格式 MOV格式 MPG/MPEG/DAT格式 FLIC格式 或FLV格式 RM/RAM/RMVB格式 WMV格式 常见视频处理软件： Windows Movie Make，Adobe Premiere 会声会影 ，格式工厂 。,4.3 实用多媒体技术,4.3.1 网络多媒体信息搜索 网络多媒体信息搜索是通过搜索引擎来完成的。 搜索引擎也是专用计算机，可以理解为存在于网上的一个非常大的数据库，库里收集了大量的信息，通过输入关键字(词) 等方式，可为用户
16、查找出相关的资料或链接信息。通过链接，形成一个全球性的信息查询网络。较著名的免费搜索引擎有雅虎、 Google 、百度、天网、搜狐等。,4.3 实用多媒体技术,4.3.2 多媒体素材整理与加工1.图片素材的加工 (1)抓屏 截图:使用键盘中的Print Screen键实现全屏截图，也就是可以截图我们所看到的显示器所有界面；使用Alt + Print Screen 键实现处于活动窗口的截图；使用其他软件的截图功能， 如Win7附件中的“截图工具”软件。 打开计算机画图工具(开始程序附件画图)； 粘贴图片(按住CtrlV键)； 保存图片(文件菜单保存)。,实用多媒体技术,(2)调整图片大小 打开画
17、图工具及要编辑的图片 点击“重新调整大小”按钮或点击右下角拖动图像就可以缩放图像。 保存图片。,重新调整图片大小结果,重新调整图片大小设置,实用多媒体技术,(3)剪切图片剪切图片时首先也要打开画图程序及要编辑的图片，最后保存图片。 第步、第步和前面的调整图片大小操作一样，第的操作如下图,选择图片切割部分,移动切割部分图片,移动剪切图片,图片另存,实用多媒体技术,(4)调整图片的格式 打开要编辑的图片。 左键点击文件另存为，在另存为对话框的保存类型选项中选择要保存的格式，点击保存按钮保存，即可完成格式转化 。 (5)添加文字 选择绘图面板的文字工具，在画布上画出文本区域，同时在文字控制栏中选择字
18、体、字号和文字特殊格式。 在文本框中输入文字,完成文字输入后保存文件即可。,实用多媒体技术,2.利用录音软件录制教学音频素材 这里利用Windows提供的“录音机”录制声音。(1)启动录音机： 用左键点击“开始”“所有程序”“附件” “录音机”，就会打开“录音机”工具。 (2)单击“开始录制”键即可录音，单击“停止录制”键完成录音。正在录音的录音机。(3)保存此音频文件， 如：已录制的声音。保存界面。,4.3.3多媒体光盘刻录与信息发布,1.刻录光盘 刻录软件很多，这里以Nero为例加以介绍。(1)选择光盘类型 选择光盘类型将需要刻录的文件拷贝到一个新文件夹中(如临时刻录文件夹)，将刻录盘 (
19、CD/DVD-R或CD/DVD-RW)插入刻录机。启动Nero，首先出现的是Nero向导”。 我们选择“编辑新的光盘”。然后按照提示依次选择“数据光盘编辑新的数据光盘”，此时Nero向导提示我们点击“完成”进入主界面。,多媒体光盘刻录与信息发布,(2)编辑刻录文件 以刻录D盘“临时刻录文件夹”中的数据为例，首先我们在“文件浏览器”中展开D盘，选中“临时刻录文件夹”，此时“文件浏览器”右边的窗口栏中便出现了该文件中所有的文件。 然后在“文件浏览器”中选中需要刻录的文件，按住鼠标左键不放，将其拖放到主界面最左边的那个“刻录窗口”中就行了。,多媒体光盘刻录与信息发布,(3)正式刻录 编辑好刻录文件之
20、后即可开始正式刻录：点击工具栏上的(刻录)按钮，或者点击“文件写入光盘”，便进入了刻录界面。 2.多媒体信息发布 一般多媒体信息发布系统都是以高质量的编码方式将视频信号、音频信号、图片信息和滚动字幕组合成一个流媒体，通过网络传输到网络播放器(如彩豹Vclient)，然后由播放器将流媒体信息转换成显示终端(如液晶电视)的视频信号播出。,4.4 数据压缩技术,多媒体信息经过数字化后，产生巨大的数据信息，对这些数据信息进行数据压缩是必要的。数据压缩的对象就是其中的冗余部分，冗余部分主要包括空间冗余、时间冗余、结构冗余、知识冗余、视觉冗余、信息熵冗余。数据压缩一般允许在一定限度失真的前提下，对原始数据
21、进行较大程度的压缩。数据压缩有两大功用： 第一，可以节省空间 第二，传输时可以减少对带宽的占用。,数据压缩技术,数据压缩的分类 数据压缩处理一般由两个过程组成： 一是编码(Encoding)过程 即对原始数据经过编码进行压缩； 二是解码(Decoding)过程 对编码数据进行解码，还原为可以使用的数据。,数据压缩技术,数据压缩的分类 按解码后的数据与原数据是否一致分类 (1)无损压缩采用可逆编码法 被压缩的数据进行解压缩后，数据与原来的数据完全相同；该压缩方法去掉或减少了数据中的冗余，故又称为冗余压缩法。 (2)有损压缩采用不可逆编码法 是指被压缩的数据经解压缩后与原来的数据有所不同。由于减少
22、了信息量，损失的信息量是不能再恢复的，所以压缩前与解压缩后有误差。 按压缩方法的原理分类 按数据压缩方法的原理分，一般有六类：预测编码、变换编码、信息熵编码、结构编码、统计编码、行程编码(RLE)。,数据压缩技术,数据压缩的标准 JPEG标准 JPEG是Joint Photographic Experts Group(静态图像专家组)的简称，是静态图像压缩方法，是Internet上使用最为广泛的图像格式之一。这是一种有多种压缩程度的有损压缩方法，其文件名后缀包括.jpg、.jpeg等。JPEG标准适用于彩色和单色多级灰度或连续色调静态数字图像的压缩。通过调整质量系数控制图像的精度和大小，其压缩
23、比可以从101到801 。,数据压缩技术,数据压缩的标准 2. MPEG标准 MPEG的全称是运动图像专家组(Moving Picture Experts Group)，是专门制定多媒体领域内的国际标准的一个组织。MPEG标准包括MPEG视频、MPEG音频和MPEG系统(视音频同步)三个部分。可以得到501到1001的压缩比。 在多媒体数据压缩标准中，较多采用MPEG系列标准，包括MPEG-1、MPEG-2、MPEG-4、MPEG-7及MPEG-21等。,数据压缩技术,数据压缩的应用 视频格式转换工具软件 格式工厂(Format Factory) 狸窝视频格式转换器,4.5 虚拟现实技术,虚拟
24、现实(VR即Virtual Reality)是一种可以创建和体验虚拟世界的计算机系统。它充分利用计算机硬件与软件资源的集成技术，提供了一种实时的、三维的虚拟环境(Virtual Environment)，使用者完全可以进入虚拟环境中，观看计算机产生的虚拟世界，听到逼真的声音，在虚拟环境中交互操作，有真实感，可以讲话，并且能够嗅到气味。,虚拟现实技术,4.5.1 虚拟现实的特点 虚拟现实具有以下三个基本特征: 沉浸(Immersion) 交互(Interaction) 构想(Imagination)， 即通常所说的“3I”。,虚拟现实技术,4.5.2 医学图像引导手术 基于体直方图分割算法的体绘
25、制 采用隐函数建模方法对三维模型进行随意剪切 图像空间到物理空间的配准,虚拟现实技术,4.5.3 基于微机的实用虚拟现实系统 计算机辅助手术(computerassisted orthopedic surgery，CAS)，也称骨科导航手术。它综合了当今医学领域的先进设备，利用CT、MRI、PET、DSA 等的图像信息并结合立体定位系统对人体肌肉骨骼解剖结构进行显示和定位，在骨科手术中利用计算机和医用机器人进行手术干预。,虚拟现实技术,基于微机的实用虚拟现实系统 1.计算机辅助虚拟透视技术的临床意义2.计算机辅助的虚拟透视系统的原理3.临床上的应 用,美国研发CAVE2虚拟现实系统：医学仿真,神经外科专家组成的研究小组在伊利诺伊大学芝加哥分校（UIC）为我们揭开了CAVE2的神秘面纱,一支由神经外科医生，大学教授，建筑师，学生和工程师组成的研究团队正站立在一个8英尺高的320度环绕3D影院屏幕前，而这些三维视图正是由他们所要研究的数据图像构成。,CAVE2展现的场景,虚拟现实技术,4.5.4 虚拟现实的软件实现1.虚拟现实的软件实现 2.主流的VR技术介绍(1)VRML(2)Cult3D技术 (3)Java 3D技术(4)Viewpoint技术,
