1、1,多媒体技术,Multimedia,主讲：刘胜钢,2,第一章 多媒体技术概要,如果说人类没有科学技术的进步，我们将停留在茹毛饮血的时代；,那么可以这样说：计算机没有多媒体技术的进步，计算机将停留在纸带打孔的年代。,多媒体计算机技术已成为人们关注的热点之一。它是一种迅速发展的综合性电子信息技术，给传统的计算机系统、音频和视频设备带来了方向性的变革，给人们的工作、生活和娱乐带来了深刻的革命。应用多媒体技术是20世纪90年代计算机应用的时代特征，也是计算机的又一次革命。,3,11 何谓多媒体技术？,作用,媒体(medium)在计算机领域有两种含义：, 一是指存储信息的实体，如磁带、磁盘、光盘、半导
2、体存储器；, 一是指信息的载体，如数字、文字、声音、图形和图像。,人们进行信息处理(交流和保存信息)时用到了这两类媒体。,计算机作为当今社会最先进的信息处理系统，也需要用到这两类媒体。那么，计算机的多媒体技术中的媒体是指那种媒体呢？,指的就是承载信息的媒体。,4,视觉：最重要的途径，70%80%； 听觉：10%； 嗅觉、味觉、触觉：10%。,人类感知信息的途径是：,通常媒体分为5种类型：,感觉媒体：指能直接作用于人们的感觉器官，从而使人产生直接感觉的媒体。如语言、音乐、自然界中的各种声音、图像、动画、文本等。,表示媒体：指为了传送感觉媒体而人为研究出来的媒体。借助此媒体，能更有效的存储感觉媒体
3、或将感觉媒体从一个地方传送到遥远的另一个地方。如语言编码、电报码、条形码等。,显示媒体：使电信号和感觉媒体之间产生转换的媒体。如输入、输出设备、键盘、鼠标、显示器、打印机等。,5,存储媒体：存放某种媒体的媒体。如纸张、磁带、磁盘、光盘等。,传输媒体：传输某些媒体的媒体。如电话线、电缆、光纤等。,计算机并不是在一开始就能处理数字、文字、声音、图形和图像等多种媒体承载的信息。在计算机发展的初期，只能用数字0和1两种符号来表示信息，人与计算机信息交流很不方便，计算机的应用受到很大限制，只有少数计算机专业人员才能和计算机进行信息交流。,20世纪50年代到70年代，出现了高级语言，文字(英文)作为信息的
4、载体，应用范围扩大，具有一般文化程度的科技人员也能和计算机进行信息交流，但对文化程度底和非英语国家不便。,80年代开始，人们致力于研究将声音、图形和图像作为新的计算机的信息载体，这就使计算机的应用直观、容易，受到广大用户的欢迎，应用范围迅速扩大，不仅为计算机普及到每一张办公桌上，而且为进入每一个家庭提供了可能。,6,由此可见，多媒体技术的发展是普及计算机应用、拓宽计算机处理信息的类型的必然趋势。,多媒体的定义,由于多媒体是一门新技术，因此目前对多媒体还没有一个权威性的定义。所谓“多媒体”，从文字上理解就是“多种媒体的综合”，相关的技术也就是“怎样进行多种媒体综合的技术”了。多媒体的定义和说法多
5、种多样，各人的理解也不同，,问题：,电视算不算多媒体？,各种家电的组合算不算多媒体？各种彩色画报呢？,为什么以前也有计算机图形、图像而不称为多媒体呢？,7,事实上，人们普遍认为，“多媒体”是指能够同时采集、处理、编辑、存储和展示多种信息承载媒体的技术，即将文字、声音、图像、动画、视频与计算机集成在一起的技术。,从这个意义中可以看到，我们常说的“多媒体”最终被归结为一种“技术”，而不是指多种媒体本身，主要是指处理和应用他的一整套技术。所以我们一般将“多媒体”视为“多媒体技术”的同义词。,至此，我们可以给出“多媒体”概念的一个较为完整的定义：,计算机综合处理多种媒体信息：文本、图形、图像、音频、和
6、视频，使多种信息建立逻辑连接，集成为一个系统并具有交互性。,8,计算机综合处理声、文、图信息； 具有集成性和交互性。,简单的说：,多媒体最显著的特点(多媒体技术的特征)：,媒体(信息载体)的多样性 集成性 交互性,从这个角度就可以判断是否是“多媒体”。,电视不具备像计算机一样的交互性，不能对内容进行控制和处理，它就不是“多媒体”，,9,同理，各种家电的组合、画报也不是，仅有一两种媒体的计算机系统也不是。,而那些采用计算机集成处理多种媒体的系统，如多媒体咨询台、交互式电视、交互式视频游戏、计算机支持的多媒体会议系统、多媒体课件及展示系统等，都属于多媒体的范畴。,另两个特性：,非循序性(非线性的结
7、构构成表达特定内容的信息网络)， 非纸张输出形式(CD-ROM)。,10,媒体和媒体特性：,有格式的数据才能表达信息的含义。,从信息表达的角度来说，媒体具有以下特性：,由于媒体的种类不同，它们所具有的格式也应该不同，只有对这种格式能够理解和解释，才能对其内容及承载的信息进行表达。这种格式主要是指媒体类型的识别和解释；,不同的媒体所表达信息的程度不同。,一般来说，愈是接近人类原始表达的信息愈丰富，愈是抽象化(即远离原始信息表达)的信息，其信息量愈少，但是愈精确；,媒体之间的关系也代表着信息。,媒体的多样化关键不在于能否接受多种媒体的信息，而在于媒体之间的信息表示的合成效果。由于多种媒体来源于多个
8、感觉通道，以不同的形式表达，具有一种“感觉相乘”的效应，所以将远远超出各个媒体单独表达的效果；,11,媒体可以进行相互转换。,一般说来，媒体的转换总是要损失信息，但损失的信息对接收者来说是否重要，将取决于具体的应用及应用要求。也有一些媒体之间目前尚不能转换，尤其是不能直接转换。,人与计算机进行信息交流最方便最自然的途径就是用人类自然语言交互，,这就要求计算机具有视觉和听说能力，即图像和语音的识别和理解能力，,这就涉及到人工智能(一门研究使机器具有模拟人的智能的科学)的研究。,虽然人工智能的研究已取得很大进展，但远未达到实用阶段。,多媒体技术可以被看成是实现图像和语音识别之前的过渡技术。,它充分
9、发挥了计算机运算速度快、综合处理能力强等优点，用交互式技术来弥补目前计算机对于图像和语音理解和识别的不足。,12,因此，就目前来看，多媒体计算机技术的最大贡献是改善客人机接口界面，拓宽了计算机的应用领域；从长远来看，它可能对计算机机理和体系结构产生深远的影响。,习题：,1、媒体中的指的是为了传送感觉媒体而人为研究出来的媒体。借助于此种媒体，便能更有效的存储感觉媒体从一个地方传送到遥远的另一个地方。(A)感觉媒体 (B)表示媒体 (C)显示媒体 (D)存储媒体,13,2、多媒体技术的主要特性有： (1)多样性 (2)集成性 (3)交互性 (4)实时性(A)仅(1) (B)(1)(2) (C)(1
10、)(2)(3) (D)全部,3、请根据多媒体的特性判断一下那些属于多媒体的范畴？(1)交互式视频游戏 (2)有声图书 (3)彩色画报 (4)彩色电视(A) 仅(1) (B) (1)(2) (C) (1)(2)(3) (D)全部,4、下列那些媒体属于感觉媒体？(1)语音 (2)图像 (3)语音编码 (4)文本(A)(1)(2) (B)(1)(3) (C)(1)(2)(4) (D)(2)(3)(4),14,5、下列那种说法不正确？(A) 有格式的数据才能表达信息的含义。(B) 不同的媒体所表达信息的程度不同。(C) 媒体之间的关系也代表着信息。(D) 任何媒体之间可以直接进行相互转换。,15,12
11、 多媒体技术的发展概况,前面已提到，自80年代开始，人们致力于研究将声音、图形和图像作为计算机的新的信息承载媒体，使计算机的应用变得直观、容易。,1984年Apple公司首先在Macintosh计算机上引进了“位图”(Bitmap)的图形机，在用户接口上开始采用鼠标(Mouse)驱动的窗口技术(Windows)和图符(Icon)，受到广大用户的欢迎。,1987年8月Apple公司又开发了“超卡”(Hypercard)，使Macintosh成为用户可以方便使用的、能处理多种信息媒体的计算机。由于Apple采取发展多媒体技术、扩大用户层的方针，使得它在个人计算机市场上成为唯一能同IBM公司相抗衡的
12、力量。,16,1985年美国Commodore公司率先推出了世界上第一个多媒体计算机系统Amiga，,并且CD-ROM只读光盘的问世，为多媒体提供了低成本、大容量(650M)的存储介质，是多媒体应用初步具备了基本条件，多媒体进入了快速发展的时期。,1986年3月，Philips和Sony联合推出了交互式紧凑光盘系统CD-I(Compact Disc Interactive)。,该系统将各种多媒体信息以数字化形式存放在只读光盘上，用户可以通过光盘的内容来进行播放。,17,1987年3月，RCA公司推出了交互式数字视频系统DVI(Digital Video Interactive)。它以计算机技术
13、为基础，用标准光盘片来存储和检索静止图像、活动图像和其它数据。,RCA后来将DVI技术卖给了Intel公司。1989年3月，Intel宣布将DVI技术开发成一种可以普及的商品，包括他们研制的DVI芯片装在IBM PS/2上。,随着多媒体技术的发展，1990年11月由Philips等14家厂商，包括Microsoft组成了多媒体市场协会，并先后制定了MPC 1.0和MPC 2.0标准。另外，1991年第六届多媒体和CD-ROM大会上，宣布了CD-ROM XA扩充结构标准的审定版本，为微机的CD-ROM驱动器与CD-I系统能互相兼容提供了一种实际可行的格式。,18,今天，国际上下述几项技术又有了突
14、出的进展：,超大规模集成电路的密度增加了； 超大规模集成电路的速度增加了； CD-ROM可作为低成本、大容量PC机的只读存储器(可换的5英寸盘片，每片容量为650MB以及DVD(单面4.7GB)； 双通道VRAM的引进； 网络技术和超媒体技术的广泛使用。,19,这五项计算机基本技术的进展，有效的带动了数字视频压缩算法和视频处理器结构的改进，促进10年前单色文本/图形子系统转变成今天的彩色丰富、高清晰度显示子系统，同时能够做到全屏幕、全运动的视频图像，高清晰的静态图像，视频特技，二维实时的全电视信号以及高速真彩色图形。同时还有高保真的音响信息。,综上所述，无论从半导体的发展还是从计算机进步的角度
15、，或者从普及计算机应用、拓宽计算机处理信息类型看，利用多媒体是计算机技术发展的必然趋势。,20,13 多媒体技术的关键技术,在多媒体技术应用系统的开发中，你会发现一个在其它应用系统开发中很少遇到的问题，即多媒体信息的巨大数量十分惊人，以至一般的采集、存储、处理和传输技术都难以胜任。,例如：一幅640480分辨率的24bit像素的彩色图像，数据量约为0.92MB，如果是运动图像以每秒30帧的速度播放，则需视频信号传输速度为27.6MB/s；如果用650MB光盘存放，在不考虑伴音信号的情况下，每张CD-ROM光盘也只能播放24秒钟！,由此可见，要使多媒体技术达到可实际应用的程度，必须对下面几项关键
16、技术有所突破：,21,1、视频和音频数据压缩和解压缩技术(压缩编码和解码技术),视频和音频信号的数字化数据为什么能够压缩？,其原因之一是原始信号的数据存在着很大的冗余度，例如相邻两帧电视图像的空域和时域都有很大相关性，信息有冗余；,原因之二是因为在多媒体应用技术中，人是主要接收者，眼睛是图像信息的接收端，耳朵是声音信息的接收端，由于人的视觉和听觉的生理特性，即使存在一定程度的失真，仍有满意的主观效果。,数据压缩和解压缩技术，在此主要是指编码技术。,对于编码技术的研究，自1948年Oliver提出PCM编码理论开始，已有50多年的历史，编码技术日臻完善。,目前常用的编码方法有：PCM；预测编码；
17、变换编码；插值和外推；统计编码(哈夫曼编码，算术编码，香农-范罗编码)；此外还有矢量量化，子带编码，游程编码等。,22,如今已经产生了各种各样针对不同用途的压缩算法、压缩手段和实现这些算法的大规模集成电路或者计算机软件。,在波形编码理论之后，近几年提出的小波变换等技术正在受到学术界的重视。人们还在继续寻找更加有效的压缩算法及其用硬件或者软件实现的方法。,信息压缩技术的优劣可从三个方面去衡量：,一是信息压缩比； 二是实现压缩算法的难易程度或执行速度； 三是重现精度。,23,目前公认的关于压缩编码的国际标准有：,JPEG(Joint Photographic Expert Group)标准，,这是
18、“联合图片专家组”经过五年细致工作后于1991年3月提出的ISO CD 10918号建议草案：“多灰度静止图像的数字压缩编码”。,电视电话/会议电视P64Kbit/s(CCITT H.261)标准，,这是CCITT第15研究组于1984年提出的“数字基群传输会议电视”的H.120建议。,MPEG-1标准，,是由“运动图像专家组”于1990年提出的“用于数字存储媒体运动图像及其伴音速率为1.5Mbit/s的压缩编码”，称为MPEG-1，1992年作为ISO CD 11172建议通过。,24,2、多媒体硬件系统的专用芯片,多媒体计算机需要快速、实时的完成视频和音频信息的压缩和解压缩、图像的特技效果
19、(如改变比例、淡入淡出、马赛克等)、图形处理(图形的生成和绘制)、语音信息处理(抑制噪声、滤波)等任务，一定要用专用的芯片。,多媒体计算机的专用芯片有两种类型：固定功能芯片和可编程处理器。,现在制造厂家正在开发高集成度、更高性能的芯片和专为多媒体应用特制的芯片组。,首批设计生产芯片中一部分的目标是图像数据的压缩处理，,如SGS-Thomson公司的STI3220，可作为运动预测处理器；C-cube公司的CL-550芯片是执行JPEG标准算法的专用芯片；集成信息技术公司推出的视频压缩芯片VP等。,25,Intel公司的i750芯片已有几代产品，现在高档的i750芯片能够处理音频信号以及在视频编码
20、时增加特技效果，低档产品可作为MPEG的解码器。,3、大容量的外部存储器,数字化的多媒体信息在经过处理后，仍然包含了大量的数据。视频图像在未经过压缩处理时每秒数据量为27.6MB，经过压缩后每分钟的数据量为8.4MB，因此需要一种大容量的外部存储器。硬盘体积较大又不可移动，不适合作多媒体信息的外部存储器。另一种存储媒体就是光盘，一张CD-ROM光盘650MB，可存储70分钟经过压缩的视频图像，而且是一种可移动的介质，体积小，重量轻，造价也相当低廉，因此它能满足存储多媒体信息的需要。新开发的DVD单面容量一般为4.7GB，最高可达17GB。,26,4、多媒体同步技术(实时处理和特技),多媒体技术
21、需要同时处理图、文、声、像等多种媒体信息，其中声音和视频图像还要求实时同步处理。因为声音和语音的播放不能中断，视频图像要求以视频速度，即每秒30帧或25帧更新图像数据，这就需要支持对多媒体信息进行实时处理的操作系统。,同时，在多媒体应用中，通常要对某些媒体执行加速、放慢、重复等交互性处理。多媒体系统允许用户改变事件的顺序并修改信息的表现，各媒体就有本身的独立性、共存性、集成性和交互性，系统中各媒体在不同的通信路径上传输，将分别产生不同的延迟和损耗，造成媒体之间协同性的破坏，因此，媒体同步也是一个关键问题。,以上是与发展多媒体技术有关的主要技术问题。当然，除此以外还有许多重要的技术问题。例如：视
22、频音频信号获取技术、超大规模集成(VLSI)电路制造技术、多媒体网络和通信技术、超文本和超媒体技术、视频音频数据的输出技术等。,27,14 多媒体系统,多媒体系统的基本构成,多媒体系统是一个能处理多媒体信息的计算机系统。,可见，多媒体系统是计算机和视听系统的综合，其核心是一台计算机，其外围主要是视听设备。,因此，简单的说，多媒体系统的硬件是计算机主机及可以接收和播放多媒体信息的各种输入输出设备，,它的软件是音频/视频信息处理核心程序、多媒体操作系统及各种多媒体工具软件和应用软件。,28,多媒体系统的硬件结构,图1.1示出了多媒体系统的硬件结构。整个系统分为五大部分：,主机及多媒体适配卡(多媒体
23、专用芯片 ),主机：常规的主板及VGA适配卡、多功能卡， 多媒体适配卡：音频卡、视频卡、图形卡、压缩卡等。,外部存储设备,软盘驱动器、硬盘驱动器和CD-ROM驱动器。,输入设备,常规输入设备：键盘、鼠标、操纵杆和触摸屏等； 音频输入设备：话筒(麦克风)； 音频/视频输入设备：录像机、摄影机、扫描仪、激光视盘、CD-ROM等。,29,最底层是直接和多媒体底层硬件打交道的驱动程序，在系统初始化引导程序作用下把它安装到系统RAM中，常驻内存。,常规输出设备：显示器、打印机、内置扬声器； 音频输出设备：外接扬声器(音响)、耳机； 音频/视频输出设备：激光视盘、录像机、CD-ROM。,在一个具体的多媒体
24、系统的硬件配置中，不一定都包括上述的全部配置，但一般至少在常规计算机上再加配音频适配卡和CD-ROM驱动器。,多媒体系统的软件结构,如图1.2所示。它是一个层次结构，可分为五层：,输出设备,30,第二层是多媒体计算机的核心软件，即视频/音频信息处理核心部分。他要完成的任务是：支持随机移动或扫描窗口下的运动及静止图像的处理和显示，为相关的音频和视频数据流的同步问题提供需要的实时任务调度等。,第三层是多媒体操作系统，除一般的操作系统功能外，它为多媒体信息处理提供设备无关的媒体控制接口(MCI)。,第四层是开发工具/著作语言。为了方便开发者和用户编制应用程序，不少厂商为多媒体计算机系统编制了工具软件
25、。如WaveStudio、MIDI Mapper、CorelDRAW、Adobe Photoshop、Animator Studio、3D Studio MAX、Adobe Premiere、Authorware、ToolBook、Director等。,31,第五层是多媒体应用程序。如Windows系统中的录音机、媒体播放器应用程序和用户开发的多媒体应用程序。,多媒体系统分类,多媒体系统是计算机和视听系统的综合，因此不同的多媒体系统针对不同的需要，在设计上就有不同的配置。多媒体系统按其功能大致可分为以下几类：,1、具有编辑和播放功能的开发系统,这类系统具有多媒体应用软件的开发和制作能力。因此系
26、统配有功能强大的计算机，齐全的图、文、声、像的外部设备、接口卡和多媒体演示的制作工具。这类系统主要用于专业人员制作多媒体产品。DVI系统和Macintosh系统就属于这一类。,32,2、以VGA显示器为输出设备，具有基本的视频播放和交互能力的多媒体系统,这类系统主要是在现行的计算机上，通过插入多媒体适配卡硬件和装入相应的设备驱动软件的方法，使计算机具有一定的视频播放和交互能力的多媒体系统。这类系统现在最为流行，多媒体PC(MPC)就属于这一类。,3、以电视为输出设备的家用系统,这类系统侧重于视听功能，而不是计算功能，它以电视作为主要输出设备。因此，这类设备只用于播放，而不用于开发，所以其使用范
27、围受到一定限制，主要用于家庭娱乐和学习。CD-I系统就属于这一类。,33,15在多媒体计算机发展史上卓有成效的公司和系统,前几年，世界上很多国际性的大公司都在研制开发多媒体计算机技术，其中包括著名的家电生产厂商Philips及Sony公司，著名的计算机生产厂商IBM、Intel及Apple公司等，在众多的多媒体计算机中，卓有成效的公司和系统如下：,Commodore公司的Amiga系统,Commodore公司在1985年率先在世界上推出了第一个多媒体计算机系统Amiga。,在1989年秋美国的Comdex博览会上，Commodore公司展示了Amiga系统的一个完整的系列。,到目前为止，该公司
28、已推出了Amiga 500，1000，1500，2000，2500，3000以及4000等型号的产品。该系统的产品主要在欧洲和英、德、奥市场，在北美和南太平洋地区也很流行。,34, Amiga的基本结构,Amiga的基本结构如图1.3所示。,它们可分别配置Motorola公司的68000，68020，68030和68040不同型号的CPU以及不同容量的RAM，处理速度接近工作站速度。,在I/O通道中采用SCSI接口，使用平均存储时间为11ms的高速硬盘和32位宽存储结构，基本上能实现每秒25帧图像的实时动画演播速度。,为了提高视频和音响信息的处理速度，Commodore公司在Amiga系统中采
29、用了三个专用的芯片：动画制作芯片Agnus(8730)，音响处理及外设接口芯片Paula(8364)，图形芯片Denise(8362)。,35, Amiga的操作系统,为了适应不同用户对多媒体技术的需要，Commodore公司提供一个类似于Windows的多任务操作系统，称作Amiga DOS。,它有下拉菜单、多窗口、图符以及PM(Presentation Manager)等功能。同时，配备了大量应用软件，如绘制动画、制作电视片头及作曲等专用软件。,该公司还推出了一个Amiga Vision多媒体的著作系统，为用户提供了一个完备的图符编程语言(A Complete Iconic Program
30、ming Language)。,36, Amiga的多媒体实用软件及配套设备,Amiga系统的实用软件极为丰富，而且更新很快。所涉及的应用领域很广，包括游艺、游戏、教育、娱乐、轻印刷、CAD、商业、工业控制、数据库管理、人工智能、语音识别等等。,Calicari等三维动画软件,这些软件运用了光线跟踪技术、反混淆技术及环境光反射技术，能生成丰富的表面质感。用户可以直接在三维空间中思考、创作，可实时的移动、改变物体，并能立刻见到效果。,37,例如Calicari软件提供的操作界面和人的现实生活环境非常相似，称作为虚拟现实环境，具有以下特点：,可通过三维空间中的物体空间属性来观察仿真的物体； 可在三
31、维空间中完成各种操作；可实时响应，操作结果几乎立即可见； 操作内容是模拟现实世界的操作，不需要专门训练； 提供的真实三维环境比在窗口下要舒适得多； 物体操作分级进行。,Amiga系统的配套设备齐全、配套厂家很多。在美国、加拿大、澳大利亚及法国、德国、奥地利等国，有很多的Amiga配套厂家。支持Amiga系统的配套设备很多，例如音乐创作软件、各种质量级别的锁相器、多功能接口、时基校正器、音频控制器、显示增强器、帧获取器、通信用网板和调制解调器等等。,38,Philips/Sony公司的CD-I系统,Philips/Sony公司于1986年4月公布了基本的CD-I系统，同时还公布了CD-ROM的文
32、件格式，这就是以后的ISO标准。,该系统把高质量的声音、文字、计算机程序、图形、动画以及静止图像等都以数字的形式存放在容量为650MB直径为5英寸的只读光盘上。用户可通过与该系统相连的家用电视机、计算机显示器和CD-I系统进行通信，使用鼠标器、操纵杆或遥控器等定位装置选择人们感兴趣的视听材料进行播放。由于CD-I系统是集音频视频和计算机集于一体的系统，直接连上电视机，就可交互式的观看节目，面向家庭和课堂教学有相当大的吸引力，很有应用前景。, CD-I基本系统的结构,CD-I基本系统的结构如图1.4所示。整个系统可分为两部分：驱动器和多媒体控制器。,39,驱动器,驱动器的功能是将光盘存储的信息读
33、出。可以使用CD-I光盘、CD-DA光盘和CD-ROM光盘。,多媒体控制器(MMC),MMC主要是由音频信号处理器、视频信号处理器、68000微处理器，RAM、ROM、NVRAM(不挥发的RAM)和定位装置组成。,CD-I系统有两种工作方式。一种是仅与家用电视机、录像机及音响设备相连，在CD-I实时操作系统的管理下，接收来自用户的命令，编译来自光盘的音频、视频和程序等数据，并把声音和图像分别送到音响设备和不同制式的彩色电视机或录像机：NTSC制(525行，帧频30Hz)或PAL制(625行，帧频25Hz)。另一种方式的CD-I系统可以作为多媒体控制器连到其它微机、工作站以及小型机上。,40,为
34、了改进CD-I基本系统的特性，Motorola公司为CD-I系统开发了一套专用电路。Sony公司为CD-I扩充了硬件，构成了增强功能的CD-I系统。,增强功能的CD-I系统处理器采用了Motorola公司高性能的嵌埋式微处理器MC68340，同时Motorola公司为CD-I所开发的大规模集成电路专用芯片有：视频系统控制器、视频合成器、全运动视频信号控制器以及视频信号D/A转换器。其中全运动视频信号控制器是一个复杂的专用芯片，它处理视频信号的压缩编码和解压缩问题，为TV提供全屏幕的运动图像；视频系统控制其主要用于内存管理；视频合成器主要处理位映射图像；视频信号D/A转换是数字式视频信号进行模拟
35、量的转换，送出RGB驱动电路，供给彩色监视器。此外，连接CD驱动器选用了56001数字信号处理器，主要用它处理语音信号，再通过静态存储器以及串行音频D/A变换，分左右两个通道输出到音响设备中去。,41, CD-I音频,CD-I基本系统提供超级高保真(超级HiFi)、激光唱盘(A级)、调频广播(B级)和调幅广播(C级)四种不同音质的运行方式。,超级HiFi声音选用CD-DA光盘，采用脉冲编码调制(PCM)系统，直接通过CD译码器，输出到D/A变换器，再送给音响设备输出，得到超级HiFi的音响效果。其它三级(A，B，C级)声音选用CD-I光盘，采用自适应脉冲编码调制(ADPCM)系统，选用不同的采
36、样频率、量化精度，得到不同级别的音响效果。,42, CD-I视频,CD-I基本系统定义了三种图像分辨率：,分辨率种类 NTSC制 PAL/SECAM制,正常分辨率 360240 384280,双倍分辨率 720240 768280,高分辨率 720480 768480,为提高图像的显示速度并减少图像的数据量，针对自然图像、图形和动画三种不同特点的图像，CD-I系统采用了四种压缩技术：,43,一维的DYUV码，主要用于图像，如彩色照片； RGB 5：5：5编码，主要用于高质量的图形； CLUT(Color Look-Up Table)编码，主要用于要求变化较快的图形； 一维行程编码RLC(Run
37、-Length Code)，主要用于动画类图像。, CD-RTOS操作系统,CD-RTOS(Compact Disc Real-Time Operating System)是CD-I系统的操作系统，其结构如图1.5所示，具有如下特性：多任务、实时响应；支持多种算术I/O协处理器；设备独立、中断驱动；能处理多级树型结构目录；支持随机文件和实时文件；与OS/2相容。,44,Apple公司的HyperCard,Apple公司的Macintosh系统具有公认的良好的图形特性，它是桌上出版和桌上演示系统的先驱。,Apple公司的多媒体系统也有人称之为桌上媒体，它实质上是把高质量的音响及活动的视频图像加到
38、原来的Macintosh系统中，能够把上述特性连在一起的是HyperCard及其兼容软件。,HyperCard是以卡片(card)为节点的超级文本(hypertext)系统，基本的信息单元是卡片或称节点，一个卡片可充满整个屏幕。,一组卡片称为卡堆(stack)，可以认为卡堆是HyperCard中的文件，同类和相关卡片可在一个卡堆内。每个卡片不仅是字符，还包括图形、图像和声音。,45,HyperCard系统提供了许多命令或工具，通过鼠标器或键盘实现控制完成卡片的浏览、编辑、制作，信息的输入、修改、检索。它能把简单的数据库、复杂的文本程序、编程语言及著作系统组成一个快速灵活的软件包。,HyperC
39、ard的数据库和所有的MAC的数据格式兼容，并开发有直接的连接电路、光扫描器以及CD-ROM驱动器连接。,为了使HyperCard和这些外部设备相连接，Apple公司已经公布了一个多媒体协议和驱动程序标准集，叫做AMCA(Apple Media Control Architecture)。AMCA是系统级的结构，用来访问视频光盘、音频光盘以及录像带的信息，软件工作人员不用为多媒体外部设备写专门的驱动程序。,46,Intel和IBM公司的DVI系统,RCA公司在1987年3月第二次Microsoft CD-ROM会议上，首次公布了DVI技术的研究成果，1988年10月Intel公司从RCA公司买
40、来了DVI技术，1989年Intel和IBM公司在国际市场上推出了DVI技术第一代产品Action Media 750，1991年又在美国Comdex展示会上推出了第二代的DVI技术的产品Action Media 750 II。1992年又推出了第三代产品S3。第二代的产品性能指标比第一代产品提高了一倍，价格仅是原来的三分之一。,DVI是全数字化多媒体技术。它为交互式多媒体技术提供了全面的解决方法，具有处理文本、声音、图形、图像以及动画的能力，可支持多种信息来源和信息格式。DVI技术作为Intel和IBM提供的多媒体核心技术，是完全开放式的，可以被移植到各种计算机平台上。例如，可以做成PC接口
41、卡插在任何一台PC机上。因此，DVI赢得了用户，世界上有几百家公司为其开发软件，将其应用推广到各行各业中。,47, DVI系统的基本结构,DVI技术第一代产品Action Media 750 I的核心是三块专用的DVI接口板：DVI视频板、DVI音频板以及DVI多功能板。,DVI技术硬件的核心部件是Intel公司生产的专用芯片：VDP1(82750PA，82750PB)和VDP2(82750DA，82750DB)，称之为像素处理器和视频显示处理器。,A型提供12.5M/s操作速度，B型提供25M/s操作速度。82750PA/PB是像素处理器，采用微码编程，可以高速执行像素处理的各种算法，827
42、50DA/DB是显示处理器，它可与82750PA/PB并行处理、显示处理好的帧存储器中的位映射图。它具有较强的图形功能，同时通过编程，适应不同分辨率、不同像素格式及不同同步格式的多种型号的显示器。,48,从技术的角度，可将DVI技术系统分为两个系统。,(1) DVI用户系统：由DVI视频板、音响板、多功能卡、计算机主机、RGB监视器、输入设备(如键盘)、CD-ROM驱动器等组成。,(2) DVI开发系统：在用户系统的基础上，加上视频数字化器、视频设备(如单色监视器、录像机、摄像机或扫描仪)、音响数字化器、音响设备、扩充的RAM和存储系统(如大容量光盘或硬盘、半高磁带机)等组成。,49, DVI
43、的软件结构,DVI的软件系统结构如图1.7所示，DVI技术软件的核心部分是AVSS(audio/video sub system)和AVK(audio video kernel)。,AVSS是在DOS环境下，加上PTX(实时执行部件)、视频驱动器、音响驱动器、多功能驱动器以及驱动接口模块，运行音响视频的子系统。,AVK在Windows环境下运行。AVSS和AVK最主要的任务是：为音频和视频数据流相关同步提供需要的实时任务调度，实时的数据压缩和解压缩，实时地拷贝和改变比例尺，建立位映射，管理控制它们将其送至显示缓冲区等。,50,DVI软件对主机CPU的依赖很小，易于移植到多个平台和操作系统环境中
44、。DVI软件的底层是微码程序，中层AVL是C语言程序库，而上层API是一个类英语命令语言，很少直接用主CPU指令写程序，因此是DVI在C语言或Windows环境中利用各种开发工具开发应用程序极为方便。,DVI技术有丰富的软件支持，例如有工具软件、库函数。全世界已有80多家厂商为DVI技术编制开发工具和各种应用软件。,51,16 多媒体涉及的几个概念,1、超文本(hypertext)：真正含义是“链接”的意思，用来描述计算机中一种文本的组织方法。超文本是以非线性方式组织，把文本中遇到的一些相关内容通过链接组织在一起，让计算机能够响应人的思维以及能够方便的获取所需要的信息。,2、超链接(hyper
45、 link)：即超文本链接(hypertext link)，也称热链接(hot link)。超链接是对象之间或者文档元素(element)之间的链接，建立互相链接的这些对象不受空间位置的限制。,3、超媒体(hypermedia),4、标准通用标记语言(Standard Generalized Markup Language, SGML)：该标准定义独立于平台和应用的文本文档的格式、索引和链接信息，为用户提供一种类似于语法的机制，用来定义文档的结构和指示文档结构的标签(tag)。,52,标记(markup)分成两种：一种为程序标记，用来描述文档显示的样式(style)(如字体的大小、黑体、颜色等
46、)；一种为描述标记，也称普通标记，用来描述文当中的文句的用途(如篇、章、节或者内容等)。制定SGML的基本思想是把文档的内容与样式分开。,一个典型的文档可分成3个层次：结构(structure)、内容(content)和样式(style)。 如：多媒体技术,5、超文本标记语言(HyperText Markup Language, HTML)：是从SGML导出的语言，是SGML的一个子集。万维网采用超文本标记语言来组织文件。用HTML组织的文件本身属于普通的文档文件，可以用一般的常见的文本编辑器来编辑，或用专门的HTML文件编辑器来编辑。,53,6、虚拟现实造型语言(Virtual Realit
47、y Modeling Language, VRML)：是一种用来描述万维网页上三维交互环境的文件格式。,7、万维网(Web)与因特网(Internet)：万维网是在因特网上运行的全球分布式信息系统，也称为超媒体环球信息系统。它们的关系犹如计算机的硬件平台和软件环境之间的关系。万维网技术是目前最热门的多媒体技术。,54,17 多媒体技术的发展和应用,随着多媒体技术的研究和开发工作的深入发展，实用化的多媒体应用技术日益增加。,一、多媒体技术的应用,1、多媒体数据库,传统的数据库管理系统在处理结构化的数据：如文字、数值等信息方面取得了很大成功。然而在很多应用领域，如CAI课件、办公自动化、诊断医疗管
48、理系统、图书馆和博物馆管理系统、计算机辅助设计及地理信息系统等，由于这些应用包含了多种媒体数据和非结构化数据，传统的数据库管理系统就显得有些力不从心。,55, 多媒体数据库的研究途径,目前多媒体数据库的研究途径主要有以下三条途径： (1) 在现有商用数据库管理系统的基础上增加接口，以满足多媒体应用的需要； (2) 建立基于一种或几种应用的专门多媒体信息管理系统；(3) 从数据模型入手，研究全新的通用多媒体数据库管理系统。,第一种途径实用，但效率很低；第二种途径易于实现，但缺乏通用性，而且可扩展性差；第三种途径是研究和发展的主流，但是具有相当的难度。,56, 多媒体数据库要解决的关键技术问题：,
49、 多媒体数据库模型,多媒体数据库模型主要采用关系数据模型的扩充和采用面向对象的设计方法。,由于用传统的关系模型难以描述多媒体信息和定义对多媒体数据对象的操作，目前在关系模型扩充方面除了引入抽象数据类型外，较多的采用语义模型的方法。关系模型主要描述数据的结构，而语义模型则主要表达数据的语义，语义模型的层次高于关系模型，后者可以作为前者的基础。目前的研究表明，采用面向对象的方法和建立多媒体数据模型是较好的方法，面向对象的主要概念包括对象、类、方法、消息、封装和继承集，可以方便的描述复杂的多媒体信息。,57, 数据的压缩和解压缩, 多媒体数据的存储管理和存取方法,目前常用的有分页管理、B+、和Hash方法等。在多媒体数据库中还要引入基于内容的检索方法、矢量空间模型信息检索技术、超位检索技术及智能索引技术等。, 多媒体信息的再现及良好的用户界面,在多媒体数据库中应提供多媒体宿主语言调用，还应提供对声音、图像、图形和动态视频的各种编辑和变换功能。,
