1、1,2,第一章 导 论近年来,多媒体计算机技术已成为人们关注的热点,众多的产品介绍和不断的产品更新令人目不暇接,应用多媒体技术已是20世纪90年代计算机时代的特征,面对新世纪的挑战,应更好地掌握和应用多媒体技术。本章将对多媒体的函义、组成、多媒体系统结构、多媒体技术的应用发展及多媒体系统的关键技术等基础知识进行介绍。,3,11 多媒体基本概念 111 多媒体与多媒体技术的涵义多媒体技术是近几年计算机与信息技术新的应用领域。什么是多媒体?什么是多媒体技术?媒体 媒体有两重含义:一是指存储信息的实体,如磁盘、光盘,磁带等:二是指传递信息的载体,如数字、文字、声音、图像等。一般地说,媒体是指存储或传
2、输信息的载体。多媒体 多媒体是指人们利用多种媒体表现,多种感官作用,多种设备,多学科交汇,多领域应用,使其综合、集成一体化,并与客观世界之间进行交互的中介。多媒体技术 多媒体技术则是指把文字、音频、视频、图形、图像、动画等多种媒体信息通过计算机进行数字化采集、获取、压缩解压缩、编辑、存储等加工处理,建立逻辑连接,使其具有集成性和交互性。多媒体技术的两个特征 (1)计算机综合处理文、声、图信息;(2)具有集成性和交互性。,4,112 多媒体应用系统中的媒体元素多媒体媒体元素是指多媒体应用中可显示给用户的媒体组成。目前主要包含文本、图形、图像、声音、动画和视频图像等媒体元素,下面对各种媒体元素的有
3、关知识做一简单介绍。1文本(Text)指各种文字,包括各种字体、尺寸、格式及色彩的文本。文本是计算机文字处理程序的基础,也是多媒体应用程序的基础。文本数据可以在文本编辑软件里制作,例如Word编辑的文本文件可以被输入到多媒体应用系统中,一般多媒体文本可直接在多媒体编辑软件中一起制作。2图形(Graphic)和静态图像(Still Image)图形 图形是指从点、线、面到三维空间的黑白或彩色几何图。在几何学中,几何元素通常是用矢量表示的,所以也称矢量图(Vector Graphic)。矢量图形是以一组描述点、线、面等大小形状及其位置、维数的指令形式存在,通过读取这些指令并将其转为屏幕上所显示的形
4、状和颜色,用来生成图形的软件通常称为绘图(Draw)程序。静态图像 静止的图像(静态图像)是一个矩阵,其元素代表空间的一个点,称之为像素(Pixel),这种图像也称为位图。位图中的位(blt)用来定义图中每个像素的颜色和亮度。黑白线条图用一位值表示,灰度图常用4位(16种灰度等级)或8位(256种灰度等级)表示该点的亮度,而彩色图像则有多种描述方法。处理位图的软件叫做画图程序(如Windows画图)。也可以用彩色扫描仪、摄像机、数字照相机等获得数字化图像。,5,图形与图像的区别 图形是现实生活中各种形象和画面的抽象表示,图形反映物体的局部特性,是真实物体的模型化;图像则是现实生活中各种形象和画
5、面的具象体现,图像反映物体的整体特性,是物体的真实再现。在计算机上,利用真实感图形绘制技术可以将图形数据变成图像,利用模式识别技术可以从图像数据中提取几何数据,把图像转换成图形。,图形,真实感图形绘制技术,图像,模式识别技术,6,图形技术的关键是图形的制作和再现;而图像的关键技术则是图像的扫描、编辑、无失真压缩、快速解压和色彩一致性再现等。处理图像时一般要考虑三个因素:(1)分辨率 分辨率影响图像质量。分辨率有以下三种概念:屏幕分辨率(显示分辨率)屏幕分辨率是指显示屏上能够显示出的像素的个数。标准VGA卡的屏幕分辨率是640480个像素点。屏幕分辨率越高,显示的图像的质量越好。图像分辨率图像分
6、辨率是指图像的像素的个数。像素分辨率像素分辨率是指一个像素的宽和高之比,一般为1:1,在像素分辨率不同的机器间传输图像时会产生畸变。,7,(2)图像亮度和颜色表示 对于黑白图像 用灰度表示像素的亮度,灰度用灰度级 别或比特数表示,目前多采用256级,即 8比特。对于彩色图像的颜色,通常用 RGB三基色的比例来描述,彩色图像的 一个像素一般有24比特的数据量。(3)图像文件大小 用字节为单位表示图像文件大小时,计算 公式为:(高宽灰度位数)8 其中高是垂直方向的像素值,宽是水平方向的像素值 例如,一幅640480的黑白图像大小为64048018=38 400字节 一幅同样大小的256色彩色图像大
7、小为64048088=307 200字节。(图像压缩技术),8,3视频(Video)视频是图像数据的一种,若干有联系的图像数据连续播放便形成了视频;电视视频是模拟信号;计算机视频则是数字信号。计算机视频图像可来自录像带、摄像机等视频信号源的影像,这些视频信号的输出大多是标准的彩色全电视信号,要将其输入到计算机中,需要由相应的硬件软件实现对视频信号的捕捉、模拟信号向数字信号的转换、压缩、快速解压缩及播放。,9,4音频(Audio) 音频除包括音乐、语音外,还包括各种音响效果。声音用模拟的连续波形表示(图111(P6)。波形描述了空气的振动,波形最高点(或最低点)与基线间距离为振幅,振幅表示声音的
8、质量。波形中两个连续波峰间距离称为周期。1秒钟内出现的周期数称为频率(Hz)。 通过采样可以将声音的模拟信号数字化,即在捕捉声音时,以固定的时间间隔对波形进行离散采样。影响数字声音波形质量的主要因素有三个:采样频率 是每秒钟所抽取的声波振幅样本的次数(11.025kHz、22.05kHz、44.1kHz)。,10,采样精度 是指每个采样点的信息量(即每个采样点能够表示的数据范围)。采样通过模数转换器(AD)将每个波形垂直等分,若用8位AD,可把采样信号分为256(28)等分;而用16位AD则可将其分为65 536等分。显然后者比前者音质好。声道数 声道数即声音通道的个数,声音通道是指记录和产生
9、的声音波形,一般分单声道和立体声道,单声道记录和产生一个波形,立体声道则记录和产生两个波形,立体声道声音丰富,但存储空间要占用很多。,11,采样后的声音以文件方式存储。声音文件有多种格式,目前常用的有三种:WAV文件(波形文件)Wave文件是Microsoft公司开发的一种声音文件格式,是PC机上最为流行的声音文件格式。Wave格式文件直接记录了真实声音的二进制采样数据,文件比较大。MIDI文件 MIDI的意思是乐器数字接口,是数字音乐的国际标准。MIDI文件存放的不是声音采样信息,而是将乐器演奏的音符记录为数字(包括音长、音量、音高等音乐的主要信号),然后由声卡上的合成器根据这些数字代表的含
10、义进行合成,然后再由扬声器播放声音。MIDI文件是一系列指令,而不是声音波形,所以占用磁盘空间较小。MPEG音频文件(.MP1/.MP2/.MP3) MPEG指的是采用MPEG音频压缩标准进行压缩的文件。MPEG音频文件根据对声音压缩质量和编码复杂程度的不同分为三层,分别对应扩展名为.MP1,.MP2和.MP3三种格式的文件。 MP1,MP2和MP3的压缩率分别是4:1,6:18:1和10:112:1。,12,5动画(Animation)动画是一幅幅静态图像的连续播放。动画创作要求硬件环境高,不仅需要高速的CPU,还需要较大的内存。目前有各种创作动画的软件(P8)。,13,12 多媒体计算机系
11、统组成 121 多媒体计算机系统层次结构 多媒体系统由多媒体硬件系统和多媒体软件系统组成。 多媒体硬软件功能的划分及界面的确定,多媒体系统层次结构如图121 (P9)所示。,14,第六层 多媒体应用系统的运行平台,即多媒体播放系统。该层可以在计算机上播放硬盘上的节目,也可以单独播放多媒体的产品,如消费性电子产品中的CD-I(数字化文、图、声、像、动画)等。多媒体应用系统放到存储介质中,如光盘,就可成为多媒体产品,可作为商品销售。,15,122 多媒体计算机系统的基本组成多媒体计算机系统由多媒体硬件系统和多媒体软件系统组成。 1多媒体计算机硬件系统图122所示为多媒体计算机硬件系统基本组成(1)
12、主机多媒体计算机主机可以是中、大型机,也可以是工作站,目前更普遍的是多媒体个人计算机(MPC)。多媒体计算机要有较大的主存空间和较高的处理速度,故MPC主机既要有功能强,运算速度高的中央处理器(CPU),又需要高分辨率的显示接口。(2)多媒体接口卡多媒体接口卡是根据多媒体系统获取、编辑音频或视频的需要插接在计算机上,以解决各种媒体数据的输入输出问题,多媒体接口卡是建立制作和播放多媒体应用程序工作环境必不可少的硬件设施。常用的接口卡有声卡、显示卡、视频压缩卡、视频捕捉卡、视频播放卡、光盘接口卡等。(3)多媒体外部设备多媒体外部设备工作方式一般为输入和输出。按其功能又可分如下四类:视频、音频输入设
13、备(摄像机、录像机、扫描仪、传真机、数字相机、话筒等)。视频、音频播放设备(电视机、投影电视、大屏幕投影仪、音响等)。人机交互设备(键盘、鼠标、触摸屏、绘图板、光笔及手写输入设备等)。存储设备(磁盘,光盘等)。开发多媒体应用程序比运行多媒体应用程序需要的硬件环境更高。,16,2多媒体计算机软件系统多媒体计算机软件系统按功能可分为系统软件和应用软件。(1)多媒体系统软件系统软件是多媒体系统的核心,多媒体的各种软件要运行于多媒体操作系统平台(如Windows)上,所以操作系统是系统软件的核心。多媒体计算机系统主要的系统软件有:多媒体驱动软件驱动器接口程序多媒体操作系统媒体素材制作软件及多媒体库函数
14、多媒体创作工具,开发环境(2)多媒体应用软件图123 多媒体计算机软件系统结构(P13),17,123 计算机多媒体设备计算机多媒体设备的基本硬件配置主要有音频卡、视频卡、解压卡和CD-ROM驱动器。这些基本配置设备的原理与应用将在第三章中讨论,这里只介绍有关辅助多媒体设备。对MPC各式各样的辅助设备,可归为如下三类:输入设备,输出设备,通信设备。1输入设备输入是指把数据输入计算机系统的过程。输入设备按输入方式可分五大类:键盘输入指点输入(鼠标、触摸屏、触感键、光笔、数字板)扫描输入(扫描仪、条形码、光学字符识别、磁字符识别等)传感输入(遥感卫星信号)语音输入,18,2输出设备输出是把计算机处
15、理的数据转换成用户需要的形式。输出设备可分成五大类:显示输出、打印机、绘图仪、影像输出和语音输出。3通信设备通信设备包括传真调制解调器(FaxModem)、网卡、传真通信卡。4其他设备其他设备包括不间断电源UPS、活动存储器、光盘刻写器。,19,13 多媒体技术的应用与发展 131 多媒体技术的应用(P23)132 多媒体技术研究方向(P27),20,14 多媒体关键技术本节将从两个角度讨论多媒体关键技术,一是研制多媒体计算机要解决的关键技术,对此仅作一些简单的介绍;另一方面对多媒体应用的关键技术进行概述,具体内容将在后续章节中展开,这是学习的重点。141 多媒体计算机系统要解决的关键技术1视
16、频、音频等媒体数据压缩解压缩技术多媒体计算机需要实时地综合处理声、文、图信息,然而数字化的图像、声音等媒体数据量非常大,需要较大存储空间,同时还要求传输速度快,因此,既要对数据进行压缩和解压缩的实时处理,又要进行快速传输处理。视频、音频数字信号的编码和压缩算法是重要的研究课题。编码理论研究已有40多年的历史,技术日臻成熟。在研究和选用编码时,要注意两点;一是该编码方法能用计算机软件或集成电路芯片快速实现;二是要符合压缩编码/解压缩编码的国际标准。,21,2多媒体专用芯片技术要实现音频、视频信号的快速压缩、解压缩和播放需要大量的快速计算,只有采用专用芯片,才能取得满意的效果。多媒体专用芯片基于大
17、规模集成电路(VLSI)技术,它是多媒体硬件体系结构的关键技术。多媒体计算机专用芯片可归为两类:一类是固定功能的芯片(将实现静态图像的数据压缩解压缩算法做在一个专用芯片上),另一类是可编程的数字信号处理器DSP芯片。除专用处理器芯片外,多媒体系统还需要其他集成电路芯片支持,如数模(DA)和模数(AD)转换器、音频、视频芯片、彩色空间变换器及时钟信号产生器,等等。 3媒体输入输出技术媒体输入输出技术包括媒体变换技术、识别技术、媒体理解技术和综合技术。(P30)前两种技术相对比较成熟,应用较广泛。而媒体理解和综合技术目前还不成熟,这些课题的研究受到普遍重视。输入输出技术进一步发展趋势是:(P30)
18、,22,4多媒体存储设备与技术CD-ROM全称是致密光盘只读存储器,数字信息被压在一张塑料盘上,成为一系列的点与线,光盘机发出的激光束扫描光盘表面,再将信息转为数字信息,播放时还原为声音、图像、文字或动画。CD-ROM的容量在682MB左右。DVD(Digital Video Disc)是1996年底推出的新一代光盘标准,它的单盘片容量达47GB至17GB。其最大传输速率是135MBs,相当于9倍速光驱。1995年,美国Iomega公司,推出了一种新一代超大容量ZIP软盘系统,它结合使用了标准硬磁盘驱动器的磁头和软盘磁介质的相关技术,大小为35英寸,容量高达100MB。另外Iomega公司最近
19、开发的新产品有容量高达到2GB的JAZ和只有信用卡一半大小而容量却有40MB的Click等。,23,新存储技术的研究动态如下:一维线性存储到面向二叉树存储结构,提供广阔的动态存储空间。由单纯数据存储发展到融合多媒体数据为一体的多维存储系统。由进行精确数据存储到接收模糊信息输入(受干扰、缺损、畸变)的存储。面向对象系统中存储管理的研究。智能存储技术的研究(从模拟人类记忆功能中探索新的记忆原理、新的记忆元器件)。联想存储研究。,24,5多媒体系统软件技术多媒体系统软件技术主要包括多媒体操作系统、多媒体编辑系统、多媒体数据库管理技术、多媒体信息的混合与重叠技术等。这里仅介绍一下多媒体操作系统和多媒体
20、数据库技术。 (1)多媒体操作系统要求该操作系统要像处理文本、图形文件一样方便灵活地处理动态音频和视频,在控制功能上,要扩展到对录像机、音响、MIDI等声像设备以及CD-ROM光盘存储设备等。多媒体操作系统要能处理多任务,易于扩充。要求数据存取与数据格式无关,提供统一的友好界面。为支持上述要求,一般是在现有操作系统上进行扩充。Windows从31版本开始提供对多媒体的支持,提供了多媒体开发工具包MDK、底层应用程序接口(API)和媒体控制接口(MCI)。,25,(2)多媒体数据库技术由于多媒体信息是结构型的,致使传统的关系数据库已不适用于多媒体的信息管理,需要从以下几个方面研究数据库:研究多媒
21、体数据模型。目前主要采用基于关系数据模型加以扩充,因传统的关系数据库将所有的对象都看成二维表,难以处理多媒体数据类型。而面向对象技术的发展推动了数据库技术的发展,面向对象技术与数据库技术的结合导致基于面向对象数据模型和基于超媒体模型的数据库都正在研究之中。研究数据压缩和解压缩的格式。该技术主要解决多媒体数据过大的空间和时间开销问题。压缩技术要考虑算法复杂度、实现速度以及压缩质量问题。,26,研究多媒体数据管理及存取方法。除采用目前常用的分页管理、B+树和Hash方法外,多媒体数据库还要引入矢量空间模型信息索引检索技术,超位检索技术(Metasearch),智能索引技术(1ndexer Robo
22、t)以及基于内容、基于图像语义的检索方法等。尤其是超媒体组织数据机制更为多媒体数据库管理操作增加了活力。用户界面。用户界面除提供多媒体功能调用外,还应提供对各种媒体的编辑功能、变换功能和用户接口。由于多媒体数据对通信带宽有较高的要求,需要有与之相适应的高速网络,因此还要解决数据集成、查询、调度和共享等问题,即研究分布式数据库技术。而智能多媒体数据库,即将人工智能技术与多媒体数据库技术相结合,会使数据库产生质的飞跃,是重要的发展方向。,27,142 多媒体应用设计中的关键技术多媒体应用设计关键技术主要包括:多媒体素材采集、制作技术;多媒体应用软件开发技术;多媒体创作工具及开发环境;多媒体界面设计
23、与人机交互技术;多媒体通信技术;虚拟现实技术等。,28,6虚拟现实技术这是用多媒体计算机创造现实世界的技术。虚拟现实的本质是人与计算机之间进行交流的方法,专业划分实际上是“人机接口”的技术,虚拟现实对很多计算机应用提供了相当有效的逼真的三维交互接口。虚拟现实技术具有四个重要特征:多感知性。即除了一般计算机具有的视觉感知外,还有听觉感知、触觉感知、运动感知,甚至可包括味觉和嗅觉等,只是由于传感技术的限制,目前尚不能提供味觉和嗅觉。临场感。即用户感到存在于模拟环境中的真实程度,理想的真实程度是难辩真假。交互性。指用户对模拟环境中物体的可操作程度和从环境中得到反馈的自然程度,其中也包括实时性。自主性
24、。指虚拟环境中物体依据物理规律动作的程度。,29,END,30,31,32,第一层 多媒体外围设备,包括各种媒体、视听输入输出设备及网络,33,第二层 多媒体计算机硬件系统,多媒体计算机硬件主要配置与各种外部设备的控制接口卡。其中包括多媒体实时压缩和解压缩专用的电路卡,34,第三层 多媒体核心系统软件,多媒体驱动程序、操作系统。该层软件为系统软件的核心,除与硬件设备打交道(驱动、控制这些设备外,还要提供输入输出控制界面程序,即I/O接口程序。而操作系统则提供对多媒体计算机的硬件、软件控制与管理,35,第四层 媒体制作平台和工具软件,支持应用开发人员创作多媒体应用软件。设计者利用该层提供的接口和
25、工具采集、制作媒体数据。常用的有图像设计与编辑系统,二维、三维动画制作系统,声音采集与编辑系统,视频采集与编辑系统以及多媒体公用程序与数字剪辑艺术系统等,36,第五层 多媒体创作与编辑软件,该层是多媒体应用系统编辑制作的环境,根据所用工具的类型,有的是脚本语言及解释系统,有的是基于图标导向的编辑系统,还有的是基于时间导向的编辑系统。通常除编辑功能外,还 具有控制外设播放多媒体的功能。设计者可以利用这层的开发工具和编辑系统来创作各种教育、娱乐、商业等应用的多媒体节目,37,多媒体系统,38,1多媒体素材的采集和制作技术由于文本、图形或图像、二维或三维动画素材制作都有许多功能强、界面友好的通用软件
26、工具或制作平台提供给设计者,所以多媒体素材的采集与制作主要围绕着音频和视频信号展开。即声音和视频信号的截取和播放、音视频信号的混合和同步,数字信号的处理,显示器(VGA)和电视(TV)信号的相互转换。同时还要涉及到相应的媒体采集、制作软件的使用问题,有关内容将在第三章中展开。,39,2多媒体应用软件开发技术直至目前,多媒体的全面应用还有许多软件技术问题有待解决,这里仅对多媒体应用中必须掌握和了解的软件技术基础知识作一简单介绍。(1)面向对象的设计方法和编程技术面向对象是20世纪80年代初提出的一种全新的软件开发方法,是概念模型和实现的方法与技术,简称OO (Object-Oriented)。面
27、向对象方法的基本思想是:对问题领域进行自然的分割,以更接近人类思维的方式建立问题领域模型,以便于对客观信息实体进行结构模拟和行为模拟,从而使设计的软件尽可能表现问题求解的过程。OO设计方法的主要特点是:具有数据抽象、封装、继承和消息传递。数据抽象即类和子类的概念和相互关系;封装则是把数据与其操作一体化;而继承使父类属性及其操作可向子类传递,这是自动共享类中数据及其操作的机制,表示了类与类之间的一种层次关系;消息传递是将客观事物之间的相互作用用统一的消息传递方法来描述。,40,面向对象方法和技术非常适合于解决多媒体应用的问题。因为各种媒体尽管信息存储格式不同,处理方式不同,呈现给用户的方式也各异
28、,但在如下几点仍有共同之处:无论何种媒体,在计算机内均以数据文件和形式为载体;目前各种媒体程序操纵用户界面都是采用流行的可视界面,即窗口、菜单、图标等;在作为数据库内的记录时,都有插入、删除、修改、检索等通用的操作;不同媒体虽对应不同的处理,但激活的事件,如文件的呈现、播放及同步等均相同。,41,(2)对象的链接与嵌入技术对象的链接和嵌入技术(OLE)是把多媒体集成在一起实现的基本方法。使用OLE能生成一个包含其他应用程序数据的多媒体应用程序,其中可包含许多不同格式表示的各种类型的数据。OLE使数据能够“记住”生成它的应用程序,并且能为编辑或播放该数据而援引其应用程序,使用户无需进行应用程序转
29、换即可在新的程序中编辑播放所链接或嵌入的数据。OLE将数据作为对象处理。一个OLE对象是能包含在另一个应用程序内并可由用户操作的任何数据。当一个对象被编入某一应用程序(称为客户)时,它与产生它的应用程序(称服务器)保持关联,这种关联可以是一个链接,也可以是将对象嵌入,其区别为:链接对象在原始应用程序中的数据发生变化时,该对象能自动更新,这种关联方式下,客户程序为对象所链的数据仅提供最小的存储,实际仅为存储的数据提供了一个链;嵌入方式则在编辑一个嵌入对象时,源文档不受影响。因为所有与对象有关的数据,在嵌入时是作为嵌入文件的一部分存储起来。,42,(3)超文本超媒体链接与导航技术超文本和超媒体传统
30、的文本是以字符(字符串)为基本单位表达信息,以线性形式组织数据。这种方式的缺点是不能很好地反映现实世界的信息结构,与人们的联想思维有很大的距离。而一种全新的文本处理形式是超文本与超媒体,它提供的方法是建立各种媒体信息之间的网状链接结构。这种结构由节点组成,没有固定的顺序,也不要求必须按某个顺序检索,与传统的线性文本结构有着很大的区别。以节点为基础的信息块很容易按照人们的“联想”关系加以组织,符合人们的“联想”逻辑思维习惯。超文本和超媒体己广泛应用于多媒体信息管理中。从概念上来讲,一般把已组织成网(Web)的信息称为超文本,而把对其进行管理使用的系统称为超文本系统。这同数据库与数据库系统的关系相
31、似。一般典型的超文本系统应具有用于浏览节点,防止迷路的交互式工具,即浏览器,或称为导航图,它是超文本网络的结构图,与数据中的节点和链一一对应。导航图可以帮助用户在网络中定向和观察信息的连接。超文本中节点的数据不仅可以是文本,还可以是图形、图像、动画、音频、视频,甚至计算机程序或它们的组合,这就形成了超媒体的概念。,43,超文本超媒体链接超文本是怎样组织数据的呢?它是把许多数据信息块根据需要,按其逻辑顺序或网状结构链接。从本质上说,超文本是一种信息管理技术,是由若干节点及节点间的链路构成的语义网络,逻辑上节点表示信息单元、片断或其组合,链则表示节点信息之间的关系。,A,F,E,D,C,B,具有6
32、个结点和9条链的超文本结构示意图,44,超文本超媒体导航技术超文本超媒体是一交互式的信息呈现系统,在每一个节点面前,用户都面临“我在哪里?” “我下一步该到哪儿?”“怎样做?”“做什么?”等问题。用户需不断做出决定,选择下一步路径。但由于系统信息量大,链接关系复杂,用户容易产生“迷路”问题,需要系统帮助。因此,超文本超媒体组织结构中的“导航”研究就成为其研究的热点课题。各种导航策略出现,使导航技术也成为超媒体技术中的重要组成之一。目前常用的导航策略有如下几种:(略),45,3多媒体创作工具及开发环境多媒创作工具或编辑软件是多媒体软件系统的第三个层次,多媒体创作工具应具有操纵多媒体信息,进行全屏
33、幕动态综合处理的能力,应支持应用开发人员创作多媒体应用软件。目前市场上的产品有高、中、低档创作工具,高档适用于电影电视系统CD专业制作编辑,中档适用于教学娱乐系统的制作,低档用于商业信息介绍、家庭学习材料的编辑。创作工具的文档易学易操作,性能价格比及服务支持都是十分重要的,本书第五章将对典型的创作工具作较详细的介绍。,46,4多媒体界面设计与人机交互技术多媒体界面交互技术主要是媒体集成技术和智能化技术。目前多媒体界面一般都能集成文本、声音、图像、动画及视频等多种形式的信息于一个或多个窗口中并提供对多种媒体信息进行编辑、查询、检索等项功能,但应用设计者将面对的不是如何提供多媒体信息的问题,而在什
34、么情况下,采用什么媒体及其集成以及提供相应的交互性和处理手段的问题。因此,应看到多媒体信息的引入为建立高效的人机交互界面带来希望,但其复杂性也对人机设计提出许多新的研究课题,应予以足够重视。在第四章将专门对此展开讨论,人机界面进一步研究课题是要实现界面智能化,使界面具有自适应能力。,47,5多媒体通信技术多媒体通信要求能够综合地传输、交换各种信息类型,而不同的信息类型又呈现出不同的特征。比如语音和视频有较强的适应性要求,它容许出现某些字节的错误,但不能容忍任何延迟。而对于数据来说则可容忍延迟,但却不能有错,因为即便是一个字节的错误都会改变数据的意义。传统的通信方式各有自己的优点,但又都有自己的局限性,不能满足多媒体通信的要求,因此,多媒体通信技术支持是保证多媒体通信实施的条件。,