1、第一章 多媒体基础,理解多媒体、多媒体技术的概念明确多媒体中的主要元素及其特点了解多媒体的关键特性以及这些特性之间的关系了解多媒体的关键技术、主要应用领域和发展方向了解多媒体数据中的冗余以及几种主要压缩算法,学习目标,1.1 多媒体的基本概念,1.2 多媒体技术的应用与发展,1.3 多媒体的关键技术,1.4 多媒体信息的计算机表示,1.5 多媒体数据压缩技术,1.6 多媒体与因特网,目录,1.1 多媒体的基本概念,1.1.1 多媒体的定义,1.1.2 多媒体技术及其特性,1.1.3 多媒体中的媒体元素及其特征,1.1.1 多媒体的定义,“多媒体”一词译自英文“Multimedia” 即“Mul
2、tiple”和”Media”的合成 其核心词是媒体,何谓多媒体呢？,媒质：存储信息的实体，如磁盘、 光盘、磁带、半导体存储器等。 媒介：传递信息的载体，如数字、 文字、声音、图形和图像等。,媒体（medium）在计算机领域有 两种含义：即媒质和媒介。,通常概念的“媒体” ，可分为以下 五种类型：,显示媒体：用于通信中使电信号和 感觉媒体之间产生转换用的媒体。如输 入、输出设施，键盘鼠标器、显示器、 打印机等。,存储媒体：用于存放某种媒体的媒 体如纸张、磁带、磁盘、光盘等。,传输媒体：用于传输某些媒体的媒 体，如电话线、电缆光纤等。,多媒体计算机技术的定义：计算机综合处理多种媒体信息，文本 图形
3、、图像、音频和视频，使多种信息建 立逻辑连接，集成为一个系统并具有交互 性。,1.1.2 计算机技术及其特性,多媒体计算机技术的三个主要特性,信息载体的多样性是相对于计算机 而言的，即指信息媒体的多样性。多媒体就是要把计算机处理的信息 多样化或多维化，从而改变计算机信息 处理的单一模式，使人们能交互的处理 多种信息。,信息载体的多样性,交互性,多媒体的交互性是指用户可以与 计算机的多种信息媒体进行交互操作 从而为用户提供了更加有效地控制和 使用信息的手段。,集成性,集成性是指以计算机为中心综合处 理多种信息媒体，它包括信息媒体的集 成和处理这些媒体的设备的集成。信息媒体的集成包括信息的多通道
4、统一获取、多媒体信息的统一组织和存 储、多媒体信息表现合成等方面。多媒体设备的集成包括硬件和软件 两个方面。,多媒体媒体元素是指多媒体应用中 可显示给用户的媒体组成。,1.1.3 多媒体中的媒体元素及特征,音频,动画,视频,文本,图形,图像,文本,文本分为非格式化文本文件和格式 化文本文件。非格式化文本文件：只有文本信息 没有其他任何有关格式信息的文件，又 称为纯文本文件。如“.TXT ”文件。格式化文本文件：带有各种文本排 版信息等格式信息的文本文件。 如“.DOC ”文件。,图形,图形（Graphic）一般指用计算机绘 制的画面，如直线、圆、圆弧、矩形、 任意曲线和图表等。图形的格式是一组
5、描述点、线、面 等几何图形的大小、形状及其位置、维 数的指令集合。在图形文件中只记录生成图的算法 和图上的某些特征点，因此也称矢量图。,用于产生和编辑矢量图形的程序通 常称为“ draw ”程序。微机上常用的矢量图形文件有： “.3DS”（用于 3D 造型）、“.DXF”（用于 CAD）、“.WMF”（用于桌面出版）等等。由于图形只保存算法和特征点，因 此占用的存储空间很小。但显示时需经 过重新计算，因而显示速度相对慢些。,图像,图像（Image）是指由输入设备捕捉的 实际场景画面，或以数字化形式存储的任 意画面。静止的图像是一个矩阵，阵列中的各 项数字用来描述构成图像的各个点（称为 像素点
6、pixel ）的强度与颜色等信息。这种 图像也称为位图（ bit-mapped picture ）。,用于生成和编辑位图图像的软件通 常称为“ paint ” 程序。 图像文件在计算机中的存储格式有 多种，如 BMP、PCX、TIF、TGA、GIF、 JPG 等，一般数据量都较大。,图像处理时要考虑三个因素：,分辨率,图像深度和显示深度,图像深度（也称图像灰度、颜色深度） 表示数字位图图像中每个像素上用于表示颜 色的二进制数字位数。显示深度：表示显示器上每个点用于显 示颜色的 2 进制数字位数。若显示器的显示深度小于数字图像的深 度，就会使数字图像颜色的显示失真。,颜色深度与显示的颜色数目,图
7、像文件大小,用字节表示图像文件大小时，一幅未经 压缩的数字图像的数据量大小计算如下：,图像数据量大小 = 像素总数图像深度8,例如：一幅 640480 的 256 色图像为64048088 = 307200 字节,Comparison:,宽度：271 高度：300 颜色：2 大小：9.9 KB,宽度：271 高度：300 颜色：4 大小：19.8 KB,Comparison:,宽度：271 高度：300 颜色：256 大小：79.4 KB,宽度：271 高度：300 颜色：真彩色 大小：238.2 KB,音频,数字音频（Audio）可分为波形声音 语音和音乐。,波形声音实际上已经包含了所有的
8、声音形式，它可以将任何声音都进行采 样量化，相应的文件格式是WAV 文件或 VOC文件。语音也是一种波形，所以和波形声 音的文件格式相同。音乐是符号化了的声音，乐谱可转 变为符号媒体形式。对应的文件格式是 MID 或CMF 文件。,计算机音频技术主要包括声音的采 集、数字化、压缩/解压缩以及声音的 播放。数字化主要包括采样和量化这两个 方面。采样频率（sampling rate）是将模拟 声音波形转换为数字时，每秒钟所抽取 声波幅度样本的次数，单位是 Hz（赫兹）。,量化数据位数（也称量化级）是每 个采样点能够表示的数据范围，经常采 用的有8 位、12 位和16 位。例如，8 位量化级表示每个
9、采样点 可以表示256 个不同量化值，而16 位量 化级则可以表示65536 个不同的量化值,记录声音时，如果每次生成一个声 道数据，称为单声道；每次生成两个声 波数据，称为立体声（双声道）。,数字音频的存储量：可用以下公式估算声音数字化后每 秒所需的存储量（未经压缩的）,存储量 = 采样频率量化位数8,例如，数字激光唱盘（CD-DA）的标 准采样频率为44.1 kHz，量化位数为16 位，立体声。一分钟 CD-DA 音乐所需的 存储量为44.1 K162608 = 10584 KB,若使用双声道，存储量再增加一倍,Sampling Resolution 8 bitSampling Frequ
10、ency 11 KHz,Sampling Resolution 16 bitSampling Frequency 22 KHz,动画是活动的画面，实质是一幅幅 静态图像的连续播放。动画的连续播放 既指时间上的连续，也指图像内容上的 连续。计算机设计动画有两种：一种是帧 动画，一种是造型动画。,动画,帧动画是由一幅幅位图组成的连续 的画面，就如电影胶片或视频画面一样 要分别设计每屏幕显示的画面。造型动画是对每一个运动的物体分 别进行设计，赋予每个动元一些特征， 然后用这些动元构成完整的帧画面。动 元的表演和行为是由制作表组成的脚本 来控制。存储动画的文件格式有FLC、MMM等,视频,视频是由一幅
11、幅单独的画面序列 （帧frame）组成 ，这些画面以一定 的速率（fps）连续地投射在屏幕上， 使观察者具有图像连续运动的感觉。视频文件的存储格式有AVI、MPG MOV等。,视频标准主要有NTSC制和PAL制 两种。NTSC 标准为30fps，每帧525行。PAL 标准为25fps，每帧625行。视频的技术参数有：帧速数据量图像质量,1.2 多媒体技术的应用与发展,1.2.1 多媒体技术的应用,就目前而言，多媒体技术已在商业 教育培训、电视会议、声像演示等方面 得到了充分应用。,在教育与培训方面的应用,在通信方面的应用,在其他方面的应用,在教育与培训方面的应用,多媒体技术使教材不仅有文字、静
12、 态图像,还具有动态图像和语音等。使教 育的表现形式多样化，可以进行交互式 远程教学。利用多媒体计算机的文本、图形、 视频、音频和其交互式的特点,可以编制 出计算机辅助教学 CAI( Computer Assisted Instruction )软件，即课件。,在通信方面的应用,多媒体技术在通信方面的应用主要有：可视电话视频会议信息点播（Information Demand）计算机协同工作 CSCW（Computer Supported Cooperative Work）,在其他方面的应用,1.2.2 多媒体技术的发展方向,目前，多媒体主要从以下几个方向发展：,将来多媒体技术将向着以下六个方向
13、 发展； 1).高分辨化，提高显示质量； 2).高速度化，缩短处理时间； 3).简单化，便于操作； 4).高维化，三维、四维或更高维； 5).智能化，提高信息识别能力； 6).标准化，便于信息交换和资源共享。,.3 多媒体的关键技术,1.3.1 视频音频数据压缩/解压缩技术,研制MPC需要解决的关键问题之一 是要使计算机能适时地综合处理声、文 图信息。选用合适的数据压缩技术，有可能 将字符数据量压缩到原来的1/2左右，语 音数据量压缩到原来的1/2-1/10，图像 数据量压缩到原来的1/2-1/60。如今已有压缩编码/解压缩编码的 国际标准JPEG 和MPEG 。,1.3.2 多媒体专用芯片技
14、术,专用芯片是多媒体计算机硬件体系 结构的关键。为了实现音频、视频信号 的快速压缩、解压缩和播放处理，需要 大量的快速计算，只有采用专用芯片， 才能取得满意的效果。多媒体计算机专用芯片可归纳为两 种类型：一种是固定功能的芯片；另一 种是可编程的数字信号处理器（DSP） 芯片。,1.3.3 大容量信息存储技术,利用数据压缩技术，在一张CD-ROM 光盘上能够存取70多分钟全运动的视频 图像或者十几个小时的语言信息或数千 幅静止图像。在CD-ROM 基础上，还开发了 CD-I 和CD-V、可录式光盘CD-R、高画质、高 音质的光盘DVD以及PHOTO CD 等。,1.3.4 多媒体输入与输出技术,
15、1.3.5 多媒体软件技术,多媒体软件技术主要包括以下六个 方面的内容：,多媒体操作系统,多媒体素材采集与制作技术,素材的采集与制作主要包括采集并 编辑多种媒体数据。如声音信号的录制 编辑和播放；图像扫描及预处理；全动 态视频采集及编辑；动画生成编辑；音 /视频信号的混合和同步等。,多媒体编辑与创作工具,多媒体数据库技术,超文本/超媒体技术,多媒体应用开发技术,多媒体应用的开发会使一些采用不 同问题解决方法的人集中到一起，包括 计算机开发人员、音乐创作人员，图像 艺术家等，他们的工作方法以及思考问 题的方法都将是完全不同的。对于项目管理者来说，研究和推出 一个多媒体应用开发方法学将是极为重 要
16、的。,1.3.6 多媒体通信技术,1.3.7 虚拟现实技术,1.4 多媒体信息的计算机表示,1.4.1 声音文件的基本格式,WAV 文件,MIDI,1.4.2 图像及图像文件格式,图像是由一些排成行和列的点组成 的，通常称为位图或点阵图。图像文件在计算机中的存储格式有 多种，如”.BMP”、”.PCX”、”.TIF”、”.TGA” “.GIF”、”.JPG” 等。,Comparison:,Comparison:,1.4.3 视频和动画的文件格式,动画文件的格式主要有两种： FLIC 格式和MMM 格式。视频文件的使用一般与标准 有关，主要有AVI、MOV、MPG、 DAT、DIR 等。,1.5
17、 多媒体数据压缩技术,1.5.1 多媒体数据的冗余类型,图像数据表示中存在着大量的冗 余，图像数据压缩技术就是利用图像 数据的冗余性来减少图像数据量的方 法。常见图像数据冗余类型如下：,1. 空间冗余,2. 时间冗余,3. 视觉冗余,空间冗余,一幅图像表面上各采样点的颜色之 间往往存在着空间连贯性，基于离散像 素采样来表示物体表面颜色的像素存储 方式可利用空间连贯性，达到减少数据 量的目的。例如，在静态图像中有一块表面颜 色均匀的区域，在此区域中所有点的光 强和色彩以及饱和度都是相同的，因此 数据有很大的空间冗余。,时间冗余,运动图像一般为位于一时间轴区间 的一组连续画面，其中的相邻帧往往包
18、含相同的背景和移动物体，只不过移动 物体所在的空间位置略有不同，所以后 一帧的数据与前一帧的数据有许多共同 的地方，这种共同性是由于相邻帧记录 了相邻时刻的同一场景画面，所以称为 时间冗余。同理，语音数据中也存在着时间冗 余。,视觉冗余,人类的视觉系统对图像场的敏感度 是非均匀的。但是，在记录原始的图像 数据时，通常假定视觉系统近似线性的 和均匀的，对视觉敏感和不敏感的部分 同等对待，从而产生比理想编码（即把 视觉敏感和不敏感的部分区分开来的编 码）更多的数据，这就是视觉冗余。,1.5.2 数据压缩方法,无损压缩,无损压缩常用在原始数据的存档， 如文本数据、程序以及珍贵的图片和图 像等。其原理
19、是统计压缩数据中的冗余 (重复的数据)部分。常用的有： RLE (run length encoding)行程编码 Huffman 编码 算术编码 LZW (lempel-ziv-welch)编码,(2)、Huffman编码它是一种对统计独立信源能达到最 小平均码长的编码方法。其原理是，先统计数据中各字符出 现的概率后，再按字符出现频率高低的 顺序分别赋以由短到长的代码，从而保 证了文件的整体的大部分字符是由较短 的编码构成的。,有损压缩,混合压缩,混合压缩是利用了各种单一压缩的 长处，以求在压缩比、压缩效率及保真 度之间取得最佳折衷。该方法在许多情况下被应用，如 JPEG 和MPEG 标准就
20、采用了混合编码的 压缩方法。,1.5.3 视频编码的国际标准,静止图像压缩标准,国际标准化组织(ISO)和国际电报 电话咨询委员会(CCITT)联合成立的 “联合照片专家组“ JPEG (joint photographic experts group) 于1991年提出的 “多灰度静止图像的数字压缩编码“ (简称JPEG标准)。这是一个适应于彩色和单色多灰度 或连续色调静止数字图像的压缩标准。,JPEG标准支持很高的图像分辨率 和量化精度。它包含两部分：第一部分是无损压缩，基于差分 脉冲编码调制(DPCM)的预测编码。第二部分是有损压缩，基于离散 余弦变换(DCT)和Huffman编码, 通
21、常 压缩20-40倍。,运动图像压缩标准,视频图像压缩的一个重要标准是 MPEG (Moving Picture Experts Group) 于1990年形成的一个标准草案 (简称MPEG标准)。它兼顾了JPEG标准和CCITT专家组 的H.261标准。,视频通信编码标准,1.6 多媒体与因特网,因特网(Internet)是一个通过网络 设备把世界各国的计算机相互连接在一 起的计算机网络。在这个网络上，使用 普通的语言就可以进行相互通信、协作 研究、从事商业活动，共享信息资源。因特网是二十世纪全球发展最迅速 影响最深远和冲击最大的信息存取和处 理工具。,万维网WWW (Word Wide W
22、eb)是一个 在因特网上运行的全球性分布式信息系 统。由于它支持文本、图像、声音、影视 等数据类型，而且使用超文本、超链接技 术把全球范围里的信息链接在一起，所以 也称为超媒体环球信息系统。,万维网技术是因特网上环球信息系统 设计技术上的一个重大突破，是目前最热 门的多媒体技术。,本章小结,本章对多媒体和多媒体技术的定义 及特点、多媒体计算机要解决的关键技 术以及多媒体技术的应用和发展、媒体 信息的计算机表示等问题作了较详细的 讨论。,多媒体计算机技术是综合处理声、 文、图、音频、视频等信息的技术，多 媒体计算机具有信息载体的多样性、集 成性和交互性的特点。,多媒体的关键技术包括多媒体计算 机系统要解决的关键技术（如媒体数据 的压缩编码和解码技术、专用芯片技术、 多媒体数据的输入/输出技术）和多媒体 应用设计中的关键技术两个方面。,多媒体的应用丰富多彩，不仅涉及 到计算机的各应用领域，也涉及到教育 培训、电子出版、通信、文化娱乐等领 域或行业。,多媒体计算机技术将朝着高分辨率 化、高速度化、简单化、标准化和智能 化方向发展。,
