1、信息处理技术基础教程,第9章 多媒体基础知识,学习目标： 什么是多媒体技术、多媒体技术的特点 什么是多媒体计算机系统 多媒体信息的数字化和压缩技术 多媒体信息处理工具介绍,9.1多媒体技术的基本概念,多媒体信息的多种载体,文 字,图 形,声 音,图 像,多媒体（Multimedia）就是文字、图形、图像、声音、动画和视频等“多种媒体信息的集合”。多媒体信息从时效上可分为两大类： 静态媒体 包括文字、图形、图像。 动态媒体 包括声音、动画、视频。 多媒体技术： 以计算机技术为基础，能综合处理文字、声音、图形、图像、动画等多种媒体信息的技术。 (是一门跨学科的综合性高新技术),9.1.2多媒体信息
2、类型,静态媒体 1文本（Text） 文本是计算机中基本的信息表示方式，多媒体系统不仅能用字处理软件对文本进行输入、存储、编辑、格式化、输出等功能外，还可以用人工智能对文本进行识别、理解、翻译、发音等。相对于其他媒体，文本对存储空间、传输能力的要求都比较小。,2图形（Graphics）,图形是指由直线、圆、圆弧、任意曲线等组成的画面，以矢量形式存储。计算机辅助设计（CAD）系统中的机械零件、房屋结构等都是图形。如右图所示。,6,3图像(Image),图像是通过扫描仪、数字照相机等设备捕捉的真实场景画面，数字化后以位图格式存储。要用图像处理软件(如Adobe Photoshop)对其进行编辑和处理
3、。,“鸟巢”,4动画(Animation) 当一系列画面按一定的时间在人的视线中经过时，人脑就会产生物体运动的印象。 5视频(Video) 视频图像是来自视频信号源的影像。视频信息是对自然景物的捕捉，数字化后以视频文件格式存储的信息。视频处理技术有视频信号的导入、数字化、压缩和解压缩、视频和音频编辑、特效处理。6音频(Audio) 音频是话语、音乐以及各种动物和自然界发出的各种声音。音频和视频同步才能使视频影像具有真实的效果。,动态媒体,9.1.3多媒体信息及多媒体技术的特点,1多媒体信息的特点 多媒体信息的基本特征归纳成以下三个方面：（1）综合性多媒体信息是多种信息综合在一起的信息，多媒体中
4、的“多”就表示了这一特征。（2）相关性多媒体信息中的多种信息类型通常具有一定的关系，并通过一定的方式组合在一起，以表示事物的特性。（3）动态性 主要是指多媒体信息中的声音、图像信息通常是随着时间的变化而变化的，即是在一个动态的工程中表示和反映事物的特点。,2多媒体技术的特点（1）多样性多媒体信息是多种形式信息综合在一起的信息，多媒体技术就要提供多维信息空间下的视频和音频信息的获取和表示方法，使计算机中的信息表达方式不再只是文字和数字，而广泛采用图形、图像、视频、音频等多种形式。（2）集成性 以计算机为中心的集成性，能综合表现多种媒体的相关 性。它包括信息媒体、设备与软件的集成。,（3）交互性
5、向用户提供了更加有效地控制、使用信息的手段，使人们获取信息和使用信息的方式由被动转为主动，不再像电视方式那样，只能“看”，不能参与。（4）数字化 虽然多媒体信息要比单一的文字信息、声音信息和图像信息复杂的多，也丰富得多，但在计算机和通信系统中，同样是利用“0”和“1”的组合来表示所有的多媒体信息。,9.1.4多媒体技术的应用领域,多媒体技术为我们人类提供了多种交流表达信息的方式，正在逐渐或已经进入政府部门、军队、学校、科研机构、公司企业以至于家庭，并将广泛应用于管理、教育、培训、公共服务、广告、文艺、出版等领域。,1传统教育变鲜活 教育领域应用多媒体技术最早、发展最快。首先是利用多媒体技术使教
6、科书耳目一新。目前的教科书出版商已经开始转入基于CD-ROM的教科书出版，如图9-1所示。我们可以通过电脑辅助，而得到伴随“交互式指导”的形象化教材。其次多媒体技术使课堂变成让人耳目一新的课堂。,9.1.4多媒体技术的应用领域,2大众生活更便捷 多媒体技术给图书的编辑和出版带来了巨大的影响。其中，电子图书和电子报刊就是应用多媒体技术的产物。 在机场、车站、旅游胜地、各大百货商店、旅馆、商场和娱乐中心等公共场所，原来的信息服务需要有人值班，耗资较多。 在商业经营中，广告和销售服务是成功的重要条件，形象、生动的多媒体技术在这方面可以大有作为。 多媒体技术在家庭中的应用将使人们在家上班变为现实。,3
7、虚拟现实 虚拟现实（Virtual Reality，简称VR），是一种基于可计算信息的沉浸式交互环境，具体地说，就是采用以计算机技术为核心的现代高科技生成逼真的视、听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互作用、相互影响，从而产生亲临等同真实环境的感受和体验。,9.2多媒体计算机系统组成,多媒体个人计算机（Multimedia PC,MPC）是在个人计算机的基础上增加各种多媒体设备及相应的软件，使其具有综合处理声音、图像、文字等信息的能力。通常有五个层次结构,多媒体计算机MPC,图 形,声 音,图 像,文 字,多媒体 计算机,集高质量的音频、视
8、频、图像等多种媒体的 信息处理一身，并具有大容量存储器的计算机系统。,9.2.1多媒体计算机硬件系统,多媒体计算机硬件系统是在一般计算机硬件的基础上，增加各种多媒体设备及其接口卡。,多媒体计算机硬件组成,计算机主机 CD-ROM驱动器 音频信号处理子系统 视频信号处理子系统 扫描仪 数码相机 光盘刻录机 触摸屏 ,多媒体个人计算机,MPC-multimedia Personal Computer 具有多媒体功能的个人计算机 早期在PC机上增加声音卡和光盘驱动器 多媒体技术的发展，不断赋予MPC新的内容 对广大用户而言，就是把具有多媒体功能的PC机或把现有增加多媒体升级套件的PC机叫MPC。MP
9、C源于1990年Microsoft公司联合一些主要的PC厂商和多媒体产品开发商组成的MPC联盟(Multimedia PC Marketing Council),1主机 多媒体计算机的主机可以是任何计算机（大、中、小型计算机），但为了提高计算机处理多媒体信息的能力，应尽可能地采用多媒体信息处理器。目前，有三类芯片具有多媒体信息处理能力。第一类为用超大规模集成电路实现的通用和专用的数字信号处理芯片（Digital Signal Processor）； 第二类是在现有的CPU芯片中增加多媒体数据处理指令和数据类型；第三类是媒体处理器（Media Processor），有可编程性，通过软件可增加新的
10、功能。是现有通用处理器的强有力的支持芯片。,2、多媒体接口卡,（1）声卡（音频卡）,图9-6声卡功能示意,图9-6声卡功能示意,图9-6声卡功能示意,图9-6声卡功能示意,图9-6声卡功能示意,（2）图形加速卡 拥有图形函数加速器和显存，专门用来执行图形加速任务，可以减少CPU处理图形的负担。工作在CPU和显示器之间，控制计算机的图形输出。现在的显示卡上都集成有图形处理芯片组，成为图形加速卡。,（3）视频卡,（4）IEEE1394卡 标准的IEEE 1394接口可以同时传送数字视频信号以及数字音频信号，相对于模拟视频接口，IEEE 1394技术在采集和回录过程中没有任何信号的损失。现在的IEE
11、E 1394卡多为PCI接口，只要插入到计算机主板相应的PCI插槽上就可以提供视频采集功能。,3、信息获取设备,（1）数码照相机(DC) （2）数码摄像机（3）扫描仪,（3）扫描仪,9.2.2多媒体计算机软件系统,多媒体计算机软件系统也分为系统软件和应用软件两部分,1系统软件 系统软件有多媒体驱动软件和接口程序、多媒体操作系统、多媒体数据处理软件、多媒体创作工具（Director、Authorware等）。（1）多媒体驱动软件和接口程序（2）多媒体操作系统（3）多媒体数据处理软件（4）多媒体创作工具,（3）多媒体数据处理软件,2应用软件多媒体应用软件是在多媒体创作平台上设计开发的面向应用的软件
12、系统。它是由各种应用领域的专家或开发人员利用多媒体开发工具软件或计算机语言，组织编排大量的多媒体数据而成为最终多媒体产品，是直接面向用户的。所涉及的应用领域主要有文化教育教学软件、信息系统、电子出版、音像影视特技、动画等。,9.3多媒体信息处理技术基础,从计算机信息处理角度看，对多媒体信息的处理一般有采样转换、压缩/解压缩、集成、管理和控制以及传输等方面的任务。,9.3.1音频信息,1基本概念 声波在时间上和幅度上都是连续变化的模拟信号，可用模拟波形表示，单一频率的声波可用一条正弦波表示.声波的振幅表示声音信号的强弱程度。声波的频率反映出声音的音调，声音尖细表示频率高，声音粗低表示频率低。,2
13、、模拟信号的数字化过程： 将模拟信号转换为数字信号，称为模拟信号的数字化过程。音频信息数字化，就是将声音模拟信号（语音、音乐等）转化成数字信号，这一过程包括采样、量化和编码。,（1）采样(sampling) 每隔一定时间间隔在模拟波上取一个幅度值,采样频率：每秒钟的采样次数,（2）量化,将每个采样点得到的幅度值以数字存储称量化 ，量化位数（采样精度）是存放采样点振幅的二进制位数，有8位、16位,（3）编码 将采样和量化后的数字数据以一定格式记录下来就是编码。数字波形文件数据量大，数字音频的编码必须采用高效的数据压缩编码技术。音频信号的压缩编码方式可分为波形编码、参数编码和混合编码三种。,3数字
14、音频的技术指标和文件格式,（1）数字音频的技术指标 数字化音频质量的指标有三项，前两项是前面介绍的采样频率、量化位数，第三项是声道数。 （2）声音质量与数据率 根据声音的频带，通常把声音的质量分成5个等级在这5个等级中，使用的采样频率、样本精度、通道数和数据率列于表91所示。,（3）数字音频的文件格式存储音频信息的文件格式主要有三种： WAVE( .wav)格式文件。文件较大，存储简短的声音片段 MIDI（.mid）格式文件。 数字音乐的国际标准 MPEG（.mp1/.mp2/.mp3）采用MPEG音频压缩标准进行压缩的音频文件。,9.3.2 图像信息,1基本概念 （1）图形和图像：矢量图形：
15、存储的是描述生成图形的指令，位图：构成图像的每个像素点的亮度、颜色 （2）分辨率 经常遇到的分辨率有两种：显示分辨率和图像分辨率(扫描分辨率)。 （3）像素深度 像素深度是指存储每个像素所用的位数，它也是用来度量图像的分辨率。决定彩色图像每个像素可能有的颜色数或灰度图像的每个像素的灰度级数。,2图像的数字化 图像是一种模拟信号，需要转变成为计算机能够接受的数字形式，此过程也需要进行采样、量化及编码。 （1）采样 将连续的图像转换成离散点的过程就是采样，其实质是用若干像素点（Pixel）来描述图像，结果就是前面所说的扫描分辨率，分辨率越高，图像越清晰，存储量也越大。如图9-15所示。,(a) 原
16、图像 (b) 采样图像采样和分辨率示意图,（2）量化 图像离散化后，将表示图像色彩浓淡的连续变化值离散化为整数值的过程称量化。如黑白图、灰度图、RGB24位真彩色。 颜色黑白图 图像的深度为1位，即用一个二进制位表示纯白、纯黑两种颜色，如图9-16所示。 灰度图 图像的颜色深度为8位。通过调整黑白两色的程度（称颜色灰度）来有效地显示单色图，如图9-17所示。 RGB24位真彩色 由红、绿、蓝三种基本颜色通过不同的强度混合而。,3*8=24位,（3）编码 图像数字化后的存储量很大，必须采用高效的压缩编码技术进行处理。,3图形图像文件文件格式 常用图像图形文件格式：p276BMP和DIB格式文件。
17、 GIF格式文件。 JPEG格式文件（.JPG）。 WMF格式文件。,9.3.3视频信息,1基本概念 视频是由一系列静态图像按一定顺序排列组成，每一幅静态图像称为帧（Frame）。通过快速播放每帧画面，再加上人眼视觉效应，便产生了电影、电视那样的连续运动的效果。 目前国际上流行的视频制式标准分别为NTSC制式、PAL制式和SECAM制式。 视频有两类：模拟和数字视频。早期的电视等视频信号都是模拟方式，现在的VCD、SVCD、DVD等都是数字视频。,2视频信息的数字化 用计算机处理模拟视频信号，必须先数字化。数字视频具有适合网络使用、可以不失真地无限次复制、便于计算机创造性地编辑修改等优点。3视
18、频文件 视频文件分为影像文件（如VCD）和流式视频文件两类，后者是随着Internet 的发展而出现的，在线实况转播，就是构架在流式视频技术之上的。,9.3.4数据压缩技术,多媒体信息有一个比较显著的特点就是数据量很大，如果不采取压缩的措施，现有的计算机系统几乎难以对它们进行存储和交换处理。 另一方面，多媒体信息在时间、空间上的“重复”，使压缩有很大的空间。如静态图像的相邻像素之间有相关性，动态图像相邻帧之间一般只有少量变化，有更大的相关性，因此，多媒体信息数据冗余度大，可压缩量大。,1压缩技术指标 数据压缩是通过编码技术来降低数据存储所需的空间。压缩技术有四个重要指标：压缩比 恢复效果 速度
19、 开销 。 2无损压缩和有损压缩 无损压缩 无损压缩方法原理是统计被压缩数据中重复数据的出现次数来进行编码，能确保解压后的数据不失真 。 有损压缩 有损压缩方法是以牺牲某些信息（这部分信息基本不影响对原始数据的理解）为代价，换取了几十到几百倍的较高的压缩比。,3、数据压缩的国际标准 1）JPEG标准 主要适用于连续色调、多灰度级、彩色或单色静态图像信号的压缩和编码。2）MPEG标准 MPEG标准适用于运动图像和音频信息，包括MPEG视频、MPEG音频、MPEG系统（视频和音频的同步）。 3）视频通信编码标准 多媒体通信中的电视图像编码标准都采用H.261和H.263。,视频文件,影像视频文件
20、AVI格式文件：已成为Windows视频标准格式文件 MOV格式文件：它可以合成视频、音频、动画等素材 MPG格式文件：是按MPEG标准压缩的全屏视频文件 DAT格式文件：是VCD专用的格式文件,流媒体文件 RealMedia：包括RA、RM、RF三类文件 QuickTime：是Apple公司开发的一个多媒体技术平台 ASF与WMA,9.4.1多媒体信息处理工具的分类1.根据来源进行分类 多媒体信息处理工具的来源主要有两个，一是与系统软件或外设硬件捆绑销售的各种软件，二是单独购买的软件。 2根据使用人员分类 使用者可分为家用（商用）和专业两类，家用和一般商业用户的特点是软件操作界面简单易学，典
21、型的产品有Adobe Photo Deluxe。专业软件功能强大，操作复杂，主要强调对最终效果的精确控制，Photoshop、Dreamweaver都属于专业软件。,9.4多媒体信息处理工具,3按处理对象艺术特征分类按处理对象艺术特征可将多媒体信息处理工具分为8类，既图像处理类、自然媒体绘画类、矢量插图类、二维动画类、音频类、视频播放及处理类、著作工具类、三维类。本节简单介绍这八类软件。,9.4.2常用多媒体信息处理软件,1图像处理类 该类软件的主要特点是以照片或其他光栅图像为基础进行拼贴、组合、调整、色彩、质感等编辑，主要作用是调整图像，对已有的图像进行再次创作。 2.自然媒体绘画类 这类软
22、件作品带有很强的个人手法特点，主要利用专门的压感笔创作，通常还带有特殊笔触效果的处理工具，可以创作出具有著名画家特点的作品，为充分发挥该类软件的特性，应该选用电子绘画板这种输入工具。,3.矢量插图类 基于矢量图形技术的绘图软件主要有两类，一类是工程制图软件，如Auto CAD等，另一类是图形艺术创作软件。 4.二维动画类 制作平面动画的软件，应用于网页设计、多媒体创作领域，目前最流行的软件当数Flash, 这是Macromedia公司出品的矢量动画创作专业软件，具有很强的动画编辑功能，其主要特点是采用矢量动画，使文件质量高，容量小 。,5.音频类 音频类工具一般都有音频制作和MIDI技术的作曲两种功能。 6.视频播放及处理类 视频播放类软件大多能播放多种格式的媒体文件，视频编辑类软件的功能是对视频节目进行编辑、组合并进行后配音，即在电脑上实现节目的编辑。 7.著作工具类 多媒体著作工具是多媒体电子出版物开发制作过程中不可缺少的软件，可用它将多媒体素材集成为一个完整的、具有交互功能的应用程序.8.三维类 三维是指在计算机中建立出一系列物体的三维空间数学模型，用这些模型就可以在电脑中任意旋转该物体，能够观察它的不同的“面”，让它动起来。,9.5 问与答,1多媒体计算机专用芯片的主要作用是什么？有哪两类芯片？2什么是多媒体通信技术？3.视频卡的主要功能是什么？常用视频卡有哪些？,
