1、1.2 多媒体技术的应用与发展,1.1 多媒体的基本概念,1.1.2 多媒体技术及其关键特性,1.1.1 多媒体的定义,1.1.3 多媒体中的媒体元素及特征,1.2.2 多媒体技术的发展方向,1.2.1 多媒体技术的应用,第一章 多媒体技术基础,1.3 多媒体的关键技术,1.4 多媒体计算机系统组成,媒体在计算机领域有两种含义 媒质：存储信息的实体，如磁盘、光盘、磁带、半导体存储器等。 媒介：传递信息的载体，如数字、文字、声音、图形和图像等。,1.1 多媒体的基本概念,1.1.1 多媒体的定义,多媒体技术中的媒体是指后者。,多媒体是融合两种或两种以上媒体的一种人机交互式信息交流和传播媒体。,通
2、常概念的“媒体” ，可分为以下 五种类型：,计算机中的各类型媒体,多媒体技术的定义：,1.1.2 多媒体技术及其特性,多媒体技术是利用计算机通过文字、图像、图形、动画、音频、视频等多种信息形式的交互混合，以数字化的方式集成在一起，从而使计算机具有表现、处理、存储多媒体信息的综合能力和交互能力。,基本条件： 以计算机技术为核心； 具有人机交互的特点； 多媒体技术所处理的多种媒体是逻辑关联的复合数据多；,多媒体计算机技术的三个主要特性,多媒体媒体元素是指多媒体应用中 可显示给用户的媒体组成。,音频,动画,视频,文本,图形,图像,特征,1.1.3多媒体中的媒体元素及特征,数字媒体技术的内容,1.1.
3、3 多媒体中的媒体元素及特征,特性,多媒体数据的特性,数据量大 数据长度不定 多数据流 数据流的连续记录和检索,图形,图形（Graphic）一般指用计算机绘制的画面，如直线、圆、圆弧、矩形、任意曲线和图表等。图形的格式是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合。在图形文件中只记录生成图的算法和图上的某些特征点，因此也称矢量图。,图形占用的存储空间很小；显示时需经过重新计算，因而显示速度相对慢些；微机上常用的矢量图形文件有： “.3DS”（用于 3D 造型）、“.DXF”（用于 CAD）、“.WMF”（用于桌面出版）等等。,图像,图像（Image）是指由输入设备捕捉的 实
4、际场景画面，或以数字化形式存储的任 意画面。静止的图像是一个矩阵，阵列中的各 项数字用来描述构成图像的各个点（称为 像素点 pixel ）的强度与颜色等信息。这种 图像也称为位图（ bit-mapped picture ）。,音频,数字音频（Audio）可分为波形声音、语音和音乐。,波形声音实际上已经包含了所有的声音形式，它可以将任何声音都进行采样量化，相应的文件格式是WAV 文件或VOC文件。语音也是一种波形，所以和波形声音的文件格式相同。音乐是符号化了的声音，乐谱可转变为符号媒体形式。对应的文件格式是MID 或CMF 文件。,音频采集；语音编码；音乐合成；,文语转换；语音识别；,应用领域,
5、动画是活动的画面，实质是一幅幅 静态图像的连续播放。动画的连续播放 既指时间上的连续，也指图像内容上的 连续。 计算机设计动画有两种： 一种是帧动画，一种是造型动画。,动画,广告业和影视业；如用于电影特技，获得空前成功；网页制作、游戏、贺卡、音乐MTV、教育课件等,应用领域,帧动画是由一幅幅位图组成的连续的画面，就如电影胶片或视频画面一样要分别设计每屏幕显示的画面。造型动画是对每一个运动的物体分别进行设计，赋予每个动元一些特征，然后用这些动元构成完整的帧画面。动元的表演和行为是由制作表组成的脚本来控制。,视频,视频是由一幅幅单独的画面序列（帧frame）组成 ，这些画面以一定的速率（fps）连
6、续地投射在屏幕上，使观察者具有图像连续运动的感觉。视频文件的存储格式有AVI、MPG、DAT、MOV等。,广播电视（CATV、ITV、HDTV、DVB等）； 通信（可视电话、视频会议、VOD、视频数据库） 个人娱乐（录象摄像、VCD、DVD、电视购物、视频游戏等）；,应用领域,视频标准主要有NTSC制和PAL制 两种。NTSC 标准为30fps，每帧525行。PAL 标准为25fps，每帧625行。视频的技术参数有：帧速：帧/秒数据量：字节图像质量：原始图像质量与压缩比,就目前而言，多媒体技术已在商业、 教育培训、娱乐、信息咨询、电子商务、电子出版、演示等方面得到了充分应用。,在教育与培训方面
7、的应用,在通信方面的应用,在其他方面的应用,1.2 多媒体技术的应用与发展,多媒体与因特网,1.2.1 多媒体技术的应用,多媒体通信网络环境的研究和建立将使多媒体从单机单点向分布、协同多媒体环境发展，在世界范围内建立一个可全球自由交互的通信网。,1.2.2 多媒体技术的发展方向,目前，多媒体主要在以下几个方向发展：,网络视频点播VOD交互式网络电视IPTV视频会议,利用图像理解、语音识别、全文检 索等技术，研究多媒体基于内容的处理、 开发能进行基于内容的处理系统是多媒 体信息管理的重要方向。,基于图像简单描述的检索:比如，颜色特征提取“Retrieve images which contain
8、 25% red, 50% blue,25% yellow”特征组合检索:比如，颜色、纹理、形状、运动、对象、音调、平面空间对应关系、外形，或者其他统计特征等 “retrieve video with high motion toward right (75%) and low pitch music (25%)”,多媒体标准仍是研究的重点：各类 标准的研究将有利于产品规范化，应用 更方便。它是实现多媒体信息交换和大 规模产业化的关键所在。,多媒体技术与相邻技术相结合，提 供了完善的人机交互环境。多媒体仿真 智能多媒体等新技术层出不穷，扩大了 原有技术领域的内涵，并创造新的概念。,多媒体技术与
9、外围技术构造的虚拟 现实研究仍在继续进展。多媒体虚拟现 实与可视化技术需要相互补充，并与语 音、图像识别、智能接口等技术相结合， 建立高层次虚拟现实系统。,将来多媒体技术将向着以下六个方向发展； 1).高分辨化，提高显示质量； 2).高速度化，缩短处理时间； 3).简单化，便于操作； 4).高维化，三维、四维或更高维； 5).智能化，提高信息识别能力； 6).标准化，便于信息交换和资源共享。,多媒体技术发展趋势,数据爆炸的多媒体时代Internet的迅速壮大数据规模激增多媒体数据比重增大个人电脑的多媒体数据现有的多媒体数据组织松散 信息表达越来越依靠多媒体数据直观、准确、丰富、全面多媒体数据获
10、取越来越方便,1.3.8 多媒体数据库技术,1.3.9 智能多媒体技术,1.3.10多媒体检索技术,.3 多媒体的关键技术,1.3.1 视频音频数据压缩/解压缩技术,研制MPC需要解决的关键问题之一是要使计算机能适时地综合处理声、文图信息。选用合适的数据压缩技术，有可能将字符数据量压缩到原来的1/2左右，语音数据量压缩到原来的1/2-1/10，图像数据量压缩到原来的1/2-1/60。,一页印在B5（约180mm255mm）纸上的文件，若以中等分辨率（300dpi）的扫描仪进行采样，其数据量约6. 1Mb。一片650MB的CD-ROM，可存848页。 1 inch = 25.4mm 图像像素点个
11、数= 300 ( 180 25.4 ) 300 (255 25.4 ) 每个像素点量化位为1 bit 黑白图像文件大小= 6403063 11024 1024=6.1Mb 真彩色图像文件大小 = 6403063 241024 1024=147Mb,多媒体数据的信息量举例1,双通道立体声激光唱盘（CD-A），采样频率为44.1KHz，采样精度（量化） 16位样本。其一秒钟时间内的采样位数为1.35Mb/s ，一个650MB的CD-ROM，可存约1小时的音乐。 文件每秒存储量（ 字节/秒） 采样频率(Hz)采样精度(位)声道数/844.1103162 8=176400B/s=1.35Mb/s 一个
12、650MB的CD-ROM，可存音乐： 650 8 1.35 60 60 = 1.07H,多媒体数据的信息量举例2,数字化后的信息，尤其是数字化后的视频和音频信号具有数据的海量性。它给信息的存储和传输造成较大的困难，成为阻碍人类有效地获取和使用信息的瓶颈问题之一。 因此研究和开发新型有效的多媒体数据压缩编码方法，以压缩的形式存储和传输这些数据将是最好的选择。,多媒体数据压缩的必要性,信息量与数据量的关系： I=D-du I信息量 D数据量 du冗余量 数据冗余是指信息所具有的各种性质中多余的无用空间，其多余的程度叫做“冗余度”。,举例：语音数据 中文广播员一分钟读180个汉字,一个汉字存储两个字
13、节，共需360个字节。 采样频率为8kHz（人类语言带宽为4kHz）。采样1分钟，其数据量为： 8K/s60s = 480 K B/分 一分钟的数据冗余为 480KB/360B=1000（倍）的冗余,多媒体数据压缩的可能性,空间冗余：规则物体的表面具有物理相关性，将其表面数字化后表现为数据冗余。 例如，图像中的规则物体，其亮度、饱和度及颜色相同的区域,图像数据的冗余性,时间冗余：视频信号和动画一般为位于一时间轴区间的一组连续画面，其中的相邻帧往往包含相同的背景和移动物体，只不过移动物体所在的空间位置略有不同，所以后一帧的数据与前一帧的数据有许多共同的地方，这种共同性是由于相邻帧记录了相邻时刻的
14、同一场景画面。,结构冗余：有些图像的纹理区，图像的像素值存在着明显的分布模式。例如，方格状的地板图案等。我们称此为结构冗余。已知分布模式，可以通过某一过程生成图像。,规则有序排列的图形,知识冗余：有些图像的理解与某些基础知识有相当大的相关性。例如：人脸的图像有固定的结构。比如说嘴的上方有鼻子，鼻子的上方有眼睛，鼻子位于正脸图像的中线上，等等。 这类规律性的结构可由先验知识和背景知识得到，我们称此类冗余为知识冗余。根据已有的知识，对某些图像中所包含的物体，我们可以构造其基本模型，并创建对应各种特征的图像库，进而图像的存储只需要保存一些特征参数，从而可以大大减少数据量。知识冗余是模型编码主要利用的
15、特性。,视觉冗余：人类视觉系统对于图像场的任何变化，并不是都能感知的。人类视觉系统对亮度变化敏感，而对色度的变化相对不敏感；在高亮度区，人眼对亮度变化敏感度下降对物体边缘敏感，内部区域相对不敏感；对整体结构敏感，而对内部细节相对不敏感。,根据统计分析结果，语音信号存在着多种冗余度，其最主要部分可以分别从时域和频域来考虑。另外由于语音主要是给人听的，所以考虑了人的听觉机理，也能对语音信号实行压缩。 人的听觉感知机理,掩蔽效应：强盖弱 低频较高频敏感，同样声强时，实际感觉随频率而变 对相位变化不敏感,音频数据的冗余性,总之，多数情况可以预测，可以计算，可以适应，有规可循,1.3.2 多媒体专用芯片
16、技术,专用芯片是多媒体计算机硬件体系 结构的关键。为了实现音频、视频信号 的快速压缩、解压缩和播放处理，需要 大量的快速计算，只有采用专用芯片， 才能取得满意的效果。多媒体计算机专用芯片可归纳为两 种类型：一种是固定功能的芯片；另一 种是可编程的数字信号处理器（DSP） 芯片。,1.3.3 大容量信息存储技术,利用数据压缩技术，在一张CD-ROM 光盘上能够存取70多分钟全运动的视频 图像或者十几个小时的语言信息或数千 幅静止图像。硬磁盘目前存储已达上百个GB，磁盘阵列则可达到上千个GB或更多,1.3.4 多媒体输入与输出技术,多媒体软件技术主要包括以下六个方面的内容：,多媒体操作系统,多媒体
17、素材采集与制作技术,多媒体编辑与创作工具,多媒体数据库技术,超文本/超媒体技术,多媒体应用开发技术,1.3.5 多媒体软件技术,多媒体操作系统,多媒体素材采集与制作技术,素材的采集与制作主要包括采集并 编辑多种媒体数据。如声音信号的录制 编辑和播放；图像扫描及预处理；全动 态视频采集及编辑；动画生成编辑；音 /视频信号的混合和同步等。,多媒体编辑与创作工具,多媒体数据库技术,超文本/超媒体技术,超媒体 = 超文本 多媒体,超文本：一种按信息之间关系非线性地存储、组织、管理和浏览信息的计算机技术。,多媒体应用开发技术,多媒体应用的开发会使一些采用不 同问题解决方法的人集中到一起，包括 计算机开发
18、人员、音乐创作人员，图像 艺术家等，他们的工作方法以及思考问 题的方法都将是完全不同的。对于项目管理者来说，研究和推出 一个多媒体应用开发方法学将是极为重 要的。,1.3.6 多媒体通信技术,1.3.7 虚拟现实技术,虚拟现实的定义可归纳为：利用计算机技术生成的一个逼真的视觉、听觉触觉及嗅觉等的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。,虚拟现实技术是在众多相关技术上发展起来的一个高度集成的技术，是计算机软硬件技术、传感技术、机器人技术、人工智能及心理学等飞速发展的结晶。,1.4 多媒体计算机系统,多媒体计算机系统由硬件系统和软件系统组成。,一、 多媒体硬件系统,二、
19、多媒体驱动软件,三、 多媒体操作系统,四、 多媒体数据处理软件,五、 多媒体创作软件,六、 多媒体应用系统,一 多媒体硬件系统,1多媒体硬件系统的组成,2多媒体个人计算机,1多媒体硬件系统的组成,多媒体硬件系统是由计算机传统硬件设备、 光盘存储器(CD-ROM)、音频输入/输出和处理设 备、视频输入/输出和处理设备等选择性组合而 成，其基本框图如下图所示。,素材文件数字化 （以图形图像创作、获取为例）,声卡,声卡是多媒体计算机必备的部件之一，用来处理各种类型数字化声音信息。,1. 声卡的结构与功能,2. 声卡的性能指标,声卡一般由Wave合成器、MIDI合成器、混 合器、MIDI电路接口、CD
20、-ROM接口、DSP数字信 号处理器等组成。,了解了声卡的组成及工作原理后，可总结 出声卡有以下主要功能： (1). 录制与播放波形音频文件。 (2). 编辑与合成波形音频文件。 (3). MIDI音乐录制和合成。 (4). 文语转换和语音识别。,LINE IN,LINE OUT,SPK OUT,MIDI,录音机、CD唱机等 线性输入,话筒,扬声器,线性输出 立体声放大器,MIC IN,2. 声卡的性能指标,1、音频技术指标声卡的录放音效果应该具有CD音质。,四级声音质量： 电话质量、AM质量、FM质量、CD-DA质量,指录音采样速度达到44.1KHZ,16位量化记录声音,2、MIDI音频 3
21、、声道数 4、多音频流输出 5、I/O设备接口 6、系统参数的可调性（I/O地址、DMA、IRQ） 7、声卡软件 8、总线结构（ISA PCI）,视频采集卡,视频采集卡又称视频捕获卡，是对模拟视 频图像进行捕捉并转化为数字信号的工具。,1. 视频采集卡的功能,2. 视频采集卡的工作原理,4. 其他功能视频卡,3. 视频采集卡的性能指标,1. 视频采集卡的功能,从多种视频源中选择一种作为视频输入; 支持不同的电视制式; 能同时处理图像信号的伴音; 可在显示器上监看输入的视频信号, 其位置及大小可调; 能将计算机生成的图像/图形/文本与视频图像迭加处理; 可随时冻结(定格)一幅画面,并按指定格式保
22、存; 可实时压缩与存储视频及其伴音信息; 可实时解压缩并播放视频及其伴音信息,输出设备可选(VGA监视器、电视机、录相机等),2. 视频采集卡的工作原理,视频采集卡的结构如下图:,同时又是解码器,视频采集(捕获)卡的结构,3. 视频采集卡的性能指标,1、接口 2、实时压缩功能 3、采集分辨率及帧频 4、驱动及应用程序,4. 其他功能视频卡,视频输出卡，MPEG卡，电视接收卡等,视频硬件两个主要发展领域： 一是与网络通信技术结合由视频采集卡附加网络通信卡构成的多媒体视频会议、可视电话、视频邮件、多媒体通信终端等，以及基于宽带多媒体通信网络的ITV、VOD、远程教育、远程医疗、远程电子图书馆等系统
23、 二是与影视制作技术结合 如：集压缩/解压缩、合成输出、特技效果为一体的影视制作非线性编辑系统,多媒体技术的发展为MPC不断赋以新的要求。 用户使用MPC有两种途径： 一是购买具有多媒体处理功能的PC机； 二是在现有的PC机上增加媒体升级套件，如声音卡、视频卡等功能卡及其软件。,将普通计算机改造成多媒体计算机要解决的四个关键技术： 视频音频信号的获取； 多媒体数据的编码压缩和解码； 音频视频数据的实时处理和特技； 音频视频数据的输出技术。 硬件条件（声卡，视频捕捉卡，视频播放卡，话筒，音箱，有源音箱）软件条件。,四 多媒体数据处理软件,多媒体数据处理软件是专业人员在多媒体操作系统之上开发的。在多媒体应用软件制作过程中，对多媒体信息进行编辑和处理是十分重要的，多媒体素材制作的好坏，直接影响到整个多媒体应用系统的质量。,素材制作软件,
