1、第一章ITU 把媒体定义为承载信息的载体，包括五种类型：感觉、表示、表现、存储、传输。表示媒体类型：声、文、静图、形状、动画。表示媒体的描述：文本（非格式化文本和格式化文本） 、图形、图像、视频（祯和祯速率）与动画、声音。祯：一个完整且独立的窗口视图，作为要播放的视图序列的一个组成部分。祯速率：每秒播放的祯数。基于特征的媒体分类：1 静态与动态媒体 2 捕捉与合成媒体。多媒体的特征：信息载体的多样化、集成性、交互性。多媒体的作用：1 将时间序列与非时间序列信息结合起来，增加了多媒体系统的实用性 2信息间的有机关联，即要求跨越不同媒体间的超越性 3 整体数字化的集成性。多媒体技术包括多媒体计算机
2、技术和多媒体通信技术。多媒体通信技术也称网络多媒体技术，是指基于网络（LAN、WAN、Internet）的多媒体应用。多媒体业务包括用户终端业务和网络承载业务。多媒体业务包括：1 实时图像传送 2 多媒体电子邮件 3 信息检索、多媒体检索、网络多媒体检索 4 视频点播 5 交互式视频业务 6 其他虚拟现实是一种创建和体验虚拟世界的计算机系统。重要特征：沉浸感、交互性、想象性。第二章微型计算机的五个主要组成部分：输入设备、输出设备、运算器、控制器、存储器。音频卡主要功能：1 录制编辑和回访数字声波文件 2 控制各种声源的音量，并把它们混合在一起，生成多种声音的融合叠加 3 语音合成功能音频卡分类
3、：主要是根据数据采样量化的位数来分，分为 8 位、16 位和 32 位等。视频卡是用于 PC 机上的视频处理卡，主要功能是对模拟视频进行采集并进行压缩编码，还可以将数字视频解码后输出到显示器上。一般的计算机存储器可以分为外存储器和内存储器。内存储器一般是半导体存储器，可以氛围只读存储器 ROM、随机存储器 RAM 和快速缓冲存储器 Cache。外存储器一般包括硬盘、软盘、磁带等磁记录设备，以及基于光存储技术的光盘等。光盘主要有 CD-ROM 和 DVD 盘。CD-ROM 一般可存储 650M 的数据。DVD 一般可存储4.7G-17G.。DVD 产品分为 3 类：DVD 唱盘、DVD 视盘、只
4、读 DVD。移动存储设备目前主要有移动硬盘和 FLASH 盘。计算机的三种外部设备接口：串口、并口、USB 口。网卡常用的五种接口：RJ-45 接口（用于双绞线） 、BNC 接口（用于细同轴电缆） 、AUI 接口（用于粗同轴电缆） 、FDDI 接口（用于光纤） 、ATM 接口（用于异步传输模式的光纤或双绞线） 。第三章音频信号按照是否包含语音信息，可以分为语音信号和非语音信号。语音信号是声音和意义的结合体，是携带语音信息的声波。语音的产生过程可模拟化为音源激励通过声道滤波器后的输出响应。音源激励可分为声带音源和非声带音源。非声带音源可分为躁声音源和爆破音源。根据音源可以将语音分为浊音（声带音源
5、） 、清音（躁声音源） 、爆破音（爆破音源） 。声带震动的周期成为基音周期，其倒数称为基音频率。声道系统的特征是由声道的形状和尺寸决定的。声道的谐振频率成为共振峰，一般用 3-5个共振峰描述声道系统。MIDI 由三个部分组成：通信协议、连接器、传播格式。MIDI 合成的产生方式有两种：FM合成和波形表合成。音频信息的四个属性：音高（单位：美 mel） 、音强（分贝 dB） 、音色、音长。根据音频的频带，把音频的质量分为 5 个等级，由高到低是：电话、调幅、调频、光盘、数字录音带。音频处理软件：GoldWave、cooledit 等。第四章图像中的点不同意义：输出图像中的点（dot ） ，打印机
6、的分辨率是以每英寸的点数（dpi ）来度量的。扫描的图像中的样本点（sample） ，扫描仪的分辨率为每英寸的样本点数（spi） 。像素（pixel ）是显示器上的单个（x,y）坐标值，对于显示分辨率，一般采用的是没英寸像素数（ppi） 。第五章常用的多媒体作品创作软件有 Authorware、PowerPoint、Director 及国产“奥思”等。第六章信息时代或多媒体时代，信息高速公路和网络宽带是解决“信息爆炸”的途径之一，数据压缩则是另一途径。对于多媒体数据压缩，由于多媒体包含两种以上媒体，不同媒体间的融合、不同媒体流的同步就成为了必须。信源编码的分类：1 从信源符号与码字的关系来分，
7、分为无失真编码（如文本编码、传真编码）和有失真编码（如预测编码、变换编码、矢量量化） 。2 从码字所用编码符号的个数是否均等来分，分为固定长度码和变长编码。ITU-T 在建议 T.39 中规定了传真通信的三种实现技术：模拟语音和传真同时传输、数字语音和传真同时传输、语音和传真同时传输。视频压缩编码标准：1.MPEG 标准 2.ITU-T 网络多媒体技术方面的 H 系列标准 3. ITU-T 网络多媒体通信标准 MHEG。ITU-T 网络多媒体通信标准 MHEG 中规定了对象的：交互性、实时性、实时交互性、表示形式。H.263 对多路视频的管理采用分层模式：分为图像、块组、宏块、块四层。第七章多
8、媒体时代人机交互的 3 个特点。多媒体时代人机接口要朝着多模态人机接口发展。基于语音技术建立人机接口的两种途径：1 用基于语音识别和理解技术的新操作系统代替基于 WIMP 界面技术的操作系统 2 利用语音技术来操作 WIMP 界面。口语对话系统是基于音频的人机接口的一个典型应用系统，常见的如旅游信息查询、电话客票服务和天气预报服务。清华大学校园导游系统 EasyNav，电话航班定票与信息查询系统 EasyFlight。基于图象的人机接口系统一般由图像输入设备、图像识别、图像合成、图像输出设备四个部分组成。三网合一：通信网络、计算机网络、电视广播网络。信息网络或多媒体通信网络是指可实现交流信息、
9、传播信息、共享信息三网合一功能的网络。ITU 定义的带宽、延迟、等待时间概念。窄带 ISDN 的传输速率以 64Kbit/s 为基础。宽带综合数字网 B-ISDN。宽带多媒体通信网络的四个构成域：多媒体终端设备域、接入网络域、核心传输网络域、应用服务器域。实现宽带 IP 网络已有的技术为：1. IP over SDH 2. IP over Optical（裸光纤和 IP over DWDM） 。密集波分服用技术（DWDM）第九章TCP/IP 协议分层结构：自上而下分别为应用层、传输层、网间层、网络访问层。知道各层使用的协议。电子邮件的种类：电子正文邮件、电子声音邮件、电子视频邮件、电子复合邮件
10、、多媒体邮件。会区分电子复合邮件和多媒体邮件。电子邮件协议：SMTP、POP3、MIME 。URL 的 3 个组成部分：协议、域名、文件名。实现窄带多媒体信息传输的两种方案：下载、流传输。实现流传输的两种方法：实时流、顺序流。流媒体文件格式：压缩媒体格式、流文件格式、媒体发布格式。ASF 是一种数据格式，包括音频、视频、图像以及控制命令脚本等多媒体信息。Windows Media 流媒体系统，提供 ASF 流媒体的网络发布服务包括：单播、多播、广播服务。光纤的优缺点。宇宙通信的三种形态：1 地球站与宇宙站之间的通信 2 宇宙站之间的通信 3 通过宇宙站进行转发或反射实现的地球站之间的通信。地球
11、站分类：按安装方式分为固定站、移动站、可搬运站。按天线分类：大型站、中型站、小型站、微型站。按用途分类：民用通信站（公用站、专用站） 、军用通信站（战略通信站、战术通信站） 、卫星广播业务站、气象卫星站、航空站、航海站、实验站。通信卫星分类：按运动状态分为静止卫星和运动卫星。有源通信卫星分为两类：延迟转发型、即时转发型。按业务种类分为：商用、军用、气象、科研、广播卫星等。按轨道分为：高轨道、中轨道、低轨道。开发和构件的低轨道（LEO）卫星系统有 1 铱星 2 天桥 3Teledesic移动通信系统的 3 代：第一代是模拟移动通信系统、第二代是数字移动通信系统（三种代表性制式：泛欧的 GSM、北
12、美的 ADC 和 CDMA、日本的 JDC） 、第三代是多媒体移动通信系统，简称 3G。第三代移动通信系统的基本目标：1 多媒体传输能力 2 增加分组交换模式，提高传输的灵活性和信道效率。多媒体通信终端的特点：集成性、同步性、交互性。H.323 协议族为基于 IP 网络的通信系统定义了四个主要组件：终端、网关、关守、多点控制单元。H.323 终端都必须支持语音通信，视频和数据通信是可选的。第十一章视频会议按通信节点的数量可分为：点对点视频会议系统、多点视频会议系统。视频会议主要业务：可视电话、桌面视频会议系统、会议室型视频会议系统。视频会议系统构成：视频终端、多点控制器（MCU） 、网络平台和
13、控制管理软件等。视频终端分为三类：桌面型终端、机顶盒型终端、会议室型终端。视频会议基本功能：实时信息传输、模式转换、图像质量控制。模式转换功能包括：语音激活模式（自动模式） 、主席控制模式、讲课模式。视频会议系统协议标准：H.320 针对基于电路交换的窄带 ISDN 网络。H.322 是基于 IP 网络的有质量保证的 LAN 会议系统。 H.323 是是基于 IP 网络的无质量保证的 LAN 会议系统。h.324 是基于电话网的会议系统标准。视频会议系统的一个实例：windows netmeeting。视频点播（VOD）系统的构成：服务端系统、网络系统、客户端系统。典型应用：影视点播、教育培训
14、、远程医疗、信息发布、交互式多媒体展示。典型产品：real networks 公司的 real system、microsoft 公司的 windows media、apple 公司的 quick time、IBM 公司的videocharger、oracle 公司的 OVS。多媒体网络教学系统的五个基本功能：1 收集、制作、存储、管理和传输各类多媒体素材和多媒体教材 2 为开展多媒体课堂教学提供条件 3 为学生自学提供条件 4 为教师和学生的课后交流提供便利 5 为科研工作和教学管理提供有力的支持。多媒体网络教学系统的一个实例：清华网络学堂。第十二章MCI 命令消息接口函数：mciSendC
15、ommand、mciGetDeviceId、mciGetErroeString。组件对象模型（COM）是一种协议，是对象连接和嵌入的基础。Directshow 技术是建立在 DirectDraw 和 DirectSound 组件基础上的，它通过 DirectDraw 控制显卡以显示视频，通过 DirectSound 控制声卡以播放声音。支持ASF、MPEG、AVI、MP3 和 WAV。过滤器有三种状态：运行、停止、暂停。暂停是一种中间状态，停止状态到运行状态必定经过暂停状态，暂停可以理解为数据就绪状态。引脚可以分为两种类型：输入引脚和输出引脚，两个相连的引脚必须是不同种类的。第十三章超文本的三
16、个要素：节点、链、网络。超媒体：用超文本技术管理多媒体信息。本质上，超文本和超媒体这两个概念是等同的。第一代超文本系统处理的信息对象是简单的文本信息。第二代超文本系统与多媒体技术结合，管理对象从纯文本扩展到图形、图像、声音、动画或影视片段等多种媒体。即：超媒体=超文本+多媒体。VRML(虚拟现实建模语言)是一种用来描述 WEB 页面上三维交互环境的文件格式。打开VRML 文件的浏览器目前有两种类型：1 安装于 HTML 浏览器的 VRML 插件 2 单独的VRML 浏览器。HTML 的标签分为：单标签、双标签。记住 HTML 的各种标签及其功能。第十四章网页制作三剑客：dreamweaver
17、MX、flash MX、fireworks MX。第十五章信息检索是帮助用户通过检索请求去查找相似信息，是人类有目的地存储和检索信息的基本途径。计算机信息检索系统 3 个组成部分：硬件部分、软件部分、数据库。早期的信息检索处理的对象只是纯文本，检索技术采用基于关键词的方式。传统的数据库一般采用关系模型建立，记录信息具有明显的结构化特征。基于内容的检索是指根据媒体和媒体对象的内容及上下文联系在大规模多媒体数据库中进行检索。基于内容的音频检索是基于听觉内容相似的音频检索。音频内容分为三个级别：最低级的物理样本级、中间层的声学特征级、最高级的语义级。基于内容的图像检索技术是以自动提取的每幅图像的视觉
18、内容特征作为索引的一种检索方式。多媒体信息检索原型系统：IBM 的 QBIC、哥伦比亚大学的 WebSeek。第十六章传感器分类：自发生型、外激励型、内激励型。融合是指采集并集成各种信息源、多媒体和多格式信息，生成完整、准确有效的综合信息的过程。遥感器是遥感技术最核心的组成部分。图像融合是一种通过高级图像处理来复合多源图像，生成新的图像的技术。图像融合的三个层次：像素级的融合、特征级的融合、决策级融合。战场环境仿真是指运用仿真技术来描述战场环境。仿真是通过系统模型的实验来研究一个存在的或设计中的系统的一种技术。一个系统的仿真涉及的三个要素：系统、系统模型、计算机。与这三个要素相联系的基本活动是：模型建立、仿真模型建立、仿真实验。虚拟现实技术（VR）是一种可以创建和体验虚拟世界的计算机系统。一个身临其境的虚拟现实系统由包括计算机图形学、图像处理与模式识别、多传感器、多媒体技术以及网络等技术所构成的大型综合集成环境。一个完整的虚拟现实航天仿真系统由三部分构成：虚拟环境产生器、输入输出设备、数据接口。航天仿真关键技术：系统硬件、环境生成工具、三维图像处理技术、系统性能评价。
