1、国际电联媒体公有(ITU-T)：感觉媒体，人类的感觉器官直接感知的；表示媒体，图像编码、文本编码和声音编码；显示媒体，进行信息输入和输出的媒体；存储媒体；传输媒体，将信息进行传输的媒体。超文本不是顺序的，而是一个非线性的网状结构，它的特点是：具有多种媒体信息、网络结构形式及交互特性。它可看作是三要素的结合：节点、链和网络。节点的两种类型：表现性和组织型。多媒体通信系统中要有存储、传输、处理、显示多种表示媒体信息（即多种编码的信息）的功能。这些不同的媒体信息是相互联系、相互协调的。多媒体通信具有三个主要特征：集成性、交互性和同步性。 （在多信道通信协议中，除了要建立一条主信道来支持系统的核心交互
2、工作以外，还要建立起若干条辅助信道来提供并发信息的传送，从而实现完善的多媒体通信的交互过程）脚本信息:是一组特定的用语意关系联系起来的结构化的多媒体和超媒体信息,它 提供表现这一组多媒体信息的运作过程和与外部处理模块间的关系多媒体通信系统中，同步在三个层面上实现：链路层级同步；表示层级同步（复合客体和超级链） ，它包括绝对时间同步、相对时间同步、链式同步、循环同步及条件同步；应用层级同步，最高一级的同步是应用层级的同步应用层级同步采用的技术为脚本同步技术脚本是一个特殊的文本，它用语意关系将多媒体或超媒体的运作过程和外部处理模块联系起来构成脚本信息，从而实现完善的多媒体通信一个多媒体通信系统必须
3、同时具有这三个层面的同步，但它必须至少用到其中一种同步方式。ITU-T 国际电信联盟电信标准部 ISO 国际标准化组织 IEC 国际电子技术委员会多媒体通信的关键技术:(1)多媒体信息处理技术 ;(2)多媒体通信的网络技术 ;3 多媒体通信终端技术;4 移动多媒体通信的信息传输技术和多媒体数据库技术在多媒体信息压缩技术中最为关键的就是音/视频压缩编码技术。多媒体通信的网络技术包括宽带网络技术以及接入网技术。多媒体信息主要的三个特征：数据量庞大；码率可变、突发性强；复合性信息多，同步性、实时性要求高数据冗余：1.空间冗余（在图像数据中）2.时间冗余（活动图像和语音数据中）3.信息熵冗余又叫编码冗
4、余 4.结构冗余（图像结构整体上存在非常强的纹理结构）5.知识冗余（人们通过认识世界而得到某些图像所具有的先验知识和背景知识）6.视觉冗余 7.其他冗余数据压缩技术的性能指标:1 压缩比 2 重现质量 3 压缩和解压的速度。1.听觉掩蔽：在人类听觉系统中，一个声音的存在会影响人们对其他声音的听觉能力，使一个声音在听觉上掩蔽了另一个声音，即所谓的“掩蔽效应” 。它受四种要素影响时间、频率、声压级、声音品质 2.频谱掩蔽：发生在高电平音调附近频率的低电平声音不能被人耳听到 3.瞬态掩蔽：声音有一个冲击时间和一个衰退时间声道的三个属性:1 幅值 2 相位 3 时序音频信号数字化包括采样过程、量化过程
5、以及编码过程自适应增量调制（ADM ）：当发现信号变化快时，增加阶距；当发现信号变化缓慢时，减少阶距。人耳听觉特性在频率上分布不均匀相对应主要集中在频率为 500Hz1KHz 范围内，并随着频率的升高很快衰减，因此提出了自带编码。自带编码定义:将输入信号用某种方法划分成不同频段上的子信号,然后区别对待,根据各子带信号的特性,分别编码.各子信号分别编码后的码字在接受方被分别解码,最后再合成出编码语音矢量量化工作原理:先将待编码的序列划分成一个个等长的段,每段含有若干个样点,这一段段样点就构成一个个矢量.编码对象可以是直接的语音输入序列,也可以是参数编码中语音模型对应的激励序列,或者是准平稳期内的
6、语音经现行预测分析长生的一组自回归模型参数,每一个矢量与预先训练好的一个矢量码本中的每一个码字按某种是真准则进行比较,求出误差.码本中的每一个码字都与输入矢量长生一个相应的误差,其中误差最小的矢量可用来代替输入矢量,即驶入的最佳量化值.在接收端也用同样的码本,当接收到对方传来的矢量下标时,即可根据此下标,在码本中查出相应的码字作为重建的语音数据常见音频编码标准：1.G.711 标准：采样频率为 8kHz 速率为 64kb/s 2.G.729 标准：为低码率应用设计，其码率为 8kb/s 3.G.723.1：码率最低，主要用于各种网络环境中的多媒体通信。MPEG 音频 Layer3(MP3)：它
7、是 MUSICAM 和 ASPEG 的组合，好处是大幅度降低数字声音文件的容量，而不会破坏原来的音质。可视电话/会议和远程教学：选择最佳质量的 G.722 带数据共享的商务会议：语音编码的三个最佳选择是 G.722、G.728 和 G.729 多媒体信息传送：G.729 和 G.723.1IP 电话泛指以 IP 为网络层协议的计算机网络中进行话音通信的系统，即通过 IP 网络传语音，经常表示为 VoIP。其基本原理是：使用语音压缩算法对语音数据进行压缩编码，再按 IP 协议将这些语音数据打包，并通过 IP 网络将语音 IP 包分组传输到目的地，最后经解压处理，还原成原来的语音信号。IP 电话系
8、统主要有 IP 电话终端、网关和网守。网关负责把模拟信号转换成数字信号，网守是 IP 电话网的智能集线器，是整个系统的服务平台，负责系统的管理、配置和维护，提供拨号方案管理、安全性管理、集中账务管理、数据库管理及备份和网络管理功能。传统电话与 IP 电话的比较:语音传输的媒介是完全不同的，IP 电话的传输媒介为 IP 网络，而传统电话为公众电话交换网；他们的交换方式也是完全不同的，IP 电话运用的是分组交换技术IP 网络采用 TCP/IP 的寻址规则和协议。 IP 业务遵循“尽力服务”的原则，优先排队技术允许网络将不同的业务类型置入特定的 QoS 队列使语音业务优先级高于数据业务，降低队列延迟
9、。SIP:会话初始化协议 它由 用户代理 和网络服务器组成静态延时偏差，延时偏差的值是静态设置的，可能基于延时分布的某个估计，对那些在时间上性能稳定特别是传输延时并不依赖于所提供的负载的网络很有效，而对那些分组交换网则会导致在下载期间延时过长；自适应延时偏差，接收端到端之间的实际延时且采用相应的延时偏差，对那些延时分布在忙和闲时变化很大的分组交换网来说较好，困难在于，延时偏差不同的时间转换。分组语音技术是指将语音信号转换为一定长度的数字化语音包，采用存储转发的方法以包的形式进行交换和传输的技术；静噪抑制技术，是指检测到通话过程或传真过程的安静时段，并在这些安静时段发送语音包；图像文件格式AVI
10、 及 nAVI 文件格式（ *.AVI）：是音频视频交错的英文缩写，是一种桌面系统上的低成本、低分辨率的视频格式；MPEG 文件格式（*.MPEG/*.MPG/*.DAT）：MPEG 标准包括 MPEG 视频、MPEG 音频和 MPEG 系统（视频、音频同步）三个部分，其基本方法是在单位时间内采集并保存第一帧信息然后只存储其余帧对第一帧发生变化的部分，MPEG 的平均压缩比为 50:1，且最高可达 200:1；WMV 文件格式（*.WMV）：优点是，本地或网络回收、可扩充的媒体类型、部件下载、可伸缩的媒体类型、流的优先级化、多语言支持、环境独立性、丰富的流间关系以及扩展性；BMP 文件格式（W
11、indows Bitmap ） ；TIF 文件格式；JPEG 文件格式；IGS 文件格式声音文件格式 Wave 文件格式（*.WAV）MPEG 音频文件格式（*.MP1*.MP2*.MP3 ）WMA 文件格式（*.WMA ）流媒体（Streaming Media）指在网络中使用流式传输技术的连续时基媒体，流媒体技术就是把连续的影像和声音信息经过压缩处理后放在网站服务器上，让客户边下载边观看和收听。流媒体传输过程：用户（Web 浏览器）通过 HTTP/TCP 与 Web 服务器（Web Server）交换信息，获取流媒体服务清单，根据获得的流媒体服务清单向媒体服务器（A/V Server）请求相
12、关服务；然后客户机的 Web 浏览器启动相应的流媒体播放器（A/V Player ） ，通过 RTP/UDP 从媒体服务器中获取流媒体数据，实时播放。在播放过程中，客户机的媒体播放器需要实时通过 RTCP/UDP 与媒体服务器交换控制信息，媒体服务器根据客户机反馈的流媒体接收情况智能调整向客户机传送的媒体数据流，从而在客户端达到最优的接收效果。实现流式传输的方法：实时流式传输，需要专用的媒体服务器与传输协议，适合现场事件也支持随机访问，用户可快进或后退以观看前面或后退以观看前面或后面的内容；顺序流式传输，由标准的 HTTP 流式传输经常被称为 HTTP 流式传输，比较适合高品质的短片段，如片头
13、片尾和广告，无损下载，保证最终质量。流媒体实现原理简单地说就是首先通过采用高效的压缩算法，在降低文件大小的同时伴随质量的损失，让原有的庞大的多媒体数据适合流式传输，然后通过架设流媒体服务器，修改 MIME 标识。通过各种实时协议传输数据流媒体播放方式:1 单播 2 组播 3 点播与广播 。识别流媒体类型的途径MIME，它是 Multipurpose Internet Mail Extensions(通用因特网邮件扩展)的缩略词。HTTP 正是通过 MIME 来标记 Web 上繁多的多媒体文件格式。媒体发布格式:1)RAM 2 ASM 3SMIL流媒体系统的基本构成：媒体内容制作、媒体内容管理、
14、用户管理、视频服务器和客户端播放系统（媒体内容管理包括流媒体文件的存储、查询及节目管理、创建和发布，用户管理主要进行用户的登记、授权、计费和认证）多媒体通信对通信网的要求：1.吞吐要求：网络的吞吐量就是它的有效比特率或有效带宽，影响它的因素有网络阻塞、瓶颈、缓冲区容量、流量控制、节点或线路故障，主要包括（1）传输带宽的要求，多媒体网络至少要能满足压缩图像传输的要求（2）存储贷款的要求（3）流量要求，如果网络在任何时刻都存在许多数据流，那么该网络的有效吞吐能力就必须大于或等于所有这些数据流的比特率的总和；2.实时性和可靠性要求 3.时空约束 4.分布处理要求公用电话玩（PSTN） 数字数据网（D
15、DN） 窄带综合业务数字网（N-ISDN）计算机局域网（LAN）IP over ATM 的基本原理和工作方式：将 IP 数据包在 ATM 层全部封装为 ATM 信元，以 ATM 信元形式在信道中传输当网络中的交换机接收到一个 IP 数据包时，它首先根据 IP数据包的 IP 地址通过某种机制进行路由地址处理，按路由转发。随后，按已计算的路由在ATM 网上建立虚电路（VC） 。以后的 IP 数据包将在此虚电路 VC 上以直通方式传输，再经过路由器，从而有效地解决了 IP 数据的路由器的瓶颈问题，并将 IP 包的转发速度提高到交换速度。RSVP（Resource Reserve Protocol）是
16、一个资源预留协议。它是单工的、面向接收器的、本身不是路由协议，它的设计原则之软状态原则，软状态是指节点中可被定时更新的预留信息，由发送端点和接收端点定时发送基本的 RSVP 控制消息以维护节点的软状态。接入网可由三个接口界定，即网络侧经由 SNI 与业务节点相连，用户侧由 UNI 与用户相连，管理方面经 Q3 接口与电信管理网（ TMNT）相连。ISDN 是综合业务数字网的简称（是数字交换和数字传输的结合）xDSL 系统主要由局端设备和用户端设备组成以 ADSL 中国电信宽带为例：局端设备由 DSLAM 计入平台、 DSL 局端卡、语音分离器等组成。语音分离器将线路上的音频信号和高频数字调制信
17、号分离，并将语音信号送入电话交换机，高频数字调制信号送入 DSL 接入系统；DSLAM 接入平台可以同时插入不同的 DSL 接入卡和网管卡等；DSL 局端卡将线路上的信号调制为数字信号，并提供数据传输接口；IPC 为 DSL 接入系统提供了不同的广域网接口，如 ATM、帧中继、 T1/E1deng。这些设备都设在电话系统的交换机房中。混合光纤/同轴电缆（HFC，Hybrid Fiber/Coax ）WLAN（Wireless Local Area Networks）是一种能支持较高数据速率（211 Mb/s） ，采用微蜂窝、微微蜂窝结构、自主管理的计算机局部网络。它可采用无线电或红外线作为传输
18、煤质，采用扩展频谱技术，移动的终端可通过无线接入点来实现对 Internet 的访问。实时传输协议:是一种独立于应用程序的协议规范 ,是用来解决 IP 网上为传送实时数据包的一种 IETF 标准协议 实时传输控制协议(rtcp)多媒体终端是由搜索、编解码、同步、准备和执行等五个部分以及 I 协议、B 协议、A 协议等三种协议组成的。它的关键技术包括 ：开放系统模式，人机和通信的接口技术，多媒体终端的软、硬件集成技术，多媒体信源编码和数字处理技术，多媒体终端应用系统。基于 IP 网络的多媒体通信终端：H.323 标准就是 ITU-T 为基于 IP 网络的多媒体通信制定的终端标准。多媒体同步就是保
19、持和维护各个媒体对象内部存在的时态关系，组织多种媒体序列以实现某种特定的表现任务。多媒体同步的核心基础是为这些同步关系建立一个独立于现实环境的抽象的描述模型。同步问题有两层含义：首先，时态行为（包括表示单元的彼此关系）必须有明确的定义，使用时态定义可以方便用户复审、系统表示和存储。其次，在表示媒体单元的时候，多媒体系统必须保证各媒体时态的正确性。多媒体同步规范描述了媒体对象之间和各个媒体对象内部存在的时态关系，确定了多媒体的时态说明，是多媒体系统的重要组成部分。多媒体同步规范通常包括：媒体对象内的同步、媒体对象之间的同步以及业务品质 QoS 描述。同步的类型：上层同步、中层同步、底层同步。抖动
20、定义为最大时延和最小时延的差，也即时延的变换。网络抖动是指数据包从发送方到接收方网络 I/O 设备的传输过程中所经历的时延变化，这是由中间节点的缓存引入的。端系统抖动是指端系统中引起的时延变换，这些变化主要由于系统负荷的改变以及媒体单元在各个协议层的打包拆包。较为流行的多媒体同步模型有三种：参考点同步模型、时间轴同步模型、层次同步模型。逻辑数据单元（LDU） ，各种媒体信息经数字化和编码之后形成的数据根据其与时间的关系可分为连续媒体数据（实时体数据）和离散媒体数据（静态媒体数据） 。连续媒体数据可以看成是由逻辑数据单元 LDU 构成的时间序列（或称为流） 。同步容限，用户与同步机制之间就偏差的许可范围所达成的协议。VOD（Video On Demand）即视频点播技术，按需要的视频流播放，随时点播。VOD 系统由三大部分组成，它们是服务端系统、网络系统、客户端系统。
