1、 论文题目： 浅谈多媒体同步技术作者姓名 徐晓霞 作者学号 201120110221 指导教师 卢为党 学科专业 通信 1104 所在学院 信息工程学院 提交日期 2014 年 12 月 10 日 浅谈多媒体同步技术 通信 1104 徐晓霞2摘要：维持多媒体的同步关系是对多媒体通信的一个重要要求，也是多媒体通信区别于传统通信的一个重要特征。在多媒体系统中，各种媒体并存，既有视觉方面的文字、图像，又有语音、音乐等信息，多媒体对象表现的基本思想是以时间为主线来安排活动的开始、中断、继续、终止等操作，可见，多媒体对象表现的关键是确定多媒体对象在时间上的顺序，即多媒体的时间同步。关键词：多媒体通信 同
2、步技术 多媒体信息传输浅谈多媒体同步技术 通信 1104 徐晓霞3浅谈多媒体同步技术1、多媒体同步特性1.1 什么是多媒体及多媒体同步1.1.1 多媒体的概念多媒体在计算机系统中，两个或两个以上的信息和互动媒体的人机交流的媒体组合。使用的媒体包括文字，图像，照片，声音，动画和视频，以及由该计划提供的互动功能。多媒体是计算机和视频技术相结合，它实际上是两个媒体；声音和图像。多媒体本身有两个方面，和所有现代技术一样，它是一个硬件和软件，或机器和思想混合。多媒体技术和能力，在概念上可以分为控制系统和信息。多媒体已经能够实现是依靠数字技术，多媒体数字控制和数字媒体代表的数字式计算机控制系统的衔接，在当
3、今最先进的音频和视频的存储和传输形式的数字媒体。1.1.2 什么是多媒体同步能够对多种媒体进行处理是多媒体系统的基本特征之一。在这些媒体之中文字、图形、图像等是不随时间变化的，而声音或视频信号则是时间的函数。数学上随时间变化的函数在实际中表现为一个数据流；数据流中各个相继的单元之间有确定的时问关系。如果媒体的每个单元在播放时所用的时间都相同，则称这种媒体为连续(continuous)媒体。一个多媒体系统至少应该能够支持一种连续媒体。媒体之间的相互依存关系，不只是显示时才有，在捕获、存储、传输和处理过程中也是存在的。不同媒体对象之间的相互依存关系可概括为 3 类：(1)内容关系。根据某一组数据既
4、可以列出表格，同时又可以画出曲线，那么，在计算机中只需要保存一份数据，而将表达这组数据的方式另作定义，这称为指定数据间的内容关系。同一组数据可以对应于几个不同的内容关系。(2)空间关系。主要指不同媒体对象在显示中所处的相互位置关系通常它们分别在不同的窗口中显示，而每个窗口又允许有缩放、移动、激活等功能，这些复杂的相对位置关系需要有一定的方法来描述。(3)时间关系。电视中的伴音要求很好地和人的口形动作相吻合，幻灯片的解说词应该与正在显示的图像相对应，这是媒体对象之间必须保持一定时间关系的典型例子。因此，媒体同步指的是上述 3 种关系确立。显然，在集成了多种媒体的多媒体系统中，同步是一个关键性问题
5、。系统的各个组成部分。例如，操作系统、数据库、文件系统、传输数据的通信系统，以至于应用程序等，都需要不同层次上支持媒体的同步。而多媒体通信同步就是使得经网络传输后的多媒体对象序列仍能保持原来的约束关系，在目标结点上仍能得到和源结点相同的多媒体表现。1.2 多媒体的同步要求多媒体的同步要求主要分为多媒体通信同步、多媒体表现同步及多媒体交互同步等。这些同步功能体现为多媒体同步体系结构中的不同层次的同步要求，由它们共同来实现系统中的媒体同步。这几种同步要求相互影响相互制约，其浅谈多媒体同步技术 通信 1104 徐晓霞4中，表现同步和交互同步属于上层同步，即用户层同步，是由用户的需求来决定的一种大体上
6、的同步。用户可以对各个媒体进行编排，由此决定何种媒体何时以何种时空关系表现出来。多媒体通信同步则属于中层同步，即合成同步，它的作用就是将不同媒体的数据流按一定的时间关系进行合成。多媒体通信同步的要求是分布系统同步的最基本的要求，是其他同步功能的基础。1.3 多媒体同步研究的意义随着语音，图像压缩技术的不断突破，和数据宽带移动互联网的增加，开发新一代高品质的多媒体移动终端的客观条件已经成熟。新一代的终端的研究和应用是在无线互联网的同时音频和视频通信的重要方向之一。音频和视频对象的表现，即动态再现声音和图像序列，同步是非常重要的。音频信息的需求，以保持其连续性和变化必须是同步的视频信息，音频信息的
7、变化。我们必须在发送器和接收器同步控制，恢复的数据之间的时间同步。因此，多媒体同步研究的问题具有重要的理论意义和实践意义。2、多媒体同步方法及比较早期对多媒体同步的研究主要集中在对多媒体流的同步，已经提出了一些同步方法。例如分层同步、时间轴同步、参考点同步等方法，随着高速网络的发展，多媒体流在网络上或分布式系统中的同步问题变得非常突出。传统的多媒体流同步技术不能解决网络多媒体流同步的问题。目前开展这方面的研究也极为活跃。提出了一些同步方法。2.1 分层同步法分层同步法是基于分层同步模型基础上的一种同步方法，主要基于两种同步操作：一种是动作的串行同步；另一种是动作的并行同步。该方法的优点是易于操
8、作并且应用广泛，但其限制是每一个动作只能在起点和终点进行同步。这就使得分层同步法不能支持多媒体对象内部结构的适当抽取，从而无法实现灵活的交互操作。另外，还存在一些不能由分层结构来描述的同步情况。在分层同步法中，把多媒体对象看成一个树型结构，由串并行演示子树组成。主要基于动作的串行同步和动作的并行同步两种操作。动作可以是原子的，也可以是复合的。原子动作管理着一个媒体或一个用户输入或一个延时的播放，复合动作是原子动作和同步操作的组合。优点：层次清晰、管理方便；缺点：同步仅在动作开始和结束时进行。2.2 时间轴同步法时间轴同步法是基于时间轴同步模型，是将所有独立的对象依附在一个时间轴上进行描述，去掉
9、任何一个对象都不会影响其他对象的同步。这种同步方法是维持一个整体时间，每个对象可以将整体时间映射到它的局部时间，并由此局部时间表现。当局部时间与整体时间的误差超出一个指定门限时，则需要重新与整体时间进行同步。通过时间轴方法同步的对象可以较好地从单媒体对象和多媒体对象的内部进行抽取。然而，多媒体流之间的相关性使得基于整体时间的同步方法不能有效地表述不同流之间的同步情况。浅谈多媒体同步技术 通信 1104 徐晓霞5它将互相独立的多媒体对象附加在一个时间轴上，丢掉一个对象不影响其他对象的同步，它维持一个全局的时间，每个对象都能得到它。每个对象可以从全局时间映射到局部时间，沿局部时间运行。当全局时间和
10、局部时间误差超过一个给定的范围时，两者要重新进行同步。它优于分层同步法。2.3 参考点同步法借助参考点的同步可把多媒体对象分为两类基本对象。动态基本对象由播放对象的序列（视频中帧）组成，周期性出现。每个播放对象的索引叫一个参考点。这样的单一媒体序列的同步叫作对象的内部同步。静态基本对象播放仅有两个参考点，即播放开始和结束。基本对象间的同步由参考点定义。一个参考点及其对应的基本对象称为一个同步元素，两个或两个以上的同步元素可结合为一个同步点。一个完整的对象之间同步由全部同步点组成的表定义。如果一个多媒体播放中对象总是变化的，用参考点同步就有问题。例如，要插入或删除视频图象中的一帧，就可能丢失同步
11、。2.4 时间戳同步法时间戳同步法把每个媒体间的数据流单元加进统一的时间戳（时间码） ，具有相同时间戳媒体单元同时进行播放，以达到媒体间同步的目的。时间戳同步法又分为绝对时间戳同步和相对时间戳同步。绝对时间戳同步使用绝对时间标识。相对时间戳同步使用全局时间和局部时间标识，它既可用于实时多媒体通信，也可用于多媒体信息存取，还可适应于多点通信，即同一信源发往不同目的地，不同信源发往同一接收地。2.5 同步标记法同步标记法是在发送端发出一个同步标记，接收端接收同步标记，用来对各个媒体进行同步处理以达到双方通信同步的目的。分为两种同步标记方法：辅助同步信道方法各媒体在不同信道上传输，专门增加一个信道来
12、传输媒体各路同步标记信息，指示各个媒体信道中的同步参考点。各同步点到达才开始输出。辅助信道还可传输控制信息；插入同步标记方法，发送端在每个媒体流中插入同步标记，每个媒体流通过不同信道传输，在接收方缓冲存储数据，直到所有信道中的同步都到达，才将已同步化的数据提交给用户。2.6 多路复用同步法多路复用同步法将多个媒体流的数据复用到一个数据流或一个报文中，从而使它们在多媒体传输中自然保持着媒体间的相互关系，以达到媒体间同步的目的。例如，分组交换网多媒体会议系统中，为每个会议建立一个多媒体虚电路，发送者将所有媒体流多路复用到该上，复合成一条顺序组织的分组报文流，保证了媒体间的同步。到接收端从把各种媒体
13、流解复用出来，提交给用户进程。虚电路多路复用同步方法，接收端无须重新同步，无须全网络同步时钟，也无须附加同步信道，故实现较简单。3.多媒体同步模型浅谈多媒体同步技术 通信 1104 徐晓霞63.1 同步机制的 4 层参考模型图 1：同步机制的 4 层参考模型多媒体信息同步技术涉及领域较大。同步机制的 4 层参考模型如图 1 所示，它由规定层、对象层、流层、媒体层 4 层组成。参考模型为多媒体信息同步技术的系统研究提供了可遵循的参照与思路，它规定了同步机制所应具有的层次关系以及各层需要实现的功能。(1)规定层：由多媒体应用生成的时域场景，是规定层的对象。规定层的核心是时域定义方案，其接口为用户提
14、供了使用时间模型描述多媒体数据时域约束关系的工具，如同步编辑器、多媒体文档编辑器、著作系统等。规定层产生的描述数据和定时要求，经由对象层的适当转换后进入由对象层、流层和媒体层所构成的同步机制。(2)媒体层：媒体层的处理对象是来源于连续视频、音频数据码流的基本信息单元（BIU） 。BIU 的大小在一定程度上取决于定时要求的内容，偏差的许可范围越小，BIU 越小；反之，BIU 越大。通常，视频信号的 BIU 为一帧图像，而音频信号的 BIU 则是由若干在时域上相邻的采样构成的一个集合。此外，媒体层对 BIU 的处理通常有时间限制，因而需要底层服务系统（如操作系统、通信系统等）提供必要的资源预留及相
15、应的管理措施。媒体层接口主要负责向上提供与设备无关的操作，而媒体层内部则主要完成两项任务：申请必要的资源与系统服务，为该层各项功能的实施提供支持；媒体层访问各类设备的接口，获取或提交一个完整的 BIU，例如，当设备代表一条数据传输通道时，在发端媒体层负责将 BIU 进一步划分成若干适合于网络传输的数据包，而收端的媒体层需要将相关的数据包组合成一个完整的 BIU。(3)流层：流层的处理对象是连续码流或码流组，主要完成流内部及流间同步两项任务。流内同步和流间同步是多媒体同步的关键，因而在同步机制的 3 个层次中，流层最为重要。流层接口向用户提供了一些功能函数，这些函数将连续码流作为一个整体来看待，
16、因而对该流层用户来说，流层利用媒体层的接口功能对 BIU 所作的各种处理是透明的。当多媒体应用直接使用流层的各接口功能时，连续数据与非连续数据之间的同步控制则由应用本身来完成。流层在对码流或码流组进行处理时，首先需要根据定时要求决定 BIU 的大小以及对各BIU 的处理方案。此外，流层还要向媒体层提交必要的 QoS 要求，这种要求由多 媒 体 应 用对 象 层流 层媒 体 层规 定 层浅谈多媒体同步技术 通信 1104 徐晓霞7定时要求推导出来，是媒体层对 BIU 的处理应当满足的条件，如传输 BIU 时，BIU 的最大延时及延时抖动范围等。媒体层将依照流层提交的 QoS 要求，向底层服务系统
17、申请资源及 QoS 保障。在执行 BIU 处理方案的过程中，流层负责维持连续媒体对象内及对象间的偏差在一定许可范围之内，即实施流内与流间的同步控制。(4) 对象层：对象层能够对不同类型的媒体对象进行统一处理，从而对用户隐藏了连续媒体对象和非连续媒体对象之间的差异。对象层的主要任务是实现连续媒体对象与非连续媒体对象之间的同步以及具体完成对非连续媒体对象的处理。与流层相比，对象层同步控制的精度较低。对象层在处理多媒体对象之前，首先需要完成两项工作：由规定层提供的描述数据出发，推导出必要的调度方案。为了确保调度方案的合理性与可行性，在推导过程中，对象层除了要以描述数据为根据外，还要考虑各媒体对象的统
18、计特征及定时要求的内容，同时对象层还需要从媒体层了解底层服务系统现有的资源状况；进行必要的初始化工作，对象层首先将调度方案及定时要求中与连续媒体对象相关的部分提交给流层并要求流层进行初始化，然后对象层将要求媒体层向底层服务系统申请必要的资源与 QoS 保障服务，并完成其他一些初始化工作。3.2 多媒体的时序同步模型以下为两个对象之间的七种典型的时序关系：(a)A before B(b) A overlaps B(c) A starts B(d) A equals B(e) A meets BABAAABBB浅谈多媒体同步技术 通信 1104 徐晓霞8(f) A during B(g) A finishes B4、结束语随着多媒体通信技术的发展，多媒体对象的同步技术显得日益重要。本文简述了多媒体同步的概念、要求、各种典型的同步方法及模型。从中可以看出各同步传输技术存在有较大的传输差异，需要通过建立具有不同服务质量和传输控制机制的传输信道来传送，然后在接收端进行同步处理。相对其他同步通信方案而言，相对时间戳方案能更好地满足多媒体通信媒体间同步的需要。总之，为了达到多媒体传输的服务质量，同步将成为关键。AAABBB
