1、流媒体技术的应用及其发展趋势(华中科技大学电子与信息工程系 武汉 430074)摘 要 流媒体是一种以音视频数据流的方式在网络上传递多媒体信息的技术，具有实时性和连续性的特点。本文从流媒体技术的基础和系统结构入手，主要就流媒体技术的应用和未来发展趋势进行了探讨。关键词 流媒体 应用0 引 言近年来，随着网络宽带的发展和用户需求的驱动，流媒体技术和相关的应用得到越来越多的关注，随时随地观看的方式深受教育、娱乐等行业的喜爱，被认为是未来高速宽带网络的主流应用之一。在网络上传输音视频等多媒体信息目前主要有下载和流式传输两种方案。音视频文件一般都较大，所以需要的存储容量也较大；同时由于网络带宽的限制，
2、下载常常要花数分钟甚至数小时，所以这种处理方法延迟也很大。流式传输时，声音、影像或动画等时基媒体由音视频服务器向用户计算机的连续、实时传送，用户不必等到整个文件全部下载完毕，而只需经过几秒或十数秒的启动延时即可进行观看。当声音等时基媒体在客户机上播放时，文件的剩余部分将在后台从服务器内继续下载。流式不仅使启动延时成十倍、百倍地缩短，而且不需要太大的缓存容量。流式传输避免了用户必须等待整个文件全部从 Internet 上下载才能观看的缺点。本文首先概要的介绍了流媒体技术的基础和流媒体系统的基本结构，接着重点介绍了流媒体技术的应用，最后对流媒体技术未来的发展趋势进行了探讨。1 流媒体技术基础所谓流
3、媒体技术，就是将连续的影像和声音信息经过压缩处理后放到网络服务器上，让浏览者一边下载一边收看、收听，而不需要等到整个多媒体文件下载完成就可以即时观看的技术。它是一种解决多媒体播放时网络带宽问题的技术。流媒体技术并不是单一的技术，它是融合很多网络技术之后所产生的技术，涉及到流媒体数据的采集、压缩、存储、传输以及网络通信等多项技术。采用流媒体技术由于不需要将全部数据下载，因此等待时间可以大大缩短，也节省了大量的磁盘空间。流媒体作为在互联网上实时传输多媒体文件的技术，前景被一致看好。流媒体指在 Internet 中使用流式传输技术的连续时基媒体，如：音频、视频或多媒体文件。流式媒体在播放前并不下载整
4、个文件，只将开始部分内容存入内存，流式媒体的数据流随时传送随时播放。流媒体技术的核心技术是流(Streaming)技术和高压缩技术，使多媒体视音频信息以边下载，边播放的形式提供服务。流式传输，表示声音、影像或动画等媒体由视频服务器向用户计算机连续、实时地传送。流式传输的实现需要缓存。因为 Internet 以包传输为基础进行断续的异步传输，对一个实时音视频源或存储的音视频文件，在传输中它们要被分解为许多包，由于网络是动态变化的，各个包选择的路由可能不尽相同，故到达客户端的时间延迟也就不等，甚至先发的数据包还有可能后到。为此，使用缓存系统来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使媒体
5、数据能连续输出，而不会因为网络暂时拥塞使播放出现停顿。通常高速缓存所需容量并不大，因为高速缓存使用环形链表结构来存储数据：通过丢弃已经播放的内容，流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容。流式传输的过程一般是这样的：用户选择某一流媒体服务后，Web 浏览器与 Web 服务器之间使用HTTP/TCP 交换控制信息，以便把需要传输的实时数据从原始信息中检索出来；然后客户机上的 Web 浏览器启动程序，使用 HTTP 从 WEB 服务器检索相关参数。这些参数可能包括目录信息、音视频数据的编码类型或与音视频检索相关的服务器地址.对于流媒体来说，目前比较常见的几种流媒体格式有微软的.as
6、f，RealNetworks 公司的.rm、.ra 、.rmvb 以及苹果公司的.mov 等。2 流媒体系统的基本结构一个基本的流媒体系统包括编码器、服务器和播放器三部分。编码器对原始的音、视频数据进行一定格式的压缩编码，编码的方式有实时和非实时两种，常用的音频编码器主要有 MP3，常用的视频编码器主要有 MPEG-4、H.261、H.263 和 H.264 等，其中 H.264 视频编码器无论是在编码效率还是在图像质量上都优于其它现有视频编码器。服务器负责将编码数据封装成 RTP 数据包发送到网络中。每次从节目中获取一帧数据，然后分成几个 RTP 数据包，并将时间戳和序列号添加到 RTP 包
7、头，属于同一帧的数据包具有相同的时戳。一旦到达数据包所应播放的时间后，服务器便将这一帧的音视频数据包发送出去，然后再读取下一帧数据。客户端每次从队列头部读取一帧的数据，从包头的时间戳中解出该帧的播放时间，然后进行音视频同步处理。同步后的数据将送入解码器进行解码，解码后的数据被送入一个循环读取的缓存中等待。一旦该帧的播放时间到达，解码数据就会从缓存中取出，送入播放模块驱动底层硬件设备进行显示或播放。3 流媒体技术的应用3.1 在线直播目前在线直播（或称为网络直播）已经得到了迅猛发展，已经从实验阶段走向了实用阶段，并能够提供较满意的音、视频效果。许多高校也已提供了在线直播业务，提供的内容涵盖实时教
8、学、校园电视、其他电视节目转播等。并且通过 Multicast（多址广播）技术大大减少服务器端的负荷。当前流行的PPLive、 PPStream 都是在线直播的具体应用。3.2 视频点播视频点播技术已经不是什么新鲜的概念了，最初的 VOD 应用于卡拉 OK 点播，当时的 VOD 系统是半自动的需要人工参与。随着计算机的发展，VOD 技术逐渐应用于局域网及有线电视网中，此时的 VOD 技术趋于完善，但有一个困难阻碍了 VOD 技术的发展，那就是音视频信息的庞大容量。此时流媒体技术出现了，在视频点播方面我们完全可以遗弃局域网而使用互联网，由于流媒体经过了特殊的压缩编码，使得它很适合在网络上传输，由
9、于采用了先进的负载均衡技术，可对大规模的并发点播请求进行分布式处理，使其能适应大规模的点播环境。3.3 视频会议视频会议是流媒体技术的一个重要应用方面，通过流媒体我们还可以进行点对点的通信，最常见的例子就是可视电话和视频会议系统。只要我们有一台已经接入互联网的电脑和一个摄像头，就可以与世界任何地点的人进行音、视频的通信。此外，具有多个分校区的院校可以利用基于流技术的视频会议系统来组织跨校区的会议和讨论，从而节省大量人、财、物的开支。当然目前视频会议技术可大致分为主要由软件实现的桌面视频会议系统和主要由硬件实现的会议室型视频会议系统，两者在价格、性能和音视频效果上都有较大差别，各高校在实际采购部
10、署中也采用了不同的方案，有纯桌面型的，有纯会议室型的，也有两者结合的，需求不同，其应用方式自然不同。3.4 远程教育电脑的普及、多媒体技术的发展以及网络的迅速崛起，给远程教育带来了新的机遇，世界各国都正大力开展包括网络教育在内的远程教育。在远程教学过程中，最基本的要求是将信息从教师端传递到远程的学生端，需要传递的信息可能是多元化的，这其中包括各种类型的数据：如视频、音频、文本、图片等。将这些资料从一端传递到另一端是远程教学需要解决的问题，而如何将这些信息资料有效的组合起来以达到更好的教学效果更是我们需要思考的重要方面。由于当前网络带宽的限制，流媒体无疑是最佳的选择。同时就目前来讲，能够在远程教
11、学活动中进行多媒体交互教学的技术多为流媒体，像RealSystem、Flash 等技术就经常应用到远程教学中。远程教育是对传统教育模式的一次革命，它能够集教学和管理于一体，突破了传统“面授”的局限，为学习者在空间和时间上都提供了极大便利。4 流媒体技术未来的发展趋势4.1 IPTV据国际电信联盟 ITU 在 2004 年 9 月的一份报告指出，全球的宽带用户已经在去年底首度突破 1 亿大关，其中中国电信的宽带用户就超过了一千万，用户的主要接入方式是 ADSL 和以太网线，其实际的连接速率可以达到 1Mbit/s。而且随着高性能的编码技术的采用，如 H.264 和最新的 Windows Medi
12、a 视频编码器，800Kbit/s 的视频流就可以接近或达到 DVD 质量。在这种情况下，扩展流媒体技术用来提供电视服务也就顺理成章了。IPTV，也叫交互式网络电视，就是利用流媒体技术通过宽带网络传输数字电视信号给用户，这种应用有效地将电视、网络和 PC 三个领域结合在一起，具有很强的发展前景。IPTV 可以采用两种不同的方式提供用户电视服务，组播或者广播方式和视频点播(VOD) 方式。一个明显的优势是 IPTV 是基于现有互联网的方式来实现服务器和用户终端的连接，因此很容易同时提供现有的互联网的服务，将电视服务和互联网浏览、电子邮件，以及多种在线信息咨询、娱乐、教育及商务功能结合在一起。4.
13、2 无线流媒体2.5G，3G 以及超 3G 无线网络的发展也使得流媒体技术可以被用到无线终端设备上，目前中国联通公司提供 CDMA 1x，用户网络带宽最多可以达到 100Kbit/s，这已经足够提供 QCIF 大小的流媒体服务；而且随着 3G 无线网络的应用，用户的网络带宽可以达到 384Kbit/s。另一方面，手机设备运算能力越来越强，存储空间越来越大，不用说 SMART Phone 和 Pocket PC 等高端手机，就是一般的中档手机也能实现基本的H.264 的软件解码。面向无线网络的流媒体应用对当前的编码和传输技术提出了更大的挑战，首先，相对于有线网络而言，无线网络状况更不稳定，除去网
14、络流量所造成的传输速率的波动外，手持设备的移动速度和所在位置也会严重地影响到传输速率，因此高效的可自适应的编码技术至关重要。其次，无线信道的环境也要比有线信道恶劣得多，数据的误码率也要高许多，而高压缩的码流对传输错误非常敏感，还会造成错误向后面的图像扩散，因此无线流媒体在信源和信道编码上需要很好的容错技术。尽管手机设备的运算能力越来越强，但是由于它是由电池供电的，因此编解码处理不能太复杂，并且最好能够根据用户设备的电池来调整流媒体的接收和处理，能源管理技术也是移动流媒体的一个研究热点。4.3 电子家庭现代家庭中的越来越多的设备可以用来采集、接收、发送和播放多媒体数据。如人们可以通过电视来收看电
15、视节目，通过 PC 机在互联网上欣赏流媒体节目，通过自己的数字相机和摄像机来拍摄图像和视频，通过手机和其他手持设备来发送彩信，通过汽车的音响系统来欣赏音乐和广播。并且家庭中的网络连接也是多样化的，如电视连接有线电视网，PC 机连接着互联网，手机连接着无线网络，而且这些设备也能在家里通过蓝牙或 802.11 无线网络协议连接在一起。所有这些设备所收到的多媒体数据如何在家庭网络和设备间共享，为流媒体的发展提供了一个更大的舞台，真正实现一种无所不在、随心所至的多媒体服务，让多媒体真正地像液体一样自由流动起来。流媒体在家庭网络应用中的关键是如何使多媒体数据能够适应不同的设备的能力，如在电视和 PC 机
16、中播放的视频的大小可能是标清甚至是高清，但是同样的内容就可能需要经过流媒体系统有效的转换才能成为最适合在手持设备上播放的媒体。4.4 编码新技术(1) 高效的编码技术流媒体系统中的多媒体数据要通过网络来传输给用户，高效的编码技术可以极大地降低流媒体系统对网络带宽的要求。目前标准化和商业化的视频编码技术都是基于运动补偿和 DCT 变换的，从早期的MPEG1 和 H.261，到最新的 MPEG-4、MPEG-7、H.264 和 Windows Media 视频编码器都采用了这个框架。在这个框架中，运动估计和补偿模块用来消除相邻图像间的冗余信息，熵编码模块用来消除编码信号的冗余性，变换量化模块根据人
17、的视觉系统对视频信号的细微变化的不敏感性丢失部分信息，从而提高压缩比。在这个编码框架下，过去十多年的时间内编码技术取得了很大的发展，事实上，MPEG-4 AVC/H.264 标准的编码效率要比 MPEG-1 提高了 4 倍左右，除去更精细的运动补偿和基于上下文的熵编码外，帧内预测，多参考帧的预测，环路滤波和率失真优化技术也极大地提高了该标准的性能。(2) 可伸缩性编码技术前面我们也讨论过，在流媒体应用中需要解决的一个基本问题是网络带宽的波动，不同的人在不同的时刻使用互联网和无线网络时，得到的数据传输率存在着很大的差异;甚至同一个人在同一个时刻，哪怕是在传输同一个视频流，实际的数据传输率也会存在
18、较大的波动。目前在流媒体系统中所用的编码技术都是生成固定码率的码流，它们很难适应如此复杂的网络带宽的波动。一个有效的方法是采用可伸缩性的视频编码，MPEG-4 和 H.263 标准中就包含了分层的可伸缩性的视频编码，它们提供一定的适应网络带宽变化的能力，但是在流媒体应用中人们更期望视频编码技术能提供精细的码流可伸缩性，MPEG-4 FGS 就是一种这样的编码技术，目前 MPEG-21 可伸缩视频编码组正在研究两套编码方案：高效的 FGS 编码方案和 3D 小波编码方案。(3) 多媒体标准技术多媒体编码标准在流媒体里是至关重要的。一方面标准的制定和执行确保不同厂家和服务商之间可以互通互联，另一方
19、面标准里的知识产权也是商家必争之处。掌握了标准里的知识产权，在竞争的时候就有很大的主动权。所以很多商家乃至政府部门都在全力推出自己的知识产权到各种国际标准里去，甚至打造自己的产业或国家标准。(4) 对等网络技术(P2P)P2P 是当前互联网上较热门的技术，已应用到网络文件共享、MP3 下载和电视直播等方面。其基本思想是通过 P2P 技术，除了可跟服务器交互外，每个用户还可以共享他的文件或信息给其他用户。P2P 技术也可以应用到流媒体，每个流媒体用户也是一个 P2P 中的一个节点，在目前的流媒体系统中用户之间是没有任何联系的，但是采用 P2P 技术后，用户可以根据他们的网络状态和设备能力与一个或
20、几个用户建立连接来分享数据，这种连接能减少服务器的负担和提高每个用户的视频质量。P2P 技术在流媒体应用中特别适用于一些热门事件， 即使是大量的用户同时访问流媒体服务器，也不会造成服务器因负载过重而瘫痪。此外，如果 P2P 技术与可伸缩性视频编码技术结合将能极大地提高每个用户所接收的视频质量。5 结束语随着流媒体技术的不断成熟和商业应用市场的不断扩大，带动了诸如流媒体技术、流媒体内容的存储和管理、流媒体终端、流媒体服务商、网络运营商、数字安全等不少市场的发展。我们也可以清醒的看到在流媒体技术的带给我们市场的同时，其中也存在着不少的问题。随着网络带宽的提高，技术方面的问题可能不会是制约流媒体产业发展的最大障碍，而目前流媒体关键还是要解决一些在实际商业中不可避免的问题，比如版权问题等。参 考 文 献1. 段艳红. 浅谈流媒体技术的主要应用与发展及影响J. 天津通信,2004,(12) .2. Steve Mack. 流媒体宝典M . 北京:电子工业出版社,2003.3. 刘守印,胡君红,彭新生. 实时传输协议RTP 的研究及其应用J . 计算机工程与应用:2001 (8) :34 - 37.4. 钟玉琢，向哲，沈洪. 流媒体和视频服务器M. 北京：清华大学出版社， 2003
