1、根据网络状况实时压缩视频的研究及实现舅 r30 卷第 21 期VoL302i计算机工程ComputerEngineering2004 年 11 月November2004?多媒体技术及应用? 文章编号 :1000-3428(2004)21oI4t-03 文献标识码:A 中围分类号:FN914.3根据网络状况实时压缩视频的研究及实现刘阎,彭宇行(国防科技大学计算机学院,长沙 410073)捕要:针对保证帧率不变的前提下,提出根据网络状况实时压缩视频的解决方法 ,并给出了实时压缩算法的软件实现,同时给出了模拟仿真实验数据和实验结果.实验表明,根据网络状况动态控制小波分解次数可以实现实时压缩视频,也
2、验证了本文提出的解决方法的正确性和可行性.关 t 诃:网络状况;离数小波变换;视频;实时压缩算法ReserchandImplementation0fRea1.timeVideoCompressionAccordingt0NetworkStatusLIUChuang.PENGYuxing(SchoolofComputerScience.NationalUniversityofDefenseTechnology,Changsha410073)AbstractForinvariableframerate,thispaperpresentsanapproachtotealtimevideocompre
3、ssionaccordingtoneW,OIkstatus.anditimplementsrealtimecompressionalgorithminthesoftware.Inaddition,itprovidesthesimulativeexperimentaldataandexperimentalresult.Fromtheexperiment,itmayimplementleadtimevideocornp,essionbydynamiccontroltotimesofwaveletanalysisaccordingtonelorkstatus.Anditverifiescorrect
4、nessandfeasibilityoftheproposa1.【KeywordslNetworkstatus;DWT;Video;Rea1.timeconlpressionalgorithm目前,在网上传输视频,为了适应带宽变化,通常采取两种方法:调整帧率和调整量化参数.这两种方法都是以速率失真原理(R?DRateDistortion)为基础的,通过调整这些编码参数,从而达到输出速率与网络可用带宽相匹酉己 I.简言之,就是采取丢帧或降低每帧图像质量以适应低带宽的要求.象 MPEG?4 采取的机制就是调整增强层视频对象平面VOP 的帧率来实现可缩放性【ql.其实,当传输实况视频时,可以直接控制
5、小波分解次数来实现实时压缩视频,因为小波分解次数越多增强层越多,小波分解次数越少增强层越少,面且这种方法可以保证帧率不变,比起传统方法会有更好的视频效果.同时由于帧率不稳定会造成图像不连续以及面闪烁和跳动,使图像质量变差.基于此,本文提出一种解决方法,即在保证帧率不变的前提下,根据网络状况动态调整小波变换的分解次数来实时压缩视频,达到调整压缩比,以适应带宽的变化.1 设计思想根据网络状况实时压缩视频的基本思想是:在保证帧率不变的前提下,根据网络状况,通过动态改变小波变换的分解次数来实现实时压缩视频,达到改变压缩比,以满足带宽变化的要求.具体地讲就是,当网络可用带宽降低时,通过减小小波变换的分解
6、次数,以减少增强层来达到增大压缩比降低速率,缓解低带宽的需求,然后,在带宽允许的条件下,再增大分解次数,进一步提高图像质量.根据网络状况实时压缩视频的编码器模型结构方框图如图 1 所示.该编码器是在内嵌零树小波编码器基础上增加了实时压缩控制单元.基本工作原理是:编码器在保证帧率不变的前提下 ,根据网络状况比如用户可用带宽,丢包率等反馈信息,在实时压缩控制单元的控制下,动态地调整小波变换的分解次数进行实时压缩视频,以达到动态调整压缩比,最大限度地满足带宽变化的要求.图 l 中视频流帧逻辑结构图如图 2 所示.每一l4 一广一萎Ll 兰竺竺兰 I 磊石五一圈 l 根据冈络状况实时压缩视菝帕编码器模
7、型结构方括圈视频帧比特流发送方向_囡_最高分辨率的增强层中等分辨率的增强层基本层圈 2 视颤漉奠逻辑结构圈基金项目:国家“863“课题基金资助项目(2001AAI12072)作者筒介:刘闯(1972 一), 男 ,硕士,主要从事多媒体应用技术研究;彭宇行,博士,研究员,教授,博导收稿日期:2003.09.08E-mail:liuchuang200l163.tom2 小波变涣分.I由多分辨率分析模型,可以得到fix)=至 c()=,()+,()(1)其中,clTl 可以看作 fix)按周期 2-的采样值.ln_n(x)和(x)是小波函数.现在,引入两个滤波器:一一g:42I2x 一七)()(2)
8、一.=42I2x 一七 )()(3)将式(1)两边分别乘以 (x)和 x),再分别积分,经变形后可以得到系数表达式:n 一.厶 Cg 一 2y(4),:C ,(5)上面两个表达式就是 Mallatd波算法的数学描述.设厂 )表示髑级分辨率下的基本层图像,其中(k,1) 表示像素点在 f【k,1)中的坐标.厂,),“), 厂,)分别表.示髑级分辨率下的 3 个增强层图像.对于图像压缩,用到的.二维离散小波变换的 Mallat 算法为输入:,.】输出:/,),(),f2. j】小波分解:()=厂 _l()(m.“)=gk-2J.h 一“f,( 女,)厂:,(m,);z, 一:0,(七,)一 tJ,
9、(m,):,“厂一.(./)小波分解过程是:对于 NN 像素的图像,第一层分解,首先用一个低通滤波器和一个高通滤波器分别对图像的每一行滤波,并丢弃偶数行(第一行为第 0 行).接着,再分别对两个N 阵列的每一列进行滤波,并丢弃偶数列 (第一列为第 0 列).其结果就是该层变换所得的 4 个詈的矩阵.这样,二维小波变换可以快速计算,变换过程能执行到层,小波分解次数为_jlogaN,总的子带数为 3*j+l.如果变换系数能计算到浮点精度,那么小波逆变换重建的图像就只有微小的失真.3 软件实现本文的软件实现部分关键是在调用小波变换函数之前,实现如何根据网络状况参数比如用户可用带宽,丢包率来控制小波变
10、换的分解次数,以达到实时压缩视频的目的.在软件实现方面,主要就所做的模拟仿真实验来具体阐述.首先给出根据网络状况参数(用户可用带宽)来控制小波变换分解次数的程序流程图,如图 3 所示.程序算法实现如下:ifI 可用带宽大于等于时 )f0:大于等于时,确定出小波分解该增大到的次数;);elsetbr(vb 于时,确定出小波分解该减小到的次数:);Idwt()/,代入经过判断得出的分解次数调用小波变换函数.小于时,确定出小波分解该减小到的次数读取用户可用带宽“大干等于当前分解次数所要求的网络带宽?/上大于等于时,确定出小波分解该增大到的次数l 根据判断得出的分解次 I.1 数进行相应的小波变换 I
11、田 3 程序漉程田4 实验结果为了易于模拟仿真实验的实现同时不失一般性,实验程序用的数据是最小通用数据块,即 88 像素块.另外,由于反馈的网络状况可以看作是一个随机过程.因此在实际做实验时,用随机产生的整数 l,2,3 来代替由具体网络状况判断而得到的小波分解次数.原始图像 88 像素块:经小波分解 1 次后的小波系数一212341648-32551932524263735182171610125912ll143421702013ll0206195000063025101004-411010300l6经小波分解 2 次后的小波系数:571249104832536914132426373515
12、143121012599_71484.2.170-2013ll0206195000063025101004-4l101030016经小波分解 3 次后的小波系数:63l 一 3449104832531l2314-I32426373515143121012599_71484-2-170-2013ll0206195000063025101004-41101030016编译运行模拟仿真实验程序,观察屏幕实时输出的小波-I4l 一分解次数及小波系数情况(如上实验数据所示),可以得出结论:根据网络状况动态控制小波分解次数可以实现实时压缩视频.实验也验证了本文提出的解决方法的正确性和可行性.为进一步研究后
13、续的编码和解码工作奠定了技术基础.同时,该方法可扩展性强,可移植性好,只要视频压缩算法支持视频分层编码,该方法都可移植上去,非常方便且易于软件实现,具有广阔的应用前景.参考文献lWuDapeng,HouYT,ZhangYaqing.TransportReal-timeVideoovertheIntemet.In:ChallengesandApproaches.IEEE,2000,88(Y)2ZhangQ,ZhuW,ZhangY.NetworkadaptiveRateControlwithTCPFriendlyProtocolforMultipleVideoObject.NewYork:IEEE
14、Inter?nationalConferenceonMultimediaandExpo(ICME),20003ChiangT,ZhangYP.ANewRateControlSchemeUsingQuadraticRateDistortionMode1.1EEETrans.CircuitsSyst.VideoTechno1.1997.7:2462504 王荣国,卜佳俊,陈纯.基于 MPEG-4 的视频流传输柜架.东莞:第十一届全国多媒体技术学术会议论文集,2002:3593645 崔锦泰,程正兴译.小波分析导论.西安:西安交通大学出版社 ,l9956 秦前清,杨宗凯.实用小波分析.西安:西安电子
15、科技大学出版社 ,l9957DarbechiesI_TheWaveletTransform,TimeFrequencyLocalization,andSignalAnalysis.IEEETrans.Inform.Theory.1990.36:96I-l0058StungG,NguyenT.WaveletandFilterBanks.WillesleynMA:WellesleyCambridge,l9969 张健,陈孝威.一种基于小波变换的低码率视频编解码器.东莞:第十一届全国多媒体技术学术会议论文集.,2002:24.30lO 张益贞,刘滔.数字图像分析与处理技术.北京:人民邮电出版社,20
16、02:72-88,342.348(上接第 84 页)2)服务请求 :在服务发现和注册后,当客户办公设备驱动和网络办公设备之间开始进行通信时,SLM 将被打开,即“ 打开服务“;数据将被发送到 SLM.开始执行本地 SLM 与远程 SLM 之间的数据传输,此时是“传输数据 “阶段;当数据传输结束后,由客户向网络办公设备发送“关闭服务 “的请求,得到回答后客户与网络办公设备的通信结束.服务请求过程中 SLM.API 函数和 SMP 消息流程如表 2 所示.震 2 远程打开服务,传敦据和关闭服务蠢程办公设备本地 SLM 远程 SLM 网络办公设备驱动功能单元slmOpenService()一“打开服
17、务“ 一fnOpenService()nOpenService()“打开服务“ 一,-slmOpenService()slmTransferDataO“传输数据“ 一,-slmTransferData()fnReceveDataq【卜+一 fnReiveData(),-slmTransferData()一“传输数据“+.fnReceiveData0slmTransferData(卜+fnReceiveDataOslmCIoseService(卜+“关闭服务“ 一fhCl0sf:Service()一+一 fnCoseService()一“ 关闭服务“.-slmCIoseService()(2)办
18、公设备功能单元及 Salutation 个性协议SLM 与上一层的网络办公设备驱动模块的接口为客户应用提供了对网络办公设备 3 种功能单元及其个性协议的操作:【Print功能单元,为客 ppc 机提供打印服务来打印远程打印设备上的文档以及查询打印工作和设备的不同状态,包括的消息主要有 Print,VendorEscape 等; 【FAXDataSend和一l42 一【FaxData功能单元 ,为远程服务提供通过电话网络的传真协议发送文档或数据的能力,包括的消息主要有 SendFAX等;【DOCStorage功能单元 ,为远程客户存储和获取文档及文件数据提供接口,用于由扫描,打印或传真操作处理的
19、文档数据的临时假脱机存储,并为客户提供获取这些存储(扫描_.文当,在传真上收到的文档等)的方法,包括的消息主要有:RetrirveDoc,StoreDoc,DeleteDoc,CopyDoc 等.此外还用到了 Salutation 个性协议的一些公用的消息,如RequestDataTransfer,DataBIockDescription,TransferDataBlock 等数据传输消息.通过有关命令和消息,客户对网络办公设备中的功能单元进行读取,删除等操作.(3)编/解码传输驱动程序开发中的数据描述方式是 ASN.1(抽象语法标记).首先根据 ASN.1 规范来描述 Salutation 协议,然后利用ASN.1 编译器进行转化,得到 C 语言相应的数据结构表示形式,再通过相应的编/解码器就可生成能够在通信媒介中传递的模式,这样可以使互联的异型系统相互之间具有互操作
