1、多媒体信息技术 2013,计算机与信息学院,主要内容,6.1 视频压缩标准6.2 视频压缩标准对比6.3 MPEG视频编码标准算法6.4 MPEG音频编码标准算法6.5 H.26X系列压缩标准简介,多媒体信息技术 2013,计算机与信息学院,6.1 视频编码标准 （1）,视频编码的国际标准，包括计算机与网络领域的MPEG系列与电子与通信领域的H系列。MPEG系列标准:1988年由ISO 和IEC 联合成立了MPEG(Moving Picture Expert Group运动图像专家组)，负责开发视频数据和声音数据的编码、解码和它们的同步等标准。这个专家组开发的标准称为MPEG标准。到目前为止，
2、已经公布的MPEG标准有MPEG-1/2/4/7/21/B，其中的MPEG-1、MPEG-2和MPEG-4标准已经得到广泛应用。H.26x系列标准 :ITU-T及其前身CCIR制定了一系列音视频压缩编码和通信技术标准。其中的ITU-T H.26x是与MPEG类似的视频编码系列标准 .,多媒体信息技术 2013,计算机与信息学院,6.1 视频编码标准 （2）,多媒体信息技术 2013,计算机与信息学院,视频压缩标准发展历史,ITU:,ISO/IEC:,H.261,H.262,H.263H.263+,H.264,MPEG1,MPEG2,MPEG4 (Part2),MPEG7,MPEG21,MPEG
3、4(Part10),多媒体信息技术 2013,计算机与信息学院,6.1.1 MPEG视频编码标准 （1）,MPEG(Motion Picture Experts Group)是运动图像专家小组的英文缩写。这是一个为视频压缩开发制造与平台独立标准的全球性组织。MPEG的活动始于1988年。JPEG和MPEG都是在ISO领导下的专家小组，其成员也有很大的交叠。JPEG的目标集中于静止图像压缩，而MPEG的目标是针对活动图像的数据压缩，但静止图像与活动图像有密切关系。最初MPEG专家组的工作项目是3个，即在1.5Mbps，l0Mbps，40Mbps传输速率下对图像编码，分别命名为MPEG-1，MPE
4、G-2，MPEG-3。l992年，MPEG-2适用范围扩大到HDTV，能支持MPEG-3的所有功能，因而MFEG-3被取消。MPEG-1：ISO/IEC 11172MPEG-2：ISO/IEC 13818MPEG-4：ISO/IEC 14496 MPEG-7：ISO/IEC 15938MPEG-21：ISO/IEC 21000,多媒体信息技术 2013,计算机与信息学院,MPEG-1 标准,MPEG-1即“用于数字存储媒体运动图像及其伴音速率为1.5Mbps的压缩编码”,于1992年正式出版。MPEG-1的任务主要是，将视频信号及其伴音以可接收的重建质量压缩到约1.5Mbps的码率，并复合成一
5、个单一的MPEG位流，同时保证视频和音频的同步。MPEG-1 是VCD视频的压缩标准。,多媒体信息技术 2013,计算机与信息学院,MPEG-1标准,分4个部分MPEG系统：定义音频、视频及有关数据的同步；MPEG视频：定义视频数据的编码和重建图像所需的解码过程，亮度信号分辨率为360240，色度信号分辨率为180120；MPEG音频：定义音频数据的编码和解码；一致性测试。,多媒体信息技术 2013,计算机与信息学院,MPEG-2标准,MPEG-2标准于1994年公布，包括系统部分、视频部分、音频部分及符合性测试部分。 MPEG-2编码标准希望囊括数字电视、图象通信各领域的编码标准，MPEG-
6、2按压缩比大小的不同分成五个档次(profile)，每一个档次又按图象清晰度的不同分成四种图象格式，或称为级别(level)。五个档次四种级别共有20种组合，但实际应用中有些组合不太可能出现，较常用的是11种组合。MPEG-2 是DVD视频的压缩标准。MPEG-2增加了许多MPEG-1所没有的功能：例如增加了隔行扫描电视的编码，提供了位速率的可变性能(scalability)功能。MPEG-2要达到的最基本目标是：位速率为49 Mbit/s，最高达15 Mbit/s。,多媒体信息技术 2013,计算机与信息学院,MPEG-4 标准,MPEG-4标准于1998年公布，是为了播放流式媒体的高质量视
7、频而专门设计的，它可利用很窄的带度，采用了全新的压缩理念，通过帧重建技术，压缩和传输数据，以求使用最少的数据获得最佳的图像质量，并将之作为网络上传送之用。 MPEG-4 可把DVD内MPEG-2的视频文件转换为体积更小的文件。还包含了以前MPEG压缩标准所不具备的比特率的可伸缩性、动画精灵、交互性甚至版权保护等一些特殊功能。,多媒体信息技术 2013,计算机与信息学院,MPEG-7 标准,MPEG-7 是“多媒体内容描述接口”, (Multimedia Content Description Interface) 。准确说来， MPEG-7并不是一种压缩编码方法，继 MPEG-4之后，要解决的
8、矛盾就是对日渐庞大的图像、声音信息的管理和迅速搜索。MPEG7就是针对这个矛盾的解决方案。 其目标就是产生一种描述多媒体信息的标准 , 并将该描述与所描述的内容相联系 , 以实现快速有效的检索。只有首先解决了多媒体信息的规范化描述后 , 才能更好地实现信息定位。该标准不包括对描述特征的自动提取。,多媒体信息技术 2013,计算机与信息学院,MPEG-7 标准,检索的媒体材料可包括静态图像、图形、3D模型、声音、话音、电视以及在多媒体演示中它们之间的组合关系。在某些情况下，数据类型还可包括面部特性和个人特性的表达。 MPEG-7 标准可以独立于其他 MPEG 标准使用 , MPEG-7 的适用范
9、围广泛 , 既可以应用于存储,也可以用于流式应用,它还可以在实时或非实时的环境下应用。,多媒体信息技术 2013,计算机与信息学院,MPEG-21 标准,MPEG-21 标准是多媒体框架和综合应用方面的框架。该标准致力于在大范围的网络上实现透明的传输和对多媒体资源的充分利用。其目标就是将各种标准集成起来以协调各种技术，管理多媒体商务。,多媒体信息技术 2013,计算机与信息学院,6.1.1 MPEG视频编码标准 （2）,多媒体信息技术 2013,计算机与信息学院,6.1.1 MPEG视频编码标准 （3）,分块,MPEG-1视频 编码器框架,多媒体信息技术 2013,计算机与信息学院,6.1.2
10、 H.26x系列标准及其应用（1）,H.26X。由CCITT（Consultative Committee of International Telegraph and Telephone 国际电报电话咨询委员会，从1993年3月1日起，改组为ITU）制定的标准。包括H.261、H.263、H.264，简称为H.26X主要应用于实时视频通信领域H.261：是ITU-T为在综合业务数字网（ISDN）上开展双向声像业务（可视电话、视频会议）而制定的，速率为64kb/s的整数倍。H.261只对CIF（352288）和QCIF（176144）两种图像格式进行处理。H.261是最早的运动图像压缩标准。C
11、IF格式：352288、QCIF格式：176144、29.97帧/秒编码：DCT+运动补偿+视觉加权量化+熵编码,多媒体信息技术 2013,计算机与信息学院,6.1.2 H.26x系列标准及其应用（2）,H.262运动图像和伴音信息的通用编码(Information technology - Generic coding of moving pictures and associated audio information: Video)。ITU-T 于1990年成立了“ATM视频编码专家组”，负责制定适用于B-ISDN信道ATM编码传输标准。该专家组于1993年11月与ISO的MPEG专家组
12、联合提出了H.262建议草案（MPEG-2），用于数字存储介质和数字视频通信中图像信息的编码表示和解码规定。该标准向下兼容，能够在很宽的范围内对不同分辨率和不同输出比特的图像信号有效的进行压缩。1995年7月通过，与MPEG-2共同作为ISO/IEC 13818标准（HDTV、DVD）格式： 低352288 主720480或576 高-144014401080或1152 高19201080或1152 25或29.97帧/秒编码：同H.261,多媒体信息技术 2013,计算机与信息学院,6. 1.2 H.26x系列标准及其应用（3）,H.263低比特率通信的视频编码(Video coding f
13、or low bit rate communication)，1998年2月制定，为低比特率/可变比特率视频编码标准（PSTN网、无线网、因特网）格式：CIF与QCIF格式同H.261Sub-QCIF格式：128964CIF格式：70457616CIF格式：14081152编码：H.261+非限制运动矢量模式+基于语法的算术编码+高级预测+PB帧,多媒体信息技术 2013,计算机与信息学院,6. 1.2 H.26x系列标准及其应用（4）,H.264针对通用音视频服务的先进高级视频编码（Advanced video coding for generic audiovisual services）
14、，2003年5月批准，H.264是由ISO/IEC的MPEG与ITU-T的VCEG（Video Coding Experts Group视频编码专家组）联合组成的JVT（Joint Video Team联合视频组队）共同制定的，MPEG的对应标准为MPEG-4的第10部分MPEG-4/AVC。格式：同H.263编码：采用先进视频编码（AVC）= H.263+多参考帧和变块尺寸运动补偿+1/4像素精度的运动估值+基于上下文的二元算数和变长编码+冗余条带+补充增强信息和视频可用信息+辅助图层+图像顺序计数+柔性宏块+排序+整数DCT变换+分层编码+错误约束机制+错误掩盖技术+高效比特流切换技术。通
15、过引入多种先进的编码技术，使得H.264（MPEG-4/AVC）编码的码率只有H.263（MPEG-4）的一半。当然，提高压缩比的代价，是同时也增加了编解码的复杂性。一般情况下，编码难度增加了2倍，解码难度增加了1倍,多媒体信息技术 2013,计算机与信息学院,6.1.2 H.26x系列标准及其应用（5）,H.263/H.263+/H.264标准的编解码框架与H.261和MPEG-1类似，也是基于混合编码的方案，只是做了如下改进以大幅度降低码率：1、先进的帧内编码技术2、灵活的运动补偿技术：（1）匹配块尺寸可变（1616、 168、 816、 88、 84、 48、 44 ）（2）运动矢量可精
16、确到1/2或者1/4象素（3）多参考帧预测（4）无约束运动矢量3、先进的块滤波技术4、整数DCT变换,多媒体信息技术 2013,计算机与信息学院,6.1.2 H.26x系列标准及其应用（6）,MPEG标准主要用于光存储、广播和流媒体，H.26x标准主要用于网络和通信。除了视频编码标准本身之外，H.26x还有配套的系统、音频、控制等相关标准。,多媒体信息技术 2013,计算机与信息学院,视频压缩标准对比,多媒体信息技术 2013,计算机与信息学院,6.2 视频压缩标准对比（1）,多媒体信息技术 2013,计算机与信息学院,6.2 视频压缩标准对比（2）,多媒体信息技术 2013,计算机与信息学院
17、,6.2 视频压缩标准对比（3）,多媒体信息技术 2013,计算机与信息学院,6.2 视频压缩标准对比（4）,多媒体信息技术 2013,计算机与信息学院,6.2 视频压缩标准对比（5）,多媒体信息技术 2013,计算机与信息学院,6.3 MPEG视频编码标准算法,前面已经介绍了视频的数字化和MPEG与H系列的国际编码标准，下面具体介绍MPEG-1/2和MPEG-4的视频压缩算法，以及它们的伴音编码方法 MPEG-1&2的视频压缩算法 MPEG-4视频编码 MPEG音频编码,多媒体信息技术 2013,计算机与信息学院,6.3.1 MPEG-1&2的视频压缩算法（1）,视频数据压缩利用的各种特性和
18、采用的方法归纳在下页表中视频本身在时间上和空间上都含有许多冗余信息、图像自身的构造也有冗余性、利用人的视觉特性也可对图像进行压缩(视觉冗余 )MPEG-Video图像压缩方法可以归纳成两个要点： 在空间方向上，图像数据压缩采用JPEG压缩算法来去掉冗余信息 在时间方向上，图像数据压缩采用运动补偿(motion compensation)算法来去掉冗余信息,多媒体信息技术 2013,计算机与信息学院,6.3.1 MPEG-1&2的视频压缩算法（2）,视频压缩利用的各种冗余信息,多媒体信息技术 2013,计算机与信息学院,6.3.1 MPEG-1&2的视频压缩算法（3）,MPEG定义的三种图像为了
19、在保证图像质量基本不降低而又能够获得高的压缩比，MPEG专家组定义了三种图像：帧内图像I(intra)，预测图像P(predicted )和双向预测图像B(bidirectionally interpolated )，典型的排列如下图所示这三种图像将采用三种不同的算法进行压缩,一个内帧是一个随机访问点。B图像不能作为其它图像的参考帧。,多媒体信息技术 2013,计算机与信息学院,帧内图像I的压缩编码算法,帧内图像I不参照任何过去的或者将来的其他图像帧，压缩编码采用类似JPEG的压缩算法，框图如下,多媒体信息技术 2013,计算机与信息学院,预测图像P的压缩编码算法,预测图像需要过去的图像帧来进
20、行预测编码预测图像的编码是以图像宏块(macroblock)为基本编码单元，一个宏块定义为IJ像素的图像块，一般取1616预测图像P使用两种类型的参数来表示：一种参数是当前要编码的图像宏块与参考图像的宏块之间的差值另一种参数是宏块的移动矢量,多媒体信息技术 2013,计算机与信息学院,求解差值的方法,假设编码图像宏块MPI是参考图像宏块MRJ的最佳匹配块，它们的差值就是这两个宏块中相应像素值之差对所求得的差值进行彩色空间转换，并作4:1:1的子采样得到Y，Cr和Cb分量值，然后仿照JPEG压缩算法对差值进行编码，计算出的移动矢量也要进行霍夫曼编码,多媒体信息技术 2013,计算机与信息学院,预
21、测图像P的压缩编码算法框图,多媒体信息技术 2013,计算机与信息学院,移动矢量的算法,在求两个宏块差值之前，需要找出编码图像中的预测图像编码宏块MPI相对于参考图像中的参考宏块MRJ所移动的距离和方向，这就是移动矢量(motion vector),多媒体信息技术 2013,计算机与信息学院,双向预测图像B的压缩编码算法,双向预测图像B的压缩编码框图如下图所示具体计算方法与预测图像P的算法类似,多媒体信息技术 2013,计算机与信息学院,视频的结构,MPEG编码器算法允许选择I图像的频率和位置。I图像的频率是指每秒钟出现I图像的次数，位置是指时间方向上帧所在的位置。一般情况下，I图像的频率为2
22、MPEG编码器也允许在一对I图像或者P图像之间选择B图像的数目。I图像、P图像和B图像数目的选择依据主要是根据目的内容例如，对于快速运动的图像，I图像的频率可以选择高一些，B图像的数目可以选择少一点；对于慢速运动的图像，帧内图像I的频率可以低一些，而B图像的数目可以选择多一点。此外，在实际应用中还要考虑媒体的速率,多媒体信息技术 2013,计算机与信息学院,MPEG电视帧编排,一个典型的I、P、B图像安排如下图所示编码参数为：帧内图像I的距离为N=15预测图像P的距离为M=3,多媒体信息技术 2013,计算机与信息学院,三种图像的压缩后的典型值,I、P和B图像压缩后的大小如下表所示，单位为比特
23、从表中可以看到，I帧图像的数据量最大，而B帧图像的数据量最小,多媒体信息技术 2013,计算机与信息学院,6.3.2 MPEG-4视频编码,MPEG-4 Video编码算法支持由MPEG-1和MPEG-2提供的所有功能，包括对各种输入格式下的标准矩形图像、帧速率、位速率和隔行扫描图像源的支持 MPEG-4 Video算法的核心是支持基于内容(content-based)的编码和解码功能，也就是对场景中使用分割算法抽取的单独的物理对象进行编码和解码MPEG-4 Video还提供管理这些电视内容的最基本方法,多媒体信息技术 2013,计算机与信息学院,一视频对象平面的概念,为了实现预想的基于内容交
24、互等功能，MPEG-4 Video引进了一个叫做“视频对象平面(Video Object Plane，VOP)”的概念。MPEG-4 Video不像MPEG-1/-2 Video那样把视频都认为是一个矩形区，而是假设每帧图像被分割成许多任意形状的图像区，每个区都有可能覆盖描述场景中感兴趣的物理对象或者内容，这种区被定义为视频对象平面VOP。,多媒体信息技术 2013,计算机与信息学院,普通MPEG-4编码器和MPEG-4 VLBV核心编码器,上图：MPEG-4核心编码器下图：扩展MPEG-4核心编码器,多媒体信息技术 2013,计算机与信息学院,视频对象VO与视频对象层VOL,编码器输入的是任
25、意形状的图像区，图像区的形状和位置也可随帧的变化而改变。属于相同物理对象的连续的视频对象平面(VOP)组成视频对象(Video Objects, VO)。如上图中的没有背景图像的演讲人 MPEG-4可单独对属于相同视频对象(VO)的视频区(VOP)的形状、移动(motion)和纹理(texture)信息进编码和传送，或者把它们编码成一个单独的视频对象层(Video Object Layer，VOL)此外，需要标识每个视频对象层(VOL)的信息也包含在编码后的位流(bitstream)中，这些信息包括各种视频对象层(VOL)的视频在接收端应该如何进行组合，以便重构完整的原始图像序列。这样就可以对
26、每个视频对象平面(VOP)进行单独解码，提供了管理视频序列的灵活性,多媒体信息技术 2013,计算机与信息学院,MPEG-4 Video的编码算法,下图描绘了MPEG-4 Video的编码算法，用来对矩形和任意形状的输入图像序列进行编码这个基本编码算法结构图包含了移动矢量(motion vector)的编码，以及以离散余弦变换为基础的纹理编码MPEG-4采用基于内容编码方法的一个重要优点是，使用合适的和专门的基于对象的移动预测工具(object-based motion prediction tools)可以明显提高场景中某些视频对象的压缩效率,多媒体信息技术 2013,计算机与信息学院,MP
27、EG-4 Video编码器的算法方框图,多媒体信息技术 2013,计算机与信息学院,MPEG-4电视序列编码举例,多媒体信息技术 2013,计算机与信息学院,三视频分辨率可变编码,“视频分辨率”是指视频的空间分辨率(一帧图像的行列数之积的像素数)和时间分辨率(每秒帧数) 设置视频分辨率可变编码功能的一个重要目的是为了能够灵活支持性能不同(例如不同带宽)的各种电视接收或显示设备，或者支持要求浏览电视数据库等方面的应用。另一个目的是提供分层次的视频数据位流，这样可按应用所要求的先后次序进行传输MPEG-2也有视频分辨率可变编码功能，但它是以图像的帧为基础进行编码。而MPEG-4视频分辨率可变编码是
28、以任意形状的视频对象平面(VOP)为基础进行编码,多媒体信息技术 2013,计算机与信息学院,对那些没有能力或者不愿意接收高分辨率图像的接收器，它可以接收分辨率比较低的视频，降低空间分辨率或者时间分辨率意味降低图像的质量空间和时间分辨率可变性(scalability)的实现方法类似下图描述了多尺度(multiscale)视频编码方案。该方案提供三个层次的编码/解码，每一层都支持在不同空间分辨率下进行编码/解码从图中可以看到，多种空间分辨率的实现是通过降低输入电视信号的采样率来获得的,多媒体信息技术 2013,计算机与信息学院,VOP空间分辨率可变编码方法,多媒体信息技术 2013,计算机与信息
29、学院,6.4 MPEG音频编码,最些年来，人类在利用自身的听觉系统的特性来压缩声音数据方面取得了很大的进展，先后制定了MPEG-1 Audio, MPEG-2 Audio和MPEG-2 AAC等标准对于要求深入钻研的读者，请参考有关文献和网页,多媒体信息技术 2013,计算机与信息学院,MPEG-1 Audio,音感编码与前面所介绍的波形声音压缩编码(如ADPCM) 不同，其对声音数据压缩编码不是依据波形本身的相关性和模拟人的发音器官的特性，而是利用人的听觉系统的特性来达到压缩声音数据的目的，这种压缩编码称为感知声音编码(perceptual audio coding)，简称为音感编码 MPE
30、G-1/2 Audio和MPEG-2 AAC等视频伴音标准都采用了音感编码 现在十分流行的MP3采用的就是MPEG-1 Audio Layer III编码。,多媒体信息技术 2013,计算机与信息学院,感知与编码,听觉系统中存在一个听觉阈值电平，低于这个电平的声音信号就听不到，因此就可以把这部分信号去掉听觉阈值电平会随听到的不同频率的声音而发生变化，人听不到强音频率附近的弱音听觉掩饰特性。声音压缩算法也同样可以确立这种特性的模型来取消更多的冗余数据MPEG Audio采纳两种感知编码，一种叫做感知子带编码(perceptual subband coding )，另一种是由杜比实验室(Dolby
31、 Laboratories)开发的一种多通道音乐信号压缩技术 Dolby AC-3 (Audio Code number 3)编码，简称AC-3。它们都利用人的听觉系统的特性来压缩数据，只是压缩数据的算法不同,多媒体信息技术 2013,计算机与信息学院,感知子带编码的简化算法框图,多媒体信息技术 2013,计算机与信息学院,Dolby AC-3压缩编码算法框图,多媒体信息技术 2013,计算机与信息学院,MPEG-1 Audio编码,MPEG-1 Audio的编码对象是2020000Hz的宽带声音，采用的是感知子带编码。具体思想是：先把时域中的声音数据变换到频域，再对频域内的子带分量分别进行量
32、化和编码，然后根据心理声学模型确定样本的精度，从而达到压缩数据量的目的为了使量化所带来的失真对于人耳来说是感觉不到，在MPEG标准的制定过程中，作了大量的主观测试实验。实验表明，采样频率为48 kHz、样本精度为16位的立体声音数据压缩到256 kb/s时，即在6:1的压缩率下，即使是专业测试员也很难分辨出是原始声音还是编码压缩后的声音,多媒体信息技术 2013,计算机与信息学院,MPEG-1 Audio压缩算法,MPEG-1 Audio(ISO/IEC 11172-3)压缩算法是第一个高保真声音数据压缩国际标准，得到了极其广泛的应用。虽然MPEG声音标准是MPEG标准的一部分，但它也完全可以
33、独立应用MPEG-1声音标准的主要性能：输入信号为线性PCM信号，采样频率为32、44.1或48 kHz，输出码率为32 kb/s384 kb/sMPEG声音标准提供三个独立的压缩层次(Layer)，用户对层次的选择可在复杂性和声音质量之间进行权衡可预先定义压缩后的数据率，编码后的数据流支持循环冗余校验CRC，MPEG声音标准还支持在数据流中添加附加信息,多媒体信息技术 2013,计算机与信息学院,MPEG声音编解码器结构图,编码器,解码器,多媒体信息技术 2013,计算机与信息学院,MPEG音频压缩层次,其中：数据是在保持CD音质前提下得到MUSICAM = Masking pattern
34、adapted Universal Subband Integrated Coding And Multiplexing 自适应声音掩蔽特性的通用子带综合编码和复合技术ASPEC = Adaptive Spectral Perceptual Entropy Coding of high quality musical signal高质量音乐信号自适应谱感知熵编码DCC= digital compact cassette小型数字盒带DBA= digital broadcast audio数字广播音频,多媒体信息技术 2013,计算机与信息学院,MPEG音频层1/2编解码器结构,FFT= fast
35、 Fourier transform快速傅立叶变换MUX=MUltipleXer 多路转换复用器,多媒体信息技术 2013,计算机与信息学院,MPEG音频层3编解码器结构,MDCT= modified discrete cosine transform改进离散余弦变换,多媒体信息技术 2013,计算机与信息学院,复习思考题,MPEG-1/2/4的视频压缩算法有什么不同？MPEG-Video在空间和时间方向上分别采用的是什么压缩方法？MPEG定义了哪三种图像？它们的含义各是什么？宏块与JPEG中的分块有何不同？用在什么地方？预测图像P使用哪两类参数表示？怎样求移动矢量d？有哪些最佳宏块搜索法？给出其搜索策略。视频的图像系列中的I、P和B帧的数目和位置是固定的吗？是如何排列的？,多媒体信息技术 2013,计算机与信息学院,MPEG-4的视频对象平面VOP、视频对象VO与视频对象层VOL之间是什么关系？视频分辨率的含义是什么？如何理解MPEG-4的分辨率可变特性？为什么需要子带编码？它与音感编码有什么关系？人类的听觉系统有哪些感知特性？它们是如何被音感编码所利用的？,多媒体信息技术 2013,计算机与信息学院,MPEG-1 Audio的压缩算法被分为几层？它们各有什么特点？AAC的英文原文和中文译文各是什么？它采用的是哪一类压缩算法？它有哪些优势？,
