1、视频编码技术在过去几年最重要的发展之一是由 ITU 和 ISO/IEC 的联合视频小组 (JVT)开发了 H.264/MPEG-4 AVC8标准。在发展过程中,业界为这种新标准取了许多不同的名称。ITU 在 1997 年开始利用重要的新编码工具处理 H.26L(长期) ,结果令人鼓舞,于是 ISO决定联手 ITU 组建 JVT 并采用一个通用的标准。因此,大家有时会听到有人将这项标准称为 JVT,尽管它并非正式名称。 ITU 在 2003 年 5 月批准了新的 H.264 标准。ISO 在 2003年 10 月以 MPEG-4 Part 10、高级视频编码或 AVC 的名称批准了该标准。H.2
2、64 实现的改进创造了新的市场机遇H.264/AVC 在压缩效率方面取得了巨大突破,一般情况下达到 MPEG-2 及 MPEG-4 简化类压缩效率的大约 2 倍。在 JVT 进行的正式测试中,H.264 在 85 个测试案例中有 78的案例实现 1.5 倍以上的编码效率提高,77的案例中达到 2 倍以上,部分案例甚至高达4 倍。H.264 实现的改进创造了新的市场机遇,如: 600Kbps 的 VHS 品质视频可以通过ADSL 线路实现视频点播;高清晰电影无需新的激光头即可适应普通 DVD。H.264 标准化时支持三个类别:基本类、主类及扩展类。后来一项称为高保真范围扩展 (FRExt)的修订
3、引入了称为高级类的 4 个附加类。在初期主要是基本类和主类引起了大家的兴趣。基本类降低了计算及系统内存需求,而且针对低时延进行了优化。由于 B 帧的内在时延以及 CABAC 的计算复杂性,因此它不包括这两者。基本类非常适合可视电话应用以及其他需要低成本实时编码的应用。主类提供的压缩效率最高,但其要求的处理能力也比基本类高许多,因此使其难以用于低成本实时编码和低时延应用。广播与内容存储应用对主类最感兴趣,它们是为了尽可能以最低的比特率获得最高的视频质量。尽管 H.264 采用与旧标准相同的主要编码功能,不过它还具有许多与旧标准不同的新功能,它们一起实现了编码效率的提高。其主要差别,概述如下:帧内
4、预测与编码:H.264 采用空域帧内预测技术来预测相邻块邻近像素的 Intra-MB 中的像素。它对预测残差信号和预测模式进行编码,而不是编码块中的实际像素。这样可以显著提高帧内编码效率。帧间预测与编码:H.264 中的帧间编码采用了旧标准的主要功能,同时也增加了灵活性及可操作性,包括适用于多种功能的几种块大小选项,如:运动补偿、四分之一像素运动补偿、多参考帧、通用 (generalized)双向预测和自适应环路去块。可变矢量块大小:允许采用不同块大小执行运动补偿。可以为小至 4(4 的块传输单个运动矢量,因此在双向预测情况下可以为单个 MB 传输多达 32 个运动矢量。另外还支持16(8、8
5、(16、8(8、8(4 和 4(8 的块大小。降低块大小可以提高运动细节的处理能力,因而提高主观质量感受,包括消除较大的块化失真。四分之一像素运动估计:通过允许半像素和四分之一像素运动矢量分辨率可以改善运动补偿。多参考帧预测:16 个不同的参考帧可以用于帧间编码,从而可以改善视频质量的主观感受并提高编码效率。提供多个参考帧还有助于提高 H.264 位流的容错能力。值得注意的是,这种特性会增加编码器与解码器的内存需求,因为必须在内存中保存多个参考帧。自适应环路去块滤波器:H.264 采用一种自适应解块滤波器,它会在预测回路内对水平和垂直区块边缘进行处理,用于消除块预测误差造成的失真。这种滤波通常
6、是基于 4(4块边界为运算基础,其中边界各边的 3 个像素可通过 4 级滤波器进行更新。整数变换:采用 DCT 的早期标准必须为逆变换的固点实施来定义舍入误差的容差范围。编码器与解码器之间的 IDCT 精度失配造成的漂移是质量损失的根源。H.264 利用整数 4(4空域变换解决了这一问题这种变换是 DCT 的近似值。4(4 的小区块还有助于减少阻塞与振铃失真。量化与变换系数扫描:变换系数通过标量量化方式得到量化,不产生加大的死区。与之前的标准类似,每个 MB 都可选择不同的量化步长,不过步长以大约 12.5的复合速率增加,而不是固定递增。同时,更精细的量化步长还可以用于色度成分,尤其是在粗劣量
7、化光度系数的情况下。熵编码:与根据所涉及的数据类型提供多个静态 VLC 表的先前标准不同,H.264 针对变换系数采用上下文自适应 VLC,同时针对所有其他符号采用统一的 VLC (UniversalVLC)方法。主类还支持新的上下文自适应二进制算术编码器 (CABAC)。CAVLC 优于以前的VLC 实施,不过成本却比 VLC 高。CABAC 利用编码器和译码器的机率模型来处理所有语法元素 (syntax elements),包括:变换系数和运动矢量。为了提高算术编码的编码效率,基本概率模型通过一种称为上下文建模的方法对视频帧内不断变换的统计进行适应。上下文建模分析提供编码符号的条件概率估计
8、值。只要利用适当的上下文模型,就能根据待编码符号周围的已编码符号,在不同的概率模型间进行切换,进而充份利用符号间的冗余性。每个语法元素都可以保持不同的模型(例如,运动矢量和变换系数具有不同的模型) 。相较于 VLC 熵编码方法(UVLC/CAVLC),CABAC 能多节省 10bit 速率。加权预测:它利用前向和后向预测的加权总和建立对双向内插宏模块的预测,这样可以提高场景变化时的编码效率,尤其是在衰落情况下。保真度范围扩展:2004 年 7 月,H.264 标准增加了称为保真度范围扩展 (FRExt) 11的新修订。这次扩展在 H.264 中添加了一整套工具,而且允许采用附加的色域、视频格式
9、和位深度。另外还增加了对无损帧间编码与立体显示视频的支持。FRExt 修订版在 H.264 中引入了 4 种新类,即:High Profile (HP):用于标准 4:2:0 色度采样,每分量 8 位彩色。此类引入了新的工具随后详述。High 10 Profile (Hi10P):用于更高清晰度视频显示的标准 4:2:0 色度采样,10 位彩色。High 4:2:2 10 bit color profile (H422P):用于源编辑功能。High 4:4:4 12 bit color profile (H444P):最高品质的源编辑与色彩保真度,支持视频区域的无损编码以及与新的整数色域变换(
10、从 RGB 到 YUV 及黑色) 。在新的应用领域中,H.264 HP 对广播与 DVD 尤为有利。某些试验显示出 H.264 HP 的性能比 MPEG2 提高了 3 倍。下面介绍 H.264 HP 中引入的主要附加工具。自适应残差块大小与整数 8(8 变换:用于变换编码的残差块可以在 8(8 与 4(4 之间切换。引入了用于 8(8 块的新 16 位整数变换。较小的块仍然可以采用以前的 4(4 变换。8(8 亮度帧内预测:增加了 8 种模式,除之前的 16(16 和 4(4 块以外,使亮度内部宏模块还能够对 8(8 块进行帧内预测。量化加权:用于量化 8(8 变换系数的新量化加权矩阵。单色:
11、支持黑白视频编码。AVS2002 年,中国信息产业部成立的音视频技术标准 (AVS)工作组宣布准备针对移动多媒体、广播、DVD 等应用编写一份国家标准。该视频标准称为 AVS 14,由两个相关部分组成针对移动视频应用的 AVS-M 和针对广播与 DVD 的 AVS1.0。AVS 标准与 H.264 相似。AVS1.0 同时支持隔行和逐行扫描模式。AVS 中 P 帧可以利用 2 帧的前向参考帧,同时允许 B 帧采用前后各一个帧。在隔行模式下, 4 个场可以用作参考。可以仅在帧级执行隔行模式中的帧场编码,这一点与 H.264 不同,其中允许此选项的 MB 级自适应。AVS具有与 H.264 相似的
12、环路滤波器,可以在帧级关闭。另外,B 帧还无需环路滤波器。帧内预测是以 8(8 块为单位进行。 MC 允许对亮度块进行 14 象素补偿。ME 的块大小可以是16(16、16(8 、8(16 或 8(8。变换方式是基于 16 位的 8(8 整数变换(与 WMV9 相似) 。VLC是基于上下文自适应 2D 运行级别编码。采用 4 个不同的 Exp-Golomb 编码。用于每个已量化系数的编码自适应到相同 8(8 块中前面的符号。由于 Exp-Golomb 表是参数化的表,因此表较小。用于逐行视频序列的 AVS 1.0 的视频质量在相同比特率时稍逊于 H.264 主类。AVS-M 主要针对移动视频应
13、用,与 H.264 基本规范存在交叉。它仅支持逐行视频、 I与 P 帧,不支持 B 帧。主要 AVS-M 编码工具包括基于 4(4 块的帧内预测、1象素运动补偿、整数变换与量化、上下文自适应 VLC 以及高度简化的环路滤波器。与 H.264 基本规范相似 AVS-M 中的运动矢量块大小降至 4(4,因此 MB 可拥有多达 16 个运动矢量。采用多帧预测,但仅支持 2 个参考帧。此外,AVS-M 中还定义了 H.264 HRDSEI 消息的子集。AVS-M 的编码频率约为 0.3dB,在相同设置下稍逊于 H.264 基本规范,而解码器的复杂性却降低了大约 20。H.264 和 AVS 的背景H.
14、264/MPEG-4AVC 是 ITU-T 的 VCG(Video Coding Experts Group)和 ISO/IEC 的MPEG(Moving Picture Experts Group)联合开发的新一代视频编码标准。应用范围包括可视电话、视频会议等。H.264 的主要特色就是极大得提高了压缩率,是 MPEG-2 及 MPEG-4压缩效率的一倍以上。H.264 核心技术与之前标准相同,仍采用基于预测变换的混合编码框架,但是在细节的实现上有很大不同,就是细节上的改进导致压缩效率极大得提高。而且新一代视频编码标准 H.264 具有良好的网络适应性和容错等特点。AVS 的诞生可以说是一个
15、历史的机遇,面对 H.264 以及 MPEG-2 等标准高额的专利费,我国数字视频产业面临严重挑战。加上我国致力于提高国内数字音视频产业的核心竞争力,由国家信息产业部科学技术司于 2006 年 6 月批准成立了“数字音视频编解码技术标准工作组” ,联合国内从事数字音视频编解码技术研发的科研机构和企业,针对我国音视频产业的需求,提出了我国自主知识产权的信源编码标准信息技术 先进音视频编码系列标准,简称 AVS(audio video coding standard).自主的 AVS 标准在技术和性能上处于国际先进水平,如果抓住这次机遇,我国在技术专利标准芯片系统产业这个产业链上,就有可能具有全面
16、的主动权。H.264 和 AVS 核心技术分析及对比H.264 和以前的标准一样,还是采用的混合编码的框架,AVS 视频标准采用了与H.264 类似的技术框架,包括变换、量化、熵编码、帧内预测、帧间预测、环路滤波等模块。他们核心技术的不同包括以下几点:一、变换和量化H.264 对残差数据采用基于块的变换编码,去除原始图像的空间冗余,使图像能力集中在小部分系数上,直流系数值一般来说是最大的,这样可以提高压缩比、增强抗干扰能力。先前标准一般采用 DCT 变换,这种变换的缺点是会出现失配现象,原始数据经过变换和反变换恢复后会有一个差值,由于是实数运算计算量也比较大。H.264 采用的是基于44 块的
17、整数变换。AVS 采用 88 的整数变换,可以在 16 位处理器上无失配地实现。对高分辨率的视频图像去相关性要比 44 变换有效,采用了 64 级量化,可以适应不同的应用和业务对码流和质量的要求。二、帧内预测H.264 和 AVS 技术都采用帧内预测的方式,用相邻的像素预测当前块,采用代表空间域纹理的多种预测模式。H.264 的亮度预测有 44 块和 1616 块 2 种预测方式,对于44 的块:从135 度到22.5 度方向加上一个直流预测一共是 9 种预测方向;对于1616 块:有 4 种预测方向。色度预测是 88 块,有 4 种预测模式,类似于帧内 1616预测的 4 种模式,其中 DC
18、 为模式 0、水平为模式 1、垂直为模式 2、平面为模式 3。三、帧间预测H.264 帧间预测是利用以编码视频帧和基于块的运动补偿的预测模式,与以往标准帧间预测的区别在于块尺寸范围更广、亚像素运动矢量的使用和多参考帧的运用。H.264 有 1616、168、8 16、88、84、48 和 44 一共 8 种宏块及子宏块划分,而 AVS 只有 1616、 168、816 和 88 一共 4 种宏块划分方式。H.264 支持使用多个不同的参考帧对帧间宏块和片进行预测,AVS 中 P 帧可以利用至多 2 帧的前向参考帧,B 帧采用前后各一个参考帧。四、熵编码H.264 制定了基于信息量的熵编码效率,
19、一种是对所有的待编码的符号采用统一的可变长编码(UVLC) ,另一种是采用基于内容的自适应二进制算术编码(CABAC, Context-Adaptive Binary Arithmetic Coding) ,大大减少了块编码相关性冗余,提高了编码效率。UVLC 计算复杂度较低,主要针对对编码时间很严格的应用,缺点就是效率低,码率较高。CABAC 是一种效率很高的熵编码方法,其编码效率比 UVLC 编码高 50%。AVS 熵编码采用自适应变长编码技术。在 AVS 熵编码过程中,所有的语法元素和残差数据都是以指数哥伦布码的形式映射成二进制比特流。采用指数哥伦布码的优势在于:一方面,它的硬件复杂度比
20、较低,可以根据闭合公式解析码子,无需查表;另一方面,它可以根据编码元素的概率分布灵活地确定以 K 阶指数哥伦布码编码,如果 K 选得恰当,则编码效率可以逼近信息熵。对预测残差的块变换系数,经扫描形成(level、run)对串, level、run 不是独立事件,而存在着很强的相关性,在 AVS 中 level、run 采用二维联合编码,并根据当前 level、run的不同概率分布趋势,自适应改变指数哥伦布码的阶数。另外,在 AVS 中没有 SI、SP 帧。可以这样说,AVS 是在 H.264 的基础上发展起来的,吸收了 H.264 的精华,但为了绕过专利的困扰,又不得不放弃 H.264 的一些核心算法。换来的代价就是,编码效率稍微降低一点的情况下,复杂度极大得降低了。AVS 是我国自主知识产权的标准,现在还没有大规模使用,处在起步阶段。大多数企业处于观望状态,没有资金大量投入,面临重重困难,但是它的广阔前景是不容忽视的,又有国家的大力支持,一定会发展的更加完美。本文转自:http:/