1、SLIDE 1 H.264/AVCH.264/AVC编解码器H.264/AVC的结构帧内预测 帧间预测变换与量化SLIDE 2 H.264/AVCH.264/AVC编解码器H.264/AVC的结构帧内预测 帧间预测 变换与量化SLIDE 3 H.264/AVC编解码器H.264编解码器特点 H.264并不明确地规定一个编解码器如何实现，而是规定了一个编码的视频比特流的句法，和该比特流的解码方法，各个厂商的编码器和解码器在此框架下应能够互通，在实现上具有较大灵活性，而且有利于相互竞争。SLIDE 4 H.264/AVC编解码器H.264编码器 编码器采用的仍是变换和预测的混合编码法。输入的帧或场
2、 Fn以宏块为单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理。 如果采用帧内预测编码，其预测值 PRED（图中用 P表示）是由当前片中前面已编码的参考图像经运动补偿（ MC）后得出，其中参考图像用 Fn-1表示。为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来（指显示次序上）已编码解码重建和滤波的帧中进行选择。 预测值 PRED和当前块相减后，产生一个残差块 Dn，经块变换、量化后产生一组量化后的变换系数 X，再经熵编码，与解码所需的一些边信息（如预测模式量化参数、运动矢量等）一起组成一个压缩后的码流。 正如上述，为了提供进一步预测用的参考图像，编码器必须有重建图像的
3、功能。因此必须使残差图像经反量化、反变换后得到的 Dn与预测值 P相加，得到 uFn（未经滤波的帧）。为了去除编码解码环路中产生的噪声，为了提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出 Fn即重建图像可用作参考图像。SLIDE 5 H.264/AVC编解码器H.264解码器 由图 1可知，由编码器的 NAL输出一个压缩后的H.264压缩比特流。由图 2，经熵解码得到量化后的一组变换系数 X，再经反量化、反变换，得到残差Dn 。利用从该比特流中解码出的头信息，解码器就产生一个预测块 PRED，它和编码器中的原始 PRED是相同的。当该解码器产生的 PRED与残差
4、 Dn 相加后，就产生 uFu ，再经滤波后，最后就得到滤波后的 Fn ，这个 Fn 就是最后的解码输出图像。SLIDE 6 H.264/AVC编解码器图 1 H.264编码器SLIDE 7 H.264/AVC编解码器图 2 H.264解码器SLIDE 8 H.264/AVCH.264/AVC编解码器H.264/AVC的结构帧内预测 帧间预测 变换与量化SLIDE 9 H.264/AVC的结构名词解释 场和帧视频的一场或一帧可用来产生一个编码图像。在电视中，为减少大面积闪烁现象，把一帧分成两个隔行的场。SLIDE 10 H.264/AVC的结构名词解释 宏块、片 : 一个编码图像通常划分成若干
5、宏块组成，一个宏块由一个 1616 亮度像素和附加的一个 88 Cb 和一个 88 Cr彩色像素块组成。每个图象中，若干宏块被排列成片的形式。 I片只包含 I宏块， P片可包含 P和 I宏块，而 B片可包含 B和 I宏块。 I宏块利用从当前片中已解码的像素作为参考进行帧内预测。 P宏块利用前面已编码图象作为参考图象进行帧内预测， 一个帧内编码的宏块可进一步作宏块的分割：即 1616 、168 、 816 或 88 亮度像素块（以及附带的彩色像素）；如果选了 88 的子宏块，则可再分成各种子宏块的分割，其尺寸为 88 、 84 、 48 或 44 亮度像素块（以及附带的彩色像素）。 B宏块则利用
6、双向的参考图象（当前和未来的已编码图象帧）进行帧内预测。SLIDE 11 H.264/AVC的结构档次和级 H.264规定了三种档次，每个档次支持一组特定的编码功能，并支持一类特定的应用。 1）基本档次：利用 I片和 P片支持帧内和帧间编码，支持利用基于上下文的自适应的变长编码进行的熵编码（ CAVLC）。主要 用于可视电话、会议电视、无线通信等实时视频通信 ； 2）主要档次：支持隔行视频，采用 B片的帧间编码和采用加权预测的帧内编码；支持利用基于上下文的自适应的算术编码（ CABAC）。 主要用于数字广播电视与数字视频存储 ； 3）扩展档次：支持码流之间有效的切换（ SP和 SI片）、改进误
7、码性能（数据分割），但不支持隔行视频和 CABAC。 主要用于网络的视频流，如视频点播 图 3为 H.264各个档次具有的不同功能，可见扩展档次包括了基本档次的所有功能，而不能包括主要档次的。每一档次设置不同参数（如取样速率、图像尺寸、编码比特率等），得到编解码器性能不同的级。SLIDE 12 H.264/AVC的结构图 3 H.264档次SLIDE 13 H.264/AVC的结构编码数据格式 H.264支持 4:2:0的逐行或隔行视频的编码和解码。SLIDE 14 H.264/AVC的结构参考图像 可从一组前面或后面已编码图像中选出一个或两个与当前最匹配的图像作为帧间编码间的参数图像， H.
8、264中最多可从 15个参考图像中进行选择，选出最佳的匹配图像。 对于 P片中帧间编码宏块可从表 “ 0” 中选择参数图像；对于 B片中的帧间编码宏块和宏块分割的预测，可从表 “ 0” 和 “ 1” 中选择参考图像。SLIDE 15 H.264/AVC的结构片和片组 片 一个视频图像可编码成一个或更多个片，每片包含整数个宏块（ MB），即每片至少一个 MB，最多时每片包含整个图像的宏块。 设片的目的是为了限制误码的扩散和传输，使编码片相互间是独立的。某片的预测不能以其它片中的宏块为参考图像，这样某一片中的预测误差才不会传播到其它片中去。 编码片共有 5种不同类型， I片、 P片、 B片外，还有
9、 SP片和 SI片。其中 SP（切换 P）是用于不同编码流之间的切换。SLIDE 16 H.264/AVC的结构图 4 片的句法结构SLIDE 17 H.264/AVC的结构片和片组 片组 片组是一个编码图象中若干 MB的一个子集，它可包含一个或若干个片。 在一个片组中，每片的 MB按光栅扫描次序被编码，如果每幅图象仅取一个片组，则该图象中所有的 MB均按光栅扫描次序被编码。 还有一种片组，叫灵活宏块次序（ FMO），它可用灵活的方法，把编码 MB序列映射到解码图象中 MB的分配用 MB到片组之间的映射来确定，它表示每一个 MB属于哪个片组。表 1 为 MB到片组的各种映射类型。SLIDE 1
10、8 H.264/AVC的结构表 1 MB到片组的映射类型名称 描述0 交错 MB游程被依次分配给每一块组（图 8）1 散乱 每一片组中的 MB被分散在整个图象中（图 9）2 前景和背景 例见图 103 Box out 从帧的中心开始，产生一个箱子，其 MB属于片组0，其它 MB属于片组（图 11）4 光栅扫描 片组 0包含按光栅扫描次序从顶左的所有 MB，其余 MB属片组 1（图 11）5 手绢 片组 0包含从顶左垂直扫描次序的 MB，其余 MB属片组 1（图 11）6 显式 每一 Mbslice_group_id,用于指明它的片组（即 MB映射完全是用户定义的）SLIDE 19 H.264/
11、AVC的结构图 5 交错型片组 图 6 散乱型片组 图 7 前景和背景型片组SLIDE 20 H.264/AVC的结构图 8 片组SLIDE 21 H.264/AVCH.264/AVC编解码器H.264/AVC的结构帧内预测 帧间预测变换与量化 SLIDE 22 帧内预测 在帧内预测模式中，预测块 P是基于已编码重建块和当前块形成的。对亮度像素而言， P块用于 44子块或者 1616 宏块的相关操作。 44 亮度子块有9种可选预测模式，独立预测每一个 44 亮度子块，适用于带有大量细节的图像编码； 1616 亮度块有 4种预测模式，预测整个 1616 亮度块，适用于平坦区域图像编码；色度块也有
12、 4种预测模式，类似于 1616 亮度块预测模式。编码器通常选择使 P块和编码块之间差异最小的预测模式。SLIDE 23 帧内预测 44 亮度预测模式 如图 6.14所示， 44 亮度块的上方和左方像素 A M为已编码和重构像素，用作编解码器中的预测参考像素。 a p为待预测像素，利用 A M值和 9种模式实现。其中模式 2(DC预测 )根据 A M中已编码像素预测，而其余模式只有在所需预测像素全部提供才能使用。图 6.15箭头表明了每种模式预测方向。对模式 3 8，预测像素由 A M加权平均而得。例如，模式 4中， d=round(B/4+C/2+D/4)。SLIDE 24 帧内预测 图 1
13、SLIDE 25 帧内预测 a) b)图 2 a)利用像素 A-M对方块中 a-p像素进行帧内 44预测b)帧内 44 预测的 8个预测方向SLIDE 26 帧内预测 图 3 44亮度块预测模式SLIDE 27 帧内预测Example: 4x4 块 ,9种预测模式 (0-8)对于当前块的最佳模式是：模式 7 (vertical-right)SLIDE 28 帧内预测图 4 SLIDE 29 帧内预测 1616 亮度预测模式 宏块的全部 1616 亮度成分可以整体预测，有 4种预测模式，如表 2和图 5所示。图 5 1616预测模式SLIDE 30 帧内预测 表 2 1616预测模式模式描 述模式 0（垂直） 由上边像素推出相应像素值模式 1（水平） 由左边像素推出相应像素值模式 2（ DC） 由上边和左边像素平均值推出相应像素值模式 3（平面） 利用线形 “plane”函数及左、上像素推出相应像素值，适用于亮度变化平缓区域
