1、运动图像压缩编码MPEG,任课老师：厉青,多媒体视频信息处理,1 视频基础知识2 广播电视信号及其标准3 数字电视4 视频的数字化过程5 数字视频处理系统6 视频文件的类型,1 视频基础知识,1.1 视频的定义视频（video）就其本质而言，实际上就是其内容随时间变化的一组动态图像，所以视频又叫作运动图像或活动图像。从物理上来讲，视频信号是从动态的三维景物投影到视频摄像机图像平面上的一个二维图像序列，一个视频帧中任何点的彩色位记录了在所观察的景物中一个特定的二维点所发出或反射的光。 从观察者的角度来讲，视频记录了从一个观测系统(人眼或摄像机)所观测的场景中的物体发射或反射的光的强度，一般地说，
2、该强度在时间和空间上都有变化。 从数学角度描述，视频指随时间变化的图像，或称为时变图像。,如图1所示,视频由一幅幅连续的图像帧序列构成，沿时间轴若一帧图像保持一个时间段t,利用人眼的视觉暂留作用，可形成连续运动图像（即视频）的感觉。,图1 视频由连续的图像帧序列构成,1.2 视频的分类1. 模拟视频 模拟视频的特点: 以模拟电信号的形式来记录 依靠模拟调幅的手段在空间传播 使用盒式磁带录像机将视频作为模拟信号存放在磁带上 2. 数字视频（Digital Video）,1.3 数字化视频的优点 1.适合于网络应用 2.再现性好 3.便于计算机编辑处理1.4 视频信号与图像信号的差异 视频信号不同
3、于图像信号，最重要的区别是视频信号有一个每秒数帧（从15帧秒到60帧秒之间）的帧速率指标，它提供了显示的信号中运动的影像。 第二个不同之处是帧的尺寸。 图像和视频之间的第三个不同之处在于，图像在压缩时主要考虑了帧内像素之间的相关性，而为视频设计压缩方法时利用了时域掩蔽，同时也利用了音频掩蔽的功能，并考虑了帧间画面的相关性。即在视频序列里更倾向于以一种可预测的模式运动。,2 广播电视信号及其标准,2.1 电视信号的产生、传输和接收的过程,图3 模拟彩色电视系统：视频产生、传输和接收的过程,2.2 广播电视信号制式1.NTSC制 2.PAL制3.SECAM,2.3 电视视频信号的扫描方式,奇数场,
4、偶数场,一帧,图4 隔行扫描方式中一帧由两个场组成,2.4 YUV与RGB彩色模型1YUV模型,图5 PAL彩色电视制式中 采用YUV模型来表示彩色图像,2显示器产生颜色的原理 3YUV与RGB彩色空间变换,图6 CRT显示器采用RGB彩色模型,2.5 彩色电视的信号类型1.高频或射频信号2.复合视频信号,图7 复合视频线及接口,3.SVideo视频信号,图8 S-VIDEO视频线及接口,4.分量视频信号,a)色差分量视频线,b)分量视频信号接口,图9 分量视频信号线与接口,3 数字电视,3.1 数字电视的特点及提供的服务数字电视与原有的模拟电视相比，有如下主要优点： 1.电视画面质量得到大幅
5、度提升,图10 数字电视（左图）和 模拟电视（右图）的画面质量比较,2.更多的节目 3.更好的视听效果 4.交互性 5.数字化融合提供新增的服务除数字化的音视频节目外，数字电视系统还可以广播其他任意数据，如与节目内容有关的附带信息、本地气象与交通信息等。各种各样的数据业务将大幅度扩展电视的信息服务能力。在数字化融合的时代，将会出现新的灵活的功能多样化的消费产品平台，它将优质的声音、视像体验与交互式的信息服务集于一身，使得数字电视成为人们从事娱乐、信息和通信活动的平台。3.2 数字电视标准,4 视频的数字化过程,4.1 视频信号的采样1.对视频采样的基本要求 要满足采样定理 采样频率必须是行频的
6、整数倍 要满足两种扫描制式 2.数字视频的采样格式 根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍。因此其数字化时对信号的色差分量的采样率低于对亮度分量的采样率。如果用Y：U：V来表示YUV三分量的采样比例，则数字视频的采样格式分别有4:1:1、4:2:2和4:4:4三种。,3.采样格式,图13 4:2:2采样格式示意,4.2 量化4.3 视频压缩与编码技术标准 视频编码（视频压缩）是把数字视频流序列用更少的数据位进行存放的方法。大多数视频编码方法寻找空间和时间上的冗余来达到压缩的效果。从信息论的角度讲，信息压缩就是从时间域、空间域两方面去除冗余信息，将可推知的确定信息去掉。在时间域中
7、，连续几帧的视频通常有很强的相关性，特别是当时域采样率是非常高的时候尤其如此；在空间域中，通常像素采样点之间是相互关联的（相邻象素之间的值很相近）。事实上，视频编码技术正是基于这个理论，将视频分成帧内编码和帧间编码，前者用于去掉图像的空间冗余信息，后者用于去除图像的时间冗余信息。,5 数字视频处理系统,5.1 数字视频处理系统的组成,图14 数字视频处理系统的组成,5.2 视频采集卡的工作原理,图15 视频卡的工作原理图,6 视频文件的类型,图16 常用的视频文件格式类型,6.1 本地视频格式1.AVI格式 AVI（Audio Video Interleave）是一种音频视像交插记录的数字视频
8、文件格式。2.DV-AVI格式 DV的英文全称是Digital Video Format，是由索尼、松下、JVC等多家厂商联合提出的一种家用数字视频格式。目前非常流行的数码摄像机就是使用这种格式记录视频数据的。,3.QuickTime的MOV格式 自从国际标准化组织(ISO)选择QuickTime文件格式作为开发MPEG-4规范的统一数字媒体存储格式，MOV文件就以mpg或mp4为其扩展名，并且采用了MPEG4压缩算法。 4.MEPG格式 将MPEG(Motion Picture Experts Group)算法用于压缩全运动视频图像，就可以生成全屏幕活动视频标准文件。 5.DivX格式 Di
9、vX是根据Microsoft mpeg4 v3修改而来的一种数字视频编码技术，是目前使用最广泛的一种MPEG-4的兼容技术。,6.2 基于网络传输的流媒体视频格式1.RM（Real Media）格式2. Quick Time格式（MOV）3.ASF（Advanced Streaming Forma）格式4.WMV格式5.RMVB格式,视频压缩编码的国际标准,1帧内编码 JPEG标准 2 帧间编码MPEG-1、 MPEG-2标准 3 MPEG-4标准 4 H.261标准、 H.263建议、 H.264标准,视频压缩编码标准的发展历程视频压缩编码标准的制定工作主要是由国际标准化组织(ISO/IEC
10、)和国际电信联盟(ITU) 完成的。到目前为止，由上述两个国际组织制定了MPEG-1、MPEG-2、MPEG-4(2) 以及MPEG-4 (10)和H.261、 H.262、H.263、H.263+、H.263+、H.264等有关视频压缩编码的国际标准。下表按时间顺序给出了各种视频压缩编码标准。,下图给出了视频压缩编码标准的发展历程，其中横虚线以上表示由ITU制定的压缩编码标准，横虚线以下表示由ISO/IEC制定的标准，压在横虚线上的方框表示由ISO/IEC与ITU联合制定的压缩编码标准。,视频压缩编码标准的发展历程,1. ISO/IEC颁布的标准MPEG-1是由ISO和IEC共同委员会中的M
11、PEG组织于1992年制定的。它最初用于数字信息存储体上活动图像及其伴音的编码，其数码率为1.5 Mb/s，图像采用CIF(Common Intermediate Format)格式(352288像素或352240像素)，每秒30帧，两路立体声伴音的质量接近CD音质，该标准广泛应用于VCD。MPEG-2是由ISO的活动图像专家组和ITU的第15研究组于1994年共同制定的，在ITU的标准中，被称为H.262。,MPEG-2作为计算机可处理的数据格式，主要应用于数字存储媒体、视频广播和通信领域，它的数码率为240 Mb/s。另外，HDTV (High Definition Television
12、，高清晰度电视)的出现，是视频业务发展的另一个高级阶段。MPEG组织于1999年1月正式公布了MPEG-4(1)版本，1999年12月又公布了MPEG-4(2)版本,H.264 /AVC标准是当前国际上最新的图像编码标准。它被ITU命名为H.264，ISO/IEC则把此标准叫做国际标准1449610(MPEG-4(10)高级图像编码(AVC)。制定此标准的主要目的就在于增强图像的压缩效率和改善图像数据在网络中的传输。H.264标准在当前图像标准中压缩效率是最高的，它比H.263标准提高将近一倍。,2. ITU颁布的标准1972年12月，电信标准化部、无线电通信部和电信发展部承担着ITU的实质性
13、标准制定工作。其中，电信标准化部门由原来的国际电报电话咨询委员会(CCITT)和国际无线电咨询委员会(CCIR)的标准化部门合并而成，其主要职责是实现国际电信联盟有关电信标准化的目标，使全世界的电信标准化。,H.261是国际电报电话咨询委员会(CCITT)制定的第一个视频编码标准，它的数码率是P64 kb/s，主要应用于ISDN (Integrated Services Digital Network)、ATM(Asynchronous Transfer Mode)等宽带信道上实时的传输声音和图像信息，不适合在PSTN(Public Switched Telephone Network) 和移
14、动通信网等带宽有限的网络上应用。,为了满足低速率视频通信的应用需要，ITU又推出了适于在速率低于64 kb/s的信道上传输的H.263视频编码标准。H.263算法所用的基本结构来自H.261，并在H.261的基础上做了许多重要改进。1998年，ITU推出的H.263+是H.263的第二版，它在前一版的基础上提供了12个新的可选模式和其它特征，进一步提高了压缩编码性能,2001年，ISO的活动图像专家组(MPEG)和ITU的视频编码专家组(VCEG)组成联合视频专家组(JVT)共同推进视频压缩技术的发展，在2001年9月JVT的第一次会议上制定了以H.26L为基础的H.264标准草案和测试模型T
15、ML-9 (Test Model Long Team Number 9)。2003年3月，JVT形成了最终标准草案，分别提交ITU和ISO/IEC，其中该标准在ITU标准中被称为H.264，在ISO/IEC标准中被称为MPEG-4的第10部分先进视频编码(AVC)。,3. 超高清晰度成像(HRI)建议(ITU-R BT.1201)ITU-R BT.1201 建议书提出了超高清晰度成像(HRI)格式和规范建议。该建议的提出主要考虑到如下因素： (1) 超高清晰度图像能够在诸如计算机图形、印刷、医疗、电影及电视等领域里作为未来的图像系统使用; (2) 世界各国正在进行有关超高清晰度图像的研究和应用
16、试验; (3) 为了经济地实现超高清晰度图像系统，应该建立世界通用标准; (4) 超高清晰度图像信号传送时，数据压缩技术起着重要作用。HRI典型空间分辨率的级别的建议如表所示。,4. 我国制定的AVS标准基于我国专家多年参与MPEG国际标准制定的经验，2002年6月成立的“数字音/视频编、解码技术标准工作组”联合国内从事数字音/视频编、解码技术研发的科研机构和企业，提出了我国自主的数字音/视频编、解码技术标准AVS(Audio Video coding Standard)。于2003年年底完成的AVS 1.0标准具有四个特点：(1) 性能高，在性能上比最新的国际标准H.264略高，比MPEG-
17、2高两倍以上;,(2) 复杂度低，算法的复杂度比H.264低; (3) 实现成本低，软件和硬件实现成本都比H.264低; (4) 专利授权费用低。AVS工作组希望以此技术标准为契机，提高我国音/视频芯片、整机和软/硬件系统的核心竞争力，为我国数字电视等AV产业的跨越式发展提供重要的技术支撑。,MPEG-1标准 MPEG是活动图像专家组(Moving Picture Expert Group)的英文缩写。它是国际标准化组织(ISO)和国际电工委员会(IEC)联合技术委员会1(JTC1)的第 29分委员会(S29)的第11工作组(WG11), 其全称是 WG l l of SI 29 of ISO
18、/IEC JTC1。MPEG的任务是开发运动图像及其声音的数字编码标准,成立于 1988年。,随着数字音频和数字视频技术的广泛应用，ISO的活动图像专家组(MPEG)在1991年11月提出了ISO/IEC 11172标准的建议草案，通称MPEG-1标准。该标准于1992年11月被通过，1993年 8月公布。MPEG-1标准适用于数码率在 1.5 Mb/s左右的应用环境，也就是为CD-ROM、光盘的视频存储和放像所制定的。,几个因素影响MPEG压缩视频的质量：原始视频源的分辨率压缩之后允许的码率（信道带宽）运动估计的有效性 MPEG-1标准的内容ISO/IEC 11172 包括三大部分：(1)
19、ISO/IEC 11172-1： 第一部分，系统。(2) ISO/IEC 11172-2： 第二部分，视频。(3) ISO/IEC 11172-3： 第三部分，音频。,MPEG-1标准提供了一些录像机的功能，如正放、 图像冻结、快进、快倒和慢放，此外，还提供了随机存储的功能，当然，解码器这些功能的实现在一定程度上同图像数据的存储介质性质有关。总的编、解码过程如图所示。,编码和解码过程,在 MPEG-1标准中，考虑到压缩比和随机存取这对矛盾，一共定义了四种图像类型： (1) I帧图像，或称 Intra帧图像，采用帧内编码，不参照其它图像; (2) P帧图像，或称 Predicted帧图像，它们参
20、照前一幅 I帧或 P帧图像作运动补偿编码; (3) B帧图像，或称双向预测帧图像，它们参照前一幅和后一幅 I帧或 P帧图像作双向运动补偿编码; (4) D类图像，或称直流(DC)图像，这类图像中只含直流分量，是为快放功能而设计的。,I 帧、P帧和B帧图像的依赖关系,下图描述了按显示顺序排列的一组图像。图中的箭头显示了图像间前向预测和双向预测的关系。,按显示顺序排列的图像序列,图像的显示顺序和编码顺序并不相同。例如，有一组图像按如图所示的显示顺序排列。根据前图4.2 给出的前向预测和双向预测的关系，将图像序列按编码顺序排列，如下页图,按编码顺序排列的图像序列,降低编、解码器总延时的措施,进一步降
21、低编、解码器总延时的措施,MPEG-1视频流结构图表示经编码后输出的MPEG-1视频流结构，它主要包括头部信息和图像数据。,MPEG-1 视频流结构,序列层序列层头部(Sequence Header)：包含图像的水平和垂直尺寸、宽高比、帧速率、码率、缓存器容量、帧内帧间量化矩阵系数等头部信息。,图像组层,图像组层头部(Group of Pictures Header)：包含时间码、图像组终止码、编辑断点连接码等头部信息。,图像层图像层头部(Picture Header)：包含时间参考码、图像编码类型、缓存器延时、图像附加信息等头部信息。,宏块条层 宏块条是发生误码且不可纠正时， 数据重新获得同
22、步，从而能正常解码的基本单元。,宏块层,宏块层头部(Macroblock Header)：包括宏块地址增量、宏块类型、空间/时间加权、帧/场运动矢量预测类型、DCT帧/场自适应识别、量化因子、前向和后向运动矢量编码、编码块模式(CBP)以及编码块模式扩展等头部信息。,求差值的单位是宏块，当前帧宏块与前一帧的宏块进行比较： 首先检测该宏块是否由于图像中的运动在某方向发生位移。 只传输运动向量MV， 如果当前宏块与前一帧的宏块有差值，还传输残差。 或者宏块是否没变化，也没有位移。 不需传输任何信息。 或者是否是新出现的对象。 完全编码,总结： (1)在视频序列层中，一个编码的视频序列由一个序列信头
23、开始，后面跟随一个图像组头，然后是由许多图像(I，P和B)组成的一系列GOP，视频序列结束于一个序列终止码。 (2)在图像组层中，GOP头中给出了时间码和紧跟在I幀后面的B图像的预测特性等信息。 (3)在图像层中，图像头中给出了时间参考信息、图像编码类型和VBV(视频缓存校验器)延时等信息。 (4)在像条层中，像条头中给出了像条垂直位置、量化因子码等信息。 (5)在宏块层中，其中的宏块类型码中给出了宏块属性、运动矢量。 (6)最后一层是块层，给出了其DCT系数。,MPEG-1音频压缩处理单元MPEG-1音频标准由三层组成：层、层和层。层是以向下兼容方式编排的，编码和功能的兼容性升到较高的层，因
24、此，层解码器可读出层的数据流，而不能读出层的数据流。层解码器又可对所有MPEG-1音频比特流解码。MPEG-1音频数据压缩以子带编码为基础。音频输入信号在编码时先分成32个相同大小的子带，每个子带的量化和比特分配用心理声学模型确定，该模型符合人类听觉的掩蔽特性。量化后的采样值与比例因子和其它编码信息合成为所谓的帧结构，这就产生了符合MPEG-1第三部分定义的语法和语义规则的压缩数据流。下图给出了MPEG-1音频编码器的主要功能单元。,MPEG-1音频编码器的主要功能单元,与系统和视频部分一样，音频部分也不为编码器规定固定的结构或实施方法，尤其是心理声学模型，对每个编码器实施方法都不完全相同，所
25、以其质量可能也是各种各样的。标准只定义已压缩数据流的语法和语义，这是解码器在为恢复相应音频信号时必须认识的。MPEG-1音频压缩技术的采样率确定为44.1 kHz。压缩后每个音频信道的数据率是192 kb/s。所有的层都准备了4个不同的模型：单通道、双通道、立体声和联合立体声。层只包括基本的编码成分，而层有用做比特指示和编码的比例因子及采样值的附加标志。,MPEG-2标准MPEG-2广泛应用于数字电视(包括HDTV)及数字声音广播、数字图像与声音信号的传输等领域，因而MPEG-2是十分重要的，也是非常成功的世界统一标准。MPEG-2标准共有3部分：第1部分是系统(Systems)部分(ISO/
26、IEC IS 13818-1); 第2部分是图像(Video)部分(ISO/IEC IS 13818-2); 第3部分是声音(Audio)部分(ISO/IEC IS 13818-3)。,系统部分系统部分涉及如何将一个或多个图像、声音及其它数据的基本码流组合成单一或多个码流，使之便于存储和传输。它包括以下5种基本功能：(1) 多个压缩码流解码时的同步; (2) 多个压缩码流解码时的交织; (3) 开始解码的缓冲预置; (4) 缓冲器的连续控制; (5) 时间识别。,系统编码规定为两种方式：节目码流(Program Stream，PS)和传送码流(Transport Stream，TS)。它们各自
27、为不同应用而最佳化。压缩后的基本码流与系统的信息一起组合、打包，产生打包基本码流(Packetised Elementary Streams，PES)，然后这些PES又组合形成节目码流或传送码流。,MPEG-2基本多工方法框图,典型节目码流解码器,MPEG-2节目码流的组成,传送码流是由带一个或多个独立时基的一个或多个节目组合而成的一个码流。传送码流的包长是固定的，为188字节。对传送码流可以进行以下操作：(1) 恢复传送码流中一个节目的编码数据，并解码。(2) 把含有多个节目的传送码流转换成一个含有单一节目的传送码流。,(3) 把多个节目的传送码流先分工，然后转换成节目码流。(4) 由一个或
28、多个传送码流取出一个或多个节目的传送包，并在输出端产生不同的传送码流。(5) 把一个节目码流转换成传送码流，使其能通过有损耗的环境，然后将其恢复成原来的节目码流。,MPEG-2传送码流的组成,图像部分 MPEG-2标准支持不同性能和不同复杂性的解码器，覆盖广泛的应用范围，充分考虑了各种应用的不同要求，有较强的通用性。为了适应广播、通信、计算机和家电视听产品的各种需求， 适应不同的数字电视体系，MPEG-2有4种输入格式(用级(levels)加以划分)和5种不同的处理方法(用类(profiles，也译成档次)加以划分)。,1级(Level)级表示MPEG-2编码器输入端的信源图像格式。 (1)低
29、级(Low Level，LL)LL级对应的输入信源格式是CIF格式，约是601标准中的信源格式的1/4，即35224830或35228825，相应编码的最大输出码率为4Mbit/s。,(2)主级(Main Level，ML)ML对应于ITU-R601建议的信源格式，即72048029.97或72057625，最大允许输出码率为15Mbit/s，其高型的码率是20Mbit/s。 (3)高H-1440级(High-1440 Level)H-1440属于高清晰度发展道路上的准高清晰度级，没有得到实际应用。图像输入格式是14401152 pel/s的高清晰度格式，最大输出数码率为60 Mb/s(高类为
30、80 Mb/s)。,(4)高级(High Level，HL)HL对应高清晰度电视的信源格式，即1920108030或1920115225，最大输出码率为80Mbit/s，其高型的码率是100Mbit/s。,2类(Profile) 在MPEG-2的5个类中，每升高一类将提供前一类未使用的附加的码率压缩工具，编码更为精细。类之间存在向后兼容性， 若接收机能解码用高类工具编码的图像，也就能解码用较低类工具编码的图像。 (1)简单型(Simple Profile，SP) (2)主型(Main Profile，MP),(1) 简单类SP(Simple Profile)是最低的类。 (2) 主类MP(Ma
31、in Profile)比简单类增加了双向预测压缩工具。 主类没有可分级性，但质量要尽量好。 (3) 信噪比可分级类SNRP(SNR Scalable Profile)。 (4) 空间可分级类SSP(Spatially Scalable Profile)。 (5) 高类HP(High Profile)则支持逐行同时处理色差信号(例如422)，并且支持全部可分级性。,声音部分虽然MPEG是由国际标准化组织和国际电工委员会联合组成的专家组，但是它所制定的声音、图像数字编码和多工组合的标准，特别是MPEG-2，得到了包括国际电信联盟的电信标准化部门ITU-T和无线电通信部门ITU-R在内的其它有关国际
32、组织和国家的广泛认可，在广播、电视和多媒体的未来数字化的发展中得到了应用，并成为其发展的基础。,MPEG-2 的编码和解码,DTV信号图像质量的影响因素 DTV信号图像质量的影响因素与模拟电视信号不同 模拟电视信号中的噪声直接表现为图像中的雪花，而在数字电视中只会造成信道误码率的增加，由于信号中的误码保护机制，大部分误码可以被恢复，不会被察觉。如果信道噪声太大，会造成信道突然中断。 对数字电视，线性或非线性失真不会对声音和图像有直接影响，在极端情况会造成完全传输中断。数字电视不需要VITS(vertical insertion test signal)来检测线性和非线性失真，不需要黑电平信号来
33、检测噪声，也不需要有关传输连接的测试信号。 数字电视图像质量也有好坏之分，但质量好坏评价标准不同，评价方法也有多种。,主要有两种因素会影响视频传输，会造成不同类型的干扰： MPEG-2编码器或复用器 不同的压缩率对图像质量有直接影响，压缩比太大会造成块效应。 调制器到接收机的传输链接 传输链接的干扰会造成信道误码，最终表现为大面积块影响，如图像区域冻结或完全传输中断。,MPEG-2视频编码对图像质量的影响及分析 视频压缩算法的单位都是块或宏块，图像首先被分成8x8像素块，每块单独压缩，16x16宏块是预测编码单位。 如果压缩比过大，块边界可见，出现块效应。亮度和色度信号块边界不连续性可被察觉。
34、 压缩比固定的情况下，块效应的大小取决于图像内容和其他因素：,运动缓慢细节较少的场景，卡通动画和传统电影胶片相对没有问题，因为两场之间没有运动，而且卡通动画的图像结构较粗。 体育节目取决于不同体育项目，问题较大。一级方程式赛车节目比棋类比赛节目压缩难度更大。,实际图像质量取决于MPEG-2编码器采用的算法。 除了块效应，压缩比过大还可能显出DCT结构，图像中突然出现图形干扰。 干扰影响的决定性因素在于MPEG-2编码器.,H.261标准 H.261是ITU-T为在综合业务数字网(ISDN)上开展双向声像业务(可视电话、视频会议)而制定的。 H.261 是用于会议电视的国际标准，既采用了帧内编码
35、，又采用了帧间编码，因此它的压缩比大致 是JPEG的三倍。 H.261标准用于音象业务的码率是 为64kb/s的整数倍p64kbps(p=1，2，30)。用于电视电话时p=1或2，用于电视会议时p6。这种标准具有最小延迟实时对话的能力。 H.261只对CIF和QCIF两种图像格式进行处理，每帧图像分成图像层、宏块组(GOB)层、宏块(MB)层、块(Block)层来处理。,图像帧类型为 CCIR 601 CIF（352288）和 QCIF（176144），信号色度格式4:2:0。 两种帧编码类型：帧内编码 Intraframes(I-frames)和帧间编码 Interframes (P-fra
36、mes)。 帧内编码的 I-frames主要使用JPEG的技术。 帧间编码的 P-frames使用与前一帧（预测帧，predicted frame）的差值进行编码，因此当前帧依赖于前一帧。 I-frame可以作为随机读取点。,图像格式图像纵横比和每帧图像的纵、横像素数是图像的基本格式，并且由此可以推算像素的纵横比。为了使现行各种电视制式，即PAL、NTSC、SECAM制的图像比较容易地转换为电视电话的图像格式，从而便于相互交换，并且速率又较低，H.261采用通用中间格式CIF。CIF规定图像亮度分量Y的横向像素为352个，纵向像素为288个。图像色度分量Cb、Cr的纵、横像素数均为亮度分量的一
37、半。另外，图像尺寸的纵横比为34，与常规模拟电视屏幕尺寸比例一致。由此可以推算像素的纵横比为像素纵横比=纵:横=,可见，像素纵横比为1112，接近于方形。亮度分量Y的像素数为色度分量Cb或Cr像素数的4倍，而Y分量像素的面积等于色度分量Cb或Cr像素的面积，可见，色度分量的清晰度比亮度分量的清晰度低，这对整个图像清晰度基本无影响，因为人眼对色度的分辨率本来就低，所以可以利用这种心理视觉冗余度来减少色度像素数。,亮度分量的纵向像素为288个，实际上相当于288行扫描线，这是考虑到当前两种电视制式为625行25帧和525行30帧，都是隔行扫描和每帧为2场，所以两种制式的场扫描行数为6252和525
38、2，而288扫描行就是由这两种场扫描行数转换来的，即取这两种场扫描行数的平均值：这样比较容易实现CIF与这两种电视制式之间的相互转换。,由于编码时采用88像素块作为基本单元，因此图像的纵、横像素数均应是8的整数倍，即352844，288836，176822，1448=18，所以亮度分量和色度分量的88块数分别应为4436，2218，即亮度分量的块数为各色度分量块数的4倍，故四个亮度分量块和两个色度分量块共六块反映的是同一个像区，可以组成一组，称之为宏块，用MB表示，这样有利于一起编码。,将每行模拟亮度信号转换成数字信号时，需要对亮度信号抽样，考虑到纵向清晰度为288行，比较低，所以横向清晰度也
39、不需要比纵向清晰度高，故将抽样频率定为 6.75 MHz。 对于625行25帧制式，其行频为6252515 625 Hz，抽样频率为行频的432倍，即 6.75 MHz15 625432 Hz。对于525行30帧制式，实际上是30 0001001帧，接近于29.97 帧，其行频为52530 000/100115 734.266 Hz，抽样频率为行频的429倍，即下式成立:,抽样频率取为电视制式的行频的整数倍，有利于长时间连续抽样时纵、横像素同步，同时抽样频率也比较容易发生。另外，色度信号的抽样频率为亮度信号抽样频率的一半，即3.375 MHz。对于625行25帧制式，行周期为64 s，其中显示
40、区时间约为54 s，所以显示区像素数为显示区像素数= 从显示区中同步地取出352个像素即可。,显示区时间,抽样周期,对于525行30帧制式，行周期为63.555 s，其中显示区时间约为53 s，所以显示区像素数为 显示区像素数53 s6.75 MHz357.75 同样地，从显示区中同步地取出352个像素即可。当电视电话在ISDN网中传输时，若P取1或2，则最高速率为128 kb/s，上述CIF规定的像素仍然太多，因此取CIF规定的纵、横像素数的一半，称为QCIF(其中Q为Quarter, 即1/4)，此时亮度信号的横向像素数为176，纵向像素数为144。色度信号Cb、Cr的横向像素数为88，纵
41、向像素数为72。,QCIF规格为最低要求，所有电视电话都应该达到此规格，而CIF规格则为任选。在像素数减少的同时，显示面积也相应减少，例如取图像屏幕对角线长34英寸为宜。一些厂家采用QCIF格式在现行电话网中传输电视电话，由于现行电话网可以传输的速率在20 kb/s以下，远比64 kb/s低，因此要采取降低帧频等措施。在ISDN中传输电视电话和电视会议时帧频应取30 Hz。综上所述，H.261标准的图像格式如表所示。,另按CCIR-601规定量化后色度信号峰峰值为224等级电平，最低电平为16，最高电平为240，亮度信号Y量化后的电平有220级电平，亮度信号最高电平为235，最低电平(黑电平)
42、为16,下面举例说明图像压缩比CR的计算方法。例：若采用CIF图像格式，帧频取30帧/秒，求在速率为384 kb/s的网络中传输时应有的压缩比CR。解 压缩前的速率为 352288+2(176144)像素/帧30帧/秒8位/像素=364936kb/sCR= =压缩比较高，需要采用较多措施后才能达到。上面的例子采用简化的计算方法，在实际编码时要加入辅助信息，使应有的压缩比更高些。,压缩前速率,压缩后速率,信源编码器方框图图示为信源编码器方框图。图中图像输入实际上是以宏块MB为单位输入的，MB中包含亮度信号Y的4个88像素方块，色度信号Cb、Cr的各一个88像素方块，共6个88像素方块。,信源编码
43、器方框,帧内、帧间编码模式计算,帧内、帧间判据 设前帧宏块的亮度信号像素值用P(x，y)表示，后帧宏块的亮度像素值用C(x，y)表示。前帧宏块的亮度信号方差用代号VAROR表示，其值由下式决定:在宏块内亮度信号有4个88方块(或1616方块)，共有256像素。VAROR实际上反映了前帧图像的反差强弱。,前、后帧因时间差而引起像素差，用时间预测变动VAR表示，其值由下式决定:此式就是前、后帧对应像素之差的均方值。VAR也说明前、 后帧像素值变动所导致的平均能量变动。此处像素值在0255范围内。VAR值越小，则相关性越大，但是还要考虑图像反差，反差大的图像，VAR一般也相应增大。,根据VAROR和
44、VAR的值，可以定出下述三条帧内、帧间编码模式的判据:(1) 当VAR64时，为帧间模式。(2) 当VAR64，VARORVAR时，为帧间模式。(3) 当VAR64，VARVAROR时，为帧内模式。这三条判据可以用下图来表示。若是帧内编码，则对该宏块MB进行DCT变换和量化等。若为帧间编码，则该宏块属于P帧，要进行运动估计等编码，若采取不传，则该宏块属于B帧。所以要预先编制程序才能进行操作，而上述判据只是程序中的一部分。上述判据是一些厂家采用的，但不属于H.261标准，因为也可以有其它判据。,帧内、帧间编码模式的判据,运动估计和运动矢量在帧间编码时，需要传前、后帧宏块MB的差值，此差值一般地说
45、不是对应像素的差值C(x，y)P(x，y)，而是在前帧内，对应于后帧宏块MB位置的附近区域中，搜索最匹配的MB，也就是寻找最相似的MB，也可能找到完全相同的MB，这时差值为零，即不需要传MB的差值数据，只需要传表示前、后帧位置差别的信号，亦即运动矢量MV，其表达式如下:,在前帧中通过运动估计找到最匹配的MB后，则需要传送前、后帧匹配宏块间像素差值矩阵MBxy，即MBxy=C(x，y)P(x+H，y+V) 式中，MBxy的x指水平方向向右16个像素差值，y指垂直方向向下16个像素差值，共有1616=256个像素差值。若原来各帧像素值范围为 128127，由于相减则改为255255，即为9 bit
46、。除了上述256个亮度差值外，另有色度信号Cb、 Cr各64个差值，共计384个差值。如何传图2.2中的P帧，即预测帧?其内有396个宏块MB，按上述方法求得的这些宏块的差值均称为预测误差，每一宏块的预测误差都需要经过DCT的量化等编码操作后再传输。,环路滤波器环路滤波器又称为二维空间滤波器，它属于低通滤波器，其功能是消除高频噪波。当使用帧间模式和运动补偿时，通常采用环路滤波器，环路滤波器接在运动补偿环路内。它作用在88像素块上，用于消除边缘赝像。,环路滤波器的系数 88块中各类像素; (b) 各类滤波器系数; (c) 中间系数; (d) 最后系数,信源编码器应该输出的信号有下述几种：(1)
47、帧内、帧间量化DCT系数; (2) 帧内、帧间模式选择信号; (3) 帧内、帧间各宏块量化步长; (4) 图像数据传输与否指示信号(指B帧或预测误差为零时不传); (5) 帧间模式各宏块的运动矢量; (6) 环路滤波器是否使用指示信号。,综上所述，信源编码电路功能非常灵活： 可以跳帧; 可以逐个宏块决定帧内或帧间模式; 每帧均可储存后与下帧比较作出模式判定; 帧存储器在存储3帧以上的情况下，可以进行第1、5帧之间的预测误差计算; P帧内，部分宏块可以采用帧内模式; 任何时候场景突变后，可以抓住第1帧进行帧内编码。,信源解码器方框图当编码后的各种信号传到解码器后，解码器如何使用这些信号?1. 帧
48、内模式在帧内模式时，编码器送来的宏块MB量化DCT系数被送入去量化器Q1，同时该块MB的量化步长q也被送入去量化器Q1，于是按照基本公式F(u，v)=2qQ(u，v)可得DCT系数F(u，v)，经反DCT变换T1后所得的像素值f(x，y)(带撇号表示与原值略有差别)被送入加法器。当帧内解码时，图2.6中所示的单刀双掷开关拨在上方，故加法器左边无信号送入。加法器输出两路图像数据，一路供输出，另一路到帧存储器，供帧间解码时使用。,信源解码器方框图,2. 帧间模式在帧间模式时，编码器提供的量化DCT预测误差和量化步长一起被送入去量化器Q-1，去量化后的信号再经过反DCT变换T-1后得到预测误差C(x
49、，y)PF(x+H，y+V)，此时与该MB相应的运动矢量坐标H和V被送入帧存储器，将前帧匹配信号P(x+H，y+V)从帧存储器取出送入环路滤波器，乘滤波系数后得PF(x+H，y+V)。在帧间模式时，图中所示的单刀双掷开关拨在下方，则PF(x+H，y+V)经过开关后到达加法器，与预测误差相加后得C(x，y)，即后帧像素值。加法器输出分两路，一路输出，另一路进入帧存储器储存，此时存入的是P帧(预测帧)，以供备用，因为它可能是下一个P帧的前帧。,图像复用和解复用1. 图像数据的层次为了有秩序地传输每帧图像数据，可把一帧图像数据分成4个层次，即数据块层、宏块层、块组层和帧层。(1) 数据块层用B表示。一个数据块包含88个像素，亮度和色度信号均以此数据块作为基本编码单元。(2) 宏块层用MB表示。一个宏块包含4个亮度数据块和2个色度数据块(Cb、Cr各1个)，因此MB内共有6个数据块，其先后顺序如图所示。在宏块中Y、Cb、Cr描述同一像区。(3) 块组层用GOB表示。一个块组包含33个宏块，纵向有3行，每行有11个，其先后次序如下图所示。,
