1、2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,1,第4章 限失真信源编码,本章主要研究问题: 1. 如何理解限失真信源编码? 2. 如何定义失真函数? 3. 如何定义信息率失真函数? 4. 如何描述限失真编码定理? 5. 常用的限失真信源编码方法有哪些?,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,2,第4章 限失真信源编码,4.1平均失真和信息率失真函数4.1.1失真函数4.1.2平均失真4.1.3信息率失真函数4.1.4信息率失真函数的性质 4.2离散信源和连续信源的计算 4.3限失真信源编码定理 4.4常用信源编码方法简介4.4.1游
2、程编码4.4.2算术编码4.4.3矢量量化4.4.4预测编码4.4.5变换编码 习 题,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,3,第4章 限失真信源编码,控制信息失真的原因?在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。,例如：语音、图像,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,4,4.1平均失真和信息率失真函数,4.1.1失真函数失真函数定义:,信源编码,X x1 x2xn,Y y1 y2ym,2019年3月27日5时
3、44分,北京工商大学信息工程学院 信息论与编码,5,4.1平均失真和信息率失真函数,4.1.1失真函数失真矩阵,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,6,4.1.1失真函数,例设信源符号X0，1,编码器输出符号Y0,1,2,规定失真函数为 d(0,0)d(1,1)0; d(0,1)d(1,0)=1;d(0,2)d(1,2)0.5，求失真矩阵。解:由式得失真矩阵,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,7,4.1.1失真函数,(1)常用失真函数均方失真：绝对失真：相对失真：误码失真：,说明:,2019年3月27日5时44分,北京工
4、商大学信息工程学院 信息论与编码,8,4.1.1失真函数,说明:,(2) 最常用的失真函数及其适用性均方失真函数、绝对失真函数、相对失真函数适用于连续信源；误码失真适用于离散信源。 (3) 失真函数困难性比较均方失真和绝对失真只与(xi-yj)有关，而不是分别与xi及yj有关，在数学处理上比较方便。,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,9,4.1.1失真函数,失真函数的定义的推广-序列编码,如果假定离散信源输出符号序列Xx1 x2xi xn，其中L长符号序列X=X1X2 XL的取值设为 xi=xi1 xi2 xiL，经信源编码后，接收端收到符号序列Y=y1
5、y2yjym，其中L长符号序列yj=yj1 yj2 yjL则失真函数定义为式中d(xik,yjk)是信源输出第i个L长符号xi中的第k个符号xik，接收端收到第j个L长符号yj中的第k个符号yjk的失真函数。,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,10,4.1.2平均失真,失真矩阵,信源编码,X x1 x2xn,Y y1 y2ym,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,11,4.1.2平均失真,平均失真 失真函数的数学期望称为平均失真。 对于连续随机变量的平均失真,连续随机变量的联合概率密度,2019年3月27日5时44分,北
6、京工商大学信息工程学院 信息论与编码,12,4.1.3信息率失真函数,1. 信息率失真函数R(D)问题产生?对于信道容量为C的信道传输信息传输率为R的信源时，如果RC，就必须对信源压缩，使其压缩后信息传输率R小于信道容量C，但同时要保证压缩所引入的失真不超过预先规定的限度D。信息压缩问题就是对于给定的信源，在满足平均失真的前提下，使信息率尽可能小。 （举例语音）,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,13,4.1.3信息率失真函数,2 D允许信道（D允许的试验信道）对于离散无记忆信道(假想信道，实际上是信源编码)3 信息率失真函数R(D) 对于离散无记忆信源,
7、2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,14,4.1.3信息率失真函数,例4-1-2 已知, 编码器输入的概率分布为:p(x)0.5，0.5，信道矩阵分别为:求: 互信息。,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,15,4.1.3信息率失真函数,例4-1-2 分析 p(x)0.5，0.5,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,16,4.1.3信息率失真函数,解 (1) 因p(xiyj)p(xi)p(yj/xi)；p(x1y1)=0.3， p(x1y2)0.2，p(x2y1)=0.1， p(x2y2
8、)0.4因为p(yi)=所以p(y1)0.4，p(y2)0.6,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,17,4.1.3信息率失真函数,又因为p(xi/yj)=p(xiyj)/p(yj)所以 p(x1/y1)=3/4, p(x1/y2) =1/3,p(x2/y1)=1/4, p(x2/y2)=2/3 根据互信息公式代入可得比特/符号用pij代入进行同样的运算可得I(X;Y)=0.397 比特符号,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,18,4.1.3信息率失真函数,补充例 已知, 编码器输入的概率分布为: p(x)0.5，0.5
9、，信道模型分别为:求: 互信息、平均失真。,x1,x2,y1,y2,0.99,0.01,0.01,0.09,x1,x2,y1,y2,1,1,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,19,4.1.3信息率失真函数,补充例 编码器输入的概率分布为: p(x)0.5，0.5,x1,x2,y1,y2,1,1,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,20,4.1.3信息率失真函数,补充例 编码器输入的概率分布为: p(x)0.5，0.5，,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,21,4.1.3信息率失真函数
10、,补充例 编码器输入的概率分布为: p(x)0.5，0.5，,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,22,4.1.3信息率失真函数,补充例 编码器输入的概率分布为: p(x)0.5，0.5，,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,23,4.1.3信息率失真函数,补充例 编码器输入的概率分布为: p(x)0.5，0.5，,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,24,4.1.3信息率失真函数,补充例 总结,当信源固定，变动信道，这里指信源编码的一种方式，信道转移概率可变。,2019年3月27日5时
11、44分,北京工商大学信息工程学院 信息论与编码,25,4.1.3信息率失真函数,补充例总结,x1,x2,y1,y2,0.99,0.01,0.01,0.09,x1,x2,y1,y2,1,1,1-p,p,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,26,4.1.3信息率失真函数,例设信源的符号表为A=a1,a2,a2n,概率分布为p(ai)1/2n，i1,2,2n，失真函数规定为由信源概率分布可求出信源熵为设想采用下面的编码方案：,等效试验信道,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,27,4.1.3信息率失真函数,例设信源的符号表为A=
12、a1,a2,a2n,概率分布为p(ai)1/2n，i1,2,2n，失真函数规定为平均失真D为,等效试验信道,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,28,4.1.3信息率失真函数,由该信道模型知，它是一个确定信道由互信息公式可得I(X;Y)=H(Y)-H(Y/X)=H(Y) 信道输出概率分布为所以概率分布为则输出熵H(Y)为,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,29,4.1.3信息率失真函数,信息率失真函数的意义：在一定允许失真度D的条件下，用尽可能少的码符号来传送信源消息，以提高通信系统的可靠性。,作业：4-1,本次课小结：
13、1 失真函数2 平均失真度3 信息率失真函数,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,30,4.1.4信息率失真函数的性质,1.R(D)函数的定义域R(D)的定义域为D0，Dmax2.R(D)函数的下凸性和连续性3.R(D)函数的单调递减性,例:,R(D)在定义域内是下凸的,连续的。,R(D)的单调递减性可以作如下理解： 容许的失真度越大，所要求的信息率越小。,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,31,4.1.4信息率失真函数的性质,得出如下结论： R(D)是非负的实数，即R(D)0。其定义域为0Dmax，其值为0H(X)。当
14、DDmax时,R(D)0。R(D)是关于D的下凸函数，因而也是关于D的连续函数。R(D)是关于D的严格递减函数。,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,32,4.2离散信源和连续信源的计算,某些特殊情况下R(D)的表示式为：,率失真函数,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,33,4.2离散信源和连续信源的计算,例4.2.1设输入输出符号表为X=Y=0，1，输入概率分布p(x)=p，1-p，0p1/2，失真矩阵为求信息率失真函数R(D).解:简记(1) 按下式解方程解得,2019年3月27日5时44分,北京工商大学信息工程学院
15、 信息论与编码,34,4.2离散信源和连续信源的计算,(2) 按下式解方程解得(3) 得转移概率分布,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,35,4.2离散信源和连续信源的计算,(4) 求s(s=log),2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,36,4.2离散信源和连续信源的计算,(5)计算R(D)，将上面各式代入，则有,(D)=H(p)-H(D)，p为参数,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,37,4.3限失真信源编码定理,限失真信源编码定理：设离散无记忆信源X的信息率失真函数R(D)，则
16、当信息率RR(D)，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D+，为任意小的正数；反之，若RR(D)，则无论采用什么样的编码方法，其译码失真必大于D。如果是二元信源，对于任意小的0，每一个信源符号的平均码长满足如下公式在失真限度内使信息率任意接近R(D)的编码方法存在。,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,38,4.4常用信源编码方法简介,4.4.1游程编码游程长度在二元序列中，只有两种符号，即“0”和“1”，这些符号可连续出现，连“0”这一段称为“0”游程，连“1”这一段称为“1”游程。它们的长度分别称为游程长度L(0)和L(1
17、).对于多元序列也存在相应的游程序列。例如m元序列中，可有m种游程。连着出现符号ar的游程，其长度L(r)就是“r”游程长度。 设有多元信源序列(x1，x2，xm1， y，y，y， xm1+1，xm1+2，xm2， y，y，其中x是含有信息的代码，取值于m元符号集A，可称为信息位；y是冗余位，它们可为全零，即使未曾传送在收端也能恢复。这样的序列可用下列两个序列来代替：111，100，000111，111000和x1，x2，xm1，xm1+1， xm1+2，xm2， 前一个序列中，用“1”表示信息位，用“0”表示冗余位；后一个序列是取消冗余位后留下的所有信息位。,2019年3月27日5时44分,
18、北京工商大学信息工程学院 信息论与编码,39,4.4.2算术编码,算术编码的基本思路从全序列出发，将各信源序列的概率映射到0，1区间上，使每个序列对应这区间内的一点，也就是一个二进制的小数。积累概率则例如有一序列S=011，这种三个二元符号的序列可按自然二进数排列，000，001，010，则S的积累概率为 P(S)=p(000)+p(001)+p (010)如果S后面接一个“0”，积累概率就成为P(S0)=p(0000)+p(0001)+p(0010)+p(0011)+p(0100)+p(0101)=p(000)+p(001)+p(010)=P(S),信源的符号概率和积累概率,2019年3月2
19、7日5时44分,北京工商大学信息工程学院 信息论与编码,40,4.4.2算术编码,如果S后面接一个“1”，则其积累概率是P(S1)=p(0000)+p(0001)+p(0010)+p(0011)+p(0100)+p(0101)+p(0110)=P(S)+p(0110) =P(S)+p(S)p0 上面两式可统一写作一般的递推公式序列的概率的公式,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,41,4.4.2算术编码,实用中，采用积累概率P(S)表示码字C(S)，符号概率p(S)表示状态区间A(S)，则有实际编码过程:先置两个存储器C和A，起始时可令其中 代表空集。每输入
20、一个信源符号，存储器C和A就按照上式更新一次，直至程序结束，就可将存储器C的内容作为码字输出。,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,42,4.4.2算术编码,例4.4.1有简单的四个符号a，b，c，d构成序列S=abda，各符号及其对应概率如表算术编解码过程如下:设起始状态为空序列，则A()=1，C()=0。,表4-4-1各符号及其对元概率,符号,符号,符号概率pi,符号概率pi,符号累积概率Pj,符号累积概率Pj,a,b,c,d,0.100(1/2),0.010(1/4),0.001(1/8),0.001(1/8),0.000,0.100,0.110,0.
21、111,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,43,4.4.2算术编码,算术码编码过程,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,44,4.4.2算术编码,据递推公式的相反过程译出符号。具体译码顺序是后编的先译，故称为LIFO算术码，步骤如下： C(abda)=0.010111010,0.1) 第一个符号为a；放大至0,1) :C(abda)20.101110.1,0.110)第二个符号为b； 去掉累积概率Pb:0.10111-0.1=0.00111 放大至0,1) :0.00111 =0.1110.111,1)第三个符号为d 去
22、掉累积概率Pd：0.111-0.111=0 放大至0,1) ：0 =00,0.1) 第四个符号为a。,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,45,4.4.3矢量量化,标量量化连续信源进行编码的主要方法是量化，即将连续的样值x离散化成为yi，i=1,2,3,n。设信源符号的取值区间为(a0，an)，即a0xan，a0可为负无限，an可为正无限，所以上述假设不失一般性。量化就是将上面的区间分成n个小区间，每个区间内定一个量化值yi，若各区间端点为ai-1和ai，必有a0y1a1y2an-1ynan最佳标量量化就是在一定的n值时，选择各ai和yi以使失真最小。此时的
23、信息率为R=log n,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,46,4.4.3矢量量化,量化噪声当一个样值x经量化后所产生的误差为也就是在信号值x上叠加了一个样值为 的噪声信号。 以语音信号量化常用的脉码调制(PCM)为例。设语音信号的准峰值为L，由于语音信号是双向性的，则其取值范围为-L,L。量化级数为n，量化级差为2L/n，用中心值作为量化值yi。语音信号样值x的概率密度是负指数分布,经推导计算(见参考文献2)可得信号功率与噪声功率之比即信噪比为,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,47,4.4.3矢量量化,压扩技术综合
24、考虑大、小功率的情况，将它们区别对待，即非均匀量化，小功率时量化级差小；大功率时量化级差大。这样就减小了小功率时的量化噪声，增大了大功率时的量化噪声。使得在较低的比特数编码时，既保证了小功率时的信噪比，又利用了大功率时信噪比的富余量。 矢量量化在前面的最佳编码中可看到将离散信源的多个符号联合编码可提高效率。连续信源也是如此，当把多个信源符号联合起来形成多维矢量，再对矢量进行标量量化时，自由度将更大，同样的失真下，量化级数可进一步减少，码率可进一步压缩。,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,48,4.4.4 预测编码,预测就是从已收到的符号来提取关于未收到的符
25、号的信息，从而预测其最可能的值作为预测值；并对它与实际值之差进行编码，达到进一步压缩码率的目的。 估计理论预测指令利用预测值来编码的方法,最佳估计:若估值与原物理量之间的均方误差最小无偏估计:估值的数学期望等于原来的物理量,一类是用实际值与预测值之差进行编码，也叫差值编码。 一类方法是根据差值的大小，决定是否需传送该信源符号。,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,49,4.4.5 变换编码,变换编码通过变换来解除或减弱信源符号间的相关性，再将变换后的样值进行标量量化，或采用对于独立信源符号的编码方法，以达到压缩码率的目的。 傅氏变换设有函数f(t)，0tT，
26、则正交性归一性把f(t)展开为,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,50,4.4.5 变换编码,K-L变换按均方误差最小准则来推算，可使变换后的随机变量之间互不相关。缺点是计算复杂，除了需测定相关函数和解积分方程外，变换时的运算也十分复杂. 离散变换先对信源输出x(t)取样然后取N个样值形成一个N维矢量，对这矢量用矩阵进行变换，成为另一域内的N维矢量，以解除或减弱矢量内各分量的相关性。再对后一个分量进行标量量化或对矢量进行矢量量化来完成信源编码。,2019年3月27日5时44分,北京工商大学信息工程学院 信息论与编码,51,4.4.5 变换编码,变换和反变换写成矩阵形式分别为,
