1、第7章 限失真信源编码,7.4 信息率失真函数的计算,7.2 信息失真函数,7.3 限失真信源编码定理和逆定理,7.1 失真测度,如果RC，在任意信道上都不可能实现错误译码概率无线小的无失真传输；或者说要实现错误译码概率任意小，在任何信道上传输都必然产生失真。,在信道传输信息时，通常并不需要完全无失真。,信宿对真实度的要求：,实际语音信号：20Hz8KHz,人耳能够分辨：300Hz3400Hz,图象色差：可达足够多,视觉分辨：256级（黑白）已足够,所以实际生活当中，通常总是要保证在一定质量的前提下在信宿近似地再现信源输出的信息，或者说在保真度准则下允许信源输出存在一定的失真。,失真如何度量？
2、 率失真函数如何计算？,限失真的信源编码问题,允许一定的失真度下，能将信源信息压缩到什么程度？（最少需要多少比特才能在收端描述信源？）,7.1 失真测度,7.1.1 失真函数,失真的大小,用一个量来表示,即失真函数d(xi,yj),以衡量用yj代替xi所引起的失真程度。,假设离散信号源为,=,经过信道传输后的输出序列为Y=,xi yj 产生失真,xi yj 没有失真,将所有的d(xi,yj)排列起来,用矩阵表示为:,失真函数d(xi,yj)：描述了某个信源符号通过传输后失真的大小。,失真函数的定义为：,=,【例7.1】 设信源符号序列为X=0,1,接收端收到符号序列为Y= 0,1,2,规定失真
3、函数为 0 1 0.5,求失真序列,解：由失真矩阵得,=,=,失真函数形式可以根据需要任意选取,最常用的有:,均方失真:,绝对失真:,相对失真:,误码失真:,适于连续信源,适于离散信源,假设离散矢量N长符号序列为,经信道传输后，接收端收到的N长符号序列为,则失真函数定义为,失真函数的定义可以推广到矢量传输的情况，,X=,Y=,【例 7. 2】假定离散矢量信源N=3，输出矢量序列为 ,其中 ， 的取值为 ；经信道传输后的输出为 ，其中 ， 的取值为 。定义失真函数为,求矢量失真矩阵,解：由矢量失真函数的定义得,类似的可以得到其他元素数值，矢量矩阵为,7.1.2平均失真,假定离散信源为,经信道传输
4、后输出序列为,失真矩阵为,和 都是随机变量,所以失真函数 也是随机变量,限失真时的失真值只能用数学期 望表示将失真函数的数学期望称为平均失真：,描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真。,假设离散矢量N长符号序列,经信道传输后，接收端收到的N长符号序列为,Y=Y1,Y2,Y3,YN,X=X1,X2,X3,XN,则平均失真度为,平均失真是对给定信源分布 在给定转移概率分布 为的信道中传输时的失真总体量度。,7.2 信息率失真函数,7.2.1 允许信道（试验信道）,无论是无噪信道还是有噪信道:RC总能找到一种编码使在信道上能以任意小的错
5、误概率,以任意接近C的传输率来传送信息RC就必须对信源压缩,使其压缩后信息传输率R小于信道容量C,但同时要保证压缩所引入的失真不超过预先规定的限度。 信息压缩问题就是对于给定的信源,在满足平均失真 的前提下,使信息率尽可能小。,若平均失真度不大于我们所允许的失真,即,则称此为保真度准则,将满足保真度准则的所有信道称为失真度D允许信道（也称D允许的试验信道）记为,对于离散无记忆信道，相应地有,7.2.2 信息率失真函数的定义,在 失真允许的试验信道 中寻找一个信道，使给定的信源经过此信道传输时，其信道传输率达到最小，定义为信息率失真函数 ,也称为率失真函数，即,对于离散无记忆信道,例已知编码器输
6、入的概率分布为p(x)=0.5 ,0.5 信道矩阵,求互信息,编码器输入的概率分布为p(x)=0.5 ,0.5 信道矩阵,求互信息,可见当p(x)一定时,I (X,Y)随p(yj|xi)而变。,平均互信息I(X;Y)： 信源的概率分布p(xi)的上凸函数。 信道传递概率p(yj|xi)的下凸函数。,信道容量：,信息率失真函数：,一旦找到了信道容量,它就与信源不再有关,而是信道特性的参量,随信道特性的变化而变化 不同的信道其信道容量不同。,假定信道固定的前提下,选择一种试验信源使信息传输率最大。它所反映的是信道传输信息的能力,是信道可靠传送的最大信息传输率。,信息率失真函数： 假定信源给定的情况
7、下,用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。 它反映的是信源可以压缩的程度,是在满足一定失真度要求下信源可压缩的最低值。,率失真函数一旦找到,就与求极值过程中选择的试验信道不再有关,而只是信源特性的参量 不同的信源其R(D)不同。,研究信道容量： 充分利用已给信道,使传输的信息量最大,而发生错误的概率任意小。 研究信息率失真函数： 解决在已知信源和允许失真度D的条件下,使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息,以提高通信的有效性。,例:设信源的符号表为A=al,a2,a2n,概率分 布为p(ai)=1/2n,i=1,22n,失真函
8、数规定为,信源熵,如果对信源进行不失真编码,平均每个符号至少需要log2n个二进制码元。现在假定允许有一定失真,假设失真限度为D=1/2设想采用下面的编码方案： a1a1， a2a2， ananan+1an ,an+2 an ,a2n an,即不发生差错时失真为0,出错失真为1 研究在一定编码条件下信息压缩的程度。,平均失真,则输出熵H(Y),由该信道模型图看出,它是一个确定信道pij=1(或0)，H(Y|X)=0,压缩,7.2.3 信息率失真函数的性质,1、R(D)的定义域率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度D的最小和最大取值问题。由于平均失真度是非负实数d
9、(xi,yj)的数学期望,因此也是非负的实数,即 的下界是0。,允许平均失真度能否达到其下限值0,与单个符号的失真函数有关。,信源的最小平均失真度：,只有当失真矩阵的每一行至少有一个0元素时,信源的平均失真度才能达到下限值0。 当Dmin = 0,即信源不允许任何失真时,信息率至少应等于信源输出的平均信息量信息熵。即 R(0) =H(X) 当不满足失真矩阵的每一行至少有一个0元素时,通常 Dmin = 0，R(Dmin) = H(X) 当 DDmax时,R(D) = 0 当 0 DDmax时, 0R(D) H(X),R(D)的定义域为Dmin，Dmax 。,Dmax：定义域的上限。 Dmax是
10、满足R(D)=0时所有的平均失真度中的最小值。,R(D)0,由于I(X,Y)是非负函数,而R(D)是在约束条件下的I(X,Y)的最小值,所以R(D)也是一个非负函数,它的下限值是零。,由于I(X,Y) = 0的充要条件是X与Y统计独立,即：,例:设输入输出符号表为X=Y=0,1,输入概率分布p(x)=1/3,2/3,失真矩阵,求： Dmin 和Dmax,失真矩阵的每一行至少有一个0元素时, Dmin=0,例:设输入输出符号表为X=Y=0,1,输入概率分布p(x)=1/3,2/3,失真矩阵,求：Dmin 和Dmax,信息率失真函数的性质,1、R(D)是非负的实数, R(D)0。其定义域为0Dma
11、x , 其值为0H(X)。当DDmax时,R(D)0 2、R(D)是关于D的下凸函数R(D)在定义域内是失真度D的U型下凸函数 3、R(D)的单调递减性及连续性容许的失真度越大，所要求的信息率越小。反之亦然。,离散信源R(D)计算,给定信源概率pi和失真函数dij,就可以求得该信源的R(D)函数。 它是在保真度准则下求极小值的问题。 但要得到它的显式表达式,一般比较困难通常用参量表达式。 即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级逼近的方法。,7.3 限失真信源编码定理和逆定理,定理7.1 限失真信源编码定理 设离散n长序列无记忆信源为,单字符失真函数为 ，给定单字符失真度下的信息率失真函数 ，对任意 和 ，可以找到满足保真度准则 的允许码 ，当n足够大时，其速率R为,7.3.1 限失真信源编码定理,码字数目 为：,7.3.2 限失真信源编码逆定理,定理7.2 限失真信源编码逆定理 设离散n长序列无记忆信源为,单字符失真函数为 ，给定单字符失真度下的信息率失真函数 ，则所有满足保真度准则D的信源码的速率都不小于 即,7.4 信息率失真函数的计算,已知信源的概率分布 和失真函数 ，就可以确定信源的信息率失真函数 ,它是在约束条件，即保真度准则下，求极小值问题，一般情况下难于求的闭式解，常采用参量表示法，或采用迭代算法求解。,
