1、1,第5章 有失真信源编码,信息论与编码 Information and Coding Theory,西南交通大学 信息科学与技术学院,2,第5章 有失真信源编码,5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理,3,5.1 信息率失真函数,编码器输入X：xia1, a2,an. 编码器输出Y：yjb1, b2,bm. 无失真: xi=yj 有失真: xiyj,失真函数d(xi,yj),4,5.1 信息率失真函数,失真矩阵,5,5.1 信息率失真函数,例5.1.1. 设信源符号X0,1, 编码器输出符号Y0,1,2, 规定失真函数为d(0,0 )= d(1,1)
2、=0d(0,1 )= d(1,0)=1d(0,2 )= d(1,2)=0.5则失真矩阵为,6,5.1 信息率失真函数,均方失真： 绝对失真： 相对失真： 误码失真（适用于离散信源）：,适用于连续信源,7,5.1 信息率失真函数,平均失真：平均失真 是对给定信源分布p(xi) 经过某一转移概率分布为p(yj |xi) 的有失真信源编码器后产生失真的总体量度。,8,5.1 信息率失真函数,序列编码的失真 输入：X=(X1, X2,XL)，样值为: x=(x1, x2, xL) 输出：Y=(Y1, Y2,YL)，样值为: y=(y1, y2, yL) 失真函数定义为：,序列编码的平均失真：,9,5.
3、1 信息率失真函数,有失真信源编码器模型 信源编码目的寻找一种编码方案，使编码后所需的信息传输率R尽量小。 问题R越小，引起的平均失真就越大。 解决方法给出一个失真限制值D,在满足平均失真小于D的条件下，寻找一种编码案使得信息率R最小.,10,5.1 信息率失真函数,信源编码器 有干扰的假想信道信息传输率R I(X;Y),有失真信源编码器模型,11,5.1 信息率失真函数,若p(ai)和d(ai,bj)已定，则平均失真由信道转移概率p(bj|ai)完全确定，所有满足平均失真小于等于门限D的信道集合,12,5.1 信息率失真函数,信息率失真函数信息率失真函数R(D)的物理意义：对于给定信源，在平
4、均失真不超过失真限度D的情况下，信息率允许压缩的最小值为R(D) 。,离散无记忆信源的信息率失真函数,13,5.1 信息率失真函数,例. 设信源符号集为A=a1, a2, a2n, 概率分布为: p(ai)=1/2n (i=1,2,2n) ，失真函数为:,信源熵H(X)=log(2n) bit/符号. 如果对信源进行无失真编码，平均每个符号至少需要log(2n) 个二进制码元.现讨论有失真编码. 假设失真度为D=1/2. 编码方案为: a1a1, a2 a2, ,an an, an+1 an, ,a2n an对应一个确定信道. H(Y|X)=0, I(X; Y)=H(Y)H(Y|X)=H(Y)
5、.信道输出Y的概率分布为: p(a1)= p(a2)= p(an-1)=1/2n, p(an)=(1+n)/2n I(X; Y)=H(Y) = log(2n) (1+n)/2nlog(1+n).,14,5.1 信息率失真函数,例.,信源传输的信息率由log(2n)压缩到H(Y)=log(2n) (1+n)/2nlog(1+n).,平均失真:,（收到100个符号时，允许出错的符号个数50）,15,第5章 有失真信源编码,5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理,16,5.2 信息率失真函数的性质,单调性,17,5.2 信息率失真函数的性质,R(D)的定义域
6、: Dmin, Dmax 0 Dmin；R(Dmin)=H(X).,18,5.2 信息率失真函数的性质,Dmax:,19,5.2 信息率失真函数的性质,R(D)的值域0 R(D) H(X).,20,5.2 信息率失真函数的性质,例：设输入输出符号表示为X=Y=0,1, 输入概率分布p(x)= 1/3,2/3, 失真矩阵为,求Dmin, R(Dmin), Dmax, R(Dmax)以及相应的编码器转移概率? 解: 当Dmin=0时, R(Dmin)=H(X)=H(1/3,2/3)=0.91bit/符号. 这时信源编码器无失真, a1 b1, a2b2,编码器的转移矩阵为:,21,5.2 信息率失
7、真函数的性质,这时的编码方案为：a1 b2, a2b2,输出符号概率p(b1)=0, p(b2)=1, 编码器的转移矩阵为:,当R(Dmax) =0时, 有,22,5.2 信息率失真函数的性质,R(D)是关于D的下凸函数(01)R(D)是关于D的连续函数,23,5.2 信息率失真函数的性质,R(D)是关于D的严格递减函数 允许的失真越大,所要求的信息率越小,离散系统信息率失真曲线,连续系统信息率失真曲线,24,5.2 信息率失真函数的性质,信道容量与信息率失真函数的比较,25,5.2 信息率失真函数的性质,当p(xi)固定，互信息量I(X;Y)是信道转移概率概率分布p(yj|xi)的下凸函数,
8、存在极小值。信息率失真函数就是假定信源给定的情况下,在试验信道（满足保真度准则的信道）中求平均互信息的极小值,即,信道容量与信息率失真函数的比较 当p(yj|xi)固定，互信息量I(X;Y)是输入符号概率p(xi)的上凸函数,存在极大值.信道容量就是假定信道固定的前提下,选择一种试验信源，使平均互信息（信息率）最大,即,26,5.2 信息率失真函数的性质,信道容量反映的是信道传输信息的能力，即信道可传输的最大信息率。研究信道容量目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，即信道编码问题。信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度
9、来实现。 信息率失真函数反映的是信源可压缩的程度，即在可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。研究信息率失真函数目的是用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性问题，即信源编码问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。,信道容量与信息率失真函数的比较,27,5.2 信息率失真函数的性质,信道容量只与信道转移概率分布有关，反映信道特性，与信源无关。信息率失真函数只与信源概率分布有关，反映信源特性，与信道特性无关。,信道容量与信息率失真函数的比较,28,第5章 有失真信源编码,5.1 信息率失真函数 5.2 信息率失真函数的性质 5.3 限失真信源编码定理,29,5.3 限失真信源编码定理,定理. 设离散无记忆信源X的信息率失真函数为R(D),当信息速率R R(D)时, 只要信息序列长度L足够大，一定存在一个编码方法，其译码失真 D+， 为任意小的正数；反之，若R R(D), 则无论采用什么编码方法，其译码失真必定大于D. 如果是二元信源，则对于任意小的正数，每一个信源符号需要的平均码长满足以下公式：,在失真度D内使信息率任意接近R(D)的编码方法是存在的 可实现的接近R(D)的编码方法尚未找到！,
