1、1,第4章 信息率失真函数,4.1 基本概念 4.1.1 失真函数与平均失真度 4.1.2 信息率失真函数 4.1.3 信息率失真函数的性质 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理,2,离散无失真信源编码定理,信源编码的问题就是研究如何给信源符号分配码字以便可以做到无失真译码。,3,定长无失真信源编码定理,由L个符号组成的每个符号的熵为H(X)的平稳无记忆符号序列X（L位），可用符号序列Y（K位）进行定长编码，对任意00, 只要,4,无失真信道传输问题,无失真信源编码定理 主要研究对信源怎样编码(使每个符号能够容纳多大的信息量？)
2、，可以实现无失真译码？ 结论是：RH(x) 有噪信道编码定理 无论无噪信道还是有噪信道，只要信息传输率R小于信道容量C，总可以找到一种编码方法，使得编码后的信息传输率R可以任意接近信道容量C（即R C），且信道产生的错误译码概率任意小。 反之，如果R C，在任何信道上都不可能实现错误译码概率任意小的无失真的传输，或者说，要实现错误译码概率任意小，在任何信道上传输都必然产生失真。,5,结论,H(x) RC,6,问题：信道传输是否能无失真？,信道容量是在已知信道传输概率P(Y/X)的条件下，变更信源X的概率分布P(X)，使它们之间的信息率，既X和Y之间的平均互信息I(X;Y)达到最大。,7,传送每
3、秒25帧的图像就能满足人类通过视觉感知信息的要求，而不必占用更大的信息传输率； 人类的听觉对大多数人只能听到几千赫兹到十几千赫兹，对于经过专业训练的音乐家，一般也不过听到20kHz的声音。结论：实际应用要求在保证一定质量前提下在信宿近似地再现信源输出的信息，或者说在保真度准则下允许信源输出存在一定的失真。,问题：是否需要完全无失真？,8,实际通信系统的例子,在实际的通信系统中，信道容量有限，要求对信源进行压缩，如GSM通信：,9,本章讨论的问题,需要解决的问题： 对于给定的信源（即给定信源熵 H(X)），在允许的失真条件下，信源熵所能压缩的极限（即信息率失真函数 R(D)）理论值是多少？ 信息
4、率失真理论是研究信源熵的压缩问题，采用研究信道的方法，即在数学上将信源熵压缩看成通过一个信道，寻找在保真度准则下的最小的平均互信息。 信息率失真理论是信号量化、模数转换、频带压缩和数据压缩的理论基础，在图像处理、数字通信等领域得到广泛应用。,10,第4章 信息率失真函数,4.1 基本概念 4.1.1 失真函数与平均失真度 4.1.2 信息率失真函数 4.1.3 信息率失真函数的性质 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理,11,失真测度-失真函数,12,失真函数举例4.1.1,13,失真函数举例4.1.2,14,失真函数举例 (续
5、）,特点：当i=j,X与Y取值一样，表示没有误差，失真度为0，i j时，失真一样，为常数a。 当a=1时，失真函数称为汉明失真函数。失真函数举例4.1.3：平方误差失真函数特点：一般用于表示由幅度变化引起的失真，幅度失真越大，引起的错误越严重，严重的程度用平方表示。多用于连续信源。,15,失真函数的定义推广到矢量传输,16,，,失真函数举例4.1.4,17,失真函数举例2-续,类似可以得到其它元素数值，矢量失真矩阵为,18,第4章 信息率失真函数,4.1 基本概念 4.1.1 失真函数与平均失真度 4.1.2 信息率失真函数 4.1.3 信息率失真函数的性质 4.2 离散信源的信息率失真函数
6、4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理,19,平均失真,20,平均失真定义,21,平均失真定义-矢量传输,22,第4章 信息率失真函数,4.1 基本概念 4.1.1 失真函数与平均失真度 4.1.2 信息率失真函数 4.1.3 信息率失真函数的性质 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理,23,本章讨论的问题,需要解决的问题： 对于给定的信源（即给定信源熵 H(X)），在允许的失真条件下，信源熵所能压缩的极限（即信息率失真函数 R(D)）理论值是多少？ 信息率失真理论是研究信源熵的压缩问题，采用研究信
7、道的方法，即在数学上将信源熵压缩看成通过一个信道，寻找在保真度准则下的最小的平均互信息。 信息率失真理论是信号量化、模数转换、频带压缩和数据压缩的理论基础，在图像处理、数字通信等领域得到广泛应用。,24,D失真许可信道(试验信道),25,信息率失真函数的定义,26,信息率失真函数R(D)的意义,27,第4章 信息率失真函数,4.1 基本概念 4.1.1 失真函数与平均失真度 4.1.2 信息率失真函数 4.1.3 信息率失真函数的性质 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理,28,信息率失真函数R(D)的性质,R(D)的定义域 R
8、(D)是关于D的下凸函数 R(D)在区间(0,Dmax)上是严格递减函数,29,1. R(D)的定义域,30,1. R(D)的定义域,31,R(D)的定义域(续),32,R(D)的定义域-上限定义方法,33,R(D)的定义域例子,34,2. R(D)是关于D的下凸函数,35,3. R(D)在区间(0,Dmax)上是严格递减函数,36,R(D)三点结论（三个性质）,37,离散信源信息率失真函数R(D)的一般曲线,38,第4章 信息率失真函数,4.1 基本概念 4.2 离散信源的信息率失真函数 4.2.1 离散信源信息率失真函数的参量表达式 4.2.2 二元及等概离散信源的信息率失真函数 4.2.
9、3 信息率失真函数的性质 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理,39,信息率失真函数R(D),对于离散信源来说，求信息率失真函数 R(D) 与求信道容量C 类似，是一个在有约束条件下求平均互信息极值的问题，只是约束条件不同。 C 是求平均互信息的条件极大值 而R(D)是求平均互信息的条件极小值。,40,信息率失真函数的计算,已知信源的概率分布 p(x) 和失真函数 d(x,y) ，就可以确定信源的信息率失真函数 R(D) ，它是在约束条件，即保真度准则下，求极小值问题。一般情况下难于求得闭式解，常采用参量表示法，或采用迭代算法求解。,41,R(D)参量表示法求解
10、,42,R(D)参量表示法求解-续,43,R(D)参量表示法求解-续,44,R(D)参量表示法求解-续,45,R(D)参量表示法求解-续,46,第4章 信息率失真函数,4.1 基本概念 4.2 离散信源的信息率失真函数 4.2.1 离散信源信息率失真函数的参量表达式 4.2.2 二元及等概离散信源的信息率失真函数 4.2.3 信息率失真函数的性质 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理,47,二元对称信源的信息率失真函数R(D),48,（略）二元对称信源的R(D) -续1,49,（略）二元对称信源的R(D) -续2,50,（略）二元对称信源的R(D) -续3,51
11、,（略）二元对称信源的R(D) -续4,52,二元离散信源的信息率失真函数曲线,不同p值对应的二元信息率失真函数,53,二元离散信源的信息率失真函数曲线分析,从R(D)的曲线可以看出，对于不同p值可以得到一组R(D)的曲线。对于给定的平均失真度D 信源分布越均匀（p值接近1/2）， R(D)就越大，即可压缩性越小； 信源分布越不均匀，R(D)就越小，即可压缩性越大。,54,等概离散信源的信息率失真函数,55,等概离散信源的信息率失真函数曲线,不同n值对应的等概离散信源信息率失真函数,56,等概离散信源的信息率失真函数分析,上式中第一项是等概率信源的熵，即无失真传送信源所必须的信息率，后两项则是
12、由于容忍一定失真可以压缩的信息率。 对于同一失真度D，n越大，R(D)越大，压缩率（可能性）越小；反之， 对于同一失真度D，n越小，R(D)越小，压缩率（可能性）越大。 当n=2，=1时，R(D)=H(p)-H(D)=lnn -H(D) 如果信源的符号数目为n，那么在满足保真度准则下，符号数越多，信源的可压缩性越小；反之，符号数越少，信源的可压缩性越大。,57,小结,提出失真测度的概念，定义了失真函数d(xi,yi)、和平均失真度，给出了保真度准则。 给出了信息率失真函数R(D)，并分析了R(D)的性质，画出了R(D)曲线。 率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信
13、源特性的参量。不同的信源其R(D)是不同的。 给出了二进制对称信源和n进制对称信源等概率分布时的信息率失真函数R(D)，并分析了其意义。,58,第4章 信息率失真函数,4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.3.1 连续信源信息率失真函数的参量表达式 4.3.2 高斯信源的信息率失真函数 4.3.3 信息率失真函数与信息价值 4.3.4 信道容量与信息率失真函数的比较 4.4 保真度准则下的信源编码定理,59,连续信源的信息率失真函数,一般情况下，信息在传输过程中必然会存在一定的噪声和干扰，使得信源的消息在传输过程中存在一定的误差和失真。对于连
14、续信源，在传输过程中总会有波形失真，连续信源的信息率失真理论就是在一定意义上定量分析信号的失真程度。 本节主要讨论连续信源的信息率失真函数，连续信源的率失真理论与离散信源情况基本相同。,60,平均失真度定义,定义： 设连续信源（随机变量）X,其概率密度为pX(x),设另一变量Y，且X和Y之间失真函数是某一非负的二元函数d(x,y),则平均失真度定义为,61,连续信源的信息率失真函数相关定义,62,第4章 信息率失真函数,4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.3.1 连续信源信息率失真函数的参量表达式 4.3.2 高斯信源的信息率失真函数 4.
15、3.3 信息率失真函数与信息价值 4.3.4 信道容量与信息率失真函数的比较 4.4 保真度准则下的信源编码定理,63,连续信源的信息率失真函数推导,64,连续信源的信息率失真函数求法,有两种方法可求（略）： 1. 应用拉格朗日算子，与离散的算法类似。 2. 用反向信道。 其结果是,65,R(D)函数曲线,连续信源的信息率失真函数曲线,66,第4章 信息率失真函数,4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.3.1 连续信源信息率失真函数的参量表达式 4.3.2 高斯信源的信息率失真函数 4.3.3 信息率失真函数与信息价值 4.3.4 信道容量与
16、信息率失真函数的比较 4.4 保真度准则下的信源编码定理,67,信道容量与率失真函数的比较（对偶问题）,平均互信息的上凸性-信道容量； 信道容量C一旦求出以后，就只与信道转移概率分布（密度）有关，反映信道特性，与信源特性无关； 研究信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现。,平均互信息的下凸性-信息率失真函数。 信息率失真函数一旦求出后，就只与信源概率分布（密度）有关，反映信源特性，与信道特性无关。 信息率失真函数则是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。,68,第4章 信息率失真函数,4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理,
