1、信息论与编码,2,课程内容,信息论的基本问题信息的度量 无失真信源编码定理香农第一定理 信道编码定理香农第二定理 限失真信源编码定理香农第三定理 信源编码 信道编码,绪 论,第一章,4,1、信息论的奠基人香农及其重要著作； 2、信息、消息、信号的区别和联系 3、通信系统的模型各主要功能模块（包括信源、信道、信宿、信源编译码器、信道编译码器）及其作用,5,信息论的奠基人：香农 信息时代的里程碑：1948年 香农通信的数学理论(A mathematical theory of communication)。第一次提出了信息量的概念，并应用数理统计的方法来研究通信系统，创立了信息论。 三大定理 无失
2、真信源编码定理（第一极限定理） 信道编码定理（第二极限定理） 限失真信源编定理（第三极限定理）,（一） 信息论的形成与发展,6,（二）信息、消息和信号的区别与联系,信息 是事物运动状态或存在方式。,消息 是指包含有信息的语言、文字和图像等 信号 是消息的物理体现。 信号是信息的载荷子或载体，是物理性的。,7,同一信息，可以采用不同的信号形式 (比如文字、语言、图象等）来载荷； 同一信号形式，比如 “0”与 “1”可以表达不同形式的信息，比如无与有、断与通、低与高 (电平) 等。 在通信系统中，实际传输的是信号，但本质内容的是信息。信息包含在信号之中，信号是信息的载体。通信的结果是消除或部分消除
3、不确定性，从而获得信息。,8,（三）数字通信系统模型,加密密钥,解密密钥,u,x,y,k,z,v,z,y,x,9,信源、信宿和信道,信源：向通信系统提供消息u的人和机器。发送消息的源 信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。 信道：传输信息的物理媒介,10,信源编码器与译码器,信源编码器 符号转换； 压缩信源的冗余度,提高通信系统传输效率； 包括无失真信源编码、限失真信源编码。 信源译码器 把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程,11,信道编码器与译码器,信道编码 提高信息传送的可靠性。 在信源编码器输出的代码组上有目的地增
4、加一些监督码元,使之具有检错或纠错的能力 信道译码器 具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。,信源与信息熵,第二章,13,熟练掌握：自信息量、离散信源熵、互信息、信息不增性的定义概念、并能进行相关计算 熵的性质(非负性、对称性、确定性、香农辅助定理、最大熵定理、条件熵小于无条件熵) p28 掌握互信息量和熵之间的关系. 离散平稳无记忆信源X的N次扩展信源的熵等于信源X的熵的N倍,14,(一)自信息量,设离散信源X，其概率空间为自信息量：某符号出现后提供给收信者的信息量,15,自信息量,自信息的单位的确定 在信息论中常用的对数底是2,信息
5、量的单位为比特(bit)； 若取自然对数e,则信息量的单位为奈特(nat); 若以10为对数底,则信息量的单位为笛特(det),16,I(xi)的特性： I (xi)是非负值 当p(xi) = 1时，I(xi) = 0 当p(xi) = 0时，I(xi) = I(xi)是先验概率p(xi)的单调递减函数，即当p(x1)p(x2)时，I (x1)I (x2) 两个独立事件的联合自信息量等于它们分别的自信息量之和。,17,18,(二)离散信源熵,离散信源熵H(X) (平均不确定度/香农熵) 定义 信源的平均不确定度，是在总体平均意义上的信源不确定度。,单位为比特/符号或比特/符号序列,19,条件熵
6、,20,21,联合熵 联合熵是联合符号集合(X,Y)上的每个元素对(xi,yj)的自信息量的概率加权统计平均值。,联合熵H(X,Y)表示X 和Y同时发生的不确定度。,22,H(XY)与H(X)、H(X/Y)之间的关系,H(X,Y)H(X)H(Y|X)H(X,Y)H(Y)H(X|Y) 当X、Y独立时 H(X,Y)H(X)H(Y),23,(三)、互信息,定义为 xi的后验概率与先验概率比值的对数,互信息I(xi;yj)：表示接收到某消息yj后获得的关于事件xi的信息量。,24,平均互信息,互信息= 先验不确定性后验不确定性= 不确定性减少的量,Y未知,X 的不确定度为H(X) Y已知,X 的不确定
7、度变为H(X |Y),25,i.对称性：,ii.非负性：,iii.极值性：,(四)、平均互信息的性质,iv.凸函数性 （1）平均互信息量I(X;Y)是输入信源概率分布 p(xi)的上凸函数研究信道容量的理论基础。 （2）平均互信息量I(X;Y)是是信道转移概率 p(yj|xi)的下凸函数研究信源的信息率失真函数的理论基础。,26,平均互信息与各类熵的关系,27,维拉图,H(X|Y),H(X),H(Y),H(XY),H(Y|X),I(X;Y),28,【例】已知信源消息集为X=0,1,接收符号集为Y=0,1，通过有扰信道传输，其传输特性如图所示，这是一个二进制对称信道BSC。已知先验概率 , 计算
8、平均互信息量I(X;Y)及各种熵。,0 1- 01 1- 1图 二进制对称信道,记 q(x)为信源输入概率；q(0)=q(1)=0.5 (y)为信宿输出概率； p(yx)为信道转移概率； (xy)为后验概率。,29,（1）由图得 ，先算出p(xi yj)= q(xi)p(yjxi),（2）计算 得：,30,（3） 计算后验概率，得：,（4）计算各种熵及平均互信息量： 信源熵 信宿熵 联合熵 = -2 0.5 (1-) log 0.5(1-)-2 0.5log 0.5= log2 - (1-) log (1-)-log= log2 + H 2 () 式中：,31,散布度 = -p(00) log
9、 p(00)-p(01) log p(10)-p(10) log p(01)-p(11) log p(11) = -2 0.5 (1-) log (1-)-2 0.5log= H 2 (),可疑度= -p(00) log(00)-p(01) log(01)-p(10) log(10)-p(11) log(11) = -2 0.5 (1-) log (1-)-2 0.5log= H 2 (),平均互信息量 I(X ; Y)= H(X)+ H(Y)- H(XY) = log2 + H 2 (),32,（五）、数据处理定理,数据处理定理说明： 当对信号、数据或消息进行多级处理时,每处理一次,就有可能
10、损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。,33,(六)、熵的性质,1.非负性H(X)H(p1，p2，pn)0 式中等号只有在pi =1时成立。 2.对称性H(p1，p2，pn) = H(p2，p1，pn) 例如下列信源的熵都是相等的：,34,3.确定性 H(X)H(p1，p2，pn)0 只要信源符号中有一个符号出现概率为1,信源熵就等于零。 4.极值性(香农辅助定理) 对任意两个消息数相同的信源,35,5.最大熵定理 离散无记忆信源输出M个不同的信息符号,当且仅当各个符号出现概率相等时即( pi1/M)熵最大。,
11、6.条件熵小于无条件熵,信道与信道容量,第三章,37,熟练掌握信道容量的定义以及相关计算（包括计算信道容量以及达到信道容量时对应的输入概率分布）重点：无干扰离散信道、对称DMC（离散无记忆）信道,38,信道容量,信道容量C： 最大的信息传输率,单位时间的信道容量：,39,1、无干扰离散信道,设信道的输入XA=a1 an,输出YB=b1 bm 1）无嗓无损信道 输入和输出符号之间有确定的一一对应关系,40,无嗓无损信道 由,噪声熵H(Y|X) = 0 损失熵H(X|Y) = 0,41,2）无嗓有损信道 多个输入变成一个输出(nm),噪声熵H(Y|X) 0 损失熵H(X|Y) 0,42,3）有嗓无
12、损信道 一个输入对应多个输出(nm) 接收到符号Y后,对发送的X符号是完全确定的。 噪声熵H(Y|X) 0 损失熵H(X|Y) = 0,43,2、对称DMC信道,对称离散信道： 对称性: 每一行都是由同一集q1, q2,qm的诸元素不同排列组成输入对称 每一列都是由p1, p2,pn集的诸元素不同排列组成输出对称,44,对称DMC信道,若输入符号和输出符号个数相同,都等于n,且信道矩阵为,此信道称为强对称信道 (均匀信道) 信道矩阵中各列之和也等于1,45,对称离散信道的平均互信息为,46,对称DMC信道的容量：,上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量p1,
13、p2,pm 和输出符号集的个数m有关。,强对称信道的信道容量：,47,例 某对称离散信道的信道矩阵为,信道容量为,信息率失真函数,第4章,49,1、概念、定义：失真函数、平均失真、允许失真度、试验信道 2、信息率失真函（注意与信道容量的比较 ) 3、信息率失真函数的定义域(即Dmin和Dmax）及相应的信道转移概率的计算,50,1、失真函数,失真函数在信号空间中可以看作一类“距离”侧度，它有性质：,失真函数定义为：,51,将所有的d(xi,yj)排列起来,用矩阵表示为:,失真矩阵,52,2、平均失真,xi和yj都是随机变量,所以失真函数d(xi,yj)也是随机变量,限失真时的失真值只能用数学期
14、望表示 将失真函数的数学期望称为平均失真：,允许失真D：平均失真的上界,53,失真函数d(xi,yj)(信号空间中某类“距离” )： 描述了某个信源符号通过传输后失真的大小 平均失真 ： 描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真,54,3、试验信道,若平均失真度 不大于我们所允许的失真,即,则称此为保真度准则,当信源p(xi)给定,单个符号失真度d(xi,yj) 给定时,选择不同的信道p(yj|xi), 相当于不同的编码方法,其所得的平均失真度不同。,55,满足 条件的所有转移概率分布pij ,构成了一个信道集合,称为D失真允许的试
15、验信道： 满足保真度准则的试验信道。,56,4、信息率失真函数R(D),R(D)： 在限定失真为D的条件下信源输出的最小信息速率。,在信源给定后,我们希望在满足一定失真的情况下,使信源必须传输给收信者的信息传输率R尽可能地小。 若从接收端来着,就是在满足保真度准则下,寻找再现信源消息所必须获得的最低平均信息量。即在满足保真度准则的条件下寻找平均互信息I(X,Y)的最小值。,57,PD是所有满足保真度准则的试验信道集合,因而可以在集合PD中寻找某一个信道pij,使I (X,Y)取极小值。 离散无记忆信源,58,R(D)的定义域 率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真
16、度D的最小和最大取值问题。 由于平均失真度是非负实数d(xi,yj)的数学期望,因此也是非负的实数,即 的下界是0。 R(D)=0意味着不需传输任何消息，D越大，直至无穷大都能满足这种情况。 Dmin Dmax为R(D)的定义域。（确界）,59,Dmin 和R(Dmin)的计算 信源的最小平均失真度：,只有当失真矩阵的每一行至少有一个0元素时,信源的平均失真度才能达到下限值0。,60,61,Dmax和R(Dmax)选择所有满足R(D)0中D的最小值，定义为R(D)定义域的上限Dmax，即由于I(X,Y) = 0的充要条件是X与Y统计独立,即：,62,例4-3:设输入输出符号表为X=Y=0,1,
17、输入概率分布p(x)=1/3,2/3,失真矩阵,求： Dmin 和Dmax,失真矩阵的每一行至少有一个0元素时, Dmin=0,63,平均互信息,平均互信息I(X;Y)： 信源的概率分布p(xi)的上凸函数。 信道传递概率p(yj|xi)的下凸函数。,信道容量：,信息率失真函数：,64,信道容量,信道容量： 假定信道固定的前提下,选择一种试验信源使信息传输率最大。 它所反映的是信道传输信息的能力,是信道可靠传送的最大信息传输率。 一旦找到了信道容量,它就与信源不再有关,而是信道特性的参量,随信道特性的变化而变化 不同的信道其信道容量不同。,65,信息率失真函数,信息率失真函数： 假定信源给定的
18、情况下,用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量。 它反映的是信源可以压缩的程度,是在满足一定失真度要求下信源可压缩的最低值。 率失真函数一旦找到,就与求极值过程中选择的试验信道不再有关,而只是信源特性的参量 不同的信源其R(D)不同。,66,研究信道容量： 充分利用已给信道,使传输的信息量最大,而发生错误的概率任意小。 研究信息率失真函数： 解决在已知信源和允许失真度D的条件下,使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息,以提高通信的有效性。,67,第五章 信源编码,1、编码的定义和分类：信源编码、信道编码、安全编码 2、信源编码的目的 3、唯一可译码的特殊结论 4、熟练掌握三种能获得最佳变长编码的方法：香农编码、费诺编码、哈夫曼编码；了解游程编码,68,第六章 信道编码,1、信道编码的目的 2、纠错码的分类：不同的分类标准，得到不同的分类，3、从编码定理的公式出发分析使得差错概率尽可能小可以采取的措施 4、掌握两种译码方法：最优译码和最大似然译码方法 5、了解如下线性分组码的相关概念：线性分组码的生成矩阵、校验矩阵、伴随式和标准阵列译码 6、了解特殊的线性分组码的特性循环码、汉明码,
