1、1,第十二章 信息理论,12.1 离散信源的熵 熵的定义：设：信源 X 能发出n个不同的消息x1, x2, , xi, , xn， 则定义熵为信源的平均信息量 H(X)：式中，I (xi) = - log2 P(xi) (b) I (xi)表示消息 xi含有的信息量 熵H(X)可以理解为信源的平均不确定度。,2,二进制信源的熵 设： 信源仅有“0”和“1”两种消息。发送“1”的概率P(1) = ，则 发送“0”的概率P(0) = 1 - = 信源的熵等于若一个消息是一个码元，则熵H()的单位：比特 / 码元H() 曲线 当 = 1/2时，此信源的熵最大；这时的两个消息是等概率出现的，其不确定度
2、最大。 当 1/2时，一个消息比另一个消息更可能出现，因此不确定度减小。 若 或 等于0，则不确定度为0。,3,n 进制信源的熵 设：信源有n种可能出现的消息，并用Pi表示第i个消息的 出现概率，则由熵的定义可以写出此信源的熵 熵的最大值：令上式对Pk的导数等于0，求H的最大值。由于故当Pk变时， 可仅使Pn随之变化，并保持其他Pi为常数。于是得到利用求导数公式上式变为或,4,令等于0，就可以求出H的最大值。当Pk = Pn，上式等于0。由于Pk是任意一个消息的出现概率，所以有将上式代入得到H的最大值：,5,12.2 离散信道模型 二进制无记忆编码信道的模型信道的特性：由下列信道转移概率矩阵所
3、完全确定式中，P(yj /xi) 发送 xi ，收到 yj 的条件概率。信道输入和输出概率关系若输入概率矩阵为则由可以计算出,6,输入输出的联合概率矩阵P(X, Y)将P(X)写成对角线形式：并与相乘，得到联合概率矩阵P(X, Y)：式中， 发送 xi 收到 yj 的联合概率,7,例1：设有一个二进制信道，如图所示，其转移矩阵为：若信道输入的概率为试求输出概率矩阵P(Y)和联合概率矩阵P(X, Y)。解 输出概率矩阵:联合概率矩阵:,8,12.3 联合熵和条件熵设：一信道有n个可能输入和m个可能输出，则可用输入概率P(xi)，输出概率P(yj)，转移概率P(yj/xi)和联合概率P(xi, y
4、j)定义下列不同的熵函数： 信源的平均不确定度； 接收码元的平均不确定度；给定发送X后接收码元的平均不确定度； 收到一个码元后发送码元的平均不确定度；整个通信系统的平均不确定度。 联合熵公式：,9,12.4 无噪声信道容量 互信息量 I (X; Y) 定义：在收到发送码元后，此发送码元的平均不确定度的下降量式中， H(X) 信源的平均不确定度； H(X / Y) 收到一个码元后发送码元的平均不确定度上式可以改写为性质： 信道容量C 定义：互信息量的最大值 （b/码元） 性质：C 仅是信道转移概率的函数；C是一个码元能够传输的最大平均信息量。,10,例2：试求下图中的无噪声离散信道的容量。【解】
5、 由式 及式可知，对于无噪声信道，当 i j 时， P(xi, yj) = 0, P(xi / yj) = 0;当 i = j 时，P(xi / yj) = 1。因此，H(X / Y) = 0，I(X; Y) = H(X)若信源中所有码元是等概率的，则信源的熵H(X)最大。因此，,11,例3：试求图中二进制对称信道的容量。其中P(x1) = ，P(x2) = 1 - 。【解】根据信道容量的定义式，需要求出的最大值。上式右端第二项为将P(x1) = ，P(x2) = 1 - 和转移概率p, q代入上式，得出 上式可以化简为将上式代入得到,12,当H(Y)为最大时，上式达到最大。 H(Y)的最大值
6、等于 1，故按照上式画出的曲线：二进制对称信道的误码率Pe式中，P( e/xi )为给定输入 xi 条件下的误码率，所以有上式表明无条件误码率Pe等于条件误码率P( yj / xi )，i j。,13,12.5 信源编码 12.5.1无噪声信道编码原理信源的信息速率Rs ：式中， H(X) 信源的熵 （b/码元）；r 码元速率 （波特 = 码元/s）。 无噪声信道编码定理（香农第一定理）：给定一个信道和一个信源，若此信源以小于信道容量C的速率Rs产生信息，则一定能够以某种方式对信源的输出编码，使得编码输出能够无差错地通过此信道传输；但是若信源输出速率Rs大于容量C，则不可能无差错地传输。,14
7、,例：设：有一个二进制信源，它有两个可能的输出A和B，P(A) = 0.9, P(B) = 0.1信源输出的码元速率 r = 3.5 (码元/s)信道无误传输的码元速率 S = 2 (码元/s)则从例3可知，在p = 1时，信道容量 C = 1 （b / 码元）。故现在信道的信息速率 = SC = 2 (b / s) 现在，r S ，所以信源的码元不能直接送入信道。 然而，信源的熵为它相当于信源信息速率为 现在，信源的信息速率rH(X) 信道的信息速率SC， 有可能传输，但需要在传输之前作信源编码。,15,信源的扩展：把信源中的n个码元编成一组，称为码字。将最短的码字分配给最有可能出现的信源码
8、元组，并将最长的码字分配给最少可能出现的信源码元组。这样，信源编码就降低了平均码元速率，使信源能和信道匹配。这种编码称为信源的扩展。 信源的n阶扩展：将原始信源中的n个码元编成一组。 1阶扩展：这时编码器输出的码元速率等于信源的码元速率。故在信道输入端的码元速率仍然大于信道的传输能力。,16,2阶扩展：将原始信源中的2个码元编成一组，构成原始信源的2阶扩展 平均码字长度L等于式中，P(xi) 扩展信源中第i个码组的概率，li 第i个码组对应的码字的长度。每个信源码元在编码后码字中占用的平均码元数为编码器输出的码元速率为 它仍然高于信道的传输能力（2码元/s），故码元速率还需要进一步减小。,17
9、,3阶扩展：平均码字长度：L = 1.598 每个信源码元在编码后码字中占用的平均码元数为编码器输出的码元速率为这一速率可以为信道所接受，所以能用3阶扩展传输。,18,L/n和n的关系曲线 从曲线可以看出，L/n永远大于信源的熵，并且当n增大时收敛于信源的熵。,19,12.5.2 信源编码的分类和效率 有关定义 字母表：若干个符号的集合 码字：由一个字母表中的若干符号构成 字长：码字中符号的数目 码元：在信道中传输的符号 信源编码的分类 非分组码 分组码：码长是固定的 唯一可译码：其码字不用空格区分就可以译出。 瞬时码 非瞬时码 ：需要参考后继码字译码 例：,20,信源编码的效率 效率定义：码
10、字的最小平均字长 Lmin 和码字的平均字长 L 之比式中，P(xi) 第 i 个信源符号的概率，li 对应第 i 个信源符号的码字的长度。 可以证明，最小平均字长等于式中，H(X) 被编码的消息集合的熵，D 编码字母表中的符号数目 将上两式合并，得到 对于二进制(D = 2)而言，上式变成由上式看出，若效率为100%，则平均字长L应等于熵H(X)。,21,12.5.3 扩展二进制信源的熵 可以证明，一个离散无记忆信源的第n阶扩展的熵等于所以，扩展信源的效率为 若当n趋向于无穷大时，效率趋近100%，则L/n趋近于扩展信源的熵。这可以从下图看出。,22,12.5.4 香农-费诺码 编码方法举例
11、 首先将信源符号 xi 按照出现概率不增大的次序排列； 然后将信源符号划分成两组（用虚线A-A标出），使每组中符号的概率尽可能相等； 将“0”分配给上组，“1”分配给下组； 如此进行下去，直至不能再划分为止。 若每次划分都能给出等概率的分组，则这种方法能给出100%效率的编码。 此例的效率：,23,12.5.5 霍夫曼码 对于给定熵的信源，霍夫曼码能得到最小平均字长。 编码过程举例 将信源消息 xi 按照概率不增大的次序排列; 将概率最小的两个信源消息 x7 和 x8 合并; 为x7分配“0”， x8分配“1”，作为其码字的最后一个符号； 将x7和x8合并后看成是一个复合消息x4 ；,24,令
12、复合消息x4的概率等于x7和x8的概率之和，即0.1250 ； 将消息x1, x2, x3, x4, x5, x6和x4仍按概率不增大的次序排列; 将消息x5和x6合并，将合并结果再和x4合并； 如此进行到最后，得到了一个树状结构； 从树的最右端向左追踪，就得到了编码输出码字。,25,从霍夫曼编码得到的码字与香农-费诺编码得到的不同，因为将复合消息插入到哪些点是有任意性的。将二进制数字“0”和“1”分配给上面或下面的消息也是任意的。然而，这两种编码的平均字长是一样的。在这个例子中，因为香农-费诺码给出100%的效率，所以霍夫曼码自然不会比它差。但是，一般而言，这两种编码方法给出的平均字长不一定
13、相等。,26,12.6 白色加性高斯噪声信道的容量 香农第二定理：给定一个容量为Cc的离散无记忆信道和一个正速率为R的信源，若 R Cc，则必定有一种编码，当其足够长时，使信源的输出能以任意小的错误概率通过此信道传输。 对于白色加性高斯噪声的连续信道，它能够传输的最大信息速率由下式给出： 香农-哈特莱(Shannon-Hartley)定律 式中， B 信道带宽（Hz），S/N 信号噪声功率比。 Cc 信道传输的最大信息速率 (b / s)。,27,容量Cc的特性 保持Cc不变，带宽B和信噪比S/N可以交换。 对于无噪声情况（S/N = ），只要带宽不为0，则容量Cc将是无穷大。 在有噪声情况下
14、，当B 时，Cc趋向于如下极限值：【证】令x = S/n0B，代入得到因为当x 时，ln(1 +x)1/x 1，所以上式变为,28,Cc与B的关系：按照右式画出Cc与Eb/n0的关系：当以速率Rb = Cc 传输时，码元能量：式中，Tb = 1/Cc 每比特的持续时间将上式代入式：得出当B 时，或 上式表明，对于Rb = Cc 的理想情况，当B 时，仅需 Eb /n0 = -1.6 dB就能实现无误传输。,29,Eb/n0与Cc/B的关系曲线：在Rb Cc区域，不能使错误概率达到任意小 若信源比特率Rb一定，且带宽B足够大，使BRb，则仅需Eb/n0略大于-1.6 dB就可以工作在Rb B，则
15、需要很大的Eb/n0值才能工作在Rb Cc区域。 带宽受限工作状态 。,30,信噪比和带宽关系 设：原始信号的带宽为B1，在以信噪比S1/N1传输时，其最大信息传输速率R1为将此信号调制（或）编码后，若仍保持原来的信息传输速率R1，但是带宽变成B2，所需信噪比变成S2/N2，则应有将上两式合并，得到或当信噪比很大时，上式变为 信噪比的改善和带宽比B2/B1成指数关系。,31,带宽B和比特能量Eb的关系由香农-哈特莱定律公式看出：因n0可以认为是常数，所以增大带宽B，可以换取Eb的减小，即带宽和比特能量之间也同样有交换关系。,32,例4：设1帧黑白电视图像由30万个像素组成，每个像素能取10个亮度电平，并且这10个亮度电平是等概率出现的。若每秒发送25帧图像，要求图像信噪比达到30 dB，试求所需传输带宽。【解】因为每个像素以等概率取10个可能电平，所以每个像素的信息量等于而每帧图像的信息量If 等于因为每秒有25帧图像，故要求信息传输速率为信道容量Cc 必须不小于此值。由于要求信噪比为30 dB，故将这些数值代入式 得出即要求,33,12.7 小结,
