1、第5章 离散信道的信道容量,第5章 离散信道的信道容量,内容提要信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量，并定义信道容量。,5.1 信道容量的定义,信息传输率是衡量通信质量的一个重要指标，定理1.1知：对于固定信道，总存在某种输入概率分布q(x)，使I（X; Y）达到最大值，定义这个最大值为信道容量，记为C。（比特/码符号） （5-2）使I（X; Y）达到信道容量的分布q (x)为最佳分布。,5.2 离散无记忆信
2、道容量的计算,定理5.1 如果信道是离散无记忆（DMC）的，则CN NC， 其中C是同一信道传输单符号时的信道容量。,下面一条定理给出了一维信道和N维信道的信道容量之间的关系。,若 （1） 输入的N个符号统计独立，即信源离散无记忆,根据定理2.3有：,（2）对每个i,输入分布q (xi) 可使I (Xi; Yj) 达到信道容量C，则：= = NCCN NC (5-5),综合式(5-4)和(5-5)，在信源和信道都离散无记忆的情况下，有CN = NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。,5.2.1 达到信道容量的充要条件,定理5.2 使平均互信息量I（X; Y）达到
3、信道容量C的充要条件是信道输入概率分布 ，简记为q (X) = q (x1), q (x2), , q (xM)满足：(5-6),介绍几种无噪信道，对于无噪信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：无损信道、确定信道和无损确定信道。,【例5.2】 无损信道 无损信道的输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图5-2所示，信道输入符号集X =x1, x2, x3，输出符号集Y =y1, y2, y3, y4, y5，其信道转移概率矩阵记为，计算该信道的信道容量。,图5-2 无损信道,2. 根据定义计算信道容量C从上式可看出，求信道容量C
4、的问题转化为寻找某种分布q (x) 使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时 ，熵值达到最大，即有,1. 先考察平均互信息量I（X; Y）= H（X）-H（XY），在无噪信道条件下，H（XY）= 0，则平均互信息量I（X; Y）= H（X）,3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式（5-6）对C进行验证：先根据计算出(yj)， j =1,2,3,4,5,6,再计算出：,5.2.2 几类特殊的信道,定义5.1 如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。,定义5.2 如果信道转移概率矩阵P中，每一
5、列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。,定义5.3 如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、列都对称，称此信道为准对称信道。,1. 准对称信道,【例5.6】 信道输入符号集X = x1, x2，输出符号集Y = y1, y2, y3, y4，给定信道转移概率矩阵 ，求该信道的信道容量C。,这是一个准对称信道，根据定理5.3，当X等概分布， 时，信道容量平均互信息量 I（X; Y）= H（Y）-H（YX）(5-7),定理5.3 实现DMC准对称信道的信道容量的分布为等概分布。,由 ，先算出(5-8),将式(5-8)和 代入式(5
6、-7)，可算得信道容量= 0.0325 (比特/符号),【例5.8】 信道输入符号集X = x1, x2 ，输出符号集Y = y1, y2, y3，给定信道转移概率矩阵，求信道容量C。,设使平均互信息量达到信道容量的信源分布为 q(x1) = ， q(x2) =1- 。 由 可算出,2. 信源只含两个消息,平均互信息量 I(X; Y) = H(Y) H (YX) = -(1-q) log + (1-) log (1-) 根据定义，求C的问题就转化为为何值时，I (X; Y ) 达到最大值。令则信道容量 C = I (X; Y)a=0.5 = 1-q,计算信道容量C按下面步骤进行： (1)先验证
7、信道转移概率矩阵P =p(yjxi)是方阵，且矩阵P的行列式p(yjxi)0；,3.信道转移概率矩阵为非奇异方阵,(2)计算出逆矩阵P= p-1 (yjxk)；,(3)根据式（5-17），计算出；,(4)根据式（5-18） ，计算出信道容量C；,(5) 验证是否满足q(xi) 0， i =1, 2, , K。 l 先由式（5-16）计算出（yk） k =1, 2, , K l再由式（5-21） 计算,【例5.9】 给出信道转移概率矩阵 ，求信道容量C。,（1）P矩阵的行列式，说明P是一个非奇异方阵。,（2）P的逆矩阵,（3）算出,（4）信道容量（奈特/码符号）,（5）下面验证是否q (xi)
8、0，i =1, 2 l先根据 算出l再算得,图59 两个信道,5.3 组合信道的容量,考虑有两个信道。信道1信道2：,5.3.1 独立并行信道,在这种情况下，二个信道作为一个信道使用，传送符号 ，接收符号 ，根据定理2.4，对于离散无记忆信道，下式成立（5-22）,对上面不等式两边取最大值，得C C 1 + C2 （5-23）,推广到N个信道的并行组合，当N个信道并行独立使用时，记Ck (k = 1, 2, , N )为第k个信道的信道容量，C为组合信道的总容量，则有（5-24）,等号成立的条件，都要求信源离散无记忆，即要求信道独立使用且输入独立。,5.3.2 和信道,两个信道轮流使用，使用概
9、率分别为p1, p2，且p1+p2 = 1，记概率分布P =（p1, p2），和信道的平均互信息计算如下I（P）= I（p1, p2）= p1I（X;Y）+ p 2 I（X /;Y /）+ H 2（P）式中：H 2（P）= - p1 log p1 - p2 log p2。,根据定义，有（5-26）,求使式(5-26)取极大值的P 令 ，对数以2为底，注意到p2 = 1- p1，得记 C1 - log p1 = C2 - log p2 = （为待定常数） （5-27）,从式（5-27）中解出：（5-28）,将式(5-28)代入条件p1+p2 = 1，得（5-29）,式（5-28）中的p1, p2
10、就是使平均互信息量I（p1, p2）达到最大的取值，将其代入式（5-26），得：,= （p1+p2）=,将式（5-29）代入式（5-30）得：,推广到N个信道轮流使用的情况, 当N个信道以不同概率轮流使用时，记Ck (k = 1, 2, , N )为第k个信道的信道容量，C为组合信道的总容量，则有 （5-31）,5.3.3 串行信道,将两个信道级联，有X / = Y，如图5-10所示 。,图5-10 串行信道,串行信道的信道转移概率 用矩阵表示为：（5-32）,串行级联信道的信道转移概率趋向于两个独立信道转移概率的均值。若将N个转移概率相同的信道级联，当N 时，其总信道容量将趋于零。,信道1：
11、P1 = p (yx) ，信道2：P2 = p (yx ) ，信道1和信道2是独立的，信道2的输出Z只与其输入Y及信道转移概率P2 = p (yx )有关，而与X无关。因此信道1和信道2串连就构成了一个马尔可夫链，对于马尔可夫链有如下定理：,数据处理定理：无论经过何种数据处理，都不会使信息量增加。,定理5.4 若随即变量X、Y、Z组成一个马尔可夫链，如图5-11所示，则有I（X; Z） I（X; Y） （5-33）I（X; Z） I（Y; Z） （5-34）,【例5.11】 两个离散信道 ，将它们串行连接使用，如图 5-10，计算总信道容量C。,（1）先计算总信道的信道转移概率矩阵,串联信道的
12、总信道矩阵P等于第一级信道的信道矩阵P1，从而概率满足 p (yx) = p (zx) (对所有的x，y，z) （5-36）,对式（5-36）两边关于x求和，得p (y) = p (z) （5-37）,对式（5-36）两边关于x求和，得p (y) = p (z) （5-37） 利用式（5-37），由式（5-36）得,(2)计算信道容量C,在例5.11中，第一个信道是输入只有两个消息的情况，设最佳分布为 q (x1) = ，q (x2) = 1-，仿照例5.8可算出 = 0.4，则信道容量C = C1 = 0.32 (比特/符号)。,本章主要定义了信道容量及讨论了信道容量的计算方法。讨论并证明了
13、使平均互信息量达到信道容量的充要条件，并给出如下几种情况下信道容量的计算方法 （1） 准对称信道 （2） 信源只含两个消息 （3） 信道转移概率矩阵为可逆方阵 还讨论了多个信道组合使用情况下，总信道容量的计算方法，讨论了以下几种情况： （1）N个信道独立并行使用：记每个信道单独使用时的信道容量为Ck ，k=1,2, , N，则总信道容量C满足 ，当N个信道独立输入且独立使用时等号成立。 （2）N个信道轮流使用：各信道使用概率为pk ，k =1,2, , N，总信道容量为 ，每个信道的使用概率为,本 章 小 结,（3）N个信道串联使用：记各个信道的信道转移概率矩阵为Pk ，k =1,2, , N，则总信道的信道转移概率矩阵P等于各信道转移概率矩阵相乘，即P = P1 P2 PN ，矩阵的乘法要满足：左乘矩阵的列数应等于右乘矩阵的行数，且矩阵相乘不满足交换率。,
