1、2019/10/21,1,第3章 信道容量,2019/10/21,2,本章主要内容,3.1信道的数学模型与分类 3.2单符号离散信道的信道容量 3.3 多符号离散信道的信道容量 3.4连续信道及其容量 3.6信道编码定理,2019/10/21,3,3.2 单符号离散信道,单符号离散信道的信道模型 设输入端信源符号集合为： 输出端信宿符号集合为： 信道转移概率为：令 信道模型如图所示Def：输入输出都取值于离散符号集合，且都用一个符号表示一条消息的信道。,单符号离散信道的数学模型,2019/10/21,4,单符号离散信道的信道统计特性用转移概率矩阵表示：信道容量：传输信息不失真的条件下的最大平均
2、信息量或最大信息速率Rmax 信道上传输的最大平均信息量：C=I(X;Y)maxbit/符号 信道上传输的最大信息速率：Rmax,信道统计特性,2019/10/21,5,信道容量的计算,其中：t:传输一个符号需要的时间,所以当信道特性p(yj/xi)确定以后，信道的容量只和信源概率分布p(xi)有关。,bit/符号,s/符号,2019/10/21,6,几种特殊离散信道的容量,具有一一对应关系的无噪信道： 输出集合和输入集合的每个符号一一对应（n=m），见图3.3(a)。 信道转移概率矩阵为单位阵。因为输入输出一一对应：所以,此时信道容量：C=I(X;Y)max=H(X)max= H(Y)max
3、 =log2n bit/符号,2019/10/21,7,几种特殊离散信道的容量,具有扩展性能的无噪信道： 一对多（nm）见图3.3(b),给定一个输出，必能找到对应的唯一输入，即信道疑义度H(X/Y)=0。 信道转移概率矩阵：每列有且只有一个非零元素。C=I(X;Y)max=H(X)-H(X/Y) max由于H(X/Y)=0=H(X)max所以=H(X)max=log2n bit/符号时间,n:行数,2019/10/21,8,几种特殊离散信道的容量,具有归并性能的无噪信道： 多对一（nm），见图3.3(c)，给定一个输入，必能找到对应的唯一输出，即噪声熵H(Y/X)=0。 信道转移概率矩阵：每
4、行有且只有一个非零元素。C=I(X;Y)max=H(Y)-H(Y/X) max由于H(Y/X)=0所以=H(Y)max=log2m bit/符号时间,m:列数,2019/10/21,9,对称离散无记忆信道的信道容量,对称离散无记忆信道DMC （Discrete Memoryless Channel）：矩阵的每一行都是同一集合Q =(q1,q2,qm)中各元素的不同排列，每一列都是关于同一集合P =(p1,p2,pn)中各元素的不同排列，则称为对称信道。,不是对称信道,每行的元素都取自同一集合Q=1/6, 1/6,1/3 ,1/3,每列的元素也都取自同一集合P=1/6,1/3,对称信道,对称信道
5、,2019/10/21,10,定理：对于对称DMC，有H(Y|X)= Hmi证明：,信道转移概率矩阵任意一行的熵,对称：则 H（Y/X）=Hmi =H(1/2,1/3,1/6),2019/10/21,11,对称DMC信道的容量公式： C=I(X;Y)max=H(Y)-H(Y|X)max=H(Y)-Hmimax=H(Y)max-H(q1,q2,qm) 设信源为单符号消息，符号数为n,等概分布，通过一个对称的DMC信道，则信宿也等概分布（设符号数为m）, 此时信道容量为：,对称DMC信道 的信道容量,2019/10/21,12,证明：若信源等概分布时，若通过对称信道，则得到的信宿也等概分布：,20
6、19/10/21,13,例：求P1的信道容量。解：对称DMC,所以,2019/10/21,14,强对称离散信道的信道容量,强对称离散信道def:,易看出，该信道是一个特殊的对称信道。 求该信道的信道容量。,易知转移概率矩阵为：,2019/10/21,15,解：因为是对称DMC信道，所以,2019/10/21,16,准对称DMC的信道容量,准对称DMC（关于行对称或者关于列对称） 二元对称删除信道,或,分析信道转移矩阵p， 两行三列，说明信道有两个输入消息(设为 )，三个输出消息(设为 ),2019/10/21,17,准对称DMC的信道容量,例：已知 ，求此二元对称删除矩阵的信道容量C。,解,需
7、求H(Y),Y的概率分布,2019/10/21,18,说明准对称信道达到容量（极值）时，信源等概分布,2019/10/21,19,令上题 ，则 ，叫做二元纯删除信道，信道转移分布图为：,说明：输入符号 都以1的错误概率传至收端， 错判为符号E,2019/10/21,20,准对称DMC信道容量的求解步骤,归纳求解准对称DMC信道容量的步骤： 1、将转移概率矩阵划分成若干个互不相交的子集 2、令信源等概分布 3、 其中: n为信源符号个数，即信道转移矩阵的行数 Hmi：转移概率矩阵第i行的熵 Nk：第k个子矩阵行元素之和 Mk：第k个子矩阵列元素之和 注：若准对称信道是关于列对称，可以先进行转置，
8、使其变成关于行对称,2019/10/21,21,例：求转移概率为图示P的信道容量。解： 由于P是关于行对称的准对称矩阵，将P分解：，则=log2-H(1/2,1/4,1/8,1/8) - (1/2+1/4)log(1/2+1/4)+(1/8+1/8)log(1/8+1/8)=0.061bit/符号,矩阵的行数,矩阵任一行的元素熵,2019/10/21,22,例：求转移概率为图示P的信道容量。解： 由于P是关于行对称的准对称矩阵，将P分解：，则=log2-H(1/3,1/3,1/6,1/6) - (1/3+1/6)log(1/3+1/6)+1/3log(1/3+1/3)+1/6log(1/6+1/6)=0.041bit/符号,2019/10/21,23,Thank You!,
