通信原理第八章-离散信道及信道容量.pdf-道客多多

资源描述

1、信道X Y第八章离散信道及信道容量信道，顾名思义就是信号的通道。图 8.1 中位于调制器和解调器之间的信道指用来传输电信号的传输介质，如电缆，光缆，自由空间等，我们把这样的信道称为狭义信道。狭义信道的输入为波形信号，输出为连续信号。还有一种定义即凡是信号经过的路径都称为信道，这就是广义信道的概念。如图 8.1 所示，由调制器，信道和解调器构成了一个广义编码信道。编码信道的输入和输出均为数字信号，因此，我们也将这类信道称为离散信道。信道编码器调制器信道解调器信道解码器编码信道图 8.1 信道的定义本章首先讨论离散信道的统计特性和数学模型，然后定

2、量地研究信道传输的平均互信息及其性质，并导出信道容量及其计算方法。 8.1 离散信道的数学模型及分类我们已知信源输出的是携带着信息的消息，而消息必须首先转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。信道会引入噪声或干扰，它使信号通过信道后产生错误和失真。故信道的输入和输出信号之间一般不是确定的函数关系，而是统计依赖的关系。离散信道的数学模型一般如图 8.1 所示。图中输入和输出信号用随机矢量表示。输入信号 X = (X1,X,X)，输出信号 Y = (Y1,Y,Y)，其中 i = (1,N)表示时间或空间的离散值。而每个随机变量 X和 Y又分别取值于符号集 A = a

3、1,a和 B = b1,b，其中 r 不一定等于 s。图中条件概率 P = (|)描述了输入信号和输出信号的依赖关系，它由调制器、信道和解调器的性能共同决定。图 8.1 离散信道模型根据信道的统计特性即条件概率 P(|)的不同，离散信道又可分为三种情况。 (1)无干扰（无噪）信道。信道中没有随机性的干扰或者干扰很小，输出信号 Y 与输入信号 X 之间有确定的一一对应的关系。即， y = () 并且 P(|) = 1 = ()0 () （ 8.1） (2)有干扰无记忆信道。实际信道中常有干扰（噪声），即输出符号与输人符号之间无确定的对应关系。若信道任一时刻输出符号只统计依赖

4、于对应时刻的输人符号，而与非对应时刻的输入符号及其他任何时刻的输出符号无关，则这种信道称为无记忆信道。满足离散无记忆信道的充要条件是 P(|) = P(y1y2y|12) = P(y|) =1 (8.2) (3)有干扰有记忆信道。这是更一般的情况，即有干扰 (噪声 )又有记忆。实际信道往往是这种类型。例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。这时信道的条件概率P( )不再满足式 (8.2)。下面我们着重研究离散无记忆信

5、道，并且先从简单的单符号信道人手。设单符号离散信道的输入变量为，可能取值的集合为 a1,a2,a；输出变量为，取值于 b1,b2,b。并有条件概率 P(y|) = P( = b| = a) = P(b|a) i = (1,2,r; j = 1,2,s) 这一组条件概率称为信道的传递概率或者转移概率。因为信道中有干扰（噪声）存在，若信道输入为 = a时，输出是哪一个符号事先无法确定。但信道输出一定是 b1,b2,b中的一个。即有 P(b|a) = 1 i = (1,2,r) (8.3)=1由于信道的干扰使输入的符号，在传输中发生错误，所以可以用传递概率

6、 P(b|a) （ i =(1,2,r; j = 1,2,s)来描述干扰影响的大小。因此，一般简单的单符号的离散信道的数学模型可以用概率空间 X,P(y|),加以描述。如图 8.2 所示 . 1221.aabP b |aa.X .b.rsjibY图 8.2 单符号概率空间模型 X Y1 - p1 - ppp图 8.3 二元对称信道下面介绍一种重要的特殊信道，即二元对称信道，简称 BSC。二元对称信道的的输入符号 X取值于 0,1；输出符号 Y 取值于 0,1。此时， r=s=2，信道传递概率为 P(b1|a1) = P(0|0) = 1 = P(b2|a

7、2) = P(1|1) = 1 = P(b1|a2) = P(0|1) = P(b2|a1) = P(1|0) = 如图 8.3 所示， P(1|0)表示信道输入符号为 0 而接收到符号为 1 的概率，而 P(0|1)表示信道输入符号为 1 而接收到的符号为 0 的概率。它们都是单个符号传输发生错误的概率，通常用 p表示。而 P(0|0)和 P(1|1)是无错误传输的概率，通常用 1 = 表示。信道传递概率可用矩阵来表示，由此得到二元对称信道的传递矩阵为 010 1 -11pppp下面来推导一般单符号离散信道的一些概率关系。设信道的输入概率空间为： XP(x) = a1,P(a1)

8、,a2, arP(a2), P(ar) 并 P(a) = 1 0 P（ a) 1 i = (1,2,r) ri=1又设输出 Y 的符号集为 B=b1,b2,b。给定信道转移矩阵为 1 1 2 1 11 2 2 2 212P( b a ) P( b a ) P( b a )P( b a ) P( b a ) P( b a )P( b a ) P( b a ) P( b a=)Pssr r s r（ 8.4）（ 1）输入和输出的联合概率为 P(ab) = P(a)(b|a) = P(b)P(a|b) （ 8.5）其中 (b|a)是信道传递概率，即发送为 a，通过信道传输接收到为 b的概

9、率。通常称为前向概率。它是由于信道噪声引起的，所以描述了信道噪声的特性。而 P(a|b)是已知信道输出端接收到符号为 b而发送的输入符号为 a的概率，又被称为后向概率。（ 2）根据联合概率可得输出符号的概率 P(b) = P(ai)P(bj|ai) (j = 1,s)ri=1 （ 8.6） (3)根据贝叶斯定律可得后验概率 P(a|b) = P(ab)P(b)= P(a)(b|a) P(a)(b|a) =1( = 1,2, = 1,2,) （ 8.7） 8.2 平均互信息及平均条件互信息在阐明了离散单符号信道的数学模型，即给出了信道输入与输出的统计依赖关系以后，我们将深入研究在此信

10、道中信息传输的问题。 8.2.1 损失熵和噪声熵信道输入信号 x 的熵为 H(X) = P(a) 1P(a)=1 （ 8.8） H(X)是在接收到输出 Y 以前，关于输入变量 X 的先验不确定性的度量，所以称为先验熵。如果信道中无干扰 (噪声 )，信道输出符号与输入符号一一对应，那么，接收到传送过来的符号后就消除了对发送符号的先验不确定性。但一般信道中有干扰 (噪声 )存在，接收到输出 Y后对发送的是什么符号仍有不确定性。那么，怎样来度量接收到 Y 后关于 X 的不确定性呢 ?接收到输出符号 y = b后，关于 X 的平均不确定性为 H(|b) = P(a|b) 1P(a|b)=1= (

12、到输出 Y 后，对 X 的不确定性将完全消除，则信道疑义度 H(|) =0。由于一般情况下条件熵小于无条件熵，即有 H(|) ()。这说明接收到变量 Y 后，关于输入变量 X 的平均不确定性将减少，即总能消除一些关于输入端 X 的不确定性，从而获得一些信息。 (|)表示在已知 X 的条件下，对于随机变量 Y 尚存在的不确定性。我们将 (|)称为噪声熵，或散布度，它反映了信道中噪声源的不确定性。 111( X ) ( a b ) l o g ( a )rs ijij jiH Y P Pb (8.11) 8.2.2 平均互信息根据上述，我们已知 ()代表接收到输出符号以前关于输入变

13、量 X 的平均不确定性，而H(|)代表接收到输出符号后关于输入变量 X 的平均不确定性。可见，通过信道传输消除了一些不确定性，获得了一定的信息。所以定义 I(X,Y) = () H(|) （ 8.12） I(X,Y)称为 X 和 Y 之间的平均互信息。它代表接收到输出符号后平均每个符号获得的关于 X的信息量。根据式（ 8.8）和式（ 8.11）得 I(X;Y) = ()P(|)P(), 根据熵的定义和表达式，可得以下关系 I(X;Y) = () H(|) = ()+ () () （ 8.13） = () H(|) 由此，可以进一步理解熵只是平均不确定性的描述，而不确定性的消除 (

14、两熵之差 )才等于接收端所获得的信息量。下面，我们观察二种极端情况的信道。一种信道是输入符号与输出符号完全一一对应，即无噪信道。输入符号集A = a1,a2,a，输出符号集 B = b1,b2,b，它们的信道传递概率为 P( = | = ) = 0 1 = (8.14) 它表示输入符号和输出符号之间有一一对应关系。根据（ 8.14）可推出 P( = | = ) = 0 1 = (8.15) 由式（ 8.10）和式（ 8.11）计算得 (|) = 0 (|) = 0 信道中损失熵和噪声熵都等于零。所以， I(X;Y) = () = () 在此信道中，因为输入和输出符

15、号一一对应、所以接收到输出符号 Y 后对于输入 X 不存在何不确定性。这时，接收到的平均信息量就是输人信源所提供的信息量。第二种极端情况，信道输人端 X 与输出端 Y 完全统计独立，即 P(|) = () , P(|) = () , 在这种信道中输入符号与输出符号没有任何依赖关系。接收到 Y 后不可能消除输入端 X的任何不确定性，所以获得的信息量等于零。同样，也不能从 X 中获得任何关于 Y 的信息量。因此，平均互信息 I(X;Y) = 0。 8.3 平均互信息特性本节将介绍平均互信息 I(X;Y)的一些特性。 1）平均互信息的非负性离散信道输入概率空间为 X，输出概率空间为 Y，

16、则 I(X;Y) 0，当 X 和 Y 统计独立时，等式成立。这个性质告诉我们：通过一个信道获得的平均信息量不会是负值。也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。除非信道输入和输出是统计独立时，才接收不到任何信息。 2）平均互信息的极值性 I(X;Y) () （ 8.16）因为信道疑义度 (|)总大于零，所以平均互信息总是小于熵 ()。只有当 (|) = 0,即信道中传输信息无损失时，等号才成立。在一般情况下，平均互信息必在零和 ()值之间。 3）平均互信息的对称性根据 I(X;Y)的定义式可以证明， I(X;Y) = I

17、(Y;X) (8.17) I(X;Y)表示从 Y 中提取的关于 X 的信息量，而 I(Y;X)表示从 X 中提取的关于 Y 的信息量，它们是相等的。 4）平均互信息 (;)的凸状性平均互信息 I(X;Y)是输入信号 X 的概率分布函数 P(X)和信道传递概率 P(|)的函数。关于互信息 I(X;Y)和 P(X)， ( X)PY 的关系我们有如下结论：定理 8.1 平均互信息 I(X;Y)是信道输入信号的概率分布 P()的形凸函数。例 8 ,1，设二元对称信道的输入概率空间为 P() = 0 1 = 1 。而信道特性如图8.3 所示。可以算出 P( = 0) = +

18、 (1 ) = + P( = 1) = + (1 ) = + 因此， H(Y) = ( + ) 1(+)+( + ) 1(+)。同时， (|) = 1 + 1 因此， I(X;Y) = ( + ) 1(+)+( + ) 1(+) 1 + 1 = H( + ) H() （ 8.18）在式（ 8.18）中当信道转移概率固定时，可得 I(X;Y)是的型凸函数，其曲线如图 8.4 所示。从图中可知，当二元对称信道的矩阵固定后，输入变量 X 的概率分布不同，在接收端平均每个符号获得的信息量就不同。只有当输人变量 X 是等概率分布，即 P( = 0

19、) =P( = 1) = 12时，在信道接收端才能从平均每个符号中获得最大的信息量。图 8.4 二元对称信道的互信息和输入信号概率分布的关系定理 8.1 意味着，当固定某信道时，选择不同的信源与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。而且对于每一个固定信道，一定存在有一种信源 (某一种概率分布 P()，使输出端获得的平均信息量为最大。 8.4 信道容量及其一般计算方法我们研究信道的目的是要讨论信道中平均每个符号所能传递的信息量，即信道的信息传输率 R。由前已知，平均互信息 I(X;Y)就是从信道输出符号 Y 后中获得的关于 X 的信息量

20、。因此信道的信息传输率就是平均互信息。即 R = I(X;Y) = () (|)（比特 /符号）（ 8.19) I ( X | Y )11 - H ( p )有时我们所关心的是信道在单位时间内 (一般以秒为单位 )平均传输的信息量。若平均传输一个符号需要 t 秒钟，则信道每秒钟平均传输的信息量为 R = 1 I(X;Y) = 1 () 1 (|) (比特 /秒 ) (8.20) 一般称此为信息传输速率。由定理 8.1 知， I(X;Y)是输人随机变量 X 的概率分布 P()的型凸函数。因此对于一个固定的信道，总存在一种信源 (某种概率分布 P()，使传输每个符号平均获得的信息

21、量最大。也就是每个固定信道都有一个最大的信息传输率。定义这个最大的信息传输率为信道容量 C，即 ()C= Im a x (X ; Y )px （ 8.21）其单位是比特 /符号，而对应的输入信号概率分布称为最佳输入分布。若平均传输一个符号需要 t 秒钟，则信道单位时间内平均传输的最大信息量为 ()1C = m I(X ; Y )axtpxt（比特 /秒）（ 8.22）信道容量 C 与输入信源的概率分布无关，它只与信道的转移概率有关。所以，信道容量是完全描述信道特性的参量，是信道能够传输的最大信息量。如例 8.2 中，二元对称信道的平均互信息 I(X;Y)= H

22、( + ) H()。由图 8.4 看出，当 = = 12时， I(X;Y)取得最大值。因而平均互信息的极大值为 I(X;Y) = 1 () 因此，二元对称信道的信道容量为 = 1 () （比特 /符号）（ 8.23）由此可见，二元对称信道的信道容量只是信道传输概率的函数，而与输入符号 X 的概率分布无关。下面我们讨论一些特殊类型信道的信道容量。 8.4.1 三类特殊信道容量信道输人和输出间有确定的一一对应关系的信道，称为无噪无损信道。无噪无损信道的疑义度 (|)和信道的噪声熵 (|)都等于零，所以 I(X;Y) = () = () (8.24

23、) 因此，无噪无损信道的信道容量为 ()C = m a x H (X )= lo g rpx（比特 /符号）（ 8.25）（ 8.25）表明当信道输入等概分布时，信道的传输速率达到信道容量。另一类信道是输入一个 X 值对应有几个输出 Y 值，而且每个 X 值所对应的 Y 值不重合，如图 8.5(b)所示。这类信道被称为有噪无损信道。在这类信道中，输入符号通过传输变成若干输出符号，虽它们不是一一对应关系，但这些输出符号仍可分成互不相交的一些集合。所以接收到符号 Y 后，对发送的 X 符号是完全确定的，即损失熵 (|) = 0，但噪声熵(|) 0。 ( a ) 无噪无损信

24、道X Y1( b ) 有噪无损信道图 8.5 无损信道因此这类信道的平均互信息为： I(X;Y) = () () （ 8.26）其信道容量 ()C = m a x H (X )= lo g rpx第三类特殊信道如图 3.14 所示。信道的一个输出值 Y 对应好几个信道的输入，而且每个 Y 值所对应的 X 值不重合。这类信道被称为有噪无损信道。图 8.6 无噪有损信道这类信道的噪声熵 (|) =0，而信道疑义度 (|) 0。它的平均互信息是 I(X;Y) = () () （ 8.28）比特 /符号（ 8.27）信道容量为 ()C = m ax H (Y )= l

25、og spx（比特 /符号）（ 8.29） (8.29)假设一定能找到一种输入分布使输出符号 Y 达到等概率分布。 8.4.2 对称离散信道的信道容量离散信道中有一类特殊的信道，其特点是信道矩阵具有很强的对称性。所谓对称性，就是指信道矩阵中每一行都是由同一 12 , , , sp p p 集合的各元素的不同排列组成，并且每一列也都是由同一 12 , , , rq q q 集合的各元素的不同排列组成。具有这种对称性信道矩阵的信道称为对称离散信道。例如，信道矩阵 11113 3 6 611116 6 3 3P 和1112 3 61116 2 31113 6 2P 是对

26、称离散信道。若输入符号和输出符号个数相同，都等于，且信道矩阵为 1 1 11 1 1111p p ppr r rpppP r r rpppprrr （ 8.30）其中 + =1，则此信道称为强对称信道或者均匀信道。这类信道中的错误概率为，对称地平均分配给 1个输出符号。它是对称离散信道的一类特例。二元对称信道就是 = 2的均匀信道。对称离散信道的平均互信息为 I(X;Y) = H(Y) (|) (|) = P()(| = ) = (| = ) = (1 ,2 , ) （ 8.31）因此得 I(X;Y) = H(Y) (1 ,2 , ) （ 8.32）可得信道容

27、量 12()C = m a x H ( ,)- ,Y , spx H p p p （ 8.33）现已知输出 Y 的符号集共有个符号，则 H(Y) log。只有当 P()= 1(等概率分布 )时， H()才达到最大值 log。一般情况下，不一定存在一种输入符号的概率分布 P()，能使输出符号达到等概率分布。但对于对称离散信道，其信道矩阵中每一列都是由同一 1 ,2 , 集的诸元素的不同排列组成，所以保证了当输入符号是等概率分布，即 ()= 1时，输出符号 Y 一定也是等概率分布，这时 H(Y) = log。即 1 1 12 2 21|1|1|X Y XX Y Xs s

28、 sX Y XP y P x P y x y xrP y P x P y x y xrP y P x P y x y xr （）（）（）（ 8.34）由于信道矩阵的对称性，可推出 P(1)= P(2) = = P() (8.35) 对于对称离散信道，当输入符号 X 达到等于等概率分布，则输出符号 Y 一定也达到等概率分布。由此得对称离散信道的信道容量为 = log (1,2,) （比特 /符号）（ 8.36）例 8.3，强对称信道（均匀信道）的信道矩阵是阶矩阵，信道转移矩阵为（ 8.30）。根据式（ 8.36）得强对称信道的信道容量为 = log (, 1

29、, 1, 1) = log + plogp + 1 = log( 1) () （ 8.37）式中是总的错误传递概率，是正确的传递概率。 8.4.3 准对称信道的信道容量若信道矩阵 Q 的列可以划分为若干个互不相交的子集 ,即 1 2 = ，1 2 = ，由为列组成的矩阵是对称矩阵，则称信道矩阵 Q 所对应的信道为准对称信道。例如信道矩阵 11 1 1 13 3 6 61 1 1 16 3 6 3P2 0 . 7 0 . 1 0 . 20 . 2 0 . 1 0 . 7P都是准对称信道。在信道矩阵 1中 Y 可以划分为三个子集，由子集的列组成矩阵为 1316161

30、3 ， 1616 ， 1313。它们满足对称性，所以 1所对应的信道为准对称信道。同理 2可划分为两个对称阵 0.7 0.20.2 0.7 和 0.10.1。我们可以证明达到准对称离散信道信道容量的输入分布（最佳输入分布）是等概分布准对称离散信道的信道容量为 C = log (1 ,2 , ) =1 (8.38) 其中 r 是输入符号集的个数， (1 ,2 , )为准对称信道矩阵中的行元素。设矩阵可划分成n 个互不相交的子集。是第 k 个子矩阵中行元素之和，是第 k 个子矩阵中列元素之和。例 8.4，设信道传输矩阵为 = 1 1 可表示成如图 8.7 所

31、示。根据式（ 8.38）可计算得 1 = 1 , 2 = 1 = 1 , 2 = 2 因此，信道容量为 = (1 )log(1 )+ (1 ) 21 (8.39) 图 8.7 例 8.4 的信道模型 8.5 离散无记忆扩展信道及其信道容量前几节讨论了最简单的离散信道，即信道的输入和输出都只是单个随机变量的信道。然而一般离散信道的输人和输出却是一系列时间 (或空间 )离散的随机变量，即为随机序列。在离散无记忆信道中，输入随机序列与输出随机序列之间的传递概率等于对应时刻的随机变量的传递概率的乘积。设离散无记忆信道的输入符号集输入符号集 = 1,，输出符号集 = 1,，信道矩阵为

32、（ 8.4）。则此无记忆信道的次扩展信道的数学模型如图 8.8 所示。 1 1 1 1 1 1 1 12 2 2 2 2 2 2 2NNNNr r r s s srsXYa a a b b ba a a b b ba a a b b b（） = = ( ）（） = = ( ）（） = = ( ）图 8.8 离散无记忆信道的 N 次扩展信道因为在输入随机序列 = (1,2 ,)中，每一个随机变量有 r 种可能的取值，所以随机矢量 X 的可能取值有个。同理，随机矢量 Y 的可能取值有个。根据信道无记忆的特性，可得対次扩展信道的信道矩阵 P(|) 11 12 121 22 21

33、2=NNN N N NSSr r r S 图 8.9 离散无记忆信道 N 次扩展信道的信道矩阵式中 = (|) ( = 1,2， , = 1,2， ,) 并满足 =1= 1 ( = 1,2, 并且， = (|) = (12 |12 ) = (|) ( = 1,2, = 1,2,) (8.40)=1例 8.5，求例 8.1 中二元无记忆对称信道的二次扩展信道。因为二次扩展信道的输入符号集为和输出变量 X 和 Y 的取值都是 0 或 1，因此，二次扩展信道的输人符号集为 2 = 00,01,10,11。输出符号集为 2 = 00,01,10,11。根据无记忆信道的特性，求得二次扩展信道的传递

34、概率为 (1|1) = (00|00)= (0|0) (0|0) = 2 (2|1) = (01|00)= (0|0) (1|0) = (3|1) = (10|00)= (1|0) (0|0) = (4|1) = (11|00)= (1|0) (1|0) = 2 同理求得其他传递概率，最后得二次扩展信道，即 =2 2 2 2 222 2根据平均互信息的定义，可得无记忆信信道的 N 次扩展信道的平均互信息 I(X;Y) = H(X) (X|Y) = H(Y) (Y|X) = P()P(|)P()X,Y(8.41) 若信源与信道都是无记忆的，（ 8.41）可进一步化简为 (;) = (X;

35、Y) （ 8.42） =1若信道的输入序列 = (1,2 ,)中的随机变量 X取自于同一信源符号集，并且有同一种概率分布，而且通过相同的信道传送到输出端（即输出序列 = (1,2 ,)中的随机变量 Y也取自于同一符号集），则有 (X1;Y1) = (X2;Y2) = = (X;Y) = (X;Y) (8.43) 因此， (;) = (;) (8.44) 此式说明当信源是无记忆时，无记忆的次扩展信道的平均互信息等于原来的信道的平均互信息的倍。根据（ 8.44），可进一步推出离散无记忆信道的 N 次扩展信道的容量为 ()()= m a x X ;Y )X ; Ym a x ( )

36、NN N NpxpxCININC（(8.45) 其中， C 表示信道在一个符号周期内的最大传输速率。（ 8.45）式说明离散无记忆的 N 次扩展信道的信道容量等于原符号离散信道的信道容量的 N 倍。且只有当输入信源是无记忆的及每一输入变量的分布各自达到最佳分布 ()时，才能达到这个信道容量 NC。 8.6 独立并联信道及其信道容量一般独立并联信道如图 8.9 所示。设有 N 个信道，它们的输入分别是 1,2 ,，它们的输出分别是 1,2 ,，它们的传递概率分别是 P(1|1), P(2|2)，， P(|)。在这N 个独立并联信道中，每一个信道的输出只与本信道的输入有关，与其他信道的输人、输出都无关。那么，这 N 个信道的联合传递概率满足图 8.9 独立并联信道 P(12 |12 ) = P(1|1)P(2|2)P(|) (8.46) 相当于信道是无记忆时应满足的条件。因此，当输入符号相互独立时，输入和输出序列的互信息为 (12 ;12 ) = (X;Y) =1 (8.47) 因此得独立并联信道的信道容量 1,2, = max() (X;Y) =1 = C =1 (8.48) 当输入符号相互独立，且输入符号的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容量等于子信道容量之和。信道 1信道 2信道 N

展开阅读全文