1、2019/9/20,1/64,信道容量,2019/9/20,2/64,信道的信息传输速率,如果信源熵为H(X)，希望在信道输出端接收的信息量也是H(X)，由于干扰的存在，一般只能接收到I(X;Y)。信道的信息传输率R(信道中平均每个符号所能传送的信息量)：就是平均互信息 R=I(X;Y)。 输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决定的：I(X;Y)H(X)。,2019/9/20,3/64,I(X;Y)是信源输入概率分布p(xi)和信道转移概率p(yj /xi)的二元函数：当信道特性p(yj /xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi
2、)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。,信道的信息传输速率,2019/9/20,4/64,信道容量,信道容量C：信道中最大的信息传输率，单位是比特/信道符号。单位时间的信道容量Ct：若信道平均传输一个符号需要 t 秒钟，则单位时间的信道容量为C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(xi)调整好以后， C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，也就是只与信道统计特性有关； 对于特定的信道，其信道容量C是确定的。
3、信道容量是完全描述信道特性的参量；是信道能够传送的最大信息量。,2019/9/20,5/64,几种特殊离散信道的信道容量,离散无噪信道的信道容量（三种无噪信道） 强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量,2019/9/20,6/64,具有一一对应关系的无噪信道,信道模型如图对应的信道矩阵是,无噪无损信道,2019/9/20,7/64,因为信道矩阵中所有元素均是“1”或“0”，X和Y有确定的对应关系： 已知X后Y没有不确定性，噪声熵 H(Y/X)=0； 反之，收到Y后，X也不存在不确定性，信道疑义度 H(X/Y)=0; 故有 I(X;Y)=H(X)=H(Y)。
4、当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量:,具有一一对应关系的无噪信道,2019/9/20,8/64,具有扩展性能的无噪信道,信道模型如图所示。 rs，输入X的符号集个数小于输出Y的符号集个数。其信道矩阵如下：,有噪无损信道,2019/9/20,9/64,虽然信道矩阵中的元素不全是“1”或“0”，但由于每列中只有一个非零元素： 已知Y后，X不再有任何不确定度，信道疑义度 H(X/Y)=0， I(X;Y)= H(X) -H(X/Y)= H(X) 。 信道容量为与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵， H(X) H(Y)。,具有扩展性能的无噪信道有噪无损,
5、2019/9/20,10/64,具有归并性能的无噪信道,信道模型如图所示。 rs，输入X的符号集个数大于输出Y的符号集个数。其信道矩阵如下：,无噪有损信道,2019/9/20,11/64,信道矩阵中的元素非“0”即 “1” ，每行仅有一个非零元素，但每列的非零元素个数大于1： 已知一个xi后，对应的yj完全确定，信道噪声熵H(Y/X)=0。 但是收到某一个yj后，对应的xi不完全确定，信道疑义度 H(X/Y)0。 信道容量为 这种信道输入端符号熵大于输出端符号熵，H(X)H(Y)。 注意：在求信道容量时，调整的始终是输入端的概率分布p(xi) ，尽管信道容量式子中平均互信息I(X;Y)等于输出
6、端符号熵H(Y)，但是在求极大值时调整的仍然是输入端的概率分布p(xi) ，使得输出端的概率分布p(yj)达到最佳分布。,具有归并性能的无噪信道无噪有损,2019/9/20,12/64,例题：下图信道的信道容量是C =H(Y)=log23=1.585(比特/信道符号)，求要达到这一信道容量对应的信源概率分布。 由信道矩阵得 p(y1)= p(x1)1+ p(x2)1p(y2)= p(x3)1+ p(x4)1p(y3)= p(x5)1 只要p(y1)= p(y2)= p(y3)= (1/3)，H(Y)达到最大值，即达到信道容量C。 此时使p(y1)= p(y2)= p(y3)= (1/3) 成立
7、的信源概率分布p(xi),i=1,2,3,4,5存在，但不是惟一的。 这种信道的输入符号熵大于输出符号熵，即H(X) H(Y)。,2019/9/20,13/64,结 论,具有一一对应关系的无噪信道的信道容量：具有扩展性能的无噪信道的信道容量：具有归并性能的无噪信道的信道容量：结论：离散无噪信道的信道容量C只决定于信道的输入符号数r，或输出符号数s，与信源无关。,2019/9/20,14/64,强对称离散信道,单符号离散信道的X和Y取值均由r个不同符号组成，即Xx1,x2,xi,xr，Yy1,y2,yj,yr信道矩阵为这种信道称为强对称/均匀信道。 这类信道中：总的错误概率是p，对称平均地分配给
8、(r-1)个输出符号。 信道矩阵中每行之和等于1，每列之和也等于1。而一般信道矩阵中，每列之和不一定等于1。,2019/9/20,15/64,强对称信道矩阵特点,强对称信道矩阵，它的每一行和每一列都是同一集合各个元素的不同排列。由平均互信息定义：,2019/9/20,16/64,H(Y/X=x)的意义：是固定X=xi时对Y求和，相当于在信道矩阵中选定了某一行，对该行上各列元素的自信息求加权和。由于信道的对称性，每一行都是同一集合的不同排列，所以当xi不同时， H(Y/X=x)只是求和顺序不同，求和结果完全一样。所以H(Y/X=x)与X无关，是一个常数。,2019/9/20,17/64,强对称离
9、散信道的信道容量,由于如何达到信道容量：求一种输入分布使H(Y)取得最大值。 现已知输出符号集Y共有r个符号，则H(Y)log2r。根据最大离散熵定理，只有当p(yj)= (1/r)，即输出端呈等概率分布时， H(Y)才达到最大值log2r 。 要获得这一最大值，可通过公式寻找相应的输入概率分布； 一般情况下不一定存在一种输入符号的概率，使输出符号达到等概率分布。但强对称离散信道存在。,2019/9/20,18/64,输入是什么概率分布时达到信道容量,强对称离散信道的输入和输出之间概率关系可用矩阵表示为信道矩阵中的每一行都是由同一集合中的诸元素的不同排列组成，所以保证了当输入符号X是等概率分布
10、，即p(xi)=(1/r)时，输出符号Y一定是等概率分布，这时H(Y)=log2r。相应的信道容量为,2019/9/20,19/64,结论：当信道输入呈等概率分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量：这个信道容量只与信道的输出符号数r和相应信道矩阵中的任一行矢量有关。,2019/9/20,20/64,对称离散信道,对称离散信道的可排列性： 行可排列：一个矩阵的每一行都是同一集合中诸元素的不同排列。 列可排列：一个矩阵的每一列都是同一集合中诸元素的不同排列。 矩阵可排列性：一个矩阵的行和列都是可排列的。,2019/9/20,21/64,例：,2019/9/20,22/64,
11、对称离散信道的信道容量,平均互信息,2019/9/20,23/64,对称离散信道的信道容量与强对称的形式相同，只是这里sr。 由于对称信道的特点，X等概率分布时，Y也是等概率分布，从而使Y的熵达到最大值log2s，即达到信道的容量。ex：3.6,2019/9/20,24/64,3.6 某对称离散信道的信道矩阵为1/3 1/3 1/6 1/61/6 1/6 1/3 1/3 ，求其信道容量解：,P=,2019/9/20,25/64,准对称离散信道的信道容量,准对称离散信道：一个r行s列单符号离散信道矩阵P的行可排列，列不可排列。但是矩阵可以分解为n 个具有可排列性的子矩阵P k 。 例两个子矩阵均
12、是可排列的，故信道P是准对称信道。,2019/9/20,26/64,准对称离散信道容量为其中， 是第k个子矩阵中行元素的和，而 是子矩阵列元素的和ex：3.8,了解,2019/9/20,27/64,3.8 设信道矩阵为计算该信道的信道容量。 解：可分解为两个互不相交的子矩阵N1=1-q，N2=q； M1=1-q，M2=2q 利用,2019/9/20,28/64,单符号离散无记忆信道的N次扩展信道的数学模型,2019/9/20,29/64,无记忆性：离散信道在时刻k的输出随机变量Yk只与时刻k的输入随机变量Xk(k=1,2,N)有关，与k时刻之前的输入随机变量X1X2Xk-1和输出随机变量Y1Y
13、2Yk-1无关。 无预感性：k时刻之前的输出随机变量序列Y1Y2Yk-1只与k时刻之前的输入随机变量序列X1X2Xk-1有关，与以后的第k时刻的输入随机变量Xk无关。,单符号离散无记忆信道与其N次扩展信道传递概率的关系,2019/9/20,30/64,离散无记忆信道的N次扩展信道离散无记忆信道的N次扩展信道的传递概率等于各时刻相应的单符号离散无记忆信道的传递概率的乘积。 离散无记忆信道的N次扩展信道既是无记忆的，又是无预感的。即输出随机变量Yk只与对应的输入随机变量Xk有关。,接前页,2019/9/20,31/64,离散无记忆信道N次扩展信道两端的平均互信息为I(X;Y)=H(Y)H(Y /X
14、)平均互信息公式续下页,单符号离散无记忆信道与其N次扩展信道平均互信息的关系,2019/9/20,32/64,第k个随机变量Xk单独通过单符号离散信道时的平均互信息N个输入、输出变量的平均互信息之和为于是有：,H(X1X2XN-1 XN)=H(X1)+H(X2/X1) + H(X3/X1X2)+ H(XN/X1X2XN-1),2019/9/20,33/64,当且仅当信源X =X1X2XN无记忆，或者说信源X是离散无记忆信源X的N次扩展信源XN =X1X2XN时，也可以说输出端各Yk(k =1,2,N)相互独立时等号成立。,结论1：离散无记忆信道的N次扩展信道的平均互信息，不大于N个随机变量X1
15、X2XN单独通过信道X P(Y/X) Y的平均互信息之和。即：,结论2：离散无记忆信道的N次扩展信道，当输入端的N个输入随机变量统计独立时，信道的总平均互信息等于这N个变量单独通过信道的平均互信息之和。,2019/9/20,34/64,由于离散无记忆信源的N次扩展信源中的随机变量都取自同一符号集Xkx1x2xN(k=1,2, ,N) ，并具有相同的概率分布，而且都通过同一个离散无记忆信道X P(Y/X) Y ，信道输出端随机变量序列中的随机变量Yk(k=1,2, ,N)也取自同 一符号集，并具有相同的概率分布，而且相互统计独立。所以 I(Xk; Yk)= I(X; Y),单符号离散无记忆信道与
16、其N次扩展信道平均互信息的关系,信源为有记忆时是“=”,2019/9/20,35/64,结论3：离散无记忆信道的N次扩展信道，如果信源也是离散无记忆信源的N次扩展信源，则信道总的平均互信息是单符号离散无记忆信道平均互信息的N倍。,结论3的说明：因为离散无记忆信道N次扩展信道可以用N个单符号离散信道来等效，这N个信道之间没有任何关联关系，若输入端的N个随机变量之间也没有任何关联关系的话，就相当于N个毫不相干的单符号离散信道在分别传送各自的信息，所以在扩展信道的输出端得到的平均信息量必然是单个信道的N倍。 用C表示离散无记忆信道容量，用CN表示其扩展信道容量， 一般情况： CN=NC,单符号离散无
17、记忆信道与其N次扩展信道的信道容量关系,2019/9/20,36/64,作业,3.1 3.3 3.10,2019/9/20,37/64,2019/9/20,38/64,独立并联信道独立并联信道：输入和输出随机序列中的各随机变量取值于不同的符号集，就构成了独立并联信道。是离散无记忆信道的N次扩展信道的推广。 输入随机序列X=X1X2XN ，Xkx1k,x2k,xnk 输出随机序列Y=Y1Y2YN ，Yky1k,y2k,ynk N个独立并联信道的容量CN 第k个单符号离散无记忆信道的信道容量为Ck，则有,当输入端各随机变量统计独立，且每个输入随机变量Xk (k=1,2, ,N) 的概率分布达到各自信道容量Ck(k=1,2, ,N)的最佳分布时，CN达到其最大值：,2019/9/20,39/64,独立并联信道推广到更一般情况： 输入各随机变量不但取值于不同的符号集，而且各集合的元素个数也不相同； 输出随机变量也取值于不同的符号集合，各集合的元素个数也不相同； 这种更一般的信道可得到与上述类似的结论。可以把N个变量的独立并联信道看成是离散无记忆信道的N次扩展信道的推广，也可以把离散信道的N次扩展看成是独立并联信道的特例。,
