1、2018/6/17,1,信息论与编码,2009年6月,2018/6/17,2,5.1.2 信道容量,1如何刻画DMC信道的容量? 考虑一个DMC信道，其输入字符集是X=x0，x1，xq-1，输出字符集是Y=y0,y1，yQ-1，转移概率P（yjxi）. 若给定信道的转移概率和对应于输入符号的概率分布p（xi）,则 DMC信道容量C为,2018/6/17,3,说明:,(1) 两个公式,(2) 限制条件:,2018/6/17,4,(3) 信道容量单位C的单位是信道上每传送一个符号（每使用一次信道）所能携带的比特数，即比特符号（bitssymbol或 bitschannel use）。以e为底取自然
2、对数时，信道容量的单位变为奈特符号（natssymbol）。如果已知符号传送周期是T秒，也可以“秒”为单位来计算信道容量，此时CsCT，以比特/秒（bitss）或奈特/秒（natss）为信道容量单位。,2018/6/17,5,(4) 转换计算式 若将Px=p（x0）,p（x1），.，p（xq-1）定义为输入符号的概率矢量Px，关系式 I(X;Y)H(X)- H(X/Y)H(Y)- H(Y/X) 可得:,2018/6/17,6,信道容量是否存在 ?,定理：给定转移概率矩阵P后，平均互信息I(X;Y)是概率矢量Px的上凸函数。(证明略) 用I(Px)表示I是Px的函数，则在I(Px)曲线上凸点所对
3、应的输入符号概率矢量Px上，I(Px）取得了极大值，这个极大值就是信道容量。,2018/6/17,7,如何计算信道容量?,（1）对称DMC信道的容量 什么叫对称DMC信道? 如果转移概率矩阵P的每一行都是第一行的置换（包含同样元素），称该矩阵是输入对称的；如果转移概率矩阵P的每一列都是第一列的置换（包含同样元素），称该矩阵是输出对称的；如果输入、输出都对称，则称该DMC为对称的DMC信道。,2018/6/17,8,例如：,2018/6/17,9,有扰的对称DMC信道性质：, 对称信道的条件熵H（YX）与信道输入符号的概率分布无关，且有H（YX）H（Yxi），i0，1，q-1。,2018/6/1
4、7,10, 当信道输入符号等概分布时，信道输出符号也等概分布； 反之，若信道输出符号等概分布，信道输入符号必定也是等概分布。,2018/6/17,11, 当信道输入符号等概分布时，对称DMC信道达到其信道容量，为,证明 : 由于对称信道的条件熵H（YX）与信道输人符号的概率分布无关，所以,2018/6/17,12,于是问题就简化为求 H（Y）。 由信息论原理，当输出符号集的各符号等概出现时可得最大信源熵，即 H（Y）logQ 或者 maxH（Y）=logQ ,2018/6/17,13,（2）BSC信道的容量,如何确定BSC的信道容量?对于转移概率为p(0/1)=P（1/0）=P及P（0/0）=
5、p（1/1）=1-P的BSC信道而言，当输出概率p（y0）=P（y1）=0.5时其平均互信息最大。所以，BSC的信道容量是C=p(x0)p(0/0)logp(0/0)/0.5+ p(x0)p(1/0)logp(1/0)/0.5+ p(x1)p(0/1)logp(0/1)/0.5+ p(x1)p(1/1)logp(1/1)/0.5 = plog2p+(1-p)log2(1-p),2018/6/17,14,说明： 1) C随p变化的曲线如图5-1-4所示。 由图可知，p=0时的信道容量是1比特每符号（l bitSymbol）； 当p=1/2时，从输出得不到关于输入的任何信息，互信息为0即信道容量是
6、零。 对于1/2p l的情况，可在BSC的输出端颠倒 0和 1，导致信道容量以p=1/2点为中心对称。,2018/6/17,15,2)从信息论的角度看，平均的条件自信息即条件熵H（X/Y）可以解释为由于信道干扰和噪声所造成的平均信息量的损伤。 如果BSC信道中p(0/1)=p(1/0)=p=0,即无误码概率，那么从接收的 Y可完全确定发送的X，信道的介入没有产生任何损伤或模糊度，因此条件熵H（X/Y）0。 若H（X/Y）0，必有I（X;Y）H（X），互信息等于输人符号的信息熵。 换言之，信道上传送的信息量正是输人信号的全部信息量，相当于信道容量为1。,2018/6/17,16,3)当X和Y统计
7、独立时，接收的Y完全与发送的X无关，此时P=0.5及H（X/Y）=H（X），说明损失的信息达到与输人符号信息熵相等的程度。可得I（X;Y）=0或C0，即信道上没能传送任何信息。,2018/6/17,17,（3）准对称DMC信道的容量,什么叫准对称DMC信道? 如果转移概率矩阵P是输入对称而输出不对称，即转移矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该矩阵是准对称DMC信道。 例如，矩阵,就是准对称的DMC信道。,2018/6/17,18,计算准对称DMC信道的容量准对称DMC信道的容量,当信道输入符号等概分布时，准对称DMC信道达到其信道容量C。,2018/6/17,19,例5-
8、1-1,已知一个信道的信道转移矩阵为 。,求该信道的容量。,2018/6/17,20,解：,信道输入符号有两个，p(x)= , p(x)=1- 设信道输出符号有三个，用y1,y2，y3表示。由p(xi,yj)=p(xi)p(yj/xi)得联合概率的矩阵为,2018/6/17,21,由 得 p(y1)=0.5 +0.3(1- )=0.3+0.2 p(y2)=0.3 +0.5(1- )=0.5-0.2 p(y3)=0.2 +0.2(1- )=0.2其中p（y3）恒定，与xi的分布无关。,2018/6/17,22,I（X;Y）H（y）-H（Y/X）,由 得 0.2ln(0.3+0.2 )-0.2+0
9、.2ln(0.5-0.2 )+0.2=0解得 l/2，即输入符号分布等概率时，I（X;Y）达到极大值。所以信道容量为 C=maxI（X;Y）0.036比特符号 此时输出符号的概率为 p（y1）=p（y2）0.4，p（y3）=0.2。,2018/6/17,23,（4）一般DMC信道的容量,为使 I（X;Y）最大化以便求取DMC容量，输入概率集 p（xi）必须满足的充分和必要条件是I（xi;Y）C 对于所有满足p（xi）0条件的iI（xi;Y）C 对于所有满足p（xi）=0 条件的I这里,2018/6/17,24,2 离散时间无记忆信道的容量,对加性高斯白噪声信道,如果DMC信道的输入字符集为离散
10、输入X=x0,x1,xq-1、连续输出Y=-,的离散时间无记忆信道,信道容量为,2018/6/17,25,3带限波形信道的容量,一个受加性高斯白噪声干扰的带限波形信道容量为,2018/6/17,26,如何求加性高斯白噪声干扰的带限波形信道在平均功率受限条件下的信道容量?(香农公式),如果把输入、输出和噪声波形x(t)、y(t)和n(t)展开成一个正交函数的完备集，可以得到与展开式对应的一组系数xiyi和ni，然后利用展开式中的系数来描述信道特征。令 XN=x1,x2,xN及YN=y1,y2,yN, 这里N=2WT, yi=xi+ni,2018/6/17,27,则加性高斯白噪声信道XN和YN之间
11、的平均互信息是,式中,2018/6/17,28,当xi是统计独立,零均值的高斯随机变量时,即,2018/6/17,29,如果对x(t)的平均功率加以限制,即,于是有,2018/6/17,30,单位时间的信道容量,2018/6/17,31,说明：,1)如果在带宽W一定时,C随着SNR增加而增加. 2)如果 SNR固定,C随着W增加而增加. 3)如何求C无限带宽加性高斯白噪声波形信道的容量? 由ln(1+x) x(x很小时),W,C C,2018/6/17,32,4)单位带宽的信道容量,2018/6/17,33,编码调制的设计有两条基本途径 是什么? 一条是代数途径，即运用编, 解码技术来设计特定种类的码，比如分组码、卷积码等。 第二条途径是采用概率方法，在给定信道特性的条件下对编码信号的性能作统计分析，求出差错概率的上下限边界，其中最优码所能达到的差错概率的上界，称作随机码界，,第二节 有扰离散信道的编码定理,2018/6/17,34,5.2.1 随机编码,
