1、1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)0.8586bit/symbo
2、l得最大信息传输速率为： Rt 1500符号/秒 0.8586比特/符号 1287.9比特/秒 1.288103比特/秒 此信道10秒钟内能无失真传输得最大信息量10 Rt 1.288104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？3 、已知随即变量X和Y的联合分布如下所示：YX0101/83/813/81/8试计算：H（X）、H（Y）、H（XY）、H（X/Y）、
3、H（Y/X）、I（X；Y）解：(1) (2)(3) H（X/Y）= H（XY）- H（Y）=1.811-1=0.811(4) H（Y/X）= H（XY）- H（X）=1.811-1=0.811(5)4、 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1,2,3，38数字标示，其中有2份涂绿色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。（1）若仅对颜色感兴趣，计算平均不确定度；（2）若对颜色和数字都感兴趣，计算平均不确定度；（3）如果颜色已知，计算条件熵。 解：(1) H(色)= (2) P(色数)= H(色数)= (3) H(数/色)= H(色数)- H(色)=5、 在一个二
4、进制信道中，信源消息集X=0,1，且P(0)=P(1),信宿的消息集Y=0,1,信道传输概率P（1/2）=1/4, P(0/1)=1/8。求：（1）在接收端收到y=0后，所提供的关于传输消息X的平均条件互信息量I(X；y=0).(2) 该情况所能提供的平均互信息量I(X;Y).解：(1) P(ij)= P(i/j)= (2) 方法1: = 6 某一无记忆信源的符号集为0,1，已知p0=1/4, p1=3/4(1)求符号的平均熵（2）由100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式。（3）计算（2）中的序列的熵。 解： (1) H(X)= (
5、2) =(3) 7、 一阶马氏链信源有三个符号u1,u2,u3,转移概率为：P(u1/u2)=1/2, P(u2/u2)=1/2, P(u3/u1)=0, P(u1/u2)=1/3, P(u2/u2)=0, P(u3/u2)=2/3,P(u1/u3)=1/3, P(u2/u3)=2/3, P(u3/u3)=0,画出状态图并求出各符号稳定概率。解： P(j/i)= 解方程组 求得W=1/2S11/31/31/22/3S3S22/38、 设有一信源，它在开始时以p(a)=0.6,p(b)=0.3,p(c)=0.1的概率发出X1，如果X1为a时则X2为a,b,c的概率为1/3;如果X1为b时则X2为
6、a,b,c的概率为1/3;如果X1为c时则X2为a,b的概率为1/2，而为c的概率是0;而且后面发出Xi的概率只与 Xi-1有关。又p(Xi/ Xi-1)=p(X2/ X1),i3。试利用马儿可夫信源的图示法画出状态转移图，并求出状态转移矩阵和信源熵HP(j/i)= 解方程组 得到W1= , W2= , W3= 9 某信源符号有8个符号u1,u8,概率分别是1/2，1/4，1/8.，1/16，1/32,1/64,1/128,1/128，编成这样的码：000,001,010,011,100,101,110,111。求（1）信源的符号熵H(U) (2)出现一个“1”或一个“0”的概率；（3）这样码
7、的编码效率；（4）相应的香农码和费诺玛；（5）该码的编码效率？解：(1) H(U)=(2) 每个信源使用3个二进制符号,出现0的次数为 出现1的次数为P(0)= P(1)= (3) (4) 相应的香农编码信源符号xi符号概率pi累加概率Pi-Logp(xi)码长Ki码字x11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x81/1280.9927711111110 相应的费诺码 信源符号xi符号概率pi第一次分组第二次分组第三次
8、分组第四次分组第五次分组第六次分组第七次分组二元码x11/200x21/41010x31/810110x41/16101110x51/321011110x61/6410111110x71/128101111110x81/128111111110（5）香农码和费诺码相同 平均码长为 编码效率为： 10 已知符号集x1,x2,x3,为无限离散集合，他们出现的概率分别是p(x1)=1/2,p(x2)=1/4,p(x3)=1/8,p(xi)=1/2i ,。（1）用香农编码方法写出各个符号的码字；（2）计算码字的平均信息传输率。（3）计算信源编码效率。3 解：（1） pi= 累加概率为 Pi= 累加概率
9、分别为符号x1x1x2x3x4x5x6x7概率1/21/41/81/161/321/641/1281/256累加概率00.50.750.8750.9380.9690.9840.992码长12345678 二元码010110111011110111110111111011111110 （2）信源的信息量为平均码长为： 码字的平均信息传输率为 Rbit/码（3）编码效率R10011该二进制对称信道的概率转移矩阵为，（1）若p(x0)=3/4,p(x1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。（2）求该信道的信道容量及其达到信道容量时的输入概率分布。12、某信源发送端有2个符
10、号，xi,i=1,2,p(xi)=a,每秒发出一个符号。接收端有3种符号yj,j=1,2,3,转移概率矩阵如下：（1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度H(Y/X);(3) 计算信道容量解：(1)接收端的不确定度为: (2)H(Y/X)=(3)=0得到得 13 发送端有3种等概率符号（x1,x2,x3）,p(xi)=1/3,接收端收到3种符号（y1,y2,y3）,信道转移概率矩阵如下：（1）求接收端收到一个符号后得到的信息量H(Y); (2)计算噪声熵H(Y/X);(3)计算当接收到端收到一个符号y2的错误率；（4）计算从接收端看的平均错误率；（5）计算从发送端看的平均
11、错误率；（6）从转移矩阵中你能看出信道的好坏吗：（7）计算发送端的H(X)和H(X/Y)。 解： (1)条件概率 ，联合概率，后验概率 ， ，（2） H(Y/X)= （3）当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为：P(x1/y2)=，P(x2/y2)=，P(x3/y2)=其中错误概率为：Pe=P(x1/y2)+P(x3/y2)=（4）平均错误概率为（5）仍为0.733（6）此信道不好 原因是信源等概率分布，从转移信道来看 正确发送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真严重 x3-y3的概率0 完全失真（7）H(X/Y)=14、 设离散无记忆信道的输入符号集X:0,1，输出符号集Y:0,1,2，信道矩阵为 P= 若某信源输出两个等该消息x1，x2，现在用信道输入符号集对x1，x2进行编码，W1=00，W2=11代表x1，x2。按最大似然准则写出译码函数，并求出最小平均错误译码概率Pemin。解： (1) 选择译码函数 F(b1)=F(b2)=F(b3)=F(b4)=F(b7)=x1 F(b5)=F(b6)=F(b8)=F(b9)=x2(1)
