1、 1 北京邮电大学20102011学年第 一 学期 信息论期末考试试题（A 卷）标准答案 姓名 班级 学号 分数 注：所有答案均写在答题纸上，试卷和答题纸一起上交。 一、判断题（正确打，错误打） （共10分，每小题1 分） （1） 输出符号等概率的信源的剩余度为零。 () （2） 总存在一种有损信源编码，使得当码率 R R（D）时，平均失真 小于等于D ； () （3） 平均互信息 I(X;Y)不大于条件平均互信息 I(X;Y|Z)； () （4） 差熵为零的连续信源的平均不确定性为零； () （5） 级联信道的容量不大于构成该级联信道的任意一个信道的容量； () （6） 对于有限状态马氏链，
2、无论初始状态概率分布如何，最终总会达到 状态的平稳分布； () （7） 两独立随机变量和的熵功率不小于这两个随机变量熵功率的和； () （8） 在信息处理过程中，处理的次数越多得到的信息量也就越大； () （9） 离散信源经过一一对应的变换后熵不变； () （10） 随着信源序列长度的增加，非典型序列的出现的概率趋近于零。 () 二、 填空题（共 20 分，每空 2分） 1. 设X 的概率密度函数为： () , 0 , 0 x px e x ，则差熵 () hX =log(e/) ， 熵功率为 e/(2 2 ) ； 2 设X 概率密度函数为： 2 2 () 2 1 () , 2 xm px e
3、 则 (2 3) hX = (1/2)log(8e 2 ) ； 若Y 为任意满足 2 () , () EY mVarY 的连续随机变量，且 () qx为其概率密度函数， 则 () l o g() qx pxdx = (1/2)log(2e 2 ) ； 2 3设一齐次马氏链 12 , ,. XX ，各 i X 取值于符号集 123 a,a,a ，状态转移概率矩阵为： 1/2 1/4 1/4 2/3 0 1/3 02 / 31 / 3 ，则状态平稳分布为 1 = 2/5 ， 2 = 3/10 ； 3 = 3/10 ，该马氏链 的符号熵为 (2/5)H(1/2,1/4,1/4)+ (3/5)H(1/
4、3)=1.151 比特/符号。 4设试验信道输入与输出符号集均为 1 2 3 , 4 , ，输入概率分别为 1/2，1/4，1/8，1/8，失 真测度为 ,1 , 4 2 d(i,j)=(i- j) i j ； 则 min D 0 ， max D 9/8=1.125 。 三、简答题（10 分） 某并联高斯噪声信道由 4 个独立子信道组成， 子信道方 差如右图所示，其中 1、2、3、4 子信道的方差分别为 2、1、 4、3； （1）达到容量时，信道输入应该是何种分布？各子信道的 输入是否统计独立？ (1+1 分) 并联高斯噪声信道的示意图 （2）信道达到容量时，其输入总能量的分配遵循什么原理？当
5、这个输入总能量从 0 逐渐 增加时，各子信道被分配到能量的先后顺序如何？如果输入总能量为 6，各子信道被分配 到的能量( Ei，i=1,2,3,4)分别为多少？ (2+2+2 分) （3）设输入总能量大于 0，当信道达到容量时，各子信道的输入信噪比（SNRi，i=1，2， 3，4）从大到小的顺序如何？(即将各子信道的输入信噪比用或符号连接起来) (2 分) 答： （1） 达到容量时， 信道输入应该是高斯分布， 各子信道的输入统计独立； (1+1 分) （2） 信道达到容量时，其输入总能量的分配遵循注水原理； (2 分) 各子信道被分配到能量的先后顺序为：信道 2信道 1信道 4信道3； (2
6、分) 各子信道被分配到能量分别为: E1=2, E2=3, E3=0, E4=1 (2 分) （3） 各子信道的输入信噪比从大到小的顺序: SNR2SNR1SNR4SNR3 (2 分) 四、计算题 (12分) 设一个离散无记忆信道的输入、输出符号集均为0,1, 2, 3，信道的概率转移矩阵为 1 2 3 4 2 2 2 1 2 3 2 4 3 0123 01 0 0 1100 20 01 30 0 1 P其中， 1/3 1/2 。 设输入符号的概率分别为 (0) 1/ 2, (1) 1/ 4 pp , (2) 1/8 p , (3) 1/ 8 p 。求：最佳译码准则的判决函数和平均译码错误率。
7、 (8+4分) 解： 信道输入符号不等概率，最佳译码准则为最大后验概率(MAP)准则，写出信道 的联合概率转移矩阵为： 0123 0 ( 1 )/2 /2 0 0 1/ 4( 1) / 40 0 20 0( 1) / 8/ 8 30 0 / 8( 1) / 8 P(4分) 1/3 1/2 1/2 1 2/3 1 /4 ( 1 )/2 和 /8 ( 1 )/8 ；在联合概率转移矩阵每列选择最大的 元素，形成最佳判决函数为： ( 0 )0 ,( 1 )0 ,( 2 )2 ,( 3 )3 Gy Gy Gy Gy ， (4 分) 平均译码错误率： 1 ( 1 )/2 /2 ( 1 )/8 ( 1 )/
8、8 ( 1 )/4 E p 。 (4 分) 五、计算题（20 分） 1设信源模型为 01 0.9 0.1 X P ，每秒发出 3.5 个信源符号，将此信源的输出通过某一 个二元一一对应信道传输，且每秒只传送两个符号； (1) 若要求信息无失真传输，信源能否不进行编码而直接与信道相接？ (3 分) (2) 能否采用适当的编码方式然后通过信道进行无失真传输？为什么？ (2+3 分) (3) 确定一种编码方式并进行编码，使得传输满足不失真要求；同时请说明信源采用这 种编码后， 编码器输出与信道输入之间应设置何种装置？ (10+2 分) 解 4 (1) 信源符号速率 3.5 大于信道传输速率 2，所以
9、信源直接与信道相接，不能保证无失 真传输。 (3分) (2) 采用适当的编码方式可以通过信道进行无失真传输。 (2 分) ( ) (0.1) 0.1 log 0.1 0.9 log 0.9 0.469 HX H 比特/符号 信源熵率为 ( / ) ( ) 3.5 1.6415 / Hbs HX bs ，二元无噪信道容量为 (/)2/ Cbs bs 。 因为 (/) (/) Hbs Cbs ，所以根据信源信道编码定理可知，采用适当的编码方式然后通 过信道可实现无失真传输。 (3 分) (3) 将信源的 2次扩展源进行 Huffman编码，结果为： 2次扩展信源符号 概 率 编 码 00 0.81
10、 0 01 0.09 10 10 0.09 110 11 0.01 111 计算每信源符号平均码长为： (1 0.19 0.10) / 2 0.645 l ，编码器每秒输出 符号数为： 3.5 0.645 2.2575 2 ,所以传输不满足失真要求。 (5 分) 将信源的 3次扩展源进行 Huffman编码，结果为： 3次扩展信源符号 概 率 编 码 000 0.729 0 001 0.081 100 010 0.081 101 100 0.081 110 011 0.009 11100 101 0.009 11101 110 0.009 11110 111 0.001 11111 平均码长
11、0.5327 计算每信源符号平均码长为： 0.5327 l ，编码器每秒输出符号数为： 3.5 0.5327 1.8644 2 ,所以传输满足不失真要求。 (5 分) 由于这种编码所得是变长码，因此在编码器与信道之间应设置缓冲器。 (2分) 六、计算题（16 分） 一黑白电视画面由 5 31 0 个像素组成， 其中每个像素独立等概率地选取 10 个不同的灰 度电平。系统对每幅画面进行独立编码，形成视频信号，再通过一个 8 0 10 / NW H z 的 AWGN 信道传送，每秒传送 30 幅画面，信噪比为 30dB； 5 （1）求每幅画面所含信息量和系统的信息传输速率； (2+1 分) （2）
12、设信道带宽为 6MHz，求 AWGN 信道容量； (3 分) （3）求为实现电视信号可靠传输信道所需的最小带宽和对应的信号平均功率； (3+2 分) （4）求信息传输速率达到容量时的频谱利用率和对应的 0 /() b ENd B 。 (3+2 分) 解 信噪比换算： / 1 0 3 0 / 1 0 10 10 1000 SNR dB SNR （1） 每幅画面所含信息量： 300000 5 2 log 10 9.97 10 Hb i t (2 分) 信息传输速率： 300000 2 30 30 log 10 29.90 R H Mbps (1分) （2） AWGN 信道容量： 6 22 log
13、(1 ) 6 10 log (1 1000) 59.80 C W SNR Mbps (3分) （3）根据高斯信道编码定理，有 2 log (1 ) RWS N R 6 2 29.90 10 log (1 1000) W 3 WM H z 所以，信道所需的最小带宽为3MHz， (3 分) 设对应的信号平均功率为 P， 00 /( ) SNR P N W 86 00 1000 10 3 10 30 PS N RNW W (2 分) （4）所求频谱利用率 22 / log (1 ) log (1 1000) 9.97 / R W SNR bps Hz (3分) 0 21 / 100.49 20.02
14、 b EN d B (2 分) 七、计算题（12 分） 一个离散无记忆二元乘性信道输入为 X，其中 Z 独立于 X；X、Z 取值均为 0 或 1，且 (1) , ( 0 1) Z p ，信道输出 Y = XZ ；求 6 （1） 信道的转移概率矩阵； (6 分) （2） 信道容量。 (6 分) 解 （1） : (|) (|) (|)(|) () Z zzz y x z pyx py zx pzxpyz x pz | (0 | 0) (0) (1) 1 YX Z Z ppp ， (2 分) | (0 |1) (0) 1 YX Z pp ， (2 分) | (1|1) (1) YX Z pp ； (
15、2 分) X-Y 信道为Z 信道，信道转移概率矩阵为 10 1 P ， （2） 1 2 0 10 () 1 H ， (2 分) 解得， 1 2 0 () / H (2 分) 信道容量： () / 2 log (1 2 ) H C 比特， (2 分) 或 (1 )/ log1 (1 ) C 其中， 22 ( ) log (1 ) log (1 ) H 注：如果用其它方法求容量，只要正确就得 6 分，否则酌情给分。 本试卷主要参考公式： 1 22 ( ) 1 e 2 hX e 2 . (|) (;) (|) l o g () y pyx IxY pyx py 3. 2 1 log 2 k r k C
