1、1，某系统（7，4）码其三位校验位)()( 01201230123456 cmccc与信息位的关系为： 2132100mc（1）求对应的生成矩阵和校验矩阵；（2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式；（4）若接收码字 R=1110011，求发码。解：（1） 010G1010H（2） dmin=3 （3）S E000 0000000001 0000001010 0000010100 0000100101 0001000111 0010000011 0100000110 1000000（4）. RH T=001 接收出错E=0000001 R+E=C= 1110010 (发码)
2、2.已知 的联合概率 为：,XY,pxy求 ， ， ，HXY;I解: (0)2/3px(1)/3x1y2py0.918 bit/symbol (/3,)HXY=1.585 bit/symbol ,1/,/ 01XY011/3/301/0.251 bit/symbol ;()(,)IXYHYX3.一阶齐次马尔可夫信源消息集 ，,321a状态集 ，且令 ，条件转移概率为,321Sii，(1)画出该马氏链的状态转移图；04)/(ijaP(2)计算信源的极限熵。解：(1)（2） 1321 23123141 1w3.04.wH(X|S1) =H(1/4,1/4,1/2)=1.5 比特/符号H(X|S2)
3、=H(1/3,1/3,1/3)=1.585 比特/符号H(X|S3)=H(2/3,1/3)= 0.918 比特/符号 比特/符号|0.415.380.91.351wXSi4.若有一信源 ，每秒钟发出 2.55 个信源符号。2.81xP将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的，容量为 1bit/二元符号） ，而信道每秒钟只传递 2 个二元符号。（1） 试问信源不通过编码（即 x10,x21 在信道中传输）（2） 能否直接与信道连接？（3） 若通过适当编码能否在此信道中进行无失真传输？（4） 试构造一种哈夫曼编码(两个符号一起编码) ，（5） 使该信源可以在此信道中无失
4、真传输。解：（1）不能，此时信源符号通过 0，1 在信道中传输，2.55 二元符号/s2 二元符号/s （2）从信息率进行比较， 2.55* = 1.84 0 时率失真函数的 和 ？9.简述离散信源和连续信源的最大熵定理。10.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？11.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。12.设某二元码字 C=111000，001011，010110，101110，假设码字等概率分布，计算此码的编码效率？采用最小距离译码准则，当接收序列为 110
5、110 时，应译成什么码字？13.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按 发出符号，求 和平均符号熵 14.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。15.二元无记忆信源，有 求：（1）某一信源序列由 100 个二元符号组成，其中有 m 个“1”，求其自信息量？（2）求 100 个符号构成的信源序列的熵。16.求以下三个信道的信道容量：， ，17.已知一（3，1，3）卷积码编码器，输入输出关系为：试给出其编码原理框图。18. 简述信源的符号之间的依赖与信源冗余度的关系。19. 简述香农第一编码定理的物理意义?20. 什么是最小码
6、距, 以及它和检错纠错能力之间的关系。21. 简述信息的特征22. 简单介绍哈夫曼编码的步骤一、 概念简答题（每题 5 分，共 40 分）1.答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息表示从 Y 获得的关于每个 X 的平均信息量，也表示发 X 前后 Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。2.答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为 。3.答：信息传输率 R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输
7、入概率分布。平均互信息是信源概率分布的型凸函数，是信道传递概率的 U 型凸函数。 4.答：通信系统模型如下：数据处理定理为：串联信道的输入输出 X、Y、Z 组成一个马尔可夫链，且有 ，。说明经数据处理后，一般只会增加信息的损失。5.答：香农公式为 ，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。由 得 ，则6.答：只要 ，当 N 足够长时，一定存在一种无失真编码。7.答：当 RC 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。8.答：1）保真度准则为：平均失真度不大于允许的失真度。2）因为失真矩阵中每行都有一个 0，所以有 ，而 。9.答：
8、离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大。10.答：等长信源编码定理：对于任意 ，只要 ，则当 L 足够长时必可使译码差错 。变长信源编码定理：只要 ，一定存在一种无失真编码。等长码和变长码的最小平均码长均为 ，编码效率最高可达 100%。11.答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。最小距离译码准则下，将接收序列译为与其距离最小的码字。三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误
9、概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。12.答：1）2）令接收序列为 ，则有 ， ， ，故接收序列应译为 010110。13.答：14.答：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。平均互信息的最大值为信道容量。15.答：1）2）16.答：P1 为一一对应确定信道，因此有 。P2 为具有归并性能的信道，因此有 。P3 为具有发散性能的信道，因此有 。17.答：18. 当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。19. 答：无失真信源编码，编码
10、后尽可能等概率分布, 使每个码元平均信息量最大。从而使信道信息传输率 R 达到信道容量 C, 实现信源与信道理想的统计匹配。20. 某一码书 C 中, 任意两个码字之间汉明距离的最小值称为该码的最小码距 Dmin.当已知某线性分组码的最小汉明距离为 Dmin，那么这组码最多能检测出 e =Dmin-1 个码元错误，最多能纠正 t =(Dmin-1) /2 个码元错误。21. 答：信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容。信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。信息可以产生，也可以消失，
11、同时信息可以被携带、贮存及处理。信息是可以量度的，信息量有多少的差别。22. 将信源消息符号按其出现的概率大小依次排列p(x1)p(x 2) p( xn) 取两个概率最小的符号分别配以 0 和 1，并将这两个概率相加作为一个新符号的概率，与未分配码元的符号重新排队。 对重排后的两个概率最小符号重复步骤 2 的过程。 继续上述过程，直到最后两个符号配以 0 和 1 为止。 从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字。二、综合题（每题 10 分，共 60 分）1.黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为 0.3，白色出现的概率为 0.7。给出这
12、个只有两个符号的信源 X 的数学模型。假设图上黑白消息出现前后没有关联，求熵 ；2） 假设黑白消息出现前后有关联，其依赖关系为：， ， ， ，求其熵 ；3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。2.二元对称信道如图。 ；1）若 ， ，求 和 ； 2）求该信道的信道容量和最佳输入分布。3.信源空间为 ，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。4.设有一离散信道，其信道传递矩阵为 ，并设 ，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。5.已知一（8，5）线性分组码的生成矩阵为 。求：1）输入为全 00011 和 10100
13、 时该码的码字；2）最小码距。6.设某一信号的信息传输率为 5.6kbit/s，在带宽为 4kHz 的高斯信道中传输，噪声功率谱NO=5106mw/Hz。试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。7.二元平稳马氏链，已知 P（0/0）=0.9，P（1/1）=0.8，求：（1）求该马氏信源的符号熵。（2）每三个符号合成一个来编二进制 Huffman 码,试建立新信源的模型，给出编码结果。（3）求每符号对应的平均码长和编码效率。8.设有一离散信道，其信道矩阵为 ，求：（1）最佳概率分布？（2）当 ， 时，求平均互信息 信
14、道疑义度（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率 最小，并求此9.1 设线性分组码的生成矩阵为 ，求：（1）此（n，k）码的 n=？ k=？，写出此（n，k）码的所有码字。（2）求其对应的一致校验矩阵 H。（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。（4）若接收码字为 000110，用伴随式法求译码结果。9.2 设一线性分组码具有一致监督矩阵 1011）求此分组码 n=?,k=?共有多少码字？2）求此分组码的生成矩阵 G。3）写出此分组码的所有码字。4）若接收到码字（101001） ，求出伴随式并给出翻译结果。10.二元对称信道的信道矩阵
15、为 ，信道传输速度为 1500 二元符号/秒，设信源为等概率分布，信源消息序列共有 13000 个二元符号，问：（1）试计算能否在 10 秒内将信源消息序列无失真传送完？（2）若信源概率分布为 ，求无失真传送以上信源消息序列至少需要多长时间？11.已知（7，4）循环码的生成多项式 ，求：（1）求该码的编码效率？（2）求其对应的一致校验多项式（3）写出该码的生成矩阵，校验矩阵。（4）若消息码式为 ，求其码字。 12.证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY)13. 居住在某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，而女孩
16、中身高1.6 米以上的占总数的一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息，问获得多少信息量？14. 有两个二元随机变量 X 和 Y，它们的联合概率为Y X x1=0 x2=1y1=0 1/8 3/8y2=1 3/8 1/8定义另一随机变量 Z = XY（一般乘积） ，试计算 H(Z)=? 15. 求以下二个信道的信道容量： ， ，16. 已知一个高斯信道，输入信噪比(比率)为3。频带为3kHz，求最大可能传送的信息率。若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？17. 设信源为 ，试求（1）信源的熵、信息含量效率以及冗余度；4/321xPX(2)求二次扩展
17、信源的概率空间和熵。18. 什么是损失熵、噪声熵？什么是无损信道和确定信道？如输入输出为 ，则它们的分别信道容量sr为多少？19. 信源编码的和信道编码的目的是什么？20. 什么是香农容量公式？为保证足够大的信道容量，可采用哪两种方法？21. 什么是限失真信源编码？二、综合题1.答：1）信源模型为2）由 得则3）（1分）19.02log)(1XH（1分）47.l)(22。说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信12源符号依赖关系的强弱，冗余度越大，依赖关系就越大。 （2分）2.答：1）2） ，最佳输入概率分布为等概率分布。3.答：1）二元码的码字依序为
18、：10，11，010，011，1010，1011，1000，1001。平均码长 ，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。平均码长 ，编码效率4.答：1）最小似然译码准则下，有 ，2）最大错误概率准则下，有 ，5.答：1）输入为 00011 时，码字为 00011110；输入为 10100 时，码字为 10100101。2）6.答：1）无错传输时，有即 则2）在 时，最大熵7.答：1）由 得极限概率：则符号熵为2）新信源共 8 个序列，各序列的概率为信源模型为一种编码结果（依信源模型中的序列次序）为 0，11，1001，1010，1011，10000，
19、100010，1000113）8.答：1）是准对称信道，因此其最佳输入概率分布为 。2）当 ， 时，有则3）此时可用最大似然译码准则，译码规则为且有9.1 答：1）n=6，k=3，由 C=mG 可得所有码字为：000000，001011，010110，011101，100101，101110，110011，1110002）此码是系统码，由 G 知， ，则3）由 H 可知，其任意 2 列线性无关，而有 3 列线性相关，故有 ，能纠一位错。错误图样 E 伴随式100000 101010000 110001000 011000100 100000010 010000001 0014）由 知 E010
20、000，则9.2 解：1）n=6,k=3,共有 8 个码字。 （3 分）2）设码字 由 得012345CTH（3分）01354令监督位为 ，则有012C（3分）34051生成矩阵为 （2分）10013）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。 （4分）4）由 得THRS， （2分）该码字在第5位发生错误， （101001）纠正为（101011） ，即译码为（101001）10（1分）10.答：1）信道容量为信源序列信息量为而10秒内信道能传递的信息量为故不能无失真地传送完。2）此时信源序列信息量为信息传输率为则1
21、1.答：1）2）3） ，而4）12. 证明：（2分）YXHyxpxpyxYXI XYjijiijiYijji loglogl;同理 （1分）I;则 YIY;因为 （1分）XHX故 YIYH;即 （1分）I;13. 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）I(A|B)=-log0.375=1.42bit （1分）14. 解：Z = XY 的概率分布如下： symbolitzpZH
22、zPk / 54.081log7l8)()(170221 15. 答：P1 为一一对应确定信道，因此有 。P2 为具有归并性能的信道，因此有 。16. 答:(1) 最大可能传送的信息率是 Ct= w log (1+ Px/Pn ) = 31000 log (1+ 3) = 61000比特/秒(2) 1.5kHZ17. 解：（1）)(12log/)( )3/4(log/42XH（2）二次扩展信源的概率空间为：XX 1x211/16 3/162x3/16 9/16 )9/16(log/9)316(log/3)6(log/316log/)( 222 XH18. 答：将 H（X|Y）称为信道 的疑义度
23、或损失熵，损失熵为零的信道就是无损信道，信,|YPX道容量为 logr。将 H（Y|X）称为信道 的噪声熵，噪声熵为零的信道就是确定信道，信道容量为 logs。,|XY19. 答：信源编码的作用：（1）符号变换：使信源的输出符号与信道的输入符号相匹配；（2）冗余度压缩：是编码之后的新信源概率均匀化，信息含量效率等于或接近于 100%。信道编码的作用：降低平均差错率。20.答：香农信道容量公式： ，B 为白噪声的频带限制， 为常数，输入)1(log)(02NPBPCSS0NX（t）的平均功率受限于 。S由此，为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。21. 答：有失真信源编码的中心任务：在允许的失真范围内把编码的信息率压缩到最小。
