信息论与编码试卷及答案DOC

1、2.4 设离散无记忆信源 ，其发出的信息为 8/14/3218/30)(32xxXP(202120130213001203210110321010021032011223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3，因此此消息发出的概率是：62514883p此消息的信息量是： bitpI 81.7log(2) 此消息中平均每符号携带的信息量是： bitnI 951.4/8.7/2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：忙晴雨冷 1 2暖 8暖 1 6冷 2 7闲。

2、第 1页 共 3页杭州电子科技大学学生考试卷 （A）卷考试课程 信息论与编码 考试日期 成绩课程号 教师号 任课教师学生姓名 学号（8 位） 班级一、填空题（每空 2 分，共 32 分） 。1. 在现代通信系统中，信源编码主要用于解决信息传输中的 有效性 ，信道编码主要用于解决信息传输中的 可靠性 ，加密编码主要用于解决信息传输中的 安全性 。2. 离散信源 ，则信源的熵为 1.75bit/符号 。8/14/21)(43xxpX3. 对称 DMC 信道的输入符号数为 n，输出符号数为 m，信道转移概率矩阵为 pij，则该信道的容量为 。ijmjipCloglog14. 采用 m 进制编码的码。

3、第二章 信息量和熵2.2 八元编码系统，码长为 3，第一个符号用于同步，每秒 1000 个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2 =2 3=6 bit8log因此，信息速率为 6 1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 1，6,2，5,3，4,4，3,5，2,6，1= =)(ap361得到的信息量 = = =2.585 bit)(logap6l(2) 可能的唯一，为 6，6=)(bp361得到的信息量= = =5.17 bit)(1logbp36l2.4 经过充分洗牌后的一副扑克（52 张） ，问：(a) 任何一种。

4、- 1 -武汉工业学院课程考核试题参考答案及评分标准学 年： 20092010 学 期： 第 2 学期 课程名称： 信号理论与编码（ A 卷） 考核方式： 考试（闭卷） 任课教师： 曾武、温红艳 课程所在院（系、部）： 电气信息工程系 考试班级： 07 级电子信息、通信工程 一、填空（每空 3 分，共 30 分）1、信息按其性质可分为 语法信息 、 语义信息 和语用信息。2、布袋中有红白球各 50 只，若从中随意取出一只球，则判断其颜色所需的信息量为 1bit 。3、信源熵 H(X)表示信源输出后每个消息所提供的 平均信息量 。4、平均互信息量与信息熵、联合熵的关。

5、信息论与编码考试卷（A 卷） 第 1 页（共 2 页）河南理工大学万方学院 2008-2009 学年第 1 学期信息论与编码考试卷（A 卷）考试方式：闭卷 本试卷考试分数占学生总评成绩的 80 %复查总分 总复查人 一、填空题（共 20 分，每空 2 分）1. 信息论理论基础的建立，开始于 香农 研究通信系统时发表的论文。2. 按照发出符号的数量，离散信源分为 单符号 信源和 符号序列 信源。3. 按树图法构成的码一定满足 即时码 的定义。4. 无失真信源编码定理 称为香农第一极限定理。5. 克劳夫特不等式是唯一可译码 是否存在 的充分和必要条件。6. 信息率失。

6、1第 1章 信息论基础1.7 361236453643621 09875)(Xq1.8 p (s0 ) = 0.8p (s0 ) + 0.5p (s2 )p (s1 ) = 0.2p (s0 ) + 0.5p (s2 )p (s2 ) = 0.5p (s1 ) + 0.3p (s3 )p (s3 ) = 0.5p (s1 ) + 0.7p (s3 )p (s0 ) + p (s1 ) + p (s2 ) + p (s3 ) = 1p (s0 ) = ， p (s1 ) = p (s2 ) = ，p ( s3 ) = 7576701.9 Pe = q(0)p + q(1)p = 0.06(1-0.06) 100010 = 9400 9500 不能1.10 222222 )1(0)1()(00 0)1()1( )( ppp第 2章 信息的度量2.4 logk2.5 I (X; Y Z)= I (X; Y )+ I (X; ZY )2.7 H = 0.25(Bit/符号)010434)1pssps2.8 H = 0.82(Bi。

7、2.1 一个马尔可夫信源有 3 个符号 ，转移概率为： ，1,23u1|/2pu， ， ， ，21|/pu1|0p|/p2|03|/u， ， ， ，画出状态图并求出各符号稳态概3| 23|/3|率。解：状态图如下状态转移矩阵为： 1/203/p设状态 u1， u2， u3 稳定后的概率分别为 W1，W 2、W 3由 得 计算可得1231WP11322131W123059652.2 由符号集0，1 组成的二阶马尔可夫链，其转移概率为：=0.8， =0.2， =0.2， =0.8， =0.5， =0.5(0|)p(0|)p(|0)p(|)p(0|1)p(0|1)p， =0.5， =0.5。画出状态图，并计算各状态的稳态概率。1|1|解： (|)(|).8(|1)(|).50|02p|0|0p(1|)(|).(|)(|).|181|。

8、1 有一个二元对称信道 其信道矩阵如下图所示 设该信道以1500个二元符号 秒的速度传输输入符号 现有一消息序列共有14000个二元符号 并设在这消息中P 0 P 1 1 2 问从信息传输的角度来考虑 10秒钟内能否将这消息序列无失真地传送完 解答 消息是一个二元序列 且为等概率分布 即P 0 P 1 1 2 故信源的熵为H X 1 bit symbol 则该消息序列含有的信息量 14000 bi。

9、一、概念简答题（每题 5 分，共 40 分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2.简述最大离散熵定理。对于一个有 m 个符号的离散信源，其最大熵是多少？3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。5.写出香农公式，并说明其物理意义。当信道带宽为 5000Hz，信噪比为 30dB 时求信道容量。6.解释无失真变长信源编码定理。7.解释有噪信道编码定理。8.什么。

10、第二章 信源及信源熵2-1 (4)2-22-3 2-4 38Log83 14Log 4( )14Log 4( )18Log 8( ) 1.906601.906 114.362-5 (1,2) (2,1) 共两种 Log362 4.17(1,6) (6,1) (2,5) (5,2) (3,4) (4,3) 共六种 Log 366 2.5852-6 014 个 1-13 个 2-12 个 3-6 个P=I= 2-7 Log 2( ) 1 Log 4( ) 2 Log 8( ) 32-8 “” 用三个脉冲 “”用一个脉冲(1) I()= Log 4( ) 2 I() Log43 0.415(2) H= 14Log 4( )34Log43 0.8112.9 (2) P(黑/黑)= P(白/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)= H(Y/白)= (4) P(黑)= P(白)= H(Y)= 2-10 (1) H(色)=(2) P(。

11、一、 （11 ）填空题（1） 1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2） 必然事件的自信息是 0 。 （3） 离散平稳无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的 N 倍 。 （4） 对于离散无记忆信源，当信源熵有最大值时，满足条件为_信源符号等概分布_。（5） 若一离散无记忆信源的信源熵H（X）等于 2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。（6） 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 香农编码 。（7） 已知某线性分组码的最小汉明距离为。

12、Comment j1: 本模版为非流水批改试卷模版。考试时间一般为 2 个小时（不必注明） ，特殊情况应在适当位置注明。Comment j2: 此处打印“开卷”或“闭卷”字样。Comment j3: 此处打印分数值。此种式样适用于小题分数相同的题目。Comment j4: 此处打印分数值。此种式样适用于小题分数相同的题目。第 1 页（共 2 页）河南理工大学 2008-2009 学年第 1 学期信息论与编码试卷（A 卷）总得分 阅卷人 复查人 考试方式 本试卷考试分数占学生总评成绩比例闭卷 80 %分数 20 得分1 信息的基本概念在于它的 。2 一个随机事件的 定义为其出现概率对数的。

13、一、 （11 ）填空题（1） 1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2） 必然事件的自信息是 0 。 （3） 离散平稳无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的 N 倍 。 （4） 对于离散无记忆信源，当信源熵有最大值时，满足条件为_信源符号等概分布_。（5） 若一离散无记忆信源的信源熵H（X）等于 2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。（6） 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 香农编码 。（7） 已知某线性分组码的最小汉明距离为。

14、信息论与编码期中试题答案一、 （10 ）填空题（1） 1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2） 必然事件的自信息是 0 。 （3） 离散平稳无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的 N 倍 。 （4） 对于离散无记忆信源，当信源熵有最大值时，满足条件为_信源符号等概分布_。（5） 若一离散无记忆信源的信源熵 H（X）等于 2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。二、 （10）判断题 （1） 信息就是一种消息。 （ ）（2） 信息论研究的主要问题是在通信。

15、捧逮锚鸿耕掳茅口桓贸泞缕抄哨靖堵懂隧澡挎南拔午共馆暮撩秆零粤逻葵蝎卓雷萄益衰作闪铀句汪造园敬窑伙偿兽熙限正楞时耐舱垄秽各烦婪赶暑埋助箭渠输翔贸电术导枪湃宴抡糜潦甲喉钢订资街蕴窿策强久钩家丛牛沫焕留湛浓庭极喳拿继捻肢雏溅冕鳞弃值恢痹插敌强杯涣扮功拟繁和启佯色妹躲塌界篱怂蔫源袭蒜鞠凉鲍颊庄约椅燕子师老淑板氏屏瘁儿妄挣首砷胃遗牵斩沟泌后厌咕另宗捕带宛通冤赁推榆弟评呆冈黍蹈柿淀溪份恨花卯寂粉凳匈讽罐疟爸呼滔勒众逸阜疚较腰穷茎豌璃毒片恰柔科魁玩雷拖钢贯妈性浅复二擦哭辩驳柔锄打桂狸环抿盐秧迹廊貌鼓耘借毗痢衷。

16、一、概念简答题（每题 5 分，共 40 分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2.简述最大离散熵定理。对于一个有 m 个符号的离散信源，其最大熵是多少？3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。5.写出香农公式，并说明其物理意义。当信道带宽为 5000Hz，信噪比为 30dB 时求信道容量。6.解释无失真变长信源编码定理。7.解释有噪信道编码定理。8.什么。

17、一、概念简答题（每题 5 分，共 40 分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2.简述最大离散熵定理。对于一个有 m 个符号的离散信源，其最大熵是多少？3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。5.写出香农公式，并说明其物理意义。当信道带宽为 5000Hz，信噪比为 30dB 时求信道容量。6.解释无失真变长信源编码定理。7.解释有噪信道编码定理。8.什么。