1、1、一副充分洗乱的扑克牌（52 张） ，从中任意抽取 1 张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 _log2 52_ 。2、信息率失真理论是量化、数模转换、频带压缩和 _数据压缩_ 的理论基础。3、信源的消息通过信道传输后的 误差 越大，信宿收到消息后对信源存在的不确定性就越大 ，获得的信息量就越小。4、高斯加性噪声信道中，信道带宽 3kHz，信噪比为 7，则该信道的最大信息传输速率 Ct= 9kHz 。5、 BSC 信道即： 无记忆二进制对称信道 。1、给定 xi 条件下随机事件 yj 所包含的不确定度和条件自信息量 p(yj /xi).( D )A数量上不等，单位不同
2、B数量上不等，单位相同C数量上相等，单位不同 D数量上相等，单位相同2、 条件熵和无条件熵的关系是：( C )AH(Y/X)H(Y) BH(Y/X)H(Y)CH(Y/X)H(Y) DH(Y/X)H(Y)3、 根据树图法构成规则， ( D )A在树根上安排码字 B在树枝上安排码字C在中间节点上安排码字 D在终端节点上安排码字4、 下列说法正确的是： ( C )A奇异码是唯一可译码 B非奇异码是唯一可译码C非奇异码不一定是唯一可译码 D非奇异码不是唯一可译码5、 下面哪一项不属于熵的性质：( B )A非负性 B完备性C对称性 D确定性1、平均互信息量 I（X ；Y）对于信源概率分布 p（xi）和条
3、件概率分布 p（yj/xi）都具有凸函数性。 （ 对 ）2、 m 阶马尔可夫信源和消息长度为 m 的有记忆信源，其所含符号的依赖关系相同。 （ 错 ）3、利用状态极限概率和状态一步转移概率来求 m 阶马尔可夫信源的极限熵。 （ 对 ）4、 N 维统计独立均匀分布连续信源的熵是 N 维区域体积的对数。 （ 对 ）5、一维高斯分布的连续信源，其信源熵只与其均值和方差有关。 （ 错 ）6、连续信源和离散信源的熵都具有非负性。 （ 错 ）7、连续信源和离散信源都具有可加性。 （ 对 ）8、连续信源和离散信源的平均互信息都具有非负性。 （ 对 ）9、定长编码的效率一般小于不定长编码的效率。 （ 对 ）1
4、0、若对一离散信源（熵为 H（X） ）进行二进制无失真编码，设定长码子长度为 K，变长码子平均长度为K，一般 K。 （ 错 ）1、证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY)2、请给出失真函数、平均失真度、保真度准则、信息率失真函数的定义。1、设输入符号与输出符号为 X Y0,1,2,3，且输入符号等概率分布。设失真函数为汉明失真。求Dmax 和 Dmin 及 R(Dmax)和 R(Dmin)2、请给出连续信源分别为均匀分布、高斯分布和指数分布时信源的相对熵。高 斯 分 布 连 续 信 源 X 的 相 对 熵 为 ：1、求解率失真函数的问题，即：在给定失真度
5、的情况下，求信息率的 极小值 。2、平方误差失真函数 d（x i，y j）= （yi-yj ）2 平方 。3、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是 香农编码 。4、信源编码的目的是： 提高通信的有效性 _。5、 若把掷骰子的结果作为一离散信源，则其信源熵为 log2 下 6 。1、纠错编码中，下列哪种措施不能减小差错概率 （ D ） 。A. 增大信道容量 B. 增大码长 C. 减小码率 D. 减小带宽2、 一珍珠养殖场收获 240 颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉 1 颗。一人随手取出 3 颗，经测量恰好找出了假珠，不巧假珠又滑落
6、进去，那人找了许久却未找到，但另一人说他用天平最多 6 次能找出，结果确是如此，这一事件给出的信息量（ A ） 。A. 0bit B. log6bit C. 6bit D. log240bit3、 下列陈述中，不正确的是（ D ） 。A.离散无记忆信道中，H （Y）是输入概率向量的凸函数B.满足格拉夫特不等式的码字为惟一可译码C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、纠错能力越强D.满足格拉夫特不等式的信源是惟一可译码4、 一个随即变量 x 的概率密度函数 P(x)= x /2， V20，则信源的相对熵为（ C ） 。A . 0.5bit B. 0.72bit
7、 C. 1bit D. 1.44bit5、 下列离散信源，熵最大的是（ D ） 。A. H（1/3,1/3,1/3） ； B. H（1/2,1/2） ； C. H（0.9,0.1 ） ； D. H（1/2,1/4,1/8,1/8)1、信道容量 C 是 I（X；Y）关于 p（xi）的条件极大值。 （ 对 ）2、离散无噪信道的信道容量等于 log2n，其中 n 是信源 X 的消息个数。 （ 错 ）3、对于准对称信道，当 myj1)(时，可达到信道容量 C。 （ 错 ）4、多用户信道的信道容量不能用一个数来代表。 （ 对 ）5、多用户信道的信道容量不能用一个数来代表，但信道的信息率可以用一个数来表示
8、。 （ 错 ）6、高斯加性信道的信道容量只与信道的信噪有关。 （ 对 ）7、信道无失真传递信息的条件是信息率小于信道容量。 （ 对 ）8、最大信息传输速率，即：选择某一信源的概率分布（p （xi） ） ，使信道所能传送的信息率的最大值。 （ 错 ）9、对于具有归并性能的无燥信道，当信源等概率分布时（p （xi） =1/n） ，达到信道容量。 （ 错 ）10、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。 （ 对 ）1、 设 X 为二元等概率平稳无记忆信源，规定失真函数如下 失真矩阵为 ，试求其信息率失真函数 R(D)。01d1、证明：平均互信息量同信息熵之间满足I(X;Y)
9、=H(X)+H(Y)-H(XY)证明：YXHyxpxpyxYXI XYjijiijiYijji loglogl;同理则I;因为 YXIY;）HX故 I;即 XYYI;1、设输入符号与输出符号为 X Y0,1,2,3，且输入符号等概率分布。设失真函数为汉明失真。求Dmax 和 Dmin 及 R(Dmax)和 R(Dmin)解： 012314pxpx失真矩阵的每一行都有 0，因此10DDmin=0 min 20log4/RHXbit符 号3ax0m113(),44iijjiDpxdy1、某信息源由 4 个符号 0,1,2,3 组成，它们出现的概率分别为：1/8、1/2、1/4 、1/8，且每个符号
10、的出现都是相互独立的。试计算某条消息“201020130213001203210100 321010023102002010312032100120210”的信息量。解： 在此条消息中，符号 0 出现了 23 次，符号 1 出现了 14 次，符号 2 出现了 13 次，符号 3 出现了 7 次，消息共有 57 个符号。其中出现符号 0 的信息量为： 23log28 = 69bit。 其中出现符号 1 的信息量为： 14log22 = 28bit。 其中出现符号 2 的信息量为： 13log24 = 26bit。 其中出现符号 3 的信息量为： 7log28 = 21bit。 因此，该消息的信息
11、量为：I=69+28+26+21=130bit 。 平均（算术平均）每个符号的信息量应为： 2.8bit/57I符 号若用信源熵的概念进行计算，有 22223111loglogllogit/2.5bit/8848H 符 号 符 号那么，该条消息所含的信息量为：I = 57 2.28bit129.96bit 可以看到，用算术平均和信源熵两种计算所得的结果略有差别，其根本原因在于它们平均处理的方法不同。按算术平均的方法，结果可能存在误差，这种误差将随着消息中符号数的增加而减小。 2、 居住在某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，而女孩中身高 1.6米以上
12、的占总数的一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的消息，问获得多少信息量？解：设 A 表示“大学生”这一事件，B 表示“身高 1.60 以上”这一事件， 则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 I(A|B)=-log0.375=1.42bit 1、 设一线性分组码具有一致监督矩阵 10H1）求此分组码 n=?,k=?，共有多少码字？2）求此分组码的生成矩阵 G。3）写出此分组码的所有码字。4）若接收到码字（101001） ，求出伴随式并给出翻译结果。解：1）n=6,k=3,共有 8 个码字。 2）设码字 由 得012345CTH01354令监督位为 ，则有012C34051生成矩阵为 13）所有码字为 000000，001101，010011，011110 ，100110，101011，110101，111000 。4）由 得 ， THRS0S该码字在第 5 位发生错误， （101001）纠正为（101011） ，即译码为（101001 ）
