1、1信息理论与编码基础复习题1.从通信的实质意义来讲，如果信宿收到的消息是已知的，则等于没有收到任何消息。2.当一个信源中所有的符号消息为等概时，该信源的熵最大。3.即时码一定是单义可译码。4.不使用间隔即可区分码字，就必然要求码字具有惟一性。5.噪声熵为 0 的信道称为确定信道。#000000 #99CC00#999933 #9933336.从通信的实质意义来讲，人们对消息中所包含的未知成分更感兴趣，用概率论的术语来说，就是具有不确定性的成分。7.当两个集合相互独立时，它们的共熵最大。8.等长码都是即时码。9.无记忆离散信源发出的各个消息符号是相互独立的，即信源发出的符号序列中的各个符号之间没
2、有关联性，各个符号的出现概率统计独立。10.定长非奇异码肯定是惟一可译码。11.消息中未知的或不确定的成分，通常被称为消息中所包含的信息，而消息的传递需要由信号来载荷。212.代码组集合中的所有代码组都包含相同个数的码元的编码称为等长码。13.信源编码器的主要任务是完成输入消息集合与输出代码集合之间的映射。14.译码时不需要考察后续码元，称之为即时码。15.在即时码中，任何一个码字都不是其他码字的延长。16.通信系统的任务是将信源的消息有效可靠地传送到信宿。17.在通信系统中，人们习惯于将通信分为数字通信和模拟通信，其实质亦是根据信源消息是数字还是模拟来划分的。18.信源能够用随机过程来建模，
3、从描述信源消息的随机过程的平稳性角度，信源可以分为平稳信源和非平稳信源，也可以按随机过程的类别将其分为高斯信源和马尔可夫信源等。19.文本信源和语音信源都是针对人类语言、文字、声乐等感知的，又通称为自然语信源。20.若信源发出的消息是由 K 个离散符号构成的符号序列，且各个消息相互统计独立，则称这种信源为发出符号序列消息离散无记忆信源。21.若单符号离散无记忆信源的信源空间为X P，对其进行 K 重扩展得到符号序列 X=X1 X2 Xk，则称扩展后的信3源为离散无记忆信源X P的 K 重扩展信源，记为 XK。22.研究信源最主要的目的是为信源编码服务。23.当信息量单位用比特、时间单位为秒时，
4、信息传输速率的量纲为比特/秒.24.对信源的分类可以有多种方法，主要基于两方面的考虑。一是信源消息取值的集合以及消息取值时刻的集合；二是信源消息的统计特性。25.信道是传递消息的通道，广义上是指从信源到信宿间传递物理信号的媒质和设施。26.从信息传输的角度来讲，研究信源主要是研究其输出的消息，简称信源消息。27.信源消息中的信息是一个时变的不可预知的函数，因此，描述信源消息或对信源建模，随机过程是一个有效的工具。28.根据人们对信源消息的感知情况将其分为数据信源、文本信源、语音信源、图像信源等。29.若信源发出 N 个不同符号 x1， x2， xi， xN ，分别代表 N 种不同的消息，各个符
5、号的概率分别为P1， P2， Pi， PN且相互统计独立，则称这种信源为单符号消息离散无记忆信源。30.若信源发出的消息是由 K 个离散符号构成的符号序列，且各个消息相互统计相关，则称这种信源为发出符号序列4消息离散有记忆信源。31.信源编码的目标是用尽可能少的码元符号或尽可能低的数据速率来表示信源消息。32.当信息量单位用比特、时间单位为码元（或符号或符号序列等）所占用的时间时，信息传输速率的量纲为比特/码元（或比特/符号、比特/符号序列等） ；33.离散有记忆信源发出的各个消息符号是相互关联的，其记忆性或关联性通常有两种方式来描述。一是用其联合概率来表示，这就是发出符号序列的离散有记忆信源
6、；二是用其条件概率来表示，这就是发出符号序列的马尔可夫信源。34.为了理解怎样的信源编码才是好的或者说是有效的，首先要能够对信源参数进行测量。35.最佳编码是无失真信源编码的理想模式。为了达到这个目的，通常需要遵循下面两个原则：（1）对信源中出现概率大的消息（或符号） ，尽可能用短的代码组（码字）来表示，简称短码，反之用长码。 （2）不使用间隔即可区分码字。36.代码组集合中各代码组所包含的码元个数不相同的编码称为变长码。37.码字含义的惟一性又称为单义可译性，这样的码字称为单义可译码。538.译码时要接收多于一个码字所包含的码元才能决定的信源编码，称为非即时码。39.若在两个代码组之间使用间
7、隔，就会减小信源的信息传输速率，进而降低编码效率。40.非即时码也可能是单义可译码，这说明单义可译码不一定是即时码。41.冗余度是衡量信源编码效率的一个物理量，冗余度越低，编码效率就越高。42.信源编码器输出代码组的信息传输速率与信道容量之比，称为信源编码器的编码效率。即 =R/C100%，当 R=C 时，=100%，这是信源编码的最理想特性，这样的信源编码能最充分地利用信道；当 RC 时，100%，说明信源编码输出的信息速率超过了信道的传输能力，这样必然会产生失真。43.信息含量效率越高，信源的冗余度越低。44.关于两个独立信道 Q1、Q2 串联， （X 信道 Q1 的输入； Y 信道 Q1
8、 的输出，也是信道 Q2 的输入；Z 信道Q2 的输出。 ）数据处理过程中，随着数据的不断处理，从处理后的数据中所得的原始信息会愈来愈少；串联信道的转移概率矩阵是各单元信道的转移概率矩阵之积；XYZ 组成一个马尔可夫链。45.关于变长编码，无失真 r 进制变长码码长不得低于6信源 r 进制符号熵；变长编码时，随着信源序列长度N 的增大，编码效率提高；变长码的编码效率高于定长码。46.关于无失真信源编码，有效的信源编码可使输出码元概率均匀化；霍夫曼编码过程中，可能造成码字不惟一，但平均码长是相同的，因而编码效率是相同；香农编码不能保证码字具有非续长性。47.译码规则不能由边缘概率确定。48.关于
9、“重复 N 次”编码， “重复 N 次”是定长码；采用择多译码策略；能减低平均差错率。49.引入限失真编码不是因为提供信源的信息率。50.给定 xi条件下随机事件 yj所包含的不确定度和条件自信息量 p(yj /xi)，数量上相等，单位相同。51.信息是集合之间的变异度属于从随机不确定性的角度来定义信息。52.信源编码不属于狭义信息论。53.I(xi;yj)不满足非负性。54.关于定长编码，引入失真不可能提高定长码的编码效率是不正确的。55.0, 10, 11可能是任何概率分布对应的Huffman 56.算术编码的码长与该序列的累计概率有关 7B.Huffman 码无法对只含 2 个符号的信源
10、进行压缩是不正确的。57.应用极大似然译码规则总可以确定译码的平均差错率是不正确的。58.对信源 U 的 2 元符号串进行编码，取码长为 3N，则信息率 R2/3。59.率失真函数体现平均互信息的上凸性是不正确的。60.纠错编码中，减小带宽不能减小差错概率。61.本体论是最高层次的信息 62.信息的产生不属于信息论的研究内容。63.M 阶马尔科夫信源的极限熵等于 m+1 阶条件熵是不正确的。64.信道容量：消息在不失真传输的条件下，信道所允许的最大信息传输速率称为信道容量。65.最佳信源编码：具有最短的代码组平均长度或编码效率接近于 1 的信源编码称为最佳信源编码，简称最佳编码。66.信源：消
11、息的源，通常是提供消息的人、设备或 事物67.单符号离散信源：如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为单符号离散信源。68.信源冗余度：设信源实际的熵为 H，该种信源可能的最大熵为 Hmax，则 R=（H max-H）/H max100%为信源的冗余度。869.信源编码器编码效率：信源编码器输出代码组的信息传输速率与信道容量之比，称为信源编码器的编码效率，即=R/C100%。70.单义可译码：对任何一个有限长度的信源消息序列，如果编码得到的码字序列不与其他任何信源消息序列所对应的码字序列相同，则称这样的码为单义可译码。1.信宿：消息传
12、递的对象，通常是接收消息的人、设备或事物；71.信源空间：若信源的输出是随机事件 X，其出现概率为P(X)，则它们所构成的集合，称为信源的概率空间，简称为信源空间。72.信息率：对于信源编码器的输出序列，其单位时间内所包含的信息量称为信源编码器的信息传输速率，简称信息率。73.通信中的信息、消息和信号三者之间的关系？通信中的信息、消息和信号是紧密相联的：通信系统传输的是信号，信号是消息的载体，消息中的未知成分是信息。74.消息通常具有如下特征：（1）消息可以产生、传递和获取；（2）消息是有内容的。75.信息具有的特征：（1）未知性或不确定性；（2）由不知到知等效为不确定性的集合的元素的减少；（
13、3）可以度量；（4）可以产生、消失，可以被携带、存储、处理；（5）可以产生动作。976. 对于二进制信源的各种信源空间，当 P(0)、P(1)在什么情况下得到的 I(X；Y)就是 I(X；Y) max？对于二进制信源的各种信源空间，当 P(0)=P(1)=1/2 时，对应于二进制对称信道的平均互信息量为最大，得到的 I(X；Y)就是I(X；Y)max。77.数字通信中可靠性的含义，在通信系统中哪个环节解决这个问题：直观地理解，可靠性表明消息传输中不出错的程度。对于数字通信来说，信道编码的主要任务就是解决这个问题。从传输的角度考虑，它可以用消息出错概率的大小来表征。78.香农信息论主要是围绕通信
14、的有效性和可靠性而展开的，它主要解决的问题：（1）围绕信息的度量所展开的讨论；（2）围绕无失真信源编码所展开的讨论；（3）基于信息传输时允许一定程度的失真或差错所展开的讨论；（4）围绕信道编码所展开的讨论；（5）围绕带限信道传输信息的能力所展开的讨论；（6）围绕通信网的发展带来的信息传输问题所展开的讨论；（7）围绕通信的保密所展开的讨论。79.请简述自信息量 I(xi)的定义并说明它的合理性：事件xi的出现概率为 P(xi)，其所带来的信息量：1()loglog()iaaiiI10为事件 xi的自信息量。合理性：若信源中事件 xi的概率为 p(xi)，它的出现所带来的信息量用 I(xi)来表示
15、并称之为事件 xi的自信息量，则从上述分析可知， I(xi)必须满足以下几个条件：1）信源输出 xi 所包含的信息量仅依赖于它的概率，而与它的取值无关。2）I(x i)是 p(xi)的连续函数。3）I(x i)是 p(xi)的减函数，即：如果 P(xi)P(xj)，则 I(xi)C，则不存在可以使传输错误概率任意小的编码。86.对于对称信道，当信源的符号消息概率怎么分布时，输出随机变量集合提供的信息量等于信道容量 C？对于对称信道，当且仅当信源的符号消息等概分布时，任何一个输入符号 xi对输出随机变量集合 Y 提供的信息量相等，且等于信道容量 C。87.简单叙述香农第一定理:设离散无记忆信源
16、X 包含 N 个符号x1，x2，xi，xN ，信源发出 K 重符号序列，则此信源可发出 NK 个不同的符号序列消息，其中第 j 个符号序列消息的出现概率为 ，其信源编码后所得的二进制代码组长度为 Bj，代码组的平均长度为当 K 趋于无限大时， 和 H(X)之间的关系为88.香农第一定理，又称为无失真信源编码定理或变长码信源编码定理。定理指出，要做到无失真的信源编码，编码后信源符号平均长度将不能小于信源熵，其极限情况是信源的熵值；若编码的平均码长小于信源的熵值，则单义可译码不存在，在译码或反变换时必然带来失真或差错。89.香农第一定理表明，在无失真信源编码中，采用扩展信13源的手段，虽然可以减少
17、每一信源符号所需要的平均码符号数，使编码的有效性有所提高，但无论怎样扩展，无失真信源编码的结果，在无噪离散信道中传输的有效性是有一定限度的，其极限值就是信源熵。当信息传输速率等于信道容量 C 时，编码效率达到最高，亦即信息传输的有效性最高。并没有给出怎样来实现这样的编码，所以说香农第一定理是一个存在性定理。90.在一般的信息传输系统中，信宿将收到的消息 yj根据某种规则判决为对应于信源符号消息集合中的某一个 xi，这个判决的过程称为接收译码，简称译码，译码时所用的规则称为译码准则。91.信源编码要解决的主要矛盾是信息传输的有效性，关心的是编码效率，追求的是平均长度最短的最佳编码，采用的方法通常
18、是尽量压缩信源中的冗余度。但由于最佳编码的码字中冗余度已经极小，如果在传输中发生了错误，就会发生张冠李戴的现象。实际的通信信道免不了总会存在干扰和噪声，为寻求通信的可靠性，有必要研究专门针对通信可靠性的编码，这就是信道编码。92.香农第二定理告诉人们，对于有噪信道，只要信道编码采取足够的码长 N，总存在某种编码方式，能使其传输错误概率任意小，且信道上的信息传输速率可以无限接近于信14道容量，即在有噪信道中消息是可以可靠地传输的，这对于设计实际的通信系统具有十分重要的意义。93.设由一离散无记忆信源X： a1， a2， a3P(X)：1/2，1/4，1/4构成二重扩展信源 X2，求该扩展信源的熵
19、 H(X2)。解 二重扩展，即扩展信源的每个符号序列由给定信源中的2 个符号组成，因此符号序列共有 32=9 种，分别是 aiaj (i， j=1，2，3)，不妨将它们看作新的信源符号，因此扩展信源又可以看作是共有 9 个“单符号”的离散无记忆信源。由式 H(XK)=K H(X)= 有问题转化到求 aiaj的联合概率，因为 ai、 aj统计独立，故P(aiaj)=P(ai)P(aj)。略去其计算过程，得 H(X2)=3 比特/符号序列而扩展前信源 X 的熵为lb1NiiP31,2 )l)ji jijia符 号比 特 / 5.1)(log)()(31i iiaPH15且有 H(X2)=2H(X)
20、。94.已知某单符号离散信源的概率空间为该信源发出的消息均为二重符号序列 aiaj)，( i、 j=1，2，3)，两个符号的关联性用条件概率 P(ai/aj)表示，如表 3.2 所示，求 H(X 2)。表 3.2 给出的条件概率aja1 a2 a3a1 9/11 2/11 0a2 1/8 3/4 1/8aia3 0 2/9 7/9解 由表 3.2 有由 P(aiaj)=P(ai)P(aj/ai)，可求出 9 个联合概率P(a1a1)=P(a1)P(a1/a1)=(11/36)(9/11)=1/441936:)(321Pa312 )(lb)()(ij jijiHX16P(a1a2)=P(a1)
21、P(a2/a1)=(11/36)(2/11)=1/18P(a3a3)=P(a3) P(a3/a3)=(1/4)(7/9)=7/36略去其计算过程，得H(X 2)=2.412 比特/符号序列也可以由原信源熵和条件熵来求扩展后的熵，有H(X)+H(X2/X1)=2.412（比特/符号序列）95.一信源 X（x1，x2，x3，x4）经编码后得码字集合S（1，01，001，0001）且一一对应。现接收到码元序列为101110001001101011，试写出译码结果。解 该编码规则为：x11，x201，x3001，x4001，每一码字均以 1 结尾，见 1 即可译码。对所接收序列的译码结果为 x1，x2
22、，x1，x1，x4，x3，96.一信源 X（x1，x2，x3，x4） ，经编码后得到码字集合S（1，10，100，1000）且一一对应，现收到码序列10010111000110011010，试给出译码结果。解 该编码规则为：x11，x210，x3100，x41000。它的信道基本符号也是“1” 、 “0”，也是将“1”作为一个码字，但采用在它的后面加“0”构成新码字的方法。97.已知信源概率空间为： ，计算5.0)(1xXq17其信源的熵。解：信源的熵 H(X) = - 0.5 log 0.5 - 0.5 log 0.5 = 1（比特/符号）98.设信源为 ，4/312xPX试求（1）信源的熵
23、、信息含量效率以及冗余度； （2）求二次扩展信源的概率空间和熵。解：（1） )(log/)( )3/4(log/422XH（2）二次扩展信源的概率空间为：XX 1x211/16 3/1623/16 9/16 )9/16(log/9)36(log/3)6(log/316log/)( 222 X99.已知信源概率空间为： ，计算其信源的熵。解：信源的熵 H(X3) = -40.25 log 0.25 = log4 = 2（比特/符号）100.设二元对称信道的输入概率分布分别为 ，4/13XP转移矩阵为 ，3/21|XYP（1）求信道的输入熵，输出熵，平均互信息量； （2）求信道容量和最佳输入分布； （3）求信道剩余度。解：（1）信道的输入熵 ；4log/1)34(log/)( 22XH5.0.50)(13 xxq186/124XYP5/7)5/12(log/)7(log)(2H6,41,/43| HXY（4 分）)|();(XYI（2）最佳输入分布为 ， 2/1P此时信道的容量为 )3,/(1HC（3）信道的剩余度： ;YXI
