1、信息论与编码,通信工程专业,课程简介,任务：学习信息论的基础知识；掌握信源编码、信道编码、加密编码的原理和方法。 学习之后，能更深的理解现代通信系统。,参考书,R.J.McEliece，信息论与编码理论（第二版） 陈运，信息论与编码 姜丹，信息论与编码,教材编排,第一章 课程的发展和基本内容 第二章至第四章 信息论基础知识 第五章 信源编码,第六章 信道编码 第七章 加密编码,第一章 绪论,信息论与编码,一、通信系统,通信系统模型,信源：消息的来源 信道：消息的传送媒介 信宿：消息的目的地,通信系统的性能指标 有效性信源编码，去除冗余 可靠性信道编码，添加冗余 安全性加密编码 经济性 ？如何优
2、化，使得通信系统的这些指标最佳？,二、Shannon信息论的中心问题,“信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。 信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。 问题一：信源消息常常不能够完全发送。（否则发送量巨大，比如：无尽的天空。因此优先捡有用的发送） 问题二：信道因干扰而出现差错，如何进行检错和纠错。,三、信息的概念,信息 一般含义 （一）“信息”是作为通信的消息来理解的。在这种意义下，“信息”是人们在通信时所要告诉对方的某种内容。 （二）“信息”是作为运算的内容而明确起来的。在这种意义下，“信息”是人们进行运算和处理所需要的条件、内容和结果，
3、并常常表现为数字、数据、图表和曲线等形式。 （三）“信息”是作为人类感知的来源而存在的。,信息的本质 “信息是关于事物运动的状态和规律”。或者说，是关于事物运动的“知识”。 在通信系统中，传送的本质内容是信息。信息的基本概念在于它的不确定性。,信息与消息、信号比较 消息是信息的数学载体、信号是信息的物理载体 信号：具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的,补充阅读： 如何定量描述和度量信息？,矩阵称为单符号离散信道的信道矩阵； 信道矩阵中的每一个元素都处于0，1区间；每行元素之和均等于1。即：,第一节 单符号离散信道的数学模型,第二节 信道的交互信息量,信息是消息的不确
4、定性的消除，不确定性又是消息统计特性的函数，要揭示信道传输信息的规律，势必首先分析信道传递作用对传递消息的统计特性的影响和变化规律。若信源 的信源空间为其中 给定信道的信道矩阵,一.1.”输入符号 ,输出符号 ”的联合概率其中： 是信源 : 的先验概率分布； 是信道的传递概率，即信道矩阵P中的元素，亦称为信道的“前向概率”。,2.“输出符号 ”的概率,当信源 的信源空间 已知， 信道的信道矩阵 给定时， 个输出符号概率分布 ，均等于信源 发符号 的先验概率分布， 与信道矩阵 中第 行、 第 列元素相乘，然后把 从1到 的 个乘积相加之和。即有,3.“输出符号 后，推测输入符号 ”的后验概率,当
5、信源 的信源空间 已知，信道的信道矩阵 给定后， 个后验概率 均可由前三个式求得。,信源发某符号 ，由于受噪声的随机干扰， 在信道的输出端输出符号 的某种变型 。信道所传送的信息量，即信宿收到 后，从 中获取关于 的信息量 ，这等于信宿收到 前、后，对符号 的不确定性的消除，即有信宿收到 后，从 中获取关于 的信息量 =信宿收到 前，对信源发 的先验不确定性 -信宿收到 后，对信源发 仍然存在的后验不确定性 =信宿收到 前、 后，对信源发 的不确定性的消除 而信宿收到 前，对信源发符号 的先验不确定性,由于收信者接到 后，推测信源发符号 的概率，已由收信者收到 前对信源发 的先验概率 ，转变为
6、后验概率 ，所以信宿收到 后，对信源发符号 仍然存在的后验不确定性 ，应该等于信宿收到 后推测信源发 的后验概率 的倒数的对数，即由此可得：我们把信宿收到 后，从 中获取关于 的信息量 称为输入符号 和输出符号 之间的交互信息，简称为互信息。,二.互信函数的三种形式,此式称为符号 和 之间的互信函数我们把信宿收到 后，从 中获取关于 的信息量 称为输入符号 和输出符号 之间的交互信息量，简称互信息它表示信道在把输入符号 传递为输出符号 的过程中，信道所传递的信息量,1.,通信前，信道输入，输出端同时出现 和 的先验不确定性,通信后，信道输入，输出端同时出现 和 仍然存在的后验不确定性,交互信息
7、量有以上三种不同的表达式，这三种表达式的任何一种形式都有一个共同点，即交互信息量等于后验概率与先验概率比值的对数交互信息量log（后验概率先验概率）如把先验概率看作是先验可知或事先测定的，那么信息传递的交互信息量就只取决于由信道传递概率决定的后验概率,三后验概率变化对交互信息量的影响,收信者收到输出符号 后，推测信源以概率发信号 ,收信者收到 后，推测信源发信号 的后验概率大于收到 前推测信源发信号 的先验概率,收信者收到 后，推测信源发信号 的后验概率，与收到 前推测信源发信号 的先验概率相等,收信者收到 后，推测信源发信号 的后验概率，反而小于收到 前推测信源发信号 的先验概率.,例2.3
8、 表2.1中列出某信源发出的八种不同消息ai(i=1,2,8),相应的 先验概率p(ai)(i=1,2,8),与消息ai(i=1,2,8)一一对应的码字wi (i=1,2,8).同时给出输出第一个码符号“0”后，再输出消息a1,a2,a3, a4对应码字w1,w2,w3,w4后面二个码符号的概率，即输出第一个码符号“0” 后，再出现消息a1,a2,a3,a4 的概率，试计算第一个码符号“0”对消a1,a2,a3, a4提供的信息量。表2.1,接到消息ai(i=1,2,3,4)后，推测第一码符号为“0”的后验概率等于1，即有第一个码符号“0”对消息ai (i=1,2,3,4)提供的信息量，就是从
9、消息ai(i=1,2,3,4) 中获得关于第一个码符号“0”的交互信息量（i=1,2,3,4)其中p(0)是信源发第一码符号“0”的先验概率则得(i=1,2,3,4)这说明，第一码符号“0”的自信息量既表达第一码符号“0”对消息ai(i=1,2,3,4)提供的最大信息量，也表示消息ai (i=1,2,3,4)从第一码符号“0”中获得的最大信息量。,第三节 条件交互信息量,设信道 的输入符号集 ，输出符号集 。信道 的输入号集 ，输出符号集 。现将信道 和信道 接成串接信道。若将信源空间为的信源 接入串接信道，由于信源 的符号集 与串接信道的输入符号集 完全一致，信源 的各种不同符号均可通过串接
10、信道，在信道的输出端（信道的输入端）构成随机变量 ，信道的输出（串接信道的输出）端构成随机变量 。假定：信道的传递概率信道的传递概率,由已知信源 的先验概率分布 和以上两式可得 并设 由随机变量 的联合概率分布，即可得随机变量 各自概率分布、任意两个随机变量的联合概率分布以及各种条件概率分布 即有,在随机变量 出现 的前提下，从随机变量 的某符 号 中获取关于信源 的某符号 的条件交互信息量 ,等于随即变量 出现 前后，对信源 发某符号 的条件不确定性的消除,在随机变量 出现某符号 的前提条件下，信源 的某符号 与随机变量 中的某符号 之间的的条件交互信息量 ,同样也等于在随机变量 出现某符号
11、 的前提条件下， 信道通信前后，输入输出端同时出现 和 的条件不确定性的消除,信源 出现符号 前后，对随机变量 出现符号 的条件不确定性的消除，等于随机变量出现某符号 的前提条件下，从信源 的某符号 中，获取关于随机变量 的某符号 的条件交互信息量,重要结论,例 2.4 表2.2 中列出了无失真信源编码信源信息，消息的先验概率以及每一个 消息所对应的码字表2.2我们取ai=a4, 且以bj，cl，dk，分别表示码字“011”中的第一个码字符号“0”； 第二个码字符号“1”；第三个码字符号“1”。根据相关交互信息量的理论(2.43), (2.45)式可有,其中： (1)而 p(a4/0)=p(1
12、1/0)=p(011) / p(0); p(011)=p(a4)=1/8; p(0)=p(000)+p(001)+p(010)+p(011)=1/4+ 1/4+1/8+1/8=3/4所以 p(a4/0)=1/6 则得 比特(2)而 p(a4/01)=p(1/01)=p(011) / p(01); 因为 p(01)=p(010)+p(011)=p(a3)+p(a4)=1/8+1/8=1/4 所以 p(a4/01)=1/2 则得,(3)而 p(a4/011)=1 所以 以上三项计算结果表明，在消息a4相对应的码字“011”中：第一个码符号“0” 提供关于消息a4的信息量I(0;a4)=I(a4;0
13、)=log4/3(比特)；在收到了第一个码符号 “0”的条件下，第二个码符号“1”提供关于消息a4的条件交互信息量I(0;a4/0)=I(a4;1/0)=log3(比特)；在收到 “01”序列的条件下，第三个码符号“1”提供关于消息a4的条件交互信息量I(0;a4/01)=I(a4;1/0)=1(比特)。所以，从码字“011”中的三个码符号总共提供关于消息a4的相关交互信息量比特 另一方面，消息a4自信息量比特这从信息测量角度证实了由于a4与相应码字“011”是一一对应的确定关系，相关 交互信息量I(a4;011)就是消息a4的自信息量I(a4).,第四节 平均交互信息量,平均交互信息量有三种
14、不同的表达形式：,上式表示从 获取关于 的平均交互信息量 ，等于收到 前后，关于 的平均不确定性的消除 其中 表示收到随机变量 后，对随机变量 仍然存在的平均不确定性，也称其为疑义度,上式表明，信源 通过传递概率为 的信道输出随机变量 ,信道传递的平均交互信息量 ,等于通信前后，随机变量 和 同时出现的平均不确定性的消除其中， 表示随机变量 ，通过信道传递输出随机变量 后，信道两端同时出现 和 的后验平均不确定性，也称为共熵,上式表明，对于“反向信道”来说，从输出随机变量 中，获取关于输入随机变量 的平均交互信息量 ,等于通信前后，对于 的平均不确定性的消除其中， 表示输出随机变量 的前提下，
15、对输入随机变量 仍然存在的平均不确定性，这个反向疑义度一般叫做噪声熵以上三种表达式都说明，平均交互信息量就是通信前后，平均不确定性的消除,例 2.5 设信源X的符号集X：a1,a2, 先验概率分布为p(a1)=w(0w1); p(a2)=1-w。信道的输入符号集X：a1,a2，输出符号集Y： a1,a2， 传递概率P(Y/X)：p(aj/ai)=pij(i=1,2; j=1,2。现将信源X与信道相接(图2.11)， 试求信道的平均交互信息量I(X：Y)。,p11,p22,p21,p12,a1,a2,a1,a2,X,Y,P(a1)=w,P(a2)=1-w,图2.11,根据书中(2.5)式得各联合
16、概率：根据书中(2.6)式得随机变量Y的概率分布：(3) 由PY(a1),PY(a2)求得随机变量Y的熵,由p(aj/ai)=pij (i=1,2；j=1,2) 求得条件熵由 H(Y) 和H(Y/X) 求得平均交互信息量,第五节 平均交互信息量的非负性,由于考虑到 ，以及“底”大于1的对数是 型凸函数可得当且仅当对一切 都有 即当信源 和信宿 统计独立时，等式才能成立，即有,平均交互信息量的非负性表明，虽然对于信源 和信宿 的两个特定具体符号 和 之间的交互信息量 来说，有可能出现负值，但从平均意义上来说，信道每传递一个符号，总能传递一定的信息量，至少等于零，绝不会出现负值。由平均交互信息量的
17、非负性可得仅当 和 统计独立时，上式的等号才成立。,是“正向信道”的后验熵；是“反向信道”的后验熵；是通信后 和 同时出现的后验共熵。上页三式指明，后验熵绝不会超过先验熵，最多等于先验熵。熵总是向减少的方向发展，最多维持不变，绝不会向增加的方向发展。熵减少的过程，就是信道传递信息的过程。我们把这种特性称之为“后熵不增性”原理。,第六节 平均交互信息量的极值性,根据 和 ，剖析平均交互信息量的极值性以及能使平均交互信息量达到最大值的相应信道的特性。1.因为后验概率 和联合概率 都具有一般概率的秉性，即所以对“底”大于1的对数来说有可得 所以,只有当 时，等式才能成立，即有进而这表明，对于给定信源
18、 来说，只有接上一个后验概率要么等于1，要么等于零（疑义度 ）的信道，才能使平均交互信息量 达到最大值 ，从 中获取关于 的全部信息量 。这样的信道称为离散无噪信道。,2.因为前向概率 和联合概率 都具有一般概率的秉性，即 所以，对“底”大于1的对数有则得到进而得到,只有当时等式才能成立，即有进而推出这表明，只有当信道的传递概率要么等于1，要么等于零，即当信道的噪声熵（反向疑义度 ）时，从信源 中才能获取关于信宿 的全部信息量，信道的平均交互信息量达到最大值 。这样的信道亦称为离散无噪信道。,第七节 平均交互信息量的不增性,下面，我们从从四个方面剖析串接信道中平均交互信息量 之间的关系。1.从
19、随机变量 中获取关于随机变量 的平均交互信息量 ，一般不会超过从 中获取关于联合随机变量 的平均交互信息量 ，只有当随机变量序列 是Markov链时，两者才能相等，即当且仅当时等式才能成立，即有,2.从随机变量 中获取关于随机变量 的平均交互信息量 ，一般不会超过从 中获取关于联合随机变量 的平均交互信息量 ，只有当随机变量序列 是Markov链时，两者才能相等，即当且仅当时，等式才能成立，即,3.当随机变量序列 是Markov链时，从随机变量 中获取关于随机变量 的平均交互信息量 ，只有当随机变量序列 亦是Markov链时，两者才能相等，即当随机变量序列 是Markov链时，有当且仅当时，等
20、式才能成立，即,4.当随机变量序列 是Markov链时，从随机变量 中获取关于随机变量 的信息量 ，一般不会超过从随机变量 中获取关于随机变量 的信息量。只有当随机变量序列 亦是Markov链时，两者才能相等。即当随机变量序列 是Markov链时，有当且仅当时，等式才能成立，即,第八节 平均交互信息量的上凸性,平均交互信息量 都可表示为给定信道的传递概率 和输入信源 的概率分布 的函数：由于给定信道的传递概率 固定不变，所以，对于给定信道来说，平均交互信息量 只是输入信源 的概率分布 的函数：所以输入信源 的概率分布 不同，就有不同的平均交互信息量 。,设有信源 ，其概率分布 。 若把信源 输
21、入给定信道，则其平均交互信息量可以写为：另设有信源 ，其概率分布 。若把信源 输入给定信道，则其平均交互信息量可以写为：,再有信源 ，其概率分布设计成 和 的内插值，即其中： 。若把信源 输入给定信道，则其平均交互信息量可以写为：,由（2.140）、（2.141）、（2.142）式可得上式表明，对于传递概率固定为 的给定信道，其平均交互信息量 是输入信源 的概率分布 的函数 ，且函数的平均值小于或等于平均值的函数。这说明，平均交互信息量 是信源概率分布 的 型凸函数。这就是平均交互信息量的上凸性。,第九节 信道容量及其一般算法,信道容量的定义：,信道容量 表示传递函数固定为,的给定信道所能传递
22、的平均交互信息量的最大值。信道的信道容量 ，即信道的最大的信息率。信道容量也可以定义为信道的最大的信息速率，记为 。,信道容量是信道本身特征参数的函数，反映信道本身的信息特征。,从数学上来说，信道容量 就是平均交互信息量,对,取极大值。因为任何信源分布都 必须遵守约束条件,为此，作辅助函数,其中 为待定常数。辅助函数,对,分别取偏导，并置之为零，得 个稳定点方程，并与约束方程联立，得到方程组后，求解以后，即可得到信道容量 。,由前面的分析知道，对于传递函数固定的给定信道来说，当输入信源为其匹配信源时，从平均的意义上来说，从信道每一输出符号中获取关于信源的任何一种符号 的平均交互信息量 都是相等
23、的，其值就等于信道容量 。,由此可导出关于信道容量解的重要结论：一般单信号离散信道，其平均互信息量达到其信道容量 的充要条件是，其匹配信源 的概率分布 满足,对 的所有i,对 的所有i,式中：,上述结论的充分性与必要性都得到了证明。通过这个结论我们可以得知，若信道平均交互信息量达到信息容量，则匹配信源的符号集中，除了概率为零的符合以外的每一个符合，对输出的随即变量提供的平均信息量相等，其值等于信道容量。这表明，信道容量取得的过程，亦是信源符号概率分布自我调整的过程。,在这里，需要注意的是，信道容量解的充要条件只提出信道达到容量时，输入信源符号的概率分布应满足的条件，并没有给出输入信源符号概率分
24、布的具体数值，因而也不可能给出信道容量的具体数值。另外，信道容量解的充要条件还指明，达到信道容量的匹配信源不一定是唯一的，凡满足书上式（2.166）的概率分布的信源，都是匹配信源。,例2.8 设信道的输入符号集X：0，1，2，输出符号集Y：0，1，其传递特性 如图2.29所示图2.29 若输入信道X的信源空间为X： 0 1 2 X P： P(X)： 0.5 0 0.5,1,1/2,1/2,1,0,1,2,0,1,X,Y,则信源符号“0”对输出随机变量Y提供的平均信息量比特/符号 (2.187),则信源符号“2”对输出随机变量Y提供的平均信息量比特/符号 (2.188),概率为零的信源符号“1”
25、对输出随机变量Y提供的平均信息量比特/符号 (2.189)由(2.187),(2.188),(2.189)式可得p(ai) 0p(ai)=0 即满足(2.165)式，因此，求得图2.29给定信道的信道容量C=I(ai;Y)=1 比特/符号 (p(ai) 0) 而所设输入信源X的概率分布PX=0=0.5；P(X=1=0；PX=2=0.5 就是使图2.29给定信道达到信道容量的概率分布，即所设信源X。P就是这个信道的 匹配信源,我们再来讨论另一给定信道的信道容量，如给定信道的输入符号集X：a1,a2,a3,a4,a5 输出符号集Y：b1，b2，其传递特性如图2.30 所示。图2.30 若输入信源的
26、信源空间为X： a1 a2 a3 a4 a5 XP： P(X)：1/4 1/4 0 1/4 1/4,a1,a2,a3,a4,a5,b1,b2,1,1,1,1,0.5,0.5,X,Y,则用(2.187),(2.188),(2.189)式相同方法，可得I(ai;Y)=log2=1 比特/符号 (i=1,2,4,5)I(aj;Y)=01 比特/符号 (j=3) 由(2.166)式得信道容量C=I(ai;Y)=1 比特/符号 达到信道容量的信源概率分布为P(X=a1)=P(X=a2)= P(X=a4)= P(X=a5)=1/4; P(X=a3)=0 (2.190)若输入信源X的信源空间为X： a1 a
27、2 a3 a4 a5 XP： P(X)：0.5 0 0 0 0.5 则相当于一个二元等概信源与一个一一对应具有确定关系的无噪信道相接，即有 I(ai;Y)=log2=1 比特/符号 (i=1,5)I(aj;Y)=01 比特/符号 (j=2,3,4) 由(2.166)式得信道容量C=I(ai;Y)=1 比特/符号 达到信道容量的信源概率分布为P(X=a1)=0.5 P(X=a2)= P(X=a3)= P(X=a4)=0; P(X=a5)=0.5 (2.191)(2.190),(2.191)式是同一给定信道达到信道容量的两种不同的信源概率分布。这证实了达到信道容量的信源概率分布不一定是唯一的。,第
28、十节 几种无噪信道的信道容量,单符号离散无噪信道是一种最简单最基本的特殊信道。我们知道，无噪信道的信息传输问题，就是信源的信息熵问题。在前面讨论的基础之上，简化了计算过程和方法，直接导出以下的三种无噪信道的容量。,1.具有一一对应确定关系的无噪信道。这一无噪信道的信道矩阵为,由于具有一一对应确定关系的无噪信道的信道矩阵 中，每列只有一个非零元素1，有式（2.76）和（2.77）可知，这种信道的疑义度 一定等于零，即有,这种无噪信道的信道容量：,这表明，具有一一对应确定关系的无噪信道的信道容量 。只取决于信道的输入符号集的符号数 ，是信道本身的特征参量。只有当输入信源X是符号数为r的等概信源时，
29、具有一一对应确定关系的无噪信道才能达到信道容量 。信道的容量，就是信源熵的最大值。,2.具有扩散性能的无噪信道。这一无噪信道的信道矩阵是,这种无噪信道就是我们前面讨论过的发散性无噪信道。同样由于信道矩阵 ，每列只有一个非零元素。,由式（2.76）和（2.77）可知，这种发散性无噪信道的疑义度 一定等于零，即有,所以，这种发散性无噪信道的信道容量为,3.具有归并性能的无噪信道。这一无噪信道的信道矩阵是,这种无噪信道就是我们前面讨论过的归并性无噪信道。因为归并性无噪信道的信道矩阵 中的所有元素都是“1”或“0”。由式（2.80）可知，归并性无噪信道的噪声熵一定等于零，即有,所以，这种归并性无噪信道
30、的信道容量为,这表明，归并性无噪信道的信道容量 ，只取决于信道的输出符号集的符号数 ，是信道本身的特征参量。只有当输入信源 是符号数为 的等概信源时，具有一一对应确定关系的无噪信道才能达到信道容量 。,这,1.强对称离散信道的信道容量,第十一节 几种对称信道的信道容量,若单符号离散信道的输入符号集，输出符号集 。 每一输入符号的正确传输概率均为 ，总的错误传输概率 均匀分布在其他 个错误传输的概率上，即 个错误传输概率均为,则信道的传递特性可表示为,其信道矩阵 是 阶对称矩阵,则该信道称之为强对称离散信道。,令输入信源的概率分布为 ，运用熵函数的对称性，可对这种对称信道的噪声熵 进行简化，即,
31、上式表明，强对称离散信道的噪声熵等于信道矩阵中任一行元素组成的熵函数，其值取决于信道总的错误传递函数概率和输入（输出）符号数。,可得强对称信道的信道容量,输出随机变量 的熵的最大值，一定是当随机变量 等概分布时达到的最大熵值，所以可以得出强对称信道的信道容量,强对称信道的几点特性,（1）当输入信源等概分布时，其输出随机变量同时呈等概分布。当输入信源 达到最大熵值时，即有,（2）当输入信源等概分布时，其后验概率,（3）当输入信源等概分布时，,特别地当强对称离散信道的传输错误概率 时，有,（4）当输入信源等概分布时，信源中的任一符号 对随机变量 提供的平均信息量,2.对称离散信道的信道容量,若离散
32、信道的信道矩阵 中的每一行都是由同一符号集 诸元素的不同排列组成，每一列也都是由同一集合 诸元素的不同排列组成，则这种信道称之为对称离散信道。 例如,对称离散信道与强对称离散信道的区别有以下四点：（1）强对称离散信道的输入符号数 与输出符号数 相等，即 ，信道矩阵 一定是 阶方阵。而对称离散信道的输入符号数 与输入符号数 不一定相等，其信道矩阵 也不一定是方阵。,（2）强对称离散信道的信道矩阵 中，行元素集合 与列元素集合是同一集合，即。对称离散信道的信道矩阵 的行元素集合 与列元素集合 不一定是同一集合。,（3）强对称离散信道的信道矩阵 的每列之和与每行之和一样，均为1.对称离散信道的信道矩
33、阵 的每列之和不一定为1. （4）强对称离散信道的信道矩阵 是一个对称矩阵，对角线上的元素均是正确传递概率 ，除此之外的所有元素均是错误传递概率 。对称离散信道的信道矩阵 不一定是对称矩阵。,对称离散信道的信道容量,3.准对称离散信道的信道容量,若信道矩阵 的列可被划分成若干个互不相交的子集，且每个子集所组成的子阵是行列排列阵，则称此类信道称为准对称离散信道。例如,由于 ， 的行和列都具有可排列性，所有用它们作为子矩阵构成的信道矩阵,所代表的信道为准对称离散信道。,准对称离散信道的信道容量,当输入信源等概分布时，这个 阶矩阵对应的准对称信道达到信道容量，其容量值,第十二节 可逆矩阵信道的信息容
34、量,若单符号离散信道的输入符号集，输出符号集 ， 信道的转移概率为 且其信道转移矩阵 存在逆矩阵 ，则该信道称为可逆矩阵信道。,其交互信息量是输入信源的概率分布的 型凸函数,通过计算，求解平均交互信息量的极大值，可得到可逆矩阵信道的信道容量,显然，只有当可逆矩阵信道的输出随机变量 的概率分布 等于书中式（2.260）时，信道才能达到上式中所示的信道容量 。,第十三节 信道容量的迭代计算,由于 是信源 的概率分布 和后验概率 的函数，即：而先验概率 和后验概率 不是两个独立的变量，其中一个变量发生变化，另一个变量按发生相应的变化。,我们可暂且把其中后验概率 当作自变量，而把本来要按上式随之发生相
35、应变化的应变量 近似地看作固定不变的量。在这种近似处理的情况下，由于 和 都是固定不变，可得：由于“底”大于1的对数是 型凸函数，所以 具有上凸性。因此，我们就可以在条件的约束下，对变量 求 型凸函数 的条件极大值，即平均交互信息量 的最大值，以及达到最大值的 。,为此，做辅助函数可得上式表明，当变动后验概率 、固定先验概率 时，使平均交互信息量 达到最大，即达到信道容量 的后验概率 ，这就是信源 的概率分布为 时，给定信道 的一般意义下的后验概率 。,由上式可知，当变动后验概率 ，而固定信源 的概率分布 时，信道容量为：在近似处理的情况下，由于 和 都固定不变，则平均交互信息量 就可以看作是
36、先验概率 的函数：,已知平均交互信息量 是信源 的概率分布 的 型凸函数，可在条件的约束下，对变量 求函数 的极大值，即平均交互信息量 的最大值，以及达到最大值的 。,为此，作辅助函数得信道容量为（2.283）和（2.295）式分别表示的是，在先验概率 和后验概率 分别在固定不变的假设前提条件下，分别变动后验概率 和先验概率 的情况下，传递概率固定为 的给定信道的平均交互信息量 达到的最大值，即信道容量 。由（2.274）可知，对于传递概率固定为 的给定信道，在变动后验概率 时，先验概率 不可能固定不变；在变动先验概率 时，后验概率 也不可能不变。迭代算法就是用单独变动 和 的方法，逼近 和
37、同时变动的实际情况，求得平均交互信息量 的最大值，即信道容量 的近似值。,当n此迭代和n+1此迭代的计算值的差，已经小到可以允许的程度，或者已在计算机精度范围内无法显示时，就可以认为达到了所求容量值 。现在，来证明这种迭代计算的逐级逼近是收敛的。当迭代次数n足够大 时，有,第三章 多符号离散信源与信道,对于多符号离散信源来说，若信道的输入端输入一个由多个信源符号组成的时间序列所代表的消息，在信道的输出端相应以一定概率输出一个由同样个数的符号组成的时间序列代表的消息，则这种信道称为多符号离散信道。,第一节 离散平稳信源的数学模型,多符号离散信源可用随机变量 组成的时间序列，即随机矢量 ： 来表示
38、。如果多符号离散信源发出的每一条消息中，每一单位时间出现的离散符号都是取自且取遍与信源符号集 ，即那么，多符号离散信源发出的每一条消息中，每一单位时间出现的离散符号，就是信源 在这个单位时间发出的信源符号 。这就是说，多符号离散信源发出的消息，就是单符号离散信源每单位时间发出的离散信源符号组成的时间序列。表示多符号离散信源的随机矢量 ，可看作是表示时刻 的单符号离散信源 的随机变量 的时间序列,在一般情况下，信源 的概率分布与时间 有关，不同时刻有不同的概率分布。即 有设 为两任意时刻，若信源 的概率分布与时间无关，即有则我们把信源 称之为 维离散平稳信源。,由于 维联合概率的平稳性，每一组的
39、统计特性是完全相同的，可以由 个随机变量组成的一个组的统计特性来代表。由于任何时刻 随机变量 发出的符号都取自且取遍同一个信源符号集 ，所以在无限长的符号时间序列中，每 个符号组成的无数个消息中的不同消息种数是 种，而这 种不同消息在长度为 的随机变量序列 中都可以出现。所以，一个 维离散平稳信源，就可由 个随机变量组成的随机矢量来表示。,把 维离散平稳信源 称之为信源 的 次扩展信源，其信源空间：其中：这就是描述 维离散平稳信源 的一般的数学模型。,第二节 离散平稳无记忆信源的信息熵,若 维离散平稳信源 中，各时刻随机变量 之间相互统计独立，则我们把信源 称为离散平稳无记忆信源，把 称为 维
40、离散平稳无记忆信源。由于 维离散平稳无记忆信源 中，各时刻随机变量 之间统计独立，即有,又由信源 的平稳性，有即得其中 ； 这样， 维离散平稳无记忆信源 的信源空间可以改写为其中：且,因为 分别都是信源 的概率空间 中的概率分量 。由 ，则有而这说明， 维离散平稳无记忆信源 可能发出的消息数，已由离散平稳无记忆信源 的 种扩展到 种； 维离散平稳无记忆信源 的概率分布 完全可由离散平稳无记忆信源 的先验概率分布 求得。由此，我们把 维离散平稳无记忆信源 称为离散平稳无记忆信源 的 次扩展信源，并记为,由于 的概率空间 是一个完备集，则可得 的信息熵这说明， 维离散平稳无记忆信源 的信息熵 ，等
41、于各时刻随机变量 的信息熵 之和。再考虑到 中每一时刻的随机变量 的取值，这就是离散平稳无记忆信源 的在第 时刻的取值，而 的概率分布，就是离散平稳无记忆信源 在第 时刻的概率分布。,由（3.4）式所示的平稳性，离散平稳无记忆信源 的概率分布不随时间的推移而变化， 时刻的随机变量 的概率分布 就是离散平稳无记忆信源 的概率分布 。所以，（3.16）式中 时刻随机变量 的信息熵 均等于离散平稳无记忆信源 的信息熵，即继而，可得这说明，离散平稳无记忆信源 的 次扩展信源，即 维离散平稳无记忆信源 的信息熵 ，等于离散平稳无记忆信源 的信息熵 的 倍。这意味着，离散平稳无记忆信源 的 次扩展信源 每
42、发一条消息提供的平均信息量，等于离散无记忆信源 每发一个符号提供的平均信息量的 倍。,例3.1 设离散平稳无记忆信道X的信源空间为X: a1 a2 a3 X . P:p(x): 则信源X的二次扩展信源 =X1 X2 的符号集为1=a1a1 4=a2a1 7=a3a12=a1a2 5=a2a2 8=a3a23=a1a3 6=a2a3 9=a3a3信源 =X1 X2 的概率分布p(1)=p(a1a1)=p(a1)p(a1)=1/41/4=1/16p(2)=p(a1a2)=p(a1)p(a2)=1/41/2=1/8p(3)=p(a1a3)=p(a1)p(a3)=1/41/4=1/16p(4)=p(a2a1)=p(a2)p(a1)=1/21/4=1/8p(5)=p(a2a2)=p(a2)p(a2)=1/21/2=1/4p(6)=p(a2a3)=p(a2)p(a3)=1/21/4=1/8p(7)=p(a3a1)=p(a3)p(a1)=1/41/4=1/16p(8)=p(a3a2)=p(a3)p(a2)=1/41/2=1/8p(9)=p(a3a3)=p(a3)p(a3)=1/41/4=1/16,
