1、第7章 有噪信道编码,本章主要内容： 1.概述 2.最佳判决与译码准则 3.信道编码与最佳译码 4.费诺（Fano）不等式 5.有噪信道编码定理 6.纠错编码技术简介 7.信道编码性能界限,7.1 概述,信道编码：就是按一定的规则给信源输出序列增加某些冗 余符号，使其变成满足一定数学规律的码序列（或码字） ，再经信道进行传输。（提高传输的可靠性） 信道译码：就是按与编码器同样的数学规律去掉接收序列 中的冗余符号, 恢复信源消息序列。 一般地说，所加的冗余符号越多，纠错能力就越强，但传输效率降低。因此在信道编码中明显体现了传输有效性与可靠性的矛盾。,本节主要内容： 1. 信道编码的基本概念 2.
2、 判决与译码规则 3. 译码错误概率,7.1.1 信道编码的基本概念,简化的通信系统模型如图7.1.1所示。 图7.1.1 简化通信系统模型图,设信源输出或信道编码器的输入消息集合为U，信道编码器采用分组编码，输出码字为 的一个子集，其中每个码符号 取自符号集 ；码字通过离散无记忆信道传输；信道输出或译码器的输入为 ，其中每个符号 取自符号集 ；译码器输出是被恢复的消息，其集合用V表示。,（1） 消息产生：由信源发出M个等概率消息：U = 1，2，M；（2） 信道编码：编码器将消息映射成码字，编码函 数f：1，2，MC= ，其为码 长为n的码字，码符号集A的大小为r；（3） 信道传输： 为n维
3、矢量，取自码字集C，作为 n次扩展信道的输入， ， 是n维矢量 ，为信道输出， ；（4） 信道译码：译码器根据接收的 完成译码功能 ，译码函数 。,信息传送过程,衡量信道编码有效性的重要指标就是信息传输速率（也称码率）。 对于离散信道，当离散信源的符号通过信道编码器编成长度为n的码字通过信道传输时，那么信息传输速率为 （7. 1. 1）单位为：比特（或奈特）/信道符号，其中，H（X）为信源的熵。 当信源符号等概率时，一个（M，n）码信息传输速率R为 （7. 1. 2）,对于时间连续信道，信息传输速率表示单位时间所传送的信息量，即信息传输速率为 单位为：比特（或奈特）/秒，其中， 为传输一个码符
4、号所需时间。幻灯片 4,7.1.2 判决与译码准则,对于图7.1.1所示的模型，单符号判决规则为： （7.1.3）其中， 。（7.1.3）的含义是，当接收到 就判定为 发送符号。因此，对每一个信道输出都必须有一个信道输入与之对应。所以判决规则是一个有惟一结果的函数。（7.1.3）式可简记为 ，称 为判决函数。设信道的转移概率为 ，那么，在接收到 的条件下，若实际上发送的是 ，则判决正确，反之就出现差错。,在发送 条件下，利用判决规则（7.1.3），条件错误率定义为 （7.1.4） 平均错误率定义为 （7.1.5）还可计算平均正确率为： （7.1.6）,例7. 1. 1 一个二元对称信道输入和输
5、出分别为X，Y，其中 ，信道的转移概率为 ， ，分别求下面两种判决函数所对应的平均错误率并比较两者的大小： （1） ； （2） 。,解（1） 平均错误率： （2） 平均错误率：很明显，当 时， ；否则 。此例说明，错误率和判决函数的选取有关。幻灯片 4,7.1.3 译码错误概率,如前所述，译码就是通过接收序列恢复消息序列。如果恢复的消息序列与发送序列不同，则称译码差错。通常有两种错误概率的描述：误码率和误字率。误码率是指传输码元出错概率（对二进制也称误比特率）。误字率是指码字出错概率。本章所研究的错误率就是误字率。 与单符号判决情况类似，条件错误率为： （7.1.7）平均错误率为： （7.1.
6、8）,如果一个L长的二进码字的传输中至少出现一个比特差错，则码字就发生译码错误。而当发生一个码字差错时，其中多个比特的传输可能是正确的。所以对同一通信系统，误码率总比误字率低。 错误概率的大小首先与编码器的纠错性能有关，其次与译码规则的选择有关也和接收信噪比大小有关。应选择纠错性能好的编码，性能好的译码算法以使平均错误概率最小。幻灯片 2,本节主要内容： 1. 最大后验概率准则 2. 最大似然准则,7.2 最佳判决与译码准则,7.2.1 最大后验概率准则,为提高传输可靠性，除采用有效的 信道编码之外，还应采用适当的译码准则。本节介绍最大后验概率（MAP）准则和最大似然（ML）准则。根据（7.1
7、.6）式，平均正确率可以写为 这样，为使判决正确率最大或使判决错误率最小，应使得对于每一个输出y，都选择对应后验概率最大的x。,即对所有i，当满足 （7.2.1） 时，则选择判决函数为，称此准则为最大后验概率 (MAP, Maximum a Posteriori) 准则，可简写为： MAP准则： （7.2.2） MAP准则就是，对给定的信道输出将具有最大后验概率的输入符号作为判决结果。,由（7.2.1）式，得所以 ，对所有i，当 （7.2.3）时，则选择判决函数为g(y)=a*。其中，为似然比，（7.2.3）式表示的是似然比检验。注：（1）MAP准则是使平均错误率最小的准则； （2）MAP准则
8、可归结为似然比检验。,例7.2.1 设信道输入X等概率取值为+1，-1，通过一个加性高斯信道传输，加性噪声Z是均值为零，方差为 的高斯随机变量，信道输出Y=X+Z，接收机用MAP准则接收，试确定判决函数。解 后验概率密度为,令 则 时， ； 时， ；而当 时，有 ； 时，有 ；所以，判决函数为7.2,7.2.2 最大似然准则,若输入符号等概，（7.2.3）变为：对所有i, 当 （7.2.4） 则选择判决函数为g(y)=a*，称此准则为最大似然（Maximum Likelihood，ML）准则，可简写为：ML准则： （7.2.5）注：（1）当输入符号等概或先验概率未知时，采用 此准则。 （2）当
9、输入符号等概时，最大似然准则等价于最大后验 概率准则。,例7.2.1（续）接收机用ML准则接收，试确定判决函数。 解 似然函数为 令 类似于MAP判决情况，可得到与MAP相同的结果，这是意料之中的，因为信道输入等概率。但当信道输入概率不相等时，MAP和ML判决函数和平均错误率通常是不同的，而MAP准则是使平均错误率最小的。,如果信道输入概率和转移概率矩阵给定，那么可对两种准则使用要点总结如下： MAP准则 由转移概率矩阵的每行分别乘p(x)，得到联合概率矩阵；对于每一列（相当于y固定）找一个最大的概率对应的x作为判决结果；所有判决结果所对应的联合概率的和为正确概率，其他矩阵元素的和为错误概率。
10、 ML准则 对转移概率矩阵中每列选择最大的一个元素对应的x作为判决结果；所有信道输出和所对应判决结果的联合概率之和为平均正确率，其他的联合概率之和为平均错误率。幻灯片 2,本节主要内容： 1. 线性分组码 2. 序列最大似然译码 3. 几种简单的分组码,7.3 信道编码与最佳译码,7.3.1 线性分组码,信道编码有很多种类，其中最重要的一类是线性分组码，其冗余符号（也称校验位或监督位）和信息符号是线性关系。本节利用简单的线性分组码的最佳译码说明如何实现传输可靠性。 一个二元（n，k）线性分组码有k个信息位，n-k个校验位，根据某种确定的数学关系构成总长度为n的码字，码率为k/n。在线性分组码中
11、，校验位为信息位的线性组合。如果码字的开头或结尾的k位是信息位，那么就称为系统码，否则称非系统码。在（n，k）线性分组码中码字的个数有 个。,例7. 3. 1 求一个二进（n，k）线性分组码的信息传输速率。解 （比特/符号） （7.3.1）R=k/n常称做码率或编码效率。,1. 汉明距离,设两个二元码字为 ，其中， 均取自符号0，1，定义它们的汉明距离为 （7.3.2）其中， 为模二加运算。例如，码字 和码字 的汉明距离为6。,引理7.3.1 设x、y、z是长度为n的二元矢量，那么（1）d(x,y) 0 （非负性）（2）d(x,y) = d(y,x) （对称性）（3）d(x,z) d(x,y)
12、 +d(y,z) （三角不等式）（证明留做练习）,2. 码的最小距离,码的最小距离：一个码字集合中任意两码字的汉明距 离最小值。用 来表示。 一个（n，k）线性分组码的最小 距离定义为 （7.3.3）其中， 表示码字 间的汉明距离。,由于线性分组码可看成n维空间的一个子空间，任何两码字的和都是码字，所以 （7.3.4）其中， ，w(.)表示某码字的重量，即该码字中不为“0”的“1”的个数。因此，线性分组码的最小距离 就是其最小重量的非零码字。例7. 3. 2 一个线性分组码C=00000，01010，10101，11111，求该码的最小距离 。解 = w(01010)=2 7.3,7.3.2
13、序列最大似然译码,设所有符号规定与图7.1.1所示的模型的说明相同。 如果对于所有k，满足 （7.3.5）就选择译码函数为 ，则称为序列的最大似然译码准则，其中， 表示码字 所对应的消息。转移概率 称为似然函数。可以简写为ML译码： （7.3.6）与单符号情况相同，当消息等概或概率未知时用最大似然译码准则。,在通信系统中，设发送序列为 ，接收序列为 ，并且 和 来自同一个符号集，由于信道噪声的干扰 通常与 不同。当接收到 后，计算所有可能的发送序列 与 之间的汉明距离，将与 汉明距离最小的 作为译码输出，这种译码方法称最小汉明距离准则。定理7.3.1 对于无记忆二元对称信道（错误概率1/2），
14、最大似然译码准则等价于最小汉明距离准则。,证 设信道的输入与输出分别为序列 ， ，因为信道是无记忆的，所以似然函数为 （7.3.7）设 的汉明距离为 ，如果 出错，那么 与不同，从而使汉明距离增加1。设二元对称信道的传输错误率为p，根据二元对称信道的特性，有 其中 。,所以（7.3.7）式变为 ，取对数，得 （7.3.8）因为n是定值，信道固定后，p也是定值 ，又 ，所以，对于所有的码序列，当对应的d最小时就使（7.3.7）的值最大，从而使似然函数最大。,下面的定理说明，码的纠错能力与码的最小距离d有直接关系。首先引入差错矢量的概念。设一个长度与码字相同的矢量e为差错矢量，其每个分量取值为0或
15、1，设发送和接收矢量分别为 x 和y，那么接收矢量可以表示为y = x + e。如果e的某分量为1表示码字对应的位出错，反之如果为0表示码字对应的位传输正确。定理7.3.2 一个最小距离为d的二元分组码能纠t个错的充要条件是： d 2t+1 （7.3.9）,例7. 3. 3 一个线性分组码C=00000，11111，求该码的最小距离 。该分组码能纠几个错？解 = w(11111)=5 5=2 2+1，能纠2个错。 7.3,7.3.3 几种简单的分组码,1.重复码 重复码是一种最简单的分组码，只有一个信息位，n-1个校验位（是信息位的简单重复），码率为1/n，所以码字数与信源符号数相同。二元重复
16、码中只有两个码字，即00和11，码的最小距离为n，能纠（n-1）/2个差错。很明显， 一个n次重复码的距离是n。,2.奇偶校验码,奇偶校验码是一种（n，n-1）二元分组码，只有n-1个信息位，1个校验位，码率为（n-1）/n。校验位的选取应使得每个码字的重量都是奇数或偶数。在奇校验中，每个码字的重量是奇数，而在偶校验中，每个码字的重量是偶数。当传输差错是奇数时，就改变码字中原来1个数的奇偶性，使接收方发现差错。所以，该码只能检测到奇数个差错。,3.方阵码,这是一个二维奇偶校验码，又称行列监督码。该码不仅能克服奇偶校验码不能检测偶数个差错的缺点，而且还能纠正突发错误。编码过程简述如下：将要传送的
17、信息排成方阵，对方阵的各行和各列分别进行奇偶校验编码，校验位分别放到相应行或列的后面或下面，构成一个新的矩阵，按顺序将新矩阵逐行或逐列输出。该码的缺点是，不能检测在方阵构成矩形四角的错误。,例7.3.3 对等概二元信源符号 和 进行重复码编码，对应的码字为000，111；编码序列通过错误概率为（ 1/2）的无记忆二元对称信道传输，接收端利用最大似然译码准则；（1）求重复码的码率；（2）求重复码的最小码距离与可纠错误数；（3）求译码错误率 ；（4）将 与未编码译码错误率比较。,解 （1）码率R=1/3； （2）最小码距离3，可纠错误数1； （3）由于是对称信道，可利用最小汉明距离准则进行译码。二
18、元对称信道三次扩展信道转移概率矩阵的元素如下表前两行所示（其中X为码字，Y为接收序列），最后一行为译码输出：,分别计算y的每一个可能序列与000和111的汉明距离，将汉明距离小的信源符号作为译码输出。例如，接收为010，与000的距离为1，而和111的距离为2，所以译码输出为 ；依次类推，得到表中的下面一行。通过计算，得译码正确率： 译码错误率：,（4）因为未编码译码错误率为p，计算差值，得 从本例可以看到，就是采用很简单的编码也能提高传输可靠性。可以证明，当采用足够长的重复码（n ）时，译码错误率趋于零。（见习题7. 15） 幻灯片 2,本节主要内容： 1. 信道疑义度 2. 费诺（Fano
19、）不等式,7.4 费诺（Fano）不等式,7.4.1 信道疑义度,设信道的输入与输出分别为X、Y，定义条件熵H(X/Y)为信道疑义度。它有如下含义： 信道疑义度表示接收到Y条件下X的平均不确定 性； 根据I(X;Y)=H(X)-H(X/Y)，信道疑义度又表示X 经信道传输后信息量的损失； 接收的不确定性由信道噪声引起，在无噪情况 下，H(X/Y)=0。 7.4,7.4.2 费诺（Fano）不等式,定理741 设信道的输入与输出分别为X、Y，输入符号的数目为r，那么信道疑义度满足 （741）其中， 为平均错误率。（741）称做费诺不等式。,证 设译码或判决规则由（7.1.3）确定，那么,仅当下面
20、两个条件同时成立时，等号成立： （1） （742a）（2） （742b）,注释：（1）费诺不等式给出了信道疑义度的上界，无论什么译码规则，费诺不等式成立；译码规则变化只会改变 的值；（2）信道疑义度的上界由信源、信道及译码规则所限定；因为信源决定p(x)，r，而p(x)，p(y|x)及译码规则决定 ；（3）如果H(X/Y) 0，那么 0；（4）不等式的含义可以这样来理解：当接收到Y后，关于X平均不确定性的解除可以分成两步来实现：第1步是确定传输是否有错，解除这种不确定性所需信息量为 ；第2步是当确定传输出错后，究竟是哪一个错，解除这种不确定性所需最大信息量是log(r-1)。,图7.4.1为费
21、诺不等式示意图： 图7.4.1费诺不等式示意图,图中，曲线下面的区域为信道疑义度被限定的区域。信道疑义度不能超过区域边界的曲线。现求曲线所表示的函数的极大值。仅当 ，即 （743） 时等式成立。,由于当 时，有 结合（742）和（743），可以推出信道疑义度达到最大值的充要条件是，信道输入与输出统计独立。（见习题78）,例7.4.1 已知信道的转移概率矩阵为 现有两种判决规则： 规则A： ，规则B： 设输入等概，求信道的疑义度和两种译码规则下信道疑义度的上界？,解 当信道输入等概率时输出也等概率，所以 。又因为 ，所以信道疑义度： 比特对于判决规则A， ，所以信道疑义度上界为： 比特对于判决规
22、则B， ，所以信道疑义度上界为： 比特 幻灯片 2,7.5 有噪信道编码定理,本节主要内容： 1. 联合典型序列 2. 有噪信道编码定理 3. 无失真信源信道编码定理,前面我们研究了利用重复码可以提高传输可靠性的例子，并且仅当码长足够长时才能实现，而当码长足够长时码率又趋于零。 这就是说，可靠性和有效性的要求是矛盾的。 那么高可靠性是否一定意味着低有效性呢？ 有噪信道编码定理，即仙农第二定理回答了这个问题，该定理指出高可靠性和高有效性的信道编码是存在的。,7.5.1 联合典型序列,在第5章，我们介绍了典型序列，利用（5.3.4）表示某信源符号在序列中出现的频率与其概率接近的程度，并设定一个门限
23、值将序列分成典型和非典型序列。本节我们利用与（5.2.4）不同的不等式定义典型序列。实际上，两种定义无本质区别，但后者在使用上更简单。,设离散无记忆平稳信道的转移概率为 ，输入与输出序列分别为 和 ，n为序列长度；达到信道容量的输入概率为 ，信道输出概率为 ，输入与输出的联合概率为 ， ；设输入/输出序列对 构成序列 ；并设 为序列 中的 数目， 为序列 中 的数目， 为序列 中（ ）的数目。,如果 ，对每个 ，那么就称 为 典型序列；如果 ，对每个 ，那么就称 为 典型序列；如果 ，对每个 ，那么就称 为 联合典型序列。实际上，联合典型序列 是两个典型序列 和 所对应的元素组成的有序对构成的
24、一个新序列。这个序列的元素取自联合集XY，序列的概率为： 。引理7. 5. 1 如果 为 联合典型序列，那么 和 也分别是 典型序列。证 ，所以， 也是 典型序列。同理， 也是 典型序列。,引理7. 5. 2 对于 联合典型序列 ，有下面的关系成立： (7.5.1) (7.5.2) (7.5.3),证 因为 ，所以 从而 (7.5.1)式成立。同理可证 (7.5.2) 和 (7.5.3)成立。 根据典型序列和联合典型序列的性质我们看到：典型 序列的个数大约为 ，典型序列 的个数大约为 ，但并不是所有的 对都是联合典型的，因为联合典型序列 的个数大约为 ，而 。,引理7. 5. 3 如果 为 典
25、型序列， 为与 独立的 典型序列，那么与 构成 联合典型序列的 的个数不大于 。证 因为 为 典型序列，根据(7.5.3)，有 ；又因为 与 构成 联合典型序列，所以根据(7.5.1)，有 ，所以 设 表示满足引理条件的 的集合，那么 因此 (7.5.4)7.5,7.5.2 有噪信道编码定理,定理7.5.1 （信道编码定理）设有一离散无记忆平稳信道的容量为C，则只要信息传输率RC时，对任何编码方式，译码差错率 0。在定理证明之前，首先对定理中采用的随机编码和典型序列译码做某些说明。,1. 随机编码,每个n长码字的每一个符号概率按照达到信道容量的输入概率 独立选取，从而随机地产生 个码字。第m个码字的概率为： （7.5.5）其中， 为码字 的第i个符号。因为每个码字独立产生，所以产生某特殊码的概率为各个码字概率的乘积： （7.5.6）这种编码方式称随机编码。,
