1、信道编码,杨杰,本章节达到的目的,理解信道编码在通信系统中的作用了解信道编码的的基本分类了解信道编码性能评价的基本方法了解汉明码的编译码原理了解信道容量/容量代价函数在信道编码定理中的作用理解香农第二定理又称有噪信道编码定理的物理意义了解信道编码理论与实际应用的差距,本章研究内容,信道编码概述错误概率与译码准则、编码方法信道编码定理与联合典型序列信道编码的性能界限信道编码举例汉明码关于信道编码理论的若干评注,6.1:信道编码概述,问题引出什么是信道编码信道编码的作用信道编码的三种情形信道编码的实质,6.1:信道编码概述问题引出,互信息能告诉我们什么？随机变量X,Y统计意义上的依存程度可以获得的
2、信息量不能：所得信息能否可靠地确定信道输入？无噪信道编码能告诉我们什么？无噪无损信道，只要对信源输出进行适当编码，总能以最大信息传输率，无差错的传输信息。但是：一般信道总存在噪声或干扰，信息传输会造成损失实际通信中人们对传输要求什么？传输信息量大传输可靠提出的与信道传输有关的问题：如何能使信息传输后发生的错误最少？错误概率与那些因素有关？有无办法控制？能控制到什么程度？无误传输可达的最大信息率是多少？,6.1:信道编码概述什么是信道编码,通信系统模型信道编码：从消息到信道波形或矢量的映射 希望通信系统与信道统计特性相匹配的编码,6.1:信道编码概述什么是信道编码,复接、代数编码、调制、成形滤波
3、、扩频、上下变频等等都属于广义的信道编码范畴注意：信道译码可以不是离散信道译码。只有当解调为 硬判决输出时才是离散信道和离散信道译码,6.1:信道编码概述信道编码的作用,信道编码的作用：在资源、可靠性和传信量之间选择一个好的工作点（有时还要考虑延时）。资源指的提供信息传输所付出的代价包括频率、时间、空间、功率等等。但不包括实现复杂度一个好的编码就是要充分利用资源，传递尽可能多的信息,6.1:信道编码概述三种情形：,给定资源和可靠性要求，通过信道编码尽量提高传输速率（例：多电平编码）给定对信息传输的速率和可靠性要求，通过信道编码尽量减少资源开销（例：扰乱编码）给定资源和传输速率，通过编码提高可靠
4、性（例：检、纠错编码）,6.1:信道编码概述编码的实质,利用冗余降低差错概率将所有可能的输入信息（消息）映射到信道符号（波形）空间的点，而这个点的集合要小于（包含于）全信道空间中。,6.1:信道编码概述信道编码的基本分类,按码的结构分:线性码线性分组码（群码）卷积码（线性树码）非线性码按抗干扰模式分抗随机差错码抗突发差错码按编译码理论所用数学工具分代数码几何码组合码按对错误的处理方式分检错码纠错码,6.2:错误概率与译码准则、编码方法1,错误概率与译码规则错误概率Pe与什么有关信道的统计特性译码规则译码规则的选择依据最大后验概率准则理想最大似然准则实用,编码,译码,6.2:错误概率与译码准则、
5、编码方法2,信道译码,An,1,2,4,3,w4,w3,w1,w2,x,x,x,An 是接收空间w1, w2, 是发送的码子围绕每个码子有一个译码域i如果接收的码子在 i中 ，就认为发送的是码子 wi 发生错误一般, An中 存在一些不属于任何 i的区域 有时接收码子会被映射到错误的i，进而被译成错误的 wi,正确译码,不知如何译码,译码错误,6.2:错误概率与译码准则、编码方法3,问题：在输入和信道特性给定的条件下，差错概率将取决于接收矢量空间按什么样的划分准则进行划分划分接收矢量空间的准则译码器的译码准则,6.2:错误概率与译码准则、编码方法4,6.2:错误概率与译码准则、编码方法5,准则
6、一：平均错误概率最小译码准则计算平均错误概率：,Y,X,若码字Xm经传输后在接收端所得的接收矢量不落在Ym子集中，则译码发生错误,其中：,6.2:错误概率与译码准则、编码方法6,6.2:错误概率与译码准则、编码方法7,理想的译码器应使平均译码差错概率最小,是译码正确的概率，则译码发生错误的概率为：,译码器平均的译码差错概率为：,6.2:错误概率与译码准则、编码方法8,最小错误概率准则（最大后验概率准则）：特点：优点：理想缺点：1、后验概率不易得到 2、后验概率依赖于输入分布,6.2:错误概率与译码准则、编码方法9,准则二：最大似然译码准则此时译码差错概率为：平均的译码差错概率为：,6.2:错误
7、概率与译码准则、编码方法10,最大后验概率译码准则&最大似然译码准则输入等概时二者是一致的 此时：,6.2:错误概率与译码准则、编码方法11,错误概率与编码如何在信息传输率一定的前提下使Pe0实际经验：重复发送可以使Pe减小重复次数N很大时，可以使Pe0但：信息传输率降低信道编码定理：R一定时，可以找到一种编码方法使Pe相当低引入概念：码字距离,6.2:错误概率与译码准则、编码方法12,码字距离汉明距离长度为n的两个符号序列(码字)i和j之间的距离是指i和j之间对应位置上不同码元的个数，用符号D(i,j)表示。这种码字距离通常称为汉明距离。例如： 两个二元序列i=101111 j=111100
8、则得 D(i,j)=3又例如： 两个四元序列i=1320120 j=1220310 则得 D(i，j)。,6.2:错误概率与译码准则、编码方法13,对于二元信道，即对于二元码，汉明距离可表达成下述关系式：若令 i（i1iin） ik0,1 j（ bj1 bj2 bjn） jk0,1则i和j的汉明距离为 D(i，j) 在某一码书C中，任意两个码字的汉明距离的最小值称为该码C的最小距离，即dminminD(Ci,Cj) CiCj Ci,CjC在任一码书中，码的最小距离dmin与该码的译码错误概率有关。,6.2:错误概率与译码准则、编码方法14,与码字距离有关的结论最小距离译码准则在二进制对称信道中
9、： 最小距离译码准则最大似然译码准则,6.3:信道编码定理与联合典型序列-1,信道编码定理引出问题：在有噪信道中，使平均误码率Pe尽可能小的情况下，可达到的信息传输率是多少？答案：信道容量C信道编码定理信道编码定理的证明证明思路随机编码方法联合典型序列,6.3:信道编码定理与联合典型序列-2,信道编码定理：设R是信息传输的速率，C是离散无记忆信道的信道容量，0是任意小的数，则只要RC就总存在码字长为N，码字数为M=2NR的分组码使译码的平均差错概率Pe0，我们总能找到足够大的N使全体序列对的集合能被分成满足下述条件的集合G及其补集Gc： （1） （2） （3）设（X，Y）是相互独立的随机序列对
10、，但它与（X,Y）有相同的边缘分布，即： 则：,6.3:信道编码定理与联合典型序列-8,联合AEP定理的解释：两个随机变量情况下，序列Xn,Yn及其联合序列XnYn都具有AEP特性联合典型序列对是高概率序列对联合典型序列对出现概率接近相等，且其和接近于1联合典型序列对是一些密切关联的序列对一般与X对应的Y可能是Y空间的任一个，该定理说明：随N的增大，对应X的Y只能是（X,Y)典型序列对的Y，取其他Y的概率0联合典型序列数目为2NH(XY)， 典型x,典型Y随机组合的空间为2NH(X)+H(Y)， 联合典型序列占其中约1/ 2NI(X;Y)，只是很小的一部分 故：当X的数目 2NI(X;Y)时，
11、可使Pe0给出一种译码方法：译码时，取与接收矢量联合典型的码字作为输出，这种译码方法可以保证得到很低的误码率。,6.3:信道编码定理与联合典型序列-9,信道编码定理证明的几点说明香农只是证明了码的存在性，未给出构造方法随机编码所得的码集很大，通过搜索得到好码的方法实际上很难实现；而且即使找到，码字也是毫无结构的，只能采用查表译码方法，当N很大时，码表的存储量也很难接受,6.4:信道编码的性能界限1,理论性能极限存在性香农信道编码定理作用：理论极限、渐进性能工程实现上的界限构造性最小距离界限作用：构造新码、估计新码性能时，说明新码与最好性能的码接近的程度,香农理论极限：R=s+1 （检错时） d
12、=2s+1 （纠错时）,6.5:信道编码举例汉明码6,汉明码译码：伴随式译码错误图样ER=C+E伴随式S,伴随式,错误图样,假设接收到码矢 y=(0010010)有 7个可能的错误位置,如Z矩阵所示伴随式是: ST= H RT,Y 不是一个正确的码子，因为 S 000(100) 对应的错误图样是 z=(0000100) 将y 和 z 进行矢量模二加得到正确的码子为: x=(0010110),6.6:关于信道编码理论的若干评注,代数信道编码理论概念：基于代数的信道编码构造方法发展成的系统理论特点：运算基于有限域，距离度量使用汉明距离问题：与实际信道信号差距大，实际物理信道：信号是时间的实函数或复
13、函数高斯信道：信号之间用欧氏距离度量香农信道编码理论特点存在性问题如何构造寻找香农意义好码的任务远未完成当前发展：TCM码,作业,1 、 设有一离散信道，其信道传递矩阵为 并设 试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。2、设无记忆二元对称信道的正确传递概率为，错误传递概率为p1/2。对于(7，4)汉明码 (1)若码字都是等概率分布，试问什么是其最佳的译码规则。 (2) 在接收端，128个接收的二元序列应该对应译成什么码字。并说明其能纠正一个码元的随机错误。 (3) 在最佳译码规则下，计算此码的平均错误概率Pe (4) 若p=0.01，计算Pe和码率R.,
