信息论与编码理论基础(第六章).ppt

1、2019/3/26,1,信息传输系统的基本功能是：在系统输出端及时、准确地再现系统输入端发送的信息。我们希望信息传输多快好省，但现实与我们的良好愿望之间总是存在差距。 首先，信息传输的速度受信道容量的限制，不可能无限大； 其次，由于信道噪声的干扰，传输错误不可避免。,信道编码的引入,2019/3/26,2,香农的信道编码定理指出：只要信息传输速率低于信道容量，通过对信息进行适当的编码，可以在不牺牲信息传输或存储速率的情况下，将有噪信道或存储媒质引入的差错降到任意低的程度。这就是说，可以通过编码使通信过程实际上不发生错误，或者使错误控制在允许的数值之下。,信道编码的引入,2019/3/26,3,

2、这种为了降低平均差错率，先对消息进行编码再送入信道传送，以降低平均差错率而进行的编码称为信道编码。信道编码主要分为：检验码、纠错码。 检验码只检查信息在传输过程中是否有差错， 而纠错码不但检查是否有差错，而且还可以将错误的信息纠正。,信道编码的定义,2019/3/26,4,为什么要引入线性码,信道编码研究的主要问题是：发现或构造实际上可实现的好码（纠错能力和传信率都比较理想的码）。,编码方案太多，以至全局搜索好码是不可能的，现实的做法是对编码方案加以一定的约束，在一个子集中寻找局部最优，这种约束既要能包含尽可能好的码，又要便于分析，便于译码，目前对线性系统的研究远比非线性系统充分,2019/3

3、/26,5,线性分组码定义,利用线性空间中的子空间作为许用码字的编码称为线性码。 当线性空间为有限维空间时即为线性分组码。,2019/3/26,6,第六章：线性分组码,6.1 分组码的概念 6.2 线性分组码 6.3 线性分组码的校验矩阵 6.5 译码方法和纠错能力 6.4 、6.6、6.7、6.8 一些特殊的线性分组码,2019/3/26,7,6.1 分组码的概念,对随机变量序列X1X2进行的信道编码为(N, L)码： (X1X2XL)(U1U2UN)=C(X1X2XL)。 这个(N, L)码又称为(N, L)分组码。已经有结论：当编码速率RC时， 存在(N, L)分组码，使得译码错误的概率

4、任意接近0。问题： 怎样构造这样的分组码？ 这样的分组码的编码、译码计算量会不会太大？,2019/3/26,8,预备知识 - Galois域,域F是一个元素的集合，在集合上定义了两种运算-加法和乘法，满足下列性质,加法 (构成交换群)：F在加法下封闭，即若a, b,2. 满足结合律，即若,3. 满足交换律，即a+b=b+a。 4. F中含有一个加法恒元0，满足a+0=a。 5. 集合中每个元素a都有一个加法逆元a，满足a+(a)=0,2019/3/26,9,Examples:,1、全体整数,2、全体偶数,3、全体实数,6、模m的全体剩余类,4、全体复数,5、全体有理数,对加法构成群,对乘法不构

5、成群,对加法构成群,对乘法不构成群,对加法构成群,除0元素外，对乘法构成群,对加法构成群,除0元素外，对乘法构成群,对加法构成群,除0元素外，对乘法构成群,对模m加法构成群,对模m乘法不一定构成群,群：定义了一个二元运算的集合，满足 运算封闭；满足结合律；有恒等元；有逆元,2019/3/26,10,乘法 (构成交换群)： 集合F*在乘法下封闭。F*为F除去加法恒元0后剩余的元素构成的集合，记作F*=F-0。 满足交换律。 满足结合律。 满足乘加分配律，即(a+b)*c=a*c+b*c F中含有单位元，对F中任意元素a满足a*1=a。 F中任一非零元素a有乘法逆元a1，满足a*a1=1。,预备知

6、识 - Galois域,2019/3/26,11,注1：域中的元素个数D如果有限，就称之为有限域，也称为Galois域，记为GF(D)。,例：任何域都必须有一个加法恒元0和乘法单位元1，所以(0,1,(mod2)加法, (mod2)乘法) 就构成了最简单的有限域GF(2)，通常也称为二元域 .,预备知识 - Galois域,2019/3/26,12,定义：如果域F上的一个n重元素集合V，满足： 对于加法构成交换群； 对V中的任何元素v和F中的任何元素c，cvV; 分配律成立，对任何u,v V，c,d F恒有：c(u+v)=cu+cv ， (c+d)v=cv+dv 若c,d F，v V,有：(c

7、d)v=c(dv)，1v=v , 1F 则称V是域F上的一个n维线性空间或矢量空间。例：GF(2)上的n重数组全体：(a1,a2 , ,an); aiGF(2) 是一个线性空间。,预备知识 - Galois域,2019/3/26,13,注2：有限域GF(D)上的线性代数完全类似于实数域上的线性代数。 一组向量是否“线性无关”的概念以及所有等价的判别方法； 矩阵的“秩”的概念以及所有计算方法； 方阵是否“可逆”的所有判别方法； 求方阵的“逆阵”的所有算法； 关于对称矩阵的所有结论；等等。注3：有限域GF(D)与实数域的区别是：传统的“逼近”、“极限”的概念消失了。,预备知识 - Galois域,

8、2019/3/26,14,例：GF(2)上的方阵 是否可逆？回答是肯定的。两种不同的判别方法都能够证明它是可逆的 ： （1）它经过可逆行变换能够变成单位阵； （2）它的行列式不等于0。（等于1！）,预备知识 - Galois域,2019/3/26,15,该方阵的逆矩阵是什么？ 怎样计算？做联合可逆行变换：,预备知识 - Galois域,2019/3/26,16,例：GF(3)=(0, 1, 2, (mod3)加法, (mod3)乘法)。运算规则为： 0+0=1+2=0，0+1=2+2=1，0+2=1+1=2， 00=01=02=0，11=22=1，12=2。 矩阵 是不是满行秩的？ 即此矩阵的

9、三个行向量是不是在域GF(3)上线性无关的？ 即能否保证此矩阵的各行的任何非0线性组合都不是全0的4维向量？ 即此矩阵能否通过一些可逆行变换变成一个“阶梯阵”？,预备知识 - Galois域,2019/3/26,17,可逆行变换,预备知识 - Galois域,GF(3)=(0, 1, 2, (mod3)加法, (mod3)乘法)。运算规则为： 0+0=1+2=0，0+1=2+2=1，0+2=1+1=2， 00=01=02=0，11=22=1，12=2。,2019/3/26,18,其中(m1, m2, , mk)是信息向量，C是对应的码字，,由于n,k线性分组码是一个k维线性子空间，因此，必可找

10、到k个线性无关的矢量，能张成该线性空间。设C1， C2， Ck，是k个线性无关的矢量，则对任意C，可有：,G称为该分组码的生成矩阵.,2019/3/26,19,注： 生成矩阵G中的每一行都是一个码字 任意k个线性独立的码字都可以作为生成矩阵 给定一个n,k线性分组码，其生成矩阵可有多个,2019/3/26,20,命题1 不同的信息向量对应不同的码字，即(x1, x2, , xL)的不同值一定变换为(u1, u2, , uN)的不同值。证明 设u(1)=x(1)G， u(2)=x(2)G ，且x(1)x(2)。要证明u(1)u(2)。根据线性性质， u(1)-u(2)=(x(1)-x(2)G，因

11、为x(1)x(2)，即(x(1)-x(2)全0的L维向量，所以(x(1)-x(2)G是G的各行的非0线性组合。G满行秩，即矩阵G的各个行向量在域GF(D)上线性无关，所以(x(1)-x(2)G全0的N维向量。所以u(1)u(2)。,线性分组码的代数结构,2019/3/26,21,命题2 当u(1)和u(2)都是码字， u(1)+u(2)也是码字。 证明 设 u(1)是信息向量x(1)的码字：u(1)=x(1)G； u(2)是信息向量x(2)的码字：u(2)=x(2)G。则u(1)+u(2)=x(1)G+x(2)G=(x(1)+x(2)G，即u(1)+u(2)是信息向量(x(1)+x(2)的码字

12、。 证完。,线性分组码的代数结构,2019/3/26,22,命题3 ：设一个D元(N, L)线性分组码的生成矩阵为G。设另一个D元(N, L)线性分组码的生成矩阵为G=MG，其中M是L阶可逆方阵。则两个码的码字集合完全重合，只是信息向量与码字的对应关系不同。,线性分组码的代数结构,证明 ： 即要证，第一个码中任一个码字也是第二个码中的码字；第二个码中任一个码字也是第一个码中的码字。,设在第一个码中，u是信息向量x的码字，即：u=xG；在第二个码中，有u=xM-1MG= xM-1G ，因而u也是信息向量xM-1的码字；,设在第二个码中，u是信息向量x的码字，即：u=xG；在第一个码中，有u=xM

13、M-1G= xMG， 因而u是信息向量xM的码字。 证完。,2019/3/26,23,线性分组码的特例：系统码定义(p178) D元(N, L)线性分组码的生成矩阵为 G=PL(N-L), IL，其中IL是L阶单位阵， PL(N-L)是L (N-L) 阶矩阵。则称此码为系统码。此时信息向量(x1, x2, , xL)的码字是(u1, u2, , uN)=(x1, x2, , xL)G =(x1, x2, , xL) PL(N-L), x1, x2, , xL)码字的后L位恰好是信息向量(x1, x2, , xL)，称为码字的信息位。称码字的前N-L位为码字的一致校验位。,有限域上的分组码,20

14、19/3/26,24,例 二元(7, 4)线性分组码，生成矩阵G如下该码为系统码。,有限域上的分组码,线性分组码的特例：系统码,2019/3/26,25,有限域上的分组码,线性分组码的特例：系统码,2019/3/26,26,例 二元(5, 3)线性分组码的生成矩阵是 该码不是系统码，但将生成矩阵经过可逆行变换后，变成一个系统码的生成矩阵。因此，该码的码字集合与一个系统码的码字集合相同。,有限域上的分组码,线性分组码的特例：系统码,2019/3/26,27,n,k码的编码问题就是在满足给定条件下，如何从已知的k个信息位求得n-k个校验位,2019/3/26,28,校验矩阵H的每一行表示求一个校验

15、元的线性方程，任何一个n,k码的校验矩阵必须有n-k行，且每行线性独立，HCT=0或CHT=0 ，进而有HGT=0或GHT=0。,2019/3/26,29,6.3 线性分组码的校验矩阵,定理(p179) 对于D元(N, L)线性分组码的生成矩阵G（ G 是LN阶矩阵），必存在一个(N-L)N阶矩阵H， H是满行秩的； GHT= OL(N-L)。其中HT是H的转置矩阵， OL(N-L)是全0的L(N-L) 阶矩阵。定义(p179) 由上述定理所描述的矩阵H称为D元(N, L)线性分组码的校验矩阵。,2019/3/26,30,6.3 线性分组码的校验矩阵,结论1： 一个线性分组码有很多校验矩阵。一

16、个校验矩阵H经过可逆行变换变为H， H是同一个线性分组码的另一个校验矩阵。 固定一个校验矩阵H。则一个N维向量u是一个码字，当且仅当：uHT=xGHT=全0的N-L维行向量。译码器可以利用H来决定接收的矢量是否符合上述校验方程，从而判定接收矢量是否是该线性分组码的一个码字。,2019/3/26,31,6.3 线性分组码的校验矩阵,结论：设一个D元(N, L)线性分组码的生成矩阵G，校验矩阵H。则H是一个D元(N, N-L)线性分组码的生成矩阵，G是此码的一个校验矩阵。称这两个码互为对偶码。 由这两个码字集合构成的两个线性空间互为零化空间或解空间。,2019/3/26,32,6.3 线性分组码的

17、校验矩阵,由生成矩阵G计算出校验矩阵H：结论2：设D元(N, L)线性分组码是系统码，生成矩阵为G=P, IL，其中IL是L阶单位阵，P是L(N-L)阶矩阵。则校验矩阵可以取为H=IN-L, -PT，其中IN-L是N-L阶单位阵，PT是P 的转置矩阵。 证明 GHT=P, IL IN-L, -PTT=P-P=OL(N-L)。证完。结论3：设D元(N, L)线性分组码的生成矩阵经过可逆行变换后变为P, IL，则校验矩阵也可以取为H=IN-L, -PT。,2019/3/26,33,6.3 线性分组码的校验矩阵,2019/3/26,34,6.5 译码方法和纠错能力,线性分组码的纠错译码准则定义 (已

18、知)一个N维向量u的Hamming重量定义为它的对应位置值不等于0的位数。记为w(u)。两个N维向量u(1)和u(2)的Hamming距离定义为它们的对应位置值不相同的位数。记为d(u(1), u(2)。 有以下的结论 d(u(1), u(2)=w(u(1)-u(2)。 三角不等式： d(u(1), u(3)d(u(1), u(2)+ d(u(2), u(3)。 或 w(u(1)-u(3) w(u(1)-u(2)+ w(u(2)-u(3)。,2019/3/26,35,6.5 译码方法和纠错能力,设GF(D)上的D元(N, L)线性分组码，生成矩阵为G。 将信息向量x编码，得到码字u=xG。将码

19、字u输入信道。信道的输出值为y。使用最小距离准则：给定输出值y，寻找码字c使d(y, c)最小。将输出值y译为码字c。当c=u时，就实现了正确译码。直接使用最小距离准则的困难：需要将DL个码字与输出值y的Hamming距离进行对比，才能找到码字c使d(y, c)最小。计算量大。,2019/3/26,36,给定一个群G，G的一个子群H，G的一元素a，集合：aH=ax|xH 称作H关于a的左陪集。a叫做 aH的代表元。且：对于G中的任意两个元素a、b，aH和bH只有两种关系：相等或交集为空，即aH = bH 或者aH bH= 。于是群G可以被分解成：这个分解称作群G的左陪集分解。,6.5 译码方法

20、和纠错能力,陪集,2019/3/26,37,6.5 译码方法和纠错能力,实用纠错译码算法的预备知识：差错向量和伴随式 定义6.1.8 设：信道的输入为码字u，信道的输出值为向量y，称向量e=y- u为差错向量，或差错图样。,若ei0，则,码字的第i位在传送中就出现错误，,接收矢量可表示成,译码器的任务是根据收到的矢量y判断发送的是哪个码字u， 从而确定出相应的消息序列x。,y=e+u，,2019/3/26,38,6.5 译码方法和纠错能力,实用纠错译码算法的预备知识：差错向量和伴随式定义6.1.9(p195) 设H是校验矩阵。对于N维行向量t，记 s=tHT 称N-L维行向量s为N维行向量t的

21、伴随式。结论1：N维行向量t是一个码字，当且仅当t的伴随式是一个全0的N-L维行向量。,2019/3/26,39,6.5 译码方法和纠错能力,实用纠错译码算法的预备知识：差错向量和伴随式结论2：设信道的输入码字u，输出向量y，差错向量e=y- u，则e的伴随式等于y的伴随式。 证明 s=eHT=(y-u)HT=yHT-uHT=yHT。证完。注：由结论2知，矢量y的伴随式与发送的具体码字u无关，而只与传送中信道出现的错误图样e有关，虽然伴随式s，提供有关差错向量的信息，但还不一定就能确定出错误图样，下面分几种情形来讨论,2019/3/26,40,s=eHT0,可知e0，有错误出现，因此s0对检错

22、提供了充分的信息； s=0 e0，没有错误 e0，此时e是某个码字，不可检错误。 不可检错误概率，即错误图样是码字的概率之和，在BSC下，有,6.5 译码方法和纠错能力,若ei0，则,码字的第i位在传送中就出现错误，,2019/3/26,41,6.5 译码方法和纠错能力,结论3：设 接收向量为y，并计算出了y的伴随式s=yHT； t是方程s=tHT的任意一个N维解向量。则： y- t是一个码字 。 证明：(y-t)HT=yHT-tHT=s-s=全0的N-L维行向量，因此y- t是一个码字。证完。结论（3）的注解：当输入码字u为该y-t，差错向量e为该t时，接收向量e+u=t+u=t+y-t必然

23、为该y。换句话说，此时满足方程 s=tHT的N维解向量t就是一个“可能的差错向量”，因而此时所有“可能的差错向量” ， 恰好就是方程s=tHT的所有可能解。,2019/3/26,42,6.5 译码方法和纠错能力,由结论3知道：设输出向量为y，并计算出了y的伴随式s=eHT=yHT。则此时对应于输出向量为y的所有“可能的差错向量” ， 恰好就是方程s=tHT的所有可能解。另一方面，在给定s下，将e作为未知量时，有N个待定值，而方程s=eHT只给出N-L个独立方程，因此方程的解有DL个。结论4：给定输出向量y的伴随式s=eHT=yHT。则此时所有“可能的差错向量”（非齐次通解），恰好就是 非齐次特

24、解：方程s=tHT的一个N维解向量t （任何一个“可能的差错向量” ）加上 齐次通解：uHT=0（全体码字）。,共有DL个,而伴随式是N-L维行向量，因此有DN-L个不同的伴随式。,2019/3/26,43,6.5 译码方法和纠错能力,结论5：伴随式是N-L维行向量，因此有DN-L个不同的伴随式。每个伴随式所对应的“可能的差错向量”共有DL个，（即一个“可能的差错向量” 加上全体码字）。不同的伴随式所对应的“可能的差错向量”不会重合。如此利用( N, L)线性分组码的码字空间将N长的D进制数组构成的GF(D)上的N维线性空间划分成了互不重合的DN-L个子集，即DN-L个不同的陪集。,2019/

25、3/26,44,伴随式,陪集首,陪集,2019/3/26,45,6.5 译码方法和纠错能力,通常情况下，p1-p，因此在传输中没有错误的可能性比出现一个错误的可能性大，出现一个错误比出现两个错误的可能性大，等等，也就是说信道错误图样中，出现重量最轻的图样可能性最大。因此，定义 在最小距离译码时，在以s为伴随式的全体“可能的差错向量”中，取一个汉明重量最小的向量作为判决的结果，把这个汉明重量最小的向量称为s的陪集首，记为e(s)。 注：汉明重量最小的向量有不止一个时，任意选择一个作为陪集首e(s)即可。,2019/3/26,46,标准阵对于特定的伴随式s，所有可能的错误图样e构成了码c的一个陪集

26、。可能的陪集有DN-L个，如此可将该线性空间中的元素作如下排列：s=0的陪集，此时e=0，则错误图样e构成的码c的陪集就是码c自身，将该陪集中的所有元素排在第一行，其中恒等元排在最左边； 从其余的 DN-DL个禁用码字中取出重量最轻的元素e1，并与码c中元素相加，将得到的元素分别列在相应的码字下面； 从剩下的未写入表中前一行的元素中任取一个重量最轻的元素，按相同方式构成第三行，依次类推，直到线性空间中的元素全部排完为止。,6.5 译码方法和纠错能力,2019/3/26,47,标准阵,伴随式,陪集首,陪集,2019/3/26,48,(6,3)码的标准阵,陪集首,伴随式是N-L维即3维行向量,20

27、19/3/26,49,6.5 译码方法和纠错能力,结论6：对信道的输出向量y，计算伴随式s=yHT，以s为地址在标准阵中查找陪集首e(s)，计算u=y- e(s)。则u就是在所有码字中与y的Hamming距离最小的码字。 证明 首先，注意到e(s)是一个“可能的差错向量”。 因此 uHT=yHT- e(s)HT=s-s=全0的N-L维行向量，说明 u=y- e(s)是一个码字。其次，任意另取一个码字c， (y- c)HT=yHT- cHT=yHT=s。这就是说，(y- c)是另外一个“可能的差错向量”。另一方面，(y- u)=e(s)是以s为伴随式的所有“可能的差 错向量”中Hamming重量

28、最小的。所以w(y- u)w(y- c)，即d(y, u)d(y, c)。证完。,2019/3/26,50,6.5 译码方法和纠错能力,实用纠错译码算法预计算 对每个伴随式（即N-L维行向量）s，寻找s的陪集首e(s)，并以s为地址存储e(s)。（预计算的总体计算量很大，但有许多技巧可以大幅度地减少计算量）现场纠错译码 （1）对信道的输出向量y，计算伴随式s=yHT。 （2）以s为地址查找陪集首e(s)。 （3）将输出向量y译为码字u=y- e(s)。结束。u就是在所有码字中与y的Hamming距离最小的码字。,2019/3/26,51,6.5 译码方法和纠错能力,现场纠错译码的计算量最大的是

29、第（2）步。因为s是N-L维行向量，所以查找s的计算量是 logDN-L=(N-L)logD （而不是DN-L）。 总之，计算量远远小于直接使用最小距离准则的计算量DL。,2019/3/26,52,6.5 译码方法和纠错能力,线性分组码的检错能力和纠错能力首先我们发现，能否正确译码并不依赖于输入的是什么码字，仅仅依赖于真正的差错向量是什么。显然 P(正确译码)= P(真正的差错向量是某个陪集首)。 其次我们可以定义更加简单的检错能力和纠错能力。定义6.1.3 线性分组码的最小Hamming距离定义为两个不同码字的Hamming距离的最小值，记为dmin。 线性分组码的最小Hamming重量定义

30、为非全0码字的Hamming重量的最小值，记为wmin。,2019/3/26,53,6.5 译码方法和纠错能力,引理1 线性分组码的最小汉明距离dmin等于非零码字的最小汉明重量wmin，即dmin=wmin。 证明：设u(1)和u(2) 是线性分组码C的码字，则由线性码的封闭性知道u(1)-u(2) =u是一个非全0码字，即 d(u(1) , u(2)=w(u(1)-u(2)=w(u) 所以 dmin=minw(u(1)-u(2): u(1),u(2)C, u(1)u(2) =minw(u):uC, u0 =wmin,2019/3/26,54,6.5 译码方法和纠错能力,引理2 设信道的输入

31、为码字u，信道的输出为向量y，差错向量（注：真正的差错向量）为e=y-u。则 （1）当w(e)dmin，yHT肯定不是全0的N-L维向量，因而发现信道传输错误。 （2）当w(e)(dmin-1)/2（下方取整），由上述实用纠错译码算法肯定将y译为真正的输入码字u，而不会将y译为其它码字。,2019/3/26,55,6.5 译码方法和纠错能力,证明 （1）当w(e)(dmin-1)/2 dmin-(dmin-1)/2dmin- (dmin-1)/2 w(e)=d(y,u)。 = (dmin-1)/2 +1(dmin-1)/2 因此，所有码字中，u与y的Hamming距离最小。证完。,2019/3

32、/26,56,6.5 译码方法和纠错能力,引理3 设差错向量（注：真正的差错向量）为e。当w(e)(dmin-1)/2（下方取整），由上述实用纠错译码算法未必将输出向量译为真正的输入码字。反例 取两个码字u，c，恰好满足d(c, u)= dmin。取向量y满足：w(e)=d(y,u)=(dmin-1)/2+1(dmin-1)/2；d(c, u)=d(c, y)+d(y,u)。（三角不等式变为等式） 此时d(c, y)= d(c, u)-d(y,u)=dmin-(dmin-1)/2+1=dmin-1-(dmin-1)/2。,2019/3/26,57,d(y,u)=(dmin-1)/2+1； d(

33、c, y)=dmin-1-(dmin-1)/2。,当dmin是奇数时，不妨设dmin=2k+1，k为整数。则d(y,u)=(dmin-1)/2+1=(2k+1-1)/2+1=k+1=(dmin-1)/2+1，d(c, y)=dmin-1-(dmin-1)/2=dmin-1-(dmin-1)/2=(dmin-1)/2， 故d(c, y)d(y,u)。 当dmin是偶数时，不妨设dmin=2k，k为整数。则d(y,u)=(dmin-1)/2+1=(2k-1)/2+1=k+-1/2+1=k=dmin/2d(c, y)=dmin-1-(dmin-1)/2=dmin-1-(dmin/2-1)=dmin/

34、2， 故d(c, y)=d(y,u)。 这就是说，如果输入码字u，输出向量y，则 当dmin是奇数时，将y译为c而不是u； 当dmin是偶数时，将y译为c或u都符合最小距离准则。,2019/3/26,58,6.5 译码方法和纠错能力,对引理2和引理3的解释 设信道真正的输入码字为u，信道的输出向量为y，真正的差错向量为e=y-u。 采用实用纠错译码算法： 接收y计算伴随式s=yHT以s为地址查找e(s)计算c=y- e(s)认为陪集首e(s)就是差错向量；认为c就是输入码字。引理2告诉我们，如果w(e)(dmin-1)/2 ，则e(s)=e，因而c=u。 引理3告诉我们，如果w(e)(dmin

35、-1)/2 ，则未必e(s)=e，因而未必c=u。 换句话说，如果w(e)(dmin-1)/2 ，则e一定是s=eHT的陪集首；如果w(e)(dmin-1)/2 ，则e未必是s=eHT的陪集首。,2019/3/26,59,6.5 译码方法和纠错能力,定理6.5.4 记真正的差错向量为e。记t是一个非负整数。如果 （1）当w(e)t时总是能够正确译码， （2）当w(e)t时并不总是能够正确译码， 则t =(dmin-1)/2 。推论 记真正的差错向量为e。事件“总是能够正确译码”定义为“w(e)(dmin-1)/2 ”。则“总是能够正确译码”的概率为,2019/3/26,60,6.5 译码方法和

36、纠错能力,定理6.5.4说明，dmin是线性分组码纠错能力的一个指标。dmin越大，(dmin-1)/2就越大，“总是能够正确译码”的概率也越大。当N比L大得越多，码字在所有N维向量中占的比例DL/DN越小， 越容易使得dmin大。问题是，当N和L都确定时，如何设计码使得dmin大。,2019/3/26,61,6.5 译码方法和纠错能力,例 二元（6，3）线性分组码，生成矩阵G已经给出。求一致校验矩阵H；码字集合；译码预计算（简化计算量）。 显然是系统码。,2019/3/26,62,6.5 译码方法和纠错能力,信息向量码字000 000000 100 011100 010 101010 001

37、 110001 110 110110 101 101101 011 011011 111 000111,2019/3/26,63,6.5 译码方法和纠错能力,伴随式s陪集首e(s)000 000000 100 100000 010 010000 001 001000 011 000100 101 000010 110 000001 111 100100,2019/3/26,64,伴随式s对应的所有“可能的差错向量”e000 000000，011100，101010，110001，110110，101101，011011，000111 100 100000，111100，001010，01000

38、1，010110，001101，111011，100111 010 010000，001100，111010，100001，100110，111101，001011，010111 001 001000，010100，100010，111001，111110，100101，010011，001111 011 000100，011000，101110，110101，110010，101001，011111，000011 101 000010，011110，101000，110011，110100，101111，011001，000101 110 000001，011101，101011，11000

39、0，110111，101100，011010，000110 111 100100，111000，001110，010101，010010，001001，111111，100011,6.5 译码方法和纠错能力,2019/3/26,65,6.5 译码方法和纠错能力,dmin=3； (dmin-1)/2=1。 当真正的差错向量的Hamming重量不超过1时，总是能够正确译码； 当真正的差错向量的Hamming重量超过1时，未必总是能够正确译码。 总是能够正确译码的概率为(1-p)6+6(1-p)5p。,2019/3/26,66,6.5 译码方法和纠错能力,设信道的输出向量为y=(111111)。 计

40、算伴随式s=yHT=(111)。 以s为地址查找e(s)=(100100)。 计算c=y- e(s)=(111111)-(100100)=(011011)。 信息向量为(011)。,2019/3/26,67,6.5 译码方法和纠错能力,伴随式s陪集首e(s)000 000000 100 100000 010 010000 001 001000 011 000100 101 000010 110 000001 111 100100,由上面这个例子我们看到：错误图样中只有一个非零，其它均为0，则伴随式不为0，且是H相应的列，即对于发生在不同位置上的单个错误，就得到不同非零伴随式，进而得到不同的错误

41、图样，因而能纠正单个错误。,2019/3/26,68,若发生两个错误，则伴随式也不为零，但不能纠正，例如1、4位置与2、5位置发生错误，所得到的伴随式相同，因此，由此伴随式不为零，只能判决传输有错，但不能判定由哪几位错误引起的。,6.5 译码方法和纠错能力,伴随式s陪集首e(s)000 000000 100 100000 010 010000 001 001000 011 000100 101 000010 110 000001 111 100100,2019/3/26,69,一个线性分组码要纠正不大于t个错误，则要求不大于t个错误的所有可能组合的错误图样都应该有不同的伴随式与之对应，这等效于

42、：若则要求或因而有 一个线性分组码要纠正不大于t个错误，则其充要条件是校验矩阵中任何2t列线性无关。,6.5 译码方法和纠错能力,2019/3/26,70,6.4 、6.6、6.7、6.8 一些特殊的线性分组码,二元Hamming码：用于纠正单个错误的线性分组码当差错向量的重量不超过1时，肯定能够正确译码。因而t=(dmin-1)/2=1，即dmin=3； 校验矩阵H的任意两列线性无关；二进制下，即为任意两列互不相同，且不能全为0； N-L个校验元能组成2N-L个不同的N-L维向量，其中有2N-L-1个不全为0，以这2N-L-1列作为校验矩阵H的每一列，就产生了一个能纠正单个错误的码，它就是汉

43、明码。 定义：参数：N=2m-1，L=2m-1-m的二元线性分组码。编码效率为R=(2m-1-m)/(2m-1) 。（编码效率大）,2019/3/26,71,6.4 、6.6、6.7、6.8 一些特殊的线性分组码,二元Hamming码的校验矩阵具有如下特性： H的(2m-1)列恰好是(2m-1)个非全0的m维向量。 如此，通过编排列矢量的顺序可以很容易得到系统汉明码的校验矩阵，进而得到系统汉明码的生成矩阵。 例：构造GF(2)上的(7,4)汉明码。解：这时m=3，有8个三维向量，挑出其中7个非零的三维向量构成校验矩阵H，,2019/3/26,72,6.4 、6.6、6.7、6.8 一些特殊的线

44、性分组码,通过编排列矢量的顺序得到系统汉明码的校验矩阵H,码字传输中第一位发生错误，则相应的伴随式s=(001)，它就是“1”的二进制表示，若第5位发生错误，相应的伴随式s=(101)，它就是“5”的二进制表示，因此，哪一位发生错误，它的伴随式就是该位号的二进制表示，所以能方便译码。,2019/3/26,73,6.4 、6.6、6.7、6.8 一些特殊的线性分组码,Hadamard码 从Hadmard矩阵的行中选择码字可以构造出Hadamad码。Hadmard矩阵Mn是一个nn阶矩阵，其中n=2m。该矩阵满足 有一行为全0行，其余的行有2m-1个0，2m-1个1。 任意两行有2m-1个位置不同

45、， 2m-1个位置相同。 如何构造Hadmard矩阵？看如下的递归方法。,2019/3/26,74,6.4 、6.6、6.7、6.8 一些特殊的线性分组码,以Hadmard矩阵Mn及 的所有2n行作为所有的码字，得到的码就是Hadamad码。 Hadamad码的参数如下：共有2n个码字，因此共有2n个信息向量，因此信息向量的长为log22n=m+1。码长为n。编码效率为R=(m+1)/n =(m+1)/2m。（编码效率小）任何两个码字的Hamming距离都等于2m-1=n/2。因此 dmin=2m-1=n/2。,2019/3/26,75,6.4 、6.6、6.7、6.8 一些特殊的线性分组码,

46、Golay码 Golay码是线性(23, 12)码，最小距离为7。将其增加一个全校验位扩展为二元线性（24,12）码，最小距离为8，称为扩展Golay码。表6.4.1给出了Golay码和扩展Golay码的重量分布。循环码 定义6.6.1(p188) 一个二元(N, L)线性分组码C，若对任意c=(c0, c1, c2, , cN-1)C，恒有c=(cN-1, c0, c1, , cN-2)C，则称C为二元循环码。,2019/3/26,76,6.4 、6.6、6.7、6.8 一些特殊的线性分组码,二元循环码的产生过程 取二元域GF(2)=(0, 1, (mod2)加法, (mod2)乘法)上的N

47、次多项式1+xN。 取多项式1+xN的（在GF(2)上的）一个N-L次因式g(x)：g(x)=g0+g1 x1+g2 x2+gN-L xN-L。 取以下的LN矩阵G作为二元(N, L)线性分组码C的生成矩阵，则该码一定就是一个二元循环码。,2019/3/26,77,6.4 、6.6、6.7、6.8 一些特殊的线性分组码,例6.6.1(p190)例6.6.2(p192) 取N=7。则（在GF(2)上）：1+x7=(1+x)(1+x+x3)(1+x2+x3)。 若取g(x)=1+x+x3 ，则产生的二元(7, 4)线性分组码C一定就是一个二元循环码，生成矩阵为,2019/3/26,78,6.4 、

48、6.6、6.7、6.8 一些特殊的线性分组码,如此产生的二元循环码的译码 设接收向量为y=(y0, y1 , y2, , yN-1)。记 y(x)=y0+y1 x1+y2 x2+yN-1xN-1 。 用g(x)除y(x)，得余式s(x)=s0+s1 x1+s2 x2+sN-L-1xN-L-1 。 则此时： 除式y(x)=q(x)g(x)+s(x)也可以表示成y(x)s(x)(modg(x)。 余式s(x)的次数一定不超过N-L-1。 N-L维向量s=(s0, s1, s2, , sN-L-1)就是接收向量y的伴随式。（因而不需要校验矩阵）,2019/3/26,79,习题课,6.1 设有4个消息al，a2，a3 和a4被编成为长为5的二元码00000，01101，10111， l1010。 (a)试给出码的一致校验关系。 (b)若通过转移概率为p1/2的BSC传送，试给出最佳译码表及相应的译码错误概率表示式。 (c)若码通过BEC信道传送，试问可恢复几个删除?其最佳译码表应如何配置？ (d)一般，最小距离为dmin的线性码，可恢复几个删除?,