1、Slepian-Wolf 编码,汇报人: 王霞学号.: 22015000155,提纲,一、相关信源编码二、Slepian-Wolf 编码三、Slepian-Wolf 编码的主要方法 1、基于校正子的相关信源编码 2、Turbo 和 LDPC 编码,一、相关信源编码,在实际通信中，常常是某个信宿收到来自不同的编码消息，各个信源所产生的消息可能是相互独立的，也可能是相关的。当信源彼此是独立时，就可分别处理，多个信源编码问题就简化成几个单信源通信情况的信源编码问题。当信源彼此相关时，由于各个信源所处的作用位置不同，从而出现了各种相关信源编码模型。,设X和Y是统计相关的独立同分布（i.i.d.）随机序
2、列，则其相关信源编码的几种情况如下：,1、独立编码、独立解码。由熵编码理论可知，X和Y可分别以码率 和 独立进行无失真编码，它们的总码率是 ，其中， 和 分别是序列X和Y的熵。,一、相关信源编码,2、联合编码、联合解码。由信息论知，它们可以分别以条件熵 和 来进行无失真联合编码，其总码率是它们的联合熵 。,一、相关信源编码,3、独立编码、联合解码。如果恢复X和Y时可以容忍一定的误差，而此误差概率在编码序列足够长时可以变得任意小(一般可认为是零)，则理论上也可以采用码率 ， 来分别进行独立的无失真编码，此时总码率也可以达到联合嫡 。也就是说，尽管对X和Y进行了各自独立的编码，其总码率仍然可以达到
3、联合墒H(X,Y)，这与对X和Y采用联合编码、联合解码所获得的码率相同。,一、相关信源编码,4、解码端边信息编码。作为情况3的特殊形式。假设信源Y已经无失真恢复，编码端只考虑X的率失真函数。其对应的无失真码率是 ， 。,二、Slepian-Wolf 编码,Slepian-Wolf 编码在学术上也被叫做无损分布式信源编码。无损不同于数学意义上的无损，它只是误差总量在允许的可控范围内。Slepian-Wolf 定理表明即使对于相关信源独立编码、联合解码仍然可能达到联合编码、联合解码相同的编码效率。,二、Slepian-Wolf 编码,Slepian-Wolf相关信源编码定理的可达速率域如图1所示。
4、图中， 和 分别表示信源X，Y的编码速率。因此，图中二维平面上任一点都表示一个速率对 。阴影部分则是可达速率对的集合域，该域的边界为都有明确的物理意义。,图1 两相关信源的Slepian-Wolf 可达区域,二、Slepian-Wolf 编码,对于实际的二进制信源的Slepian-Wolf 编码，若设计编码接近图中的点A，则是以 的速率编码。点A可以表示为Y在解码端已知，对Y 以速率H (Y )进行单独编码，而对X则以H ( X | Y )的码率编码并传送到译码器。解码时，可以很容易的解码出Y，利用已经解码出来的Y便可将X 解码出来，这样就实现图中Slepian - Wolf 区域中点A的渐进
5、无差错传输。同理，可实现另外一个角点B的传输。通过时分技术，则可以实现该区域边界上（如点 C）任意点的渐进无差错传输。,尽管目前已经可以实现该区域边界上（如点C）任意点的渐进无差错传输，但在本文中只考虑角点（或译码器中带有边信息的信源编码）。一般将 A点和B点对应的编码方案称为非对称编码（编码端只对信源 X 进行编码，信源Y 在译码端直接作为边信息），其他点对应的则是对称编码。,二、Slepian-Wolf 编码,Slepian-Wolf 理论与传统的信道编码有着很大的相似性，如图2所示。考虑一个二进制序列 X ，对它进行编码并经过有噪信道在解码端恢复得到Y 。为了对信道误码进行纠错我们对 X
6、 进行信道编码，这样在解码端使用校验比特位可以对X 进行纠错，从而得到正确的 X 恢复，这是信道编码过程。从 Slepian-Wolf 编码角度看，X 与Y 是两个统计相关的序列，假定 X 和Y 之间存在一个虚拟信道（ X 为虚拟信道输入，Y 为虚拟信道输出），Y 可以认为是经过有噪虚拟信道后的 X （噪声由相关信道引入）。由于Y 是经过有噪信道后的 X ，为了纠正由虚拟信道误码后的误码，我们可以使用信道编码对误码进行纠错，通过发送额外的校验比特信息在解码端可以将Y 精确恢复为 X 。,图2 Slepian-Wolf 编码与信道编码的关系,二、Slepian-Wolf 编码,这样Slepian
7、-Wolf编码就和信道编码联系起来了。在非对称编码中，目的是对信源X在编译器上以H(X | Y)的速度进行编码。Wyner在他1974年的论文1中提出分布式信源编码与信道编码的紧密联系，并建议使用线性的信道编码作为Slepian-Wolf 编码的一种编码方法。正因为这个原因，几种常用的信道编码，例如turbo码，LDPC 码(Low-Density Parity-Check)已经被用到了分布式编码当中。 最早将信道编码应用于信源编码的技术要早于 Slepian-Wolf 的构想。尽管已经有了一些先前的研究成果，但是针对非对称结构和对称结构的分布式信源编码，采用卷积码和网格码的技术在几十年后有了
8、复苏。现代的信道码如 Turbo码和 LDPC 码则展示出了更好的性能。,三、Slepian-Wolf 编码的主要方法,三、Slepian-Wolf 编码的主要方法,根据上表，计算联合熵 根据Slepian-Wolf定理，按照图1中的点A来设计编码，则编码速率应为 。例如，当接收端已知Y 时，X 有四种情况，如，Y=000时，X000,001,010,100，此时H ( X | Y ) = 2bit。从而证明等式 成立，即Slepian-Wolf定理的编码限是完全可以达到的。,具体的实现方案有两种：,（1）、设Y在编码端与译码端都是可知的 引入一个变量 ，由于x与y之间的汉明距离不超过1，则x
9、与y要么相同，要么只有一位不同。因此， ，即每个Z只可能有Z集合中4种可能值，可知对Z只需2bit编码。用Z来代替X编码发送。加上Y需要3bit（因为 ）编码，就达到5bit编码输出的目的。在接收端联合译码器译码Y和Z，然后由恢复出X。,三、Slepian-Wolf 编码的主要方法,（2）、设在编码端Y是不可知的 这也是实际中常遇到的情况，即两个编码器相距很远又互不通信的情况。先做一些处理：将 X 的可能取值划分成4个集合，使得各个集合之间没有交集，每组两个序列的汉明距离为3，即,这四个集合可以用对应的集合下标来表示，即索引S，因此只需要2 bit 就可以完全表示。而x必取其中之一组。在译码端
10、由译出的y便可确定在同时刻接收到的x序列对中，哪一个为与y同时发送的x。因为按照约定，同时刻发送的x与y之间的汉明距离不超过1，这就决定了接收到的y只能与同时刻接收到的x序列对中的一个相近，而与另一个序列的距离大于1。先由S找到对应的集合ZS，在其中查找与y的汉明距离小于1的序列，符合条件的序列即为x。在解码端，解码器可以根据X的索引找到对应的集合，即陪集，并根据已知的边信息Y在该集合中查找与Y 的汉明距离最小的码字，作为解码所得的结果。由此可见，Y在编码端不可知的时候，也可以把X压缩到与Y在解码端已知情况下同样的效果。,三、Slepian-Wolf 编码的主要方法,如何针对x编出2bit的码
11、字，使它正好代表x所属的序列对。方案采用校正子编码方法，实际上是应用了信道分组编码的概念。以上4组序列对都是(n,k,d)分组码的陪集，每一组都可以用它的校正子来表征。这里n是码字长度，k是信息比特数，d是码的最小汉明距离。现在是（3,1,3）分组码。因为分组码的校验矩阵为(n-k)*n阶矩阵，对以上的（3,1,3）码，其校验矩阵为,校正子为,其中，S，x都是列矢量，而x是信源符号的代码。可以发现每一个陪集的两个码字的校正子都是一样的，可作为该陪集的表征。,三、Slepian-Wolf 编码的主要方法,比如第一组：,其他三组的校正子为：,这4个校正子就是x编码输出的所有可能的码字。在接收端，译
12、码器译出校正子并结合同时译出的y码字，就可以正确地恢复出所发送的x码。原本需要发送X所需3bit信息，现在发送校正子只需2bit信息就足够，压缩效率达到了3:2。,以上例子可以拓展到普通情况下：对于二进制的线性分组码( n, k )，有 2nk个不同的校验子，每个索引代表了一个含有2k个二进制码字的集合，并且集合内各码字之间的 Hamming 距离属性相同。压缩时，可以将n bit的输入序列映射成为（nk)bit的校验子，进而达到 n :( n k)的压缩比。这种方法被称为“Wyner方法”。,三、Slepian-Wolf 编码的主要方法,Slepian-Wolf 理论和 Wyner-Ziv
13、理论为 分布式信源编码 的后续研究奠定了坚实的基石，研究者对于分布式信源编码的探索也日益开放，其实现方法渐渐丰富起来。分布式信源编码是利用信道编码的思想进行数据压缩，并利用相关信息进行联合解码，所以，性能较好的信道编码被列为重点考虑范围，如 Turbo编码和 LDPC 编码等。 其中 Turbo 码更多的用于基于校验位的非对称和对称结构的分布式信源编码。虽然 Turbo 码也可以用于基于校验子生成的方式，但是译码时就需要采用新的网格结构。与此相反，在非对称和对称结构的分布式信源编码中，LDPC 码则可以直接利用校验子进行译码。不仅如此，基于校验位的方式也可以采用 LDPC 码。LDPC 码被更
14、广泛的应用于多信源的分布式信源编码。,2、Turbo 和 LDPC 编码,三、Slepian-Wolf 编码的主要方法,图 3 turbo编码器结构,Turbo 码是一种高效的前向纠错码，是近信道容量的实用编码，常用于移动通信等领域，其编码器的基本组成如图 3 所示，若输入为 L 位的信号X，经过交织器后生成与 X 正交的信号，两个不相关的正交信号分别经过两个(n-1)/n 分量编码器输出 L 位的信息位以及 L/(n-1)位的校验位。,三、Slepian-Wolf 编码的主要方法,图 4 turbo解码器结构,Turbo 解码结构如图 4所示，由解码器、交织器以及解交织器组成，整个译码过程是
15、将上一次解码结果作为下一次解码器的输入参与下一次译码过程，如此反复。在分布式信源编码方法中，Turbo 的编码器与图3的基本结构相同，只是在输出端只保留校验位，而去除信息位，即只利用校验位表示源信息。,三、Slepian-Wolf 编码的主要方法,LDPC 码是低密度奇偶校验编码，是 Gallagar 首先提出来的一种编码方法。采用稀疏的校验矩阵译码，LDPC 码译码较简单，是近香农极限的信道编码。随着编码技术发展，LDPC 成为信道编码领域的研究重点，在音视频、深空通信领域已有较为广泛的应用。,图 5 LDPC 二分图,LDPC 是根据其校验矩阵 H 进行编码，H 中1较少，而 0 较多，L
16、DPC 也因此而得名。其编码结构也可用如图 5所示的二分图来表示，二分图与矩阵 H 相对应，若校验矩阵是 M N的矩阵，则图中第一排是校验节点，在校验矩阵中与矩阵的 M 行相对应，而第二排位节点对应着矩阵的 N 列，若校验矩阵中 i 行 j 列的元素为 1，则在二分图中表示第一排的第 i 个节点与第二排的第 j 个节点连接。若给定边信息 Y 的情况下，对 X 进行编码则选择合适的校验矩阵，根据S = HXT即可得到编码结果。,三、Slepian-Wolf 编码的主要方法,图 6 LDPC 迭代译码,LDPC 译码时使用的是可信度传播的方式进行迭代译码，如图 6 所示，将接收信息代入校验节点Cj
17、，校验节点处理完后，沿着路径qij 将结果传给位节点Vi，位节点也将计算后的信息由rij 传给校验节点Cj ，如此迭代进行若干次后停止迭代，位节点的输出即为译码结果。,三、Slepian-Wolf 编码的主要方法,文献2中的一些仿真结果如图7所示。图7的水平轴显示相关程度，如低H(p)意味着更高的相关性，纵轴显示了解码X的错误概率。在图4中所有编码方法都达到了2:1压缩率。在错误概率几乎为零的情况下Slepian-Wolf限是0.5 bit。在图4中也给出了每个Slepian-Wolf编码码字的长度。可以看出，对于一个特定的编码方法，其相关性越高，Slepian-Wolf编码的差错概率越低。,
18、图7 基于turbo/LDPC编码的Slepian-Wolf编码，其中解码端是有边信息Y的二进制信源X的解码输出,上述结论可以推广到任何相关模型：如果信源输出X和边信息Y之间的相关性可以用“虚拟”相关信道建模，那么一个较好的信道编码可以通过校验子和相关的陪集码为我们提供一个较好的Slepian-Wolf编码方案。因此，这个表面上看来的Slepian-Wolf编码的信源编码问题实际上是一个信道编码和近容量信道编码问题，如turbo和LDPC编码可以用来接近Slepian-Wolf限。,参考文献,1 Wyner A D. A Recent results in the Shannon theoryJ. IEEE Transactions on Information Theory, 1974, 20(1):2-10.2 Liveris A D, Xiong Z, Georghiades C N. Compression of binary sources with side information at the decoder using LDPC codesJ. Communications Letters IEEE, 2002, 6(10):440-442.,Thanks for listening,
