1、第二章 信源与信息熵,信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度,2.1信源的描述与分类,信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源 信源的基本特性是具有随机不确定性,2.1信源特性与分类,分类 时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源,2.1信源特性与分类,离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色放回布袋，再取另一
2、个球。,2.1信源特性与分类,离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色不放回布袋，再取另一个球。,2.1信源特性与分类,马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。,2.1信源描述与分类,描述：通过概率空间描述 单符号离散信源例如：对二进制数字与数据信源,2.1信源描述与分类,连续信源,2.1信源描述与分类,离散序列信源以3位PCM信源为例,2.1信源描述与分类,当p=1/2,2.1信源描述与分类,离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由两个球的颜色组
3、成的消息就是符号序列。若先取出一个球，记下颜色放回布袋，再取另一个球。,2.1信源描述与分类,离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色不放回布袋，再取另一个球。,2.1信源描述与分类,马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。,2.1信源描述与分类,马尔可夫信源 由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态：信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用条件概率表示p(xj/si),状态转移概率表示为p(sj/si)
4、,2.1信源描述与分类,马尔可夫信源 更一般，经过n-m步后转移至sj的概率,2.1信源描述与分类,马尔可夫信源 特别关心n-m=1情况，pij(m,m+1),2.1信源描述与分类,马尔可夫信源 系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵， 一步转移转移矩阵为,2.1信源描述与分类,马尔可夫信源 k步转移概率pij(k)与l步和k-l步转移概率之间满足切普曼-柯尔莫郭洛夫方程。 定义：如果从状态I转移到状态j的概率与m无关，则称这类MovKov链为齐次 对于齐次马尔可夫链，一步转移概率完全决定了k步转移概率。,2.1信源描述与分类,马尔可夫信源 定义：若齐次马尔可
5、夫链对一切I,j存在不依赖于I的极限，则称其具有遍历性，pj称为平稳分布,2.1信源描述与分类,马尔可夫信源 定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj,2.1信源描述与分类,不可约性，对于任意一对I和j， 都存在至少一个k，使pij(k)0. 非周期性，所有pij(n)0的n中没有比1大的公因子。 定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。,2.1信源描述与分类,Eg. 一个相对编码器，求平稳分布,2.1信源描述与分类,Eg. 二阶马氏链，X0,1,求平稳分布,起始状态,00 01 10 11
6、,1/2 0 1/4 0,1/2 0 3/4 0,0 1/3 0 1/5,0 2/3 0 4/5,S1(00),S2(01),S3(10),S4(11),2.2离散信源熵与互信息,信息量 自信息量 联合自信息量 条件自信息量 单符号离散信源熵 符号熵 条件熵 联合熵,2.2离散信源熵与互信息,信息 不确定性的消除 信息的度量 随机性、概率 相互独立符合事件概率相乘、信息相加 熵 事件集的平均不确定性,2.2离散信源熵与互信息,直观推导信息测度 信息I应该是消息概率p的递降函数由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性）,2.2离散信源熵与互信息,定义：对于给定
7、的离散概率空间表示的信源，x=ai事件所对应的（自）信息为以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.433bit 以10为底，单位为笛特（det) 1det=3.322bit,2.2离散信源熵与互信息,定义：联合概率空间中任一联合事件的联合（自）信息量为：定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为：,2.2离散信源熵与互信息,联合自信息、条件自信息与自信息间的关系,2.2离散信源熵与互信息,Eg1 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋
8、子所在方格的顺序号（2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。,2.2离散信源熵与互信息,解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布（1）联合（自）信息量为（2）条件（自）信息量为,2.2离散信源熵与互信息,Eg2. 一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。 解：随机事件的概率空间为,2.2离散信源熵与互信息,2.2离散信源熵与互信息,单符号离散信源熵 定义：对于给定离散概率空间表示的信源所定义的随机变
9、量I的数学期望为信源的信息熵，单位为比特/符号,2.2离散信源熵与互信息,离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵，单位为比特/序列,2.2离散信源熵与互信息,离散信源联合熵 定义：对于给定离散概率空间表示的信源所定义的随机变量I（x，y)的数学期望为集合X和集合Y的信源联合熵，单位为比特/序列,2.2离散信源熵与互信息,联合熵、条件熵与熵的关系,2.2离散信源熵与互信息,单符号离散信源互信息 定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特,2.2离散信源熵
10、与互信息,单符号离散信源互信息,2.2离散信源熵与互信息,条件互信息量与联合互信息量 定义：对于给定离散概率空间表示的信源，在事件z给定条件下，事件x与事件y之间的条件互信息量为：,2.2离散信源熵与互信息,条件互信息量与联合互信息量 定义：对于给定离散概率空间表示的信源，在事件x与联合事件yz之间的联合互信息量为：,2.2离散信源熵与互信息,Eg1(p23) 设信源发出8种消息符号，各消息等概发送，各符号分别用3位二进码元表示，并输出事件。通过对输出事件的观察来推测信源的输出。假设信源发出的消息x4，用二进码011表示， 接收到每个二进制码元后得到有关x4信息。,2.2离散信源熵与互信息,2
11、.2离散信源熵与互信息,平均互信息量其中,2.2离散信源熵与互信息,熵的性质 对称性 非负性 确定性 香农辅助定理 最大熵定理 条件熵小于无条件熵,2.2离散信源熵与互信息,非负性,2.2离散信源熵与互信息,对称性,2.2离散信源熵与互信息,确定性香农辅助定理,2.2离散信源熵与互信息,最大熵定理条件熵小于无条件熵,2.2离散信源熵与互信息,平均互信息的性质 非负性 互易性 与熵和条件熵及联合熵关系 极值性 凸性函数性质 信息不增性原理,2.2离散信源熵与互信息,非负性,2.2离散信源熵与互信息,互易性,2.2离散信源熵与互信息,平均互信息与熵的关系,2.2离散信源熵与互信息,互信息量与熵的关
12、系,2.2离散信源熵与互信息,极值性,2.2离散信源熵与互信息,凸性函数 当条件概率分布给定时，平均互信息量是输入概率分布的上凸函数 当集合X的概率分布保持不变时，平均互信息量是条件概率分布的下凸函数,2.2离散信源熵与互信息,信息不增性,2.3离散序列信源的熵,离散无记忆信源的序列熵 离散有记忆信源的序列熵,2.3离散序列信源的熵,离散无记忆信源的序列熵,2.3离散序列信源的熵,离散无记忆信源的序列熵 平均每个符号熵（消息熵）,2.3离散序列信源的熵,离散有记忆信源的序列熵和消息熵,2.3离散序列信源的熵,Eg 求信源的序列熵和平均符号熵,2.3离散序列信源的熵,离散有记忆信源的序列熵和消息
13、熵结论1 是L的单调非增函数 结论2 结论3 是L的单调非增函数 结论4,2.3离散序列信源的熵,马氏链极限熵,2.3离散序列信源的熵,2.3离散序列信源的熵,Eg 求马氏链平均符号熵（三个状态）,2.4连续信源的熵与互信息,幅度连续的单个符号信源熵,2.4连续信源的熵与互信息,幅度连续的单个符号信源熵,2.4连续信源的熵与互信息,波形信源熵,2.4连续信源的熵与互信息,最大熵定理,2.4连续信源的熵与互信息,最大熵定理 限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵,2.5冗余度,冗余度，表示给定信源在实际发出消息时所包含的多余信息。它来自两个方面，一是信源符号
14、间的相关性；二是信源符号分布的不均匀性,2.5冗余度,Eg. 计算英文字母冗余度,第3章信道与信道容量,信道分类和表示参数 离散单个符号信道及其容量 离散序列信道及其容量 连续信道及其容量,3.1信道分类和表示参数,信道分类用户数量：单用户、多用户输入端和输出端关系：无反馈、有反馈信道参数与时间的关系：固参、时变参噪声种类： 随机差错、突发差错输入输出特点：离散、连续、半离散半连续、波形信道,3.1信道分类和表示参数,信道参数,信道种类,3.1信道分类和表示参数,二进制对称信道（BSC）,3.1信道分类和表示参数,离散无记忆信道,3.1信道分类和表示参数,离散输入、连续输出信道,3.1信道分类
15、和表示参数,波形信道,3.2离散单个符号信道及其容量,信息传输率 信道在单位时间内平均传输的信息量定义为信息传输速率 R=I(X;Y)=H(X)H(X/Y) 比特/符号 Rt=I(X;Y)/t 比特/秒 信道容量 比特/符号（bits/symbol或bits/channel use）,3.2离散单个符号信道及其容量,无干扰离散信道的信道容量,3.2离散单个符号信道及其容量,X、Y一一对应 CmaxI(X;Y)log n多个输入变成一个输出 CmaxI(X;Y)maxH(Y)一个输入对应多个输出 CmaxI(X;Y)maxH(X),3.2离散单个符号信道及其容量,对称DMC信道定义 输入对称 如
16、果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称 输出对称 如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称 对称的DMC信道 如果输入、输出都对称,3.2离散单个符号信道及其容量,对称DMC信道例子,3.2离散单个符号信道及其容量,输入对称,输出对称,3.2离散单个符号信道及其容量,对称信道容量,3.2离散单个符号信道及其容量,Eg. 求信道容量,3.2离散单个符号信道及其容量,Eg. 求信道容量,信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是
17、对称离散信道的一个特例,3.2离散单个符号信道及其容量,二进制对称信道容量 C1H（）,3.2离散单个符号信道及其容量,串联信道,C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W),3.2离散单个符号信道及其容量,Eg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量,3.2离散单个符号信道及其容量,信道容量 I(X;Y)=1-H()，I(X;Z)=1-H2 (1-),3.2离散单个符号信道及其容量,准对称DMC信道 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道,3.
18、2离散单个符号信道及其容量,准对称DMC信道容量 对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量,3.2离散单个符号信道及其容量,Eg. 求信道容量,方法一： 信道的输入符号有两个，可设p(a1)，p(a2)1信道的输出符号有三个，用b1、b2、b3表示,3.2离散单个符号信道及其容量,方法二 当p(a1)p(a2)1/2时，p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036bit/符号,方法三 将转移概率矩阵划分成若干个互不相交的对称的子集,n为输入符号集个数；p1，p2，ps是转移概率矩阵P中一行的元素，即H(p1，p2，ps
19、)H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数,3.2离散单个符号信道及其容量,方法三,3.2离散单个符号信道及其容量,Eg. 求信道容量,3.2离散单个符号信道及其容量,一般DMC信道1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法 I(ai;Y) = C 对于所有满足p(ai ) 0条件的I I(ai;Y) C 对于所有满足p(ai ) = 0条件的I 当信道平均互信息达到信道容量时，输入符号概率集p(ai)中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号
20、除外,3.3离散序列信道及其容量,离散序列信道,3.3离散序列信道及其容量,离散无记忆序列信道,1,1,1,1,1,进一步信道是平稳的,3.3离散序列信道及其容量,离散无记忆序列信道,1,1,1,1,1,如果信道无记忆,如果输入矢量X中的各个分量相互独立,当信道平稳时CL=LC1，一般情况下，I(X;Y) LC1,3.3离散序列信道及其容量,扩展信道 如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道,1,1,1,1,1,BSC的二次扩展信道,X00,01,10,11，Y00,01,10,11，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)
21、2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2,00,10,11,01,00,01,10,11,3.3离散序列信道及其容量,扩展信道,1,1,1,1,若p0.1，则C220.9381.062比特/序列,3.3离散序列信道及其容量,独立并联信道 序列的转移概率p(Y1Y2YL/X1X2XL)=p(Y1/X1)p(Y2/X2)p(YL/XL),1,1,1,1,X1 p(Y1/X1) Y1X2 p(Y2/X2) Y2 XL p(YL/XL) YL,3.4 连续信道及其容量,连续单
22、符号加性信道,x (xR) p(y/x) y (yR),连续单符号信道,n pn(n)N(0, 2),平均互信息为I(X;Y)HC(X)HC(X/Y) HC(Y)HC(Y/X) HC(X)HC(Y)HC(XY) 信道容量,噪声是均值为零、方差为2的加性高斯噪声,3.4 连续信道及其容量,连续单符号加性信道,pY(y)N(0,P)，pn(n)N(0, 2)，y=x+n，所以pX(x)N(0,S),C1/2 log(1+SNR),信道输入X是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值,若是加性的，可以求出信道容量的上下界,3.4 连续信道及其容量,多维无记忆加性连续信道,信道输入
23、随机序列XX1X2XL，输出随机序列YY1Y2YL，加性信道有y=x+n，其中n=n1n2nL 是均值为零的高斯噪声,3.4 连续信道及其容量,连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道号加性信道,比特/L维自由度,因此当且仅当输入随机矢量X中各分量统计独立，且是均值为零、方差为Pl的高斯变量时，才能达到此信道容量,3.4 连续信道及其容量,讨论,均值为零、方差相同,均值为零、方差不同，总平均功率受限,3.4 连续信道及其容量,讨论,各个时刻的信道输出功率相等设为常数,3.4 连续信道及其容量,eg有一并联高斯加性信道，各子信道噪声方差为 0.1， 0.2， 0.3，
24、0.4， 0.5， 0.6， 0.7， 0.8， 0.9， 1.0,3.4 连续信道及其容量,限时限频限功率加性高斯白噪声信道,波形信道的平均互信息为,信道容量为,3.4 连续信道及其容量,限时限频限功率加性高斯白噪声信道,限频(W)高斯白噪声过程可分解L2WtB维统计独立的随机序列,其中：,3.4 连续信道及其容量,限时限频限功率加性高斯白噪声信道,信道的容量,单位时间的信道容量,香农公式,3.4 连续信道及其容量,讨论,带宽W一定时，信噪比SNR与信道容量Ct成对数关系,3.4 连续信道及其容量,讨论,当输入信号功率PS一定，增加信道带宽，可以增加容量,ln(1+x) x,PS/N0ln
25、2-1.6dB，即当带宽不受限制时，传送1比特信息，信噪比最低只需 -1.6dB（香农限）,3.4 连续信道及其容量,讨论,Ct一定时，带宽W增大，信噪比SNR可降低，即两者是可以互换的,3.4 连续信道及其容量,Eg电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR100，求信道的容量,第4章 信息率失真函数,本章主要讨论在信源允许一定失真情况下所需的最少信息率，从分析失真函数、平均失真出发，求出信息率失真函数R（D） 。 4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R（D）计算,4.1 平均失真和信息率失真函数,4.1.1 失真函数 4.1.2 平均失真 4.
26、1.3 信息率失真函数R(D) 4.1.4 信息率失真函数的性质,4.1 平均失真和信息率失真函数,在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。,4.1.1 失真函数,假如某一信源X，输出样值为xi，xia1,an，经过有失真的信源编码器，输出Y，样值为yj，yj b1,bm。如果xiyj，则认为没有失真；如果xi yj，那么就产生了失真。失真的大小，用一个量来表示，即失真函数d(xi，yj)，以衡量用yj代替xi所引起的失真程度。一般失真函数定义为,失真矩阵,单
27、个符号的失真度的全体构成的矩阵 ，称为失真矩阵,最常用的失真函数,均方失真：,相对失真：,误码失真：,绝对失真：,前三种失真函数适用于连续信源，后一种适用于离散信源。,失真函数的定义可以推广到序列编码情况，如果假定离散信源输出符号序列X=(X1X2XlXL)，其中L长符号序列样值xi(xi1xi2xilxiL)，经信源编码后，输出符号序列Y=(Y 1Y 2Y lY L)，其中L长符号序列样值yj(yj1yj2yjlyjL)，则失真函数定义为：,其中d(xil，yjl)是信源输出L长符号样值xi中的第l个符号xil时，编码输出L长符号样值yj中的第l个符号yjl的失真函数。,4.1.2 平均失真
28、,由于xi和yj都是随机变量，所以失真函数d(xi，yj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真，记为,对于连续随机变量同样可以定义平均失真,对于L长序列编码情况，平均失真为,4.1.3 信息率失真函数R(D),4.1.3 信息率失真函数R(D),给出一个失真的限制值D，在满足平均失真 D的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。,（1）D允许试验信道,平均失真由信源分布p(xi)、假想信道的转移概率p(yj/xi)和失真函数d(xi，yj)决定，若p(xi)和d(xi，yj)已定，则可
29、给出满足x下式条件的所有转移概率分布pij，它们构成了一个信道集合PD称为D允许试验信道。,（2）信息率失真函数R(D),由于互信息取决于信源分布和信道转移概率分布，当p(xi)一定时，互信息I是关于p(yj/xi) 的U型凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即,对于离散无记忆信源，R(D)函数可写成,p(ai)，i1，2，n 是信源符号概率分布；p(bj/ai)，i1，2，n，j1，2，m 是转移概率分布p(bj)，j1，2，m 是接收端收到符号概
30、率分布。,例4-1-3 设信源的符号表为Aa1，a2，a2n，概率分布为p(ai)1/2n，i1，2，2n，失真函数规定为即符号不发生差错时失真为0，一旦出错，失真为1，试研究在一定编码条件下信息压缩的程度。,4.1.4 信息率失真函数的性质,R(D)函数的定义域 Dmin和R(Dmin)Dmin0 对于连续信源,(2) Dmax和R(Dmax),选择所有满足R(D)0中D的最小值，定义为R(D)定义域的上限Dmax，即,因此可以得到R(D)的定义域为,Dmax是这样来计算的。R(D)0就是I(X;Y)0，这时试验信道输入与输出是互相独立的，所以条件概率p(yj/xi)与xi无关。即,求出满足
31、条件 的D中的最小值 ，即,此时平均失真为,从上式观察可得：在j=1，m中，可找到 值最小的j，当该j对应的pj1，而其余pj为零时，上式右边达到最小，这时上式可简化成,例4-1-4 设输入输出符号表为XY0，1，输入概率分布p(x)=1/3，2/3，失真矩阵为,解： 当Dmin0时，R(Dmin)H(X)H(1/3，2/3)0.91比特/符号，这时信源编码器无失真，所以该编码器的转移概率为,当R(Dmax)0时,此时输出符号概率p(b1)0，p(b2)1， 所以这时的编码器的转移概率为,2、R(D)函数的下凸性和连续性,3、R(D)函数的单调递减性容许的失真度越大，所要求的信息率越小。反之亦
32、然。,综上所述，可以得出如下结论： R(D)是非负的实数，即R(D) 0。其定义域为0Dmax，其值为0H(X)。当DDmax时， R(D) 0。 R(D)是关于D的下凸函数，因而也是关于D的连续函数。 R(D)是关于D的严格递减函数。,由以上三点结论，对一般R(D)曲线的形态可以画出来,4.2 离散信源和连续信源的R（D）计算,某些特殊情况下R（D）的表示式为：（1）当d(x,y)=(x-y)2， 时，,(2)当d(x,y)=|x-y|， 时，,(3)当d(x,y)=(x,y)，p(x=0)=p，p(x=1)=1-p时， R(D)=H(p)H(D),这些R（D）可画成图4-5的三条曲线,0
33、Dmax D,R(D)H,(3),(1),(2),图4-5 信息率失真函数R(D),例4-2-1 设输入输出符号表为XY0，1，输入概率分布p(x)=(p，1-p)，0p1/2，失真矩阵为,求信息率失真函数R(D)。,第5章 信源编码,编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真。 一般称 无失真信源编码定理为第一极限定理； 信道编码定理（包括离散和连续信道）称为第二极限定理； 限失真信源编码定理称为第三极限定理。,第5章 信源编码,由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。,第5章 信源编码,信源编码的基本途径有
34、两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 使编码中各个符号出现的概率尽可能地相等，即概率均匀化。,第5章 信源编码,信源编码的基础是信息论中的两个编码定理： 无失真编码定理 限失真编码定理 无失真编码只适用于离散信源 对于连续信源，只能在失真受限制的情况下进行限失真编码,5.1 编码的定义,5.1 编码的定义,信源编码是指信源输出符号经信源编码器编码后转换成另外的压缩符号 无失真信源编码：可精确无失真地复制信源输出地消息,5.1 编码的定义,将信源消息分成若干组，即符号序列xi，xi(xi1xi2xilxiL)，xilA=a1，a2，ai，an 每个符号序列xi依照固定码表映
35、射成一个码字yi，yi(yi1yi2yilyiL)，yilB=b1，b2，bi，bm 这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。,5.1 编码的定义,如图5-1所示，如果信源输出符号序列长度L1，信源符号集A(a1，a2，an) 信源概率空间为,若将信源X通过二元信道传输，就必须把信源符号ai变换成由0，1符号组成的码符号序列，这个过程就是信源编码,5.1 编码的定义,不同的码符号序列，如表5-1所示。,表5-1 变长码与定长码,5.1 编码的定义,5.1 编码的定义,表5-2 码的不同属性,5.1 编码的定义,通常可用码树来表示各码字的构成,二进制
36、码树,5.1 编码的定义,0 1 2,0 1 2 0 1 2 0 1 2,0 1 2,0 1 2,三进制码树,5.1 编码的定义,唯一可译码存在的充分和必要条件 各码字的长度Ki 应符合克劳夫特不等式：,5.1 编码的定义,例：设二进制码树中X (a1， a2 ， a3 ， a4 )，K11，K22，K32，K43，应用上述判断定理：,因此不存在满足这种Ki的唯一可译码。,5.1 编码的定义,1，01，001，000 惟一可译码； 1，01，101，000不是惟一可译码； 均满足克劳夫特不等式,5.2 无失真信源编码,信源输出 X(X1X2XlXL)， Xla1，a2，ai，an 编码为 Y(
37、Y1Y2Yk YkL)， Ykb1，b2，bj，bm。 要求能够无失真或无差错地译码，同时传送Y时所需要的信息率最小,5.2 无失真信源编码,无失真的信源编码定理 定长编码定理 变长编码定理,5.2 无失真信源编码,由L个符号组成的、每个符号的熵为HL(X)的无记忆平稳信源符号序列X1X2XlXL，可用KL个符号Y1，Y2，Yk，（每个符号有m种可能值）进行定长编码。对任意0，0，只要 则当L足够大时，必可使译码差错小于； 反之，当 时，译码差错一定是有限值，而L足够大时，译码几乎必定出错,5.2 无失真信源编码,定长编码定理说明，,码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几
38、乎无失真，当然条件是L足够大。,5.2 无失真信源编码,反之，当 时，不可能构成无失真的编码，也就是不可能做一种编码器，能使收端译码时差错概率趋于零。时，则为临界状态，可能无失真，也可能有失真。,5.2 无失真信源编码,式中 为自信息方差 为一正数。当 和 均为定值时，只要L足够大，Pe可以小于任一正数。即，,5.2 无失真信源编码,当信源序列长度L满足 时，能达到差错率要求,5.2 无失真信源编码,在连续信源的情况下，由于信源的信息量趋于无限，显然不能用离散符号序列Y来完成无失真编码，而只能进行限失真编码。,5.2 无失真信源编码,定义为编码效率，即信源的平均符号熵为H(X)，采用平均符号码
39、长为 来编码，所得的效率。 编码效率总是小于1，且最佳编码效率为,5.2 无失真信源编码,编码定理从理论上阐明了编码效率接近1的理想编码器的存在性，它使输出符号的信息率与信源熵之比接近于1，即L取无限长,5.2 无失真信源编码,例 设离散无记忆信源概率空间为比特/符号,5.2 无失真信源编码,对信源符号采用定长二元编码，要求编码效率 为 90，若取L1，则可算出2.55 90%=2.8比特/符号 Pe0.04 太大,5.2 无失真信源编码,若要求译码错误概率,5.2 无失真信源编码,变长编码定理 在变长编码中，码长K是变化的 根据信源各个符号的统计特性，如概率大的符号用短码，概率小的用较长的码
40、，使得编码后平均码长降低，从而提高编码效率。（统计匹配）,5.2 无失真信源编码,单个符号变长编码定理：若离散无记忆信源的符号熵为H(X)，每个信源符号用m进制码元进行变长编码，一定存在一种无失真编码方法，其码字平均长度满足下列不等式,5.2 无失真信源编码,离散平稳无记忆序列变长编码定理：对于平均符号熵为HL(X)的离散平稳无记忆信源，必存在一种无失真编码方法，使平均信息率满足不等式其中为任意小正数。,5.2 无失真信源编码,编码效率总是小于1，可以用它来衡量各种编码方法的优劣。 为了衡量各种编码方法与最佳码的差距，定义码的剩余度为,5.2 无失真信源编码,例 设离散无记忆信源的概率空间为,
41、5.2 无失真信源编码,若用二元定长编码(0，1)来构造一个即时码： 。 平均码长 1二元码符号/信源符号,5.2 无失真信源编码,编码效率为,输出的信息效率为R0.811比特/二元码符号,5.2 无失真信源编码,长度为2的信源序列进行变长编码（编码方法后面介绍），其即时码如下表,5.2 无失真信源编码,二元码符号/信源序列,二元码符号/信源符号,5.2 无失真信源编码,编码效率,信息效率 R20.961比特/二元码符号,5.2 无失真信源编码,L3R30.985比特/二元码符号 L4R40.991比特/二元码符号,5.2 无失真信源编码,定长二元码编码，要求编码效率达到96时，允许译码错误概
42、率,5.2 无失真信源编码,能获得最佳码的编码方法主要有： 香农（Shannon） 费诺（Fano） 哈夫曼（Huffman）等,5.2 无失真信源编码,香农（Shannon）编码 将信源消息符号按其出现的概率大小依次排列 确定满足下列不等式的整数码长Ki。,5.2 无失真信源编码,为了编成唯一可译码，计算第i个消息的累加概率将累加概率Pi变换成二进制数。 取Pi二进数的小数点后Ki位即为该消息符号的二进制码字。,5.2 无失真信源编码,例 设信源共7个符号消息，其概率和累加概率如下表所示。,5.2 无失真信源编码,5.2 无失真信源编码,码元/符号,比特/码元,5.2 无失真信源编码,费诺编
43、码方法 费诺编码属于概率匹配编码 (1)将信源消息符号按其出现的概率大小依次排列： 。 (2)将依次排列的信源符号按概率值分为两大组，使两个组的概率之和近于相同，并对各组赋予一个二进制码元“0”和“1”。,5.2 无失真信源编码,(3)将每一大组的信源符号进一步再分成两组，使划分后的两个组的概率之和近于相同，并又赋予两个组一个二进制符号“0”和“1”。 (4)如此重复，直至每个组只剩下一个信源符号为止。 (5)信源符号所对应的码字即为费诺码。,5.2 无失真信源编码,例 对以下信源进行费诺编码。,5.2 无失真信源编码,码元/符号,bit/符号,5.2 无失真信源编码,哈夫曼编码方法 (1)将
44、信源消息符号按其出现的概率大小依次排列， (2)取两个概率最小的字母分别配以0和1两个码元，并将这两个概率相加作为一个新字母的概率，与未分配的二进符号的字母重新排队。,5.2 无失真信源编码,(3)对重排后的两个概率最小符号重复步骤(2)的过程。 (4)不断继续上述过程，直到最后两个符号配以0和1为止。 (5)从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字。,5.2 无失真信源编码,例 对以下信源进行哈夫曼编码,5.2 无失真信源编码,0.20 0.20 0.26 0.35 0.39 0.61 1.0 0.19 0.19 0.20 0.26 0.35 0.39 0.18
45、 0.18 0.19 0.20 0.26 0.17 0.17 0.18 0.19 0.15 0.15 0.17 0.10 0.11 0.01,5.2 无失真信源编码,码元/符号,bit/符号,5.2 无失真信源编码,哈夫曼编码方法得到的码并非唯一的 每次对信源缩减时，赋予信源最后两个概率最小的符号，用0和1是可以任意的，所以可以得到不同的哈夫曼码，但不会影响码字的长度。,5.2 无失真信源编码,对信源进行缩减时，两个概率最小的符号合并后的概率与其它信源符号的概率相同时，这两者在缩减信源中进行概率排序，其位置放置次序是可以任意的，故会得到不同的哈夫曼码。此时将影响码字的长度，一般将合并的概率放在
46、上面，这样可获得较小的码方差。,5.2 无失真信源编码,例 设有离散无记忆信源,5.2 无失真信源编码,5.2 无失真信源编码,0.4 0.4 0.4 0.6 1.0 0.2 0.2 0.4 0.4 0.2 0.2 0.2 0.1 0.2 0.1,0.4 0.4 0.4 0.6 1.0 0.2 0.2 0.4 0.4 0.2 0.2 0.2 0.1 0.2 0.1,5.2 无失真信源编码,码元/符号,5.2 无失真信源编码,5.2 无失真信源编码,进行哈夫曼编码时，为得到码方差最小的码，应使合并的信源符号位于缩减信源序列尽可能高的位置上，以减少再次合并的次数，充分利用短码。,5.2 无失真信源编码,哈夫曼码是用概率匹配方法进行信源编码。 哈夫曼码的编码方法保证了概率大的符号对应于短码，概率小的符号对应于长码，充分利用了短码； 缩减信源的最后二个码字总是最后一位不同，从而保证了哈夫曼码是即时码。,
