1、第三章 无失真信源编码,通信系统模型,包括：信源、编码器、信道、译码器、信宿五部分,编码器、译码器是人为设计的，很大程度上决定了通信性能的好坏。,无失真信源编码冗余度压缩编码 只对信源的冗余度进行压缩，而不改变信源的熵。 保证码元序列经译码后能无失真地恢复成信源符号序列。 适用于离散信源或数字信号（文字、文件信源）。,信源编码的分类?,限失真信源编码熵压缩编码 改变信源的熵。 只能保证码元序列经译码后能按一定的失真容许度恢复信源符号序列。 适用于连续信源或模拟信号（语音、图像信源）。,为什么要对信源进行编码? 由于信源符号之间存在分布不均匀和相关性，使得信源存在冗余度。 （1）符号变化 符号集
2、中的符号不同，如英语信源的符号是英文字母或单词，汉语信源的符号是汉字或汉语词组等等。为了便于信道传送，必须将信源符号序列变换成信道能够传送的符号序列。 （2）冗余度压缩 信源符号的概率分布不均匀，各个符号携带信息的多少相差很大即信息分布不均匀，信息冗余度大，因此有必要对信源符号序列加以变化，使变化后的新序列的信息分布均匀化，信息冗余变小，提高信息传输效率。 也就是说，实际发送的消息总是包含有无用的信息。信源包含有冗余。,信源编码的主要任务就是减少冗余，提高编码效率。具体说，就是针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短的码字序列。,信源编码的基本途径 是什么?,
3、信源编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 解除相关性后，再使编码中各个符号出现的概率尽可能地相等，即概率均匀化，就能进一步改造有冗余信源的输出，去掉冗余度，增大传输效率。,信源编码的基础是什么?,信源编码的基础： 无失真编码定理 限失真编码定理,1）无失真编码是可逆编码，即信源符号转换成代码后，可从代码无失真的恢复原信源符号。只适用于离散信源。,2）对于连续信源，编成代码后就无法无失真地恢复原来的连续值，因为后者的取值可有无限多个。此时只能根据限失真编码定理在失真受限制的情况下进行限失真编码。,说明：,3.1 编码定义3.2 定长编码定理 3.3 变长编码
4、定理3.4 最佳编码3.5 游程编码,编码器可看作这样一个系统： 输入端：原始信源U，其符号集为U:u1,u2,uq； 信道：所能传输的码符号集（码元集）为X:x1,x2,xr； 编码器的功能：用符号集X中的元素，将原始信源的符号ui变 换为相应的码字符号wi(i=1,2,q)，即相当于 一个一一对应的变化或映射f (f: ui wi) 编码器输出端：符号集（码字集）为W:w1,w2,wq。,3.1 编码定义,【注】信源编码就是从信源符号到输出码字符号的一种映射。若要实现无失真编码，则这种映射必须是一一对应的、可逆的。,平均码长 码字的码长：码字wi所含码元的个数，记为li（码元/符号，r进制
5、单位/符号）。 定长编码（变长编码）： 所有码字均有相同的码长l，即l1=l2=lq=l 称f为定长编码，对应的码W叫做定长码。 否则，称f为变长编码，对应的码W叫做变长码。 平均码长：对码W中所有码字的码长求统计平均,平均码长是衡量码的性能的重要参数，小说明平均一个码元所携带的信息量大，信息的冗余度就小。,例题：,【说明】 f1是定长编码； f2是变长编码，根据信源符号的概率不同，采用不同码长的码字，经常出现（概率大）的符号采用较短的码字，不经常出现（概率小）的符号采用较长的码字，因此平均码长就会缩短，是一种较好的编码策略。,2.信源编码前后的熵,将信源编码器输出可视为一个新信源：信源W：以
6、码字集为符号集； 无失真编码一一对应映射，故 P(wi)=P(ui) (i=1,2,q)， 编码前后熵保持不变： H(W)=H(U) (bit/码字或bit/符号)信源X：以码元集为符号集；,编码后的信息率： 平均一个码元携带的信息量，记为R（就是X的熵）： 可见：平均码长越小，每个码元携带的信息量就越 多；传输一个码元就传输了较多的信息。编码效率： 编码后的实际信息率与编码后的最大信息率之比：,编码效率是新信源X的熵的相对率，冗余度为：,3. 码的类型,码,奇异码,非奇异码,非唯一可译码,唯一可译码,非即时码,即时码（非延长码）,3.1 码符号集中符号数r2称为二元码，r3称为三元码,3.2
7、 若分组码中的码长都相同则称为等长码，否则称为变长码,码1,码2,码1是等长码，码2是变长码,3.3 奇异码和非奇异码,若信源符号和码字是一一对应的，即所有码字都不相同，则该码为非奇异码；反之为奇异码。,码1是奇异码，码2，码3和码4是非奇异码,3.4 唯一可译码,非奇异码中，任意有限长的码元序列，只能被唯一的译成所对应的信源符号序列，称为唯一可译码。,例如：U: u1,u2,u3; X:0,1; W: w1=0, w2=10, w3=11, 为唯一可译码。当接收码字序列为：10011001111 时，可以唯一地译为：w2,w1,w3,w1,w1,w3,w3;如果码字集合为：W:w1=0,w2
8、=01,w3=11 则为非唯一可译码。当接收码字序列为：0011111101 时，可以译为：w1,w1(w2),3.5 非即时码和即时码,唯一可译码中，如果接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码，这样的码叫做非即时码。没有任何完整的码字是其他码字的前缀，可立即译码的叫做即时码（非延长码）。,例如：W：1，10，100，111不是即时码， 1是 10的前缀， 10 为100的前缀。,即时码一定是唯一的，唯一可译码却不一定是即时码。例如：W：0，01是唯一的，但不是即时码。,4. 即时码及其树图构造法 码树,码树：用码树表示码字的组成，由树根、树枝
9、、节点组成。,码树构造要点：,1）最上（下）端为树根，从树根向下（上）延伸出树枝，树枝总数等于r，树枝的尽头为节点。,2）从每个节点再伸出r个树枝，当某节点被安排为码字 后，就不再伸枝，此节点称为终端节点（用粗黑点表 示），其它节点称为中间节点（用空心圈表示）。,3）每个节点伸出的树枝标上码符号，从根出发到终端节 点所走路径对应的码符号序列则为终端节点的码字。,r进制码树：有r个分支,一级节点：经过一个分支到达的节点，有r个,N阶节点：rn个,码字：从树根到节点的分枝标号序列,码树图,4 唯一可译码存在的充要条件：,其中N表示信源符号数，r表示进制数，li表示各码字长度。,对含有N个信源符号的信源用含有r个码元的码符号集进行编码，各码字的长为l1，l2.，其唯一可译码存在的充要条件是，满足克劳夫特（Kraft）不等式,例：设二进制码树中Uu1,u2,u3,u4,l1=1,l2=2,l3=2,l4=3,请判断这是否存在唯一可译码？,不存在这种唯一可译码。,如果改成l1=1,l2=2,l3=3,l4=3,请判断这是否存在唯一可译码？,存在这种唯一可译码。,注意：克劳夫特（Kraft）不等式只是用来说明唯一可译码是否存在，并不能作为判断哪些码是唯一可译码的依据。,如码字（0，10，010，111）满足克劳夫特不等式，但它不是唯一可译码,
