1、信息论与编码基础,离散信道,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,信道模型 信道疑义度 平均互信息及其性质,信息论与编码基础,离散信道,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,信道模型 信道疑义度 平均互信息及其性质,信息论与编码基础,离散信道,根据输入、输出信号的时间特性和取值特性,离散信道,连续信道,半离散或半连续信道,波形信道,信道的分类,数字信道,根据信道的用户多少,单用户信道,多用户信道,一对多、多对一,多对多,信息论与编码基础,离散信道,根据信道转移概率的性质,无扰信道
2、,有扰信道,实际的通信信道几乎都是有扰信道,无记忆信道,有记忆信道,实际信道一般都是有记忆的，信道中的记忆现象来源于物理 信道中的惯性，如电缆信道中的电感或电容、无线信道中电 波传播的衰落现象等。,按信道统计特性,恒参信道,变参信道,卫星信道,短波信道,根据信道噪声的性质,高斯噪声信道,非高斯噪声信道,信道的分类,信息论与编码基础,离散信道,离散信道的数学模型,信道,无扰（无噪）信道,有扰信道,无记忆信道,有记忆信道,信息论与编码基础,离散信道,信道,单符号离散信道,例1 BSC信道,BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型,p为交叉(crossover)概率等于解调器/
3、检测器出现硬判决译码错 误的概率,信息论与编码基础,离散信道,条件转移概率,转移矩阵,转移概率图,信息论与编码基础,离散信道,单符号离散信道,一定比例的bit被删 除，并且接收者知 道是那些bit已经被 删除。,例2 二进制删除信道,信息论与编码基础,离散信道,单符号离散信道,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,信道模型 信道疑义度 平均互信息及其性质,信息论与编码基础,离散信道,先验熵,后验熵,若信道中存在干扰时,信道疑义度,0H(X|Y)H(X),损失熵,信息论与编码基础,离散信道,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,信道模型 信道疑
4、义度 平均互信息及其性质,信息论与编码基础,离散信道,信息论与编码基础,离散信道,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,信道模型 信道疑义度 平均互信息及其性质,信息论与编码基础,离散信道,平均互信息,定义 令,为信道输入X与输出Y之间的平均互信息,接收到每个输出符号后获得的关于X的平均信息量,bit/sig,互信息,信息论与编码基础,离散信道,信息传输率,不确定性消除的多少,获得信息量的大小,互信息,由于条件引入获得的信息量,1）对称性,I(ai;bj) = I(bj;ai),2）事件统计独立时 I(a
5、i;bj) = 0,3）可正、可负,4）I(ai;bj) I(ai),信息论与编码基础,离散信道,平均互信息,互信息,关系：,含义：I(x;y)表示由随机事件y中获得关于事件x的信息,(1) I(X;Y)与I(x;y),(2)I(X;Y)与熵,共同点：统计平均,不同点：提供与获得,信息论与编码基础,离散信道,平均互信息是 互信息的统计 平均值。,信息论与编码基础,离散信道,平均互信息,信息论与编码基础,离散信道,平均互信息常用计算公式,信息论与编码基础,离散信道,条件互信息与平均条件互信息,给定X、Y、Z三个离散概率空间，其连接关系为,系统1,系统2,X,Y,Z,系统1,Y,Z,X,信息论与编
6、码基础,离散信道,小结,信道,基本信道,信源发送的信息量,信道损失的信息量,输出端获得的信息量,H(X) 信源熵,H(X|Y) 信道疑义度 损失熵,I(X;Y) 平均互信息信息传输率,信息论与编码基础,离散信道,例：两枚硬币，一枚是正常币（一面是面值，一面是国徽）。一枚不正常币（两面都是面值）。随机取一枚，抛掷2次。问：出现面值的次数对于硬币识别提供多少信息量？,利用詹森不等式,信息论与编码基础,离散信道,接收者通过信道获得的信息量不可 能超过信源本身固有的信息量。,0I(X;Y)H(X),信息论与编码基础,离散信道,发出X后获得的关 于Y的平均信息量,信息论与编码基础,离散信道,4、与各类熵
7、的关系,损失熵,噪声熵,信息论与编码基础,离散信道,5、,的凸函数性,于是,信息论与编码基础,离散信道,信息论与编码基础,离散信道,例1（续）,当p = 0时,当p = 1时,当p = 1/2时,信息论与编码基础,离散信道,信息论与编码基础,离散信道,信息论与编码基础,离散信道,一、信道疑义度与平均互信息,三、有噪信道编码定理,定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香农公式,二、信道容量,信息论与编码基础,离散信道,一、信道疑义度与平均互信息,三、有噪信道编码定理,定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香农公式,二、信道容
8、量,信息论与编码基础,离散信道,平均互信息I(X;Y)代表了接收到每个输出符号后获 得的关于X的平均信息量，又叫做信道的信息传输率。,I(X;Y)能说明一个信道的好、坏吗？,信息论与编码基础,离散信道,定义,说明：,bit/sig,1）信道给定后，p(y|x)就固定，C仅与p(y|x)有关，而与P(x)无关,2）Ct是信道最大传输速率。,Ct = C/t,bit/s,信源分布最佳时，信道容量最大。,信息论与编码基础,离散信道,思考,离散信道的信息传输率达到信道容量时，输入或输出分布必须达到最佳分布，那么： （1）最佳的输入分布是唯一的吗？ （2）最佳的输出分布是唯一的吗？,信息论与编码基础,离
9、散信道,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香农公式,信息论与编码基础,离散信道,1、无噪无损信道,I(X;Y)=H(X)-H(X|Y),信息论与编码基础,离散信道,2、有噪无损信道,I(X;Y)=H(X)-H(X|Y),信息论与编码基础,离散信道,3、有损无噪信道,I(X;Y)=H(Y)-H(Y|X),信息论与编码基础,离散信道,总结：,1）若严格区分，凡损失熵等于0的信道称为无损信道； 凡噪声熵等于0的信道称为无噪信道。,2）无损信道,3）无噪信道,信息论与编码基础,离散信道,例,求BEC
10、的信道容量板书,信息论与编码基础,离散信道,信息论与编码基础,离散信道,一、信道疑义度与平均互信息,二、信道容量,三、有噪信道编码定理,定义 简单离散信道的信道容量 对称离散信道的信道容量,？,对称信道,信息论与编码基础,离散信道,二、对称离散信道的信道容量,1、对称信道的定义,？,信息论与编码基础,离散信道,强对称信道,信息论与编码基础,离散信道,二、对称离散信道的信道容量,信息论与编码基础,离散信道,二、对称离散信道的信道容量2. 对称信道的性质 当P(x)等概率分布时，输出也是等概率分布的。,信息论与编码基础,离散信道,二、对称离散信道的信道容量,3、对称信道的信道容量平均互信息：,信道容量：,最佳输入：,信息论与编码基础,离散信道,二、对称离散信道的信道容量,3、对称信道的信道容量 例：均匀信道,例BSC：C=log2-H(p)=1-H(p),输入对称信道包含对称信道（此时输出也对称）； 对称信道包含均匀信道； 均匀信道包含二元对称信道（此时r=2）.,信息论与编码基础,离散信道,练习：有噪声的打字机信道,考虑26个键的打字机,1）如果每敲击一个键，它就准确地输出相应的字符， 那么该容量C是多少？,2）如果假设敲击一个键都会导致输出该键对应的字母 或者下一个字母等概率出现，即敲A可能输出A或B， 敲Z可能输出Z或A。那么此时的容量如何？,信息论与编码基础,离散信道,
