1、2.2 平均互信息量,一、平均互信息量的定义,互信息量 在联合概率空间上的数学期望,Y对X的平均互信息量：,计算过程：,1）收到yj后，从yj中获得关于xi的非平均信息量,2）收到yj后，从yj中获得关于集合X的平均信息量,3）收到集合Y后，从Y中获得关于集合X的平均信息量,X 对Y的平均互信息量：,例 某二元通信系统，它发送1和0的概率分别为：p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不能无差错地进行。即有1/6的1在接收端错成0，1/2的0在接收端错成1。问信宿收到一个消息后，获得的平均信息量是多少？,分析：已知信源概率分布：p( xi ),信道转移概率： p( yj /
2、xi ),求平均互信息量：I ( X; Y ),计算步骤：,1）计算联合概率：,2）计算信宿端概率分布：,3）计算后验概率：,4）计算互信息量：,5）计算平均互信息量：,解：根据题意，信源概率分布：,信道转移概率p( yj / xi )：,1）计算联合概率：,2）计算信宿端概率分布：,3）计算后验概率：,4）计算互信息量：,5）计算平均互信息量：,因此，信宿收到一个消息后，获得的平均信息量是0.067比特/消息,思考：1）互信息量有正有负说明什么？2）平均互信息量必为正，为什么？,二、平均互信息量的物理意义,称为信道疑义度/可疑度（损失熵）,信宿收到信源发出的消息Y后，对信源X仍存在的平均不确
3、定度,通信过程中信息在信道中的损失量,1、,Y对X的平均互信息量,信源X的先验平均不确定度观察到Y后对信源X尚存的后验平均不确定度,信宿接受消息Y前后关于X的平均不确定性消除的程度,收到消息集合Y后获得关于信源X的平均信息量,H(X)经信道损失了H(X/Y)后信宿获得的净信息量,信宿每收到一个消息所获得的平均信息量,表示信道输入信号由于信道中的噪声干扰而在信宿端表现的散步范围，称为散布度（噪声熵）,由于信道噪声的干扰，信源发出消息后无法判断信宿是否正确收到消息,信源发出消息X后，对信宿Y仍存在的平均不确定度,2、,X对Y的平均互信息量,信宿Y的先验平均不确定度信源发出消息X后对信宿Y尚存的后验
4、平均不确定度,信源发出消息X前后关于信宿Y的平均不确定性的消除程度,为联合熵，表示信源信宿双方通信后整个系统仍存在的平均不确定度,3、,平均互信息量,信源X的先验平均不确定度+信宿Y的先验平均不确定度信源、信宿双方通信后整个系统尚存的后验平均不确定度,通信前后关于整个系统平均不确定性消除的程度,信源熵：,信宿熵：,平均互信息量：,1）损失熵：,平均互信息量：,2）噪声熵：,平均互信息量：,3）联合熵：,平均互信息量：,三、平均互信息量的性质,1、对称性,2、非负性,3、极值性,4、凸函数性,对每一个固定信道，存在一种最佳概率分布的信源，使输出端获得的平均信息量最大,对每一种固定信源，存在一种最差的信道，其噪声熵最大，输出端获得的平均信息量最小，为零,5、数据处理定理,随着处理器数目的增多，输入消息和输出消息之间的平均互信息量一般趋于变小,5、平均互信息量与各类熵的关系,
