第三节离散有记忆信源的极限熵 二维平稳有记忆信源及其熵平均符号熵N维平稳有记忆信源的极限熵 3 1二维平稳有记忆信源及其熵 对于有记忆信源而言 消息的平均信息量小于无记忆信源的平均信息量 补充 推广 理解 条件越少 平均不确定性就越高 3 2平均符号熵 当信源无记忆时 以H X 衡量信源提供信息的能力 当信源有记忆时 以HN X 衡量信源提供信息的能力 3 3离散有记忆信源的极限熵 注1 由上面所求得的极限熵一般情况下是无法求得的 而只用极限后的表达式来近似代替极限熵 注2 当信源记忆长度为m时 则上式可以表达为