1.1 自信息,第一章 随机变量的信息度量,1.2 熵 联合熵 条件熵,1.3 相对熵和互信息,1.4 信息量的一些基本性质,2,3,离散信源通常用一个随机变量 表示， 的可能取 值，即信源可能输出的不同符号用集合表示,4,首先看一个例子:设一袋中有100个球,其中80个红球,20个白球,现任取一球,猜测其颜色.下面有两个消息:A 摸出的是红球.B 摸出的是白球.问 你从哪条消息中所获得的信息量更大？,5,从上例可知,随机事件所含信息的大小与其发生的概率密切相关:随机事件的不确定性越大,即发生的概率越小,则它的发生所提供的信息越大,反之亦然.可见,随机事件的自信息应是其概率的函数.,6,自信息应满足的几条公理:,2) 若,3),4) 严格单调性:,5) 如果,1) 非负性:,7,8,定义1.1.1,
