1、2.6 连续信源的熵,连续信源：输出在时间和取值上都是连续的信源,一、连续信源熵的定义,若连续信源的频带受限，为W，则根据采样定理，只要采样频率大于2W，则连续信源经采样离散后，不损失任何信息。,将连续信源离散化为离散信源，其信源熵为：,例连续信源，其输出信号的概率分布密度如下图，计算其信源熵。,解：信源熵,若将信号放大2倍，计算其信源熵,信息量放大了2倍？,说明：相比放大前，信号放大后无穷大项小了1比特，相对熵大了1比特，而绝对熵保持不变。,二、连续信源熵的性质,两个连续信源的联合熵,连续信源熵可正可负,条件熵,连续信源的共熵、条件熵和单独熵的关系,多元联合连续信源,1、输出幅度范围受限（或
2、瞬时功率受限）的信源,三、三种特定连续信源的最大熵,设信源输出的信号幅度或瞬时功率受到限制，即其动态范围受限：,为均匀分布,结论：输出范围受限的连续信源，当其概率密度分布为均匀分布时，输出最大熵，最大熵的值为概率密度的倒数的对数。,2、输出平均功率受限的信源,设信源输出的平均功率受到限制为,为高斯分布,结论：输出平均功率受限的连续信源，当其概率密度分布为高斯分布时，输出最大熵，最大熵随着平均功率的增大而增大。,3、输出幅度平均值受限的信源,连续信源X输出非负信号的平均值受限，当其输出信号幅度为指数分布时，输出最大熵，最大熵随着X的数学期望（均值）的增大而增大。,熵功率Ph：与某个平均功率为P（幅度分布为非高斯分布）的非高斯信源有同样熵的高斯信源的平均功率。,四、熵功率,熵功率是无差错传递必要信息的最小功率。,
