
第六讲西电通院考研复试资料(试题+课件).ppt
- 1.请仔细阅读文档,确保文档完整性,对于不预览、不比对内容而直接下载带来的问题本站不予受理。
- 2.下载的文档,不会出现我们的网址水印。
- 3、该文档所得收入(下载+内容+预览)归上传者、原创作者;如果您是本文档原作者,请点此认领!既往收益都归您。
下载文档到电脑,查找使用更方便
10 文币 0人已下载
下载 | 加入VIP,免费下载 |
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第六讲西电通院考研复试资料(试题+课件).ppt
- 资源描述:
-
1、2019/8/11,1,第二章:信息量和熵,2019/8/11,2,2.6 凸函数与(离散型随机变量的)平均互信息量的凸性,记离散型随机变量X的事件为1,2,K。 记X的概率分布为P(X=k)=qk,k=1K。 记离散型随机变量Y的事件为1,2,J。 记条件概率P(Y=j|X=k)=p(j|k)。则 rkj=P(X, Y)=(k,j)=qkp(j|k),(概率论中的乘法公式) wj=P(Y=j)=k qkp(j|k),(概率论中的全概率公式),2019/8/11,3,2.6 凸函数与(离散型随机变量的)平均互信息量的凸性,设条件概率p(j|k),k=1K,j=1J被确定。此时I(X, Y)是概
2、率向量q=(q1, q2, , qK)的函数。我们希望找到这样的概率向量,使得对应的I(X, Y)达到最大。这就是说,记我们希望找到这样的K维概率向量a=(a1, a2, , aK),使得,2019/8/11,4,2.6 凸函数与(离散型随机变量的)平均互信息量的凸性,定理2.6.2的含义 K维概率向量a=(a1, a2, , aK)使得当且仅当:以a为X的概率向量的时候,I(X=k; Y)对所有ak0的k都取一个相同的值C; I(X=k; Y)对所有满足ak=0的k都取值不超过上述的相同值C 。,2019/8/11,5,2.6 凸函数与(离散型随机变量的)平均互信息量的凸性,I(X=k; Y)表示什么?表示事件X=k与随机变量Y之间的“半平均互信息量”。,2019/8/11,6,2.6 凸函数与(离散型随机变量的)平均互信息量的凸性,例 设X的事件有0、1; Y的事件有0、1; 已知 p(0|0)=1-u;p(1|0)=u;p(0|1)=u;p(1|1)=1-u。 当X服从等概分布(a0=P(X=0)=1/2;a1=P(X=1)=1/2)时,I(X;Y)达到最大。因为此时,2019/8/11,7,2.6 凸函数与(离散型随机变量的)平均互信息量的凸性,2019/8/11,8,小结,
