1、第15章 网络信息论,多用户信道的信道容量区域？相关信源的熵、微分熵区域？,信息论单用户信息论涉及一个信源、一个信宿和相应信道,网络信息论涉及两个及两个以上信源或信宿及相应信道,网络信息论涉及两个及两个以上信源时信源,独立信源相关信源,信道多用户信道分布式信道,多接入信道退化广播信道,15.1 熵、微分熵与平均互信息,n个信源各自发出的消息为相互独立的单一符号，这些符号随机取值于各个有限集合或连续域,1、独立单符号信源,定义,表示,随机变量组X1,X2,Xn,离散信源,连续信源,2、熵、微分熵的链式法则,离散信源的熵,连续信源的微分熵,n个信源各自发出的消息为相关的单一符号，这些符号随机取值于
2、各个有限集合或连续域,3、相关单符号信源,定义,表示,随机变量组X1,X2,Xn,离散信源,连续信源,4、熵、微分熵的链式法则,离散信源的熵,连续信源的微分熵,5、多用户单符号信道,定义,对应于n个单符号信源和m个单符号信宿的信道,表示,信源随机变量组X1,X2,Xn信宿随机变量组Y1,Y2,Ym,离散信道,连续信道,p(Y1,Y2,Ym/X1,X2,Xn),6、平均互信息的链式法则,独立信源,相关信源,15.2 多接入信道的信道容量区域,对应于n个独立的信源和一个信宿的信道,1、多接入信道,定义,表示,信源随机变量组X1,X2,Xn信宿随机变量Y,例1,例2,2、多接入信道的信道容量区域,二
3、接入信道,二接入信道的信道容量,信道给定时，条件平均互信息I(X1;Y/X2)、I(X2;Y/X1)对于信源概率P(X1)和P(X2)严格上凸总能找到P(X1)和P(X2)，使I(X1;Y/X2)、I(X2;Y/X1)达到最大,定义,信道给定时条件平均互信息I(X1;Y/X2)、I(X2;Y/X1)的最大值，用C1、C2表示,表示,在I(X1;Y/X2)、I(X2;Y/X1)达到最大的P(X1)和P(X2)下，联合平均互信息I(X1,X2;Y)达到条件最大,定义,信道给定时联合平均互信息I(X1,X2;Y)的条件最大值，用C12表示,表示,定理,n次扩展信道，任意给定0和0，当n足够大,二接入
4、信道的联合渐近均分性定理,推论1,推论2,定理,二接入信道的条件信道容量为C1、C2，联合信道容量为C12，对n次扩展信道进行信道编码，对任意给定的0，只要码率同时满足R1C1、R2C2和R1+R2C12，当n足够大，平均译码错误概率PeC1、R2C2或R1+R2C12，无论n多大，平均译码错误概率Pe ,二接入信道的信道容量区域,正定理,当n足够大，随机产生的码字为等概率的典型序列，数量分别为2nH(X1)和2nH(X2)，选取其中2nR1个和2nR2个作为许用码，其余为禁用码,发生译码错误的两种情况,不失一般性，记E11*表示第一种情况，Ei1i2表示第二种情况 i1=1,2nR1 i2=
5、1,2nR2,平均译码错误概率,二接入信道容量区域的描述,R1-R2空间上，R1C1、R2C2和R1+R2C12围成的信道容量区域截角二面体,例3,二接入二进制擦除信道的信道容量区域,当X1等概率,当X2等概率,X1、X2等概率,二接入二进制擦除信道的信道容量区域,例4,二接入高斯信道的信道容量区域,雅可比行列式,雅可比行列式,雅可比行列式,当X1高斯分布,当X2高斯分布,X1、X2高斯分布,二接入高斯信道的信道容量区域,多接入信道,R1-Rn空间上，R1C1、RnCn和R1+Rn0和0，当n足够大,退化广播信道的联合渐近均分性定理,推论1,推论2,定理,退化广播信道的条件信道容量为C1、信道
6、容量为C2，对n次扩展信道进行信道编码，对任意给定的0，只要码率同时满足R1C1和R2C2，当n足够大，平均译码错误概率PeC1或R2C2，无论n多大，平均译码错误概率Pe,二接入信道的信道容量区域,正定理,当n足够大，随机产生的码字为等概率的典型序列，数量分别为2nH(U)、2nH(X)，选取其中2nR2个、2nR1个作为许用码，其余为禁用码,不失一般性，记E1*表示第一种情况，Ei 表示第二种情况 i=2,2nR2,Y2的平均译码错误概率,不失一般性，记E11*表示第一种情况，Ei1i2表示第二种情况 i1=1,2nR1 i2=1,2nR2,Y1的平均译码错误概率,对于一阶马尔可夫链UXY
7、1Y2,例2,二输出高斯退化广播信道的信道容量区域,雅可比行列式,当X高斯分布且信源聚类U所占功率比为,X高斯分布且信源聚类U所占功率比为,二输出高斯退化广播信道的信道容量区域,多输出退化广播信道,15.4 相关信源的熵、微分熵区域,1、相关信源的熵区域,二相关信源,相关信源的渐近均分性定理,定理,n次扩展信源，任意给定0和0，当n足够大,推论1,推论2,定理,相关信源的条件熵为H(X1/X2)、H(X2/X1)，联合熵为H(X1,X2) ，对n次扩展信源进行信源编码，对任意给定的0，只要码率同时满足R1H(X1/X2)、R1H(X1/X2)和R1+R2H(X1,X2)，当n足够大，平均译码错误概率PeH(X1/X2)、R2H(X2/X1)和R1+R2H(X1,X2)围成的熵区域截角二面体,多相关信源,R1-Rn空间上，R1H(X1/X2,Xn)、RnH(Xn/X1,Xn-1)和R1+RnH(X1,X2,Xn)围成的熵区域截角多面体,2、相关信源的微分熵区域,二相关信源,R1-R2空间上，R1h(X1/X2)、R2h(X2/X1)和R1+R2h(X1,X2)围成的微分熵区域截角二面体,多相关信源,R1-Rn空间上，R1h(X1/X2,Xn)、Rnh(Xn/X1,Xn-1)和R1+Rnh(X1,X2,Xn)围成的微分熵区域截角多面体,
