1、信息论与编码课堂测验Log 3 = 1.5851. 掷两颗均匀的骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？解：每颗骰子各有六面,每面分别有1、2、3、4、5、6个小圆点以示区分，又知两颗骰子是均匀的，所以每个骰子每面出现的概率均为1/6,1） 因圆点之和为3的情况是（1,2）、（2,1）两种情况，设x为圆点之和为3的情况，所以其出现的概率为：该消息自信息量2）因圆点之和为7的情况是（1,6）、（6,1）、（2,5）、（5,2）、（3,4）、（4,3）六种情况，设x为圆点之和为7的情况，所以其出现的概率为：该消息自信息量2.
2、 每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概率出现，问每帧图像含有多少信息量？若有一个广播员，在16384个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：1) 因为每像素可取128个不同的亮度电平，并设亮度电平是等概率出现.设X为像素这一信源，则其有128中等概率的不同亮度电平情况，所以像素的平均信息量为:每帧电视图像由3105个像素组成，所有像素均是独立变化，所以每帧图像是单个
3、像素的3105次扩展，每帧图像的平均信息量为:2) 16384个汉字等概率出现，每个汉字的平均信息量为：用1000个汉字描述该图像，包含的信息量有（因为相互独立，所以是1000次的扩展）：3)若要完整描述该图像，需要的汉字数为：3. 一阶马尔可夫信源消息集，状态集，且令，条件转移概率为，(1)画出该马氏链的状态转移图；(2)计算信源的极限熵。解：(1)马尔科夫链的状态转移图如下：（2）令、根据状态转移图得到以下联立方程： 求解后，得到 各状态条件熵为：H(X|S1) =H(1/4,1/4,1/2) =1.5比特/符号H(X|S2)=H(1/3,1/3,1/3) =1.585比特/符号H(X|S
4、3)=H(2/3,1/3) = 0.918比特/符号 所以该马尔科夫信源极限熵为：比特/符号4. 设有一离散无记忆信源x1x2x3x4x5x6x73/81/43/163/323/641/321/64(1) 求信源熵H(X)。(2) 用哈夫曼编码方法编成二元变长编码。(3) 计算出其编码效率。解：(1)(2)信源符号符号概率编 码 过 程码字码长5/813/83/80x13/83/83/83/83/8112x21/41/41/41/41/41023/1601x33/163/163/163/160023/32011x43/323/323/3201033/640111x53/643/6401104x
5、61/32011115X71/64011105 (3)编码效率另解： (1)(2)信源符号符号概率编 码 过 程码字码长x13/83/83/83/83/85/811x21/41/41/41/43/83/8012x33/163/163/163/161/40003x43/323/323/323/1600104x53/643/643/32001105x61/323/640011106X71/640011116 (3)编码效率 5. 设有扰离散信道的传输情况分别如图所示（每条线对应转移概率都是1/2），求出该信道的信道容量，及取得该信道容量时的信源概率分布。解：该信道的信道转移概率矩阵为：该矩阵每行、
6、每列都是有两个1/2、两个0构成，满足行可排列性和列可排列性，所以为对称信道，其容量为：取2为底 bit/符号对应的信源概率分布为等概率分布，均为1/4。6. 设有离散信源和。试证：证明：所以 练习题：有一离散无记忆信源，其输出为，相应的概率为，设计两个独立的实验去观察它，其结果分别为，已知条件概率:P(y1|x)01012101/2011/2P(y2|x)01012110001(1) 求和，并判断哪一个实验好些(2) 求，并计算做Y1和Y2两个实验比做Y1和Y2中的一个实验可多得多少关于X的信息(3) 求和，并解释它们的含义解:(1)由题意可知 Y1X0101/40101/421/41/4
7、Y2X0101/4011/40201/2P(y1=0)=p(y1=1)=1/2 p(y2=0)=p(y2=1)=1/2=0.5bit/符号符号所以第二个实验比第一个实验好（2）因为Y1和Y2 相互独立，所以y1y200011011p1/41/41/41/4P(y1y2x)0001101101/40001001/40201/401/4P(y1y2|x)000110110100010010201/201/2bit/符号=1.5bit/符号由此可见，做两个实验比单独做Y1可多得1bit的关于X的信息量，比单独做Y2多得0.5bit的关于X的信息量。（3）=1.5-1=0.5bit/符号 表示在已做Y2的情况下，再做Y1而多得到的关于X的信息量同理可得=1.5-0.5=1bit/符号表示在已做Y1的情况下，再做Y2而多得到的关于X的信息量
