1、信息理论与技术教研中心ITTCBUPT Information Theory & Technology Center网络信息论与信息网络论北京邮电大学牛凯2008-7-28 2BUPT Information Theory & Technology Center内容提要一、网络信息论的发展历程二、网络信息论面临挑战三、信息网络的新型特征四、信息网络理论的进展五、总结与展望2008-7-28 3BUPT Information Theory & Technology Center一、网络信息论的发展历程 1.1 经典网络信息论由于多址通信、中继通信、卫星通信、移动通信以及信息网络的快速发展，40
2、多年来，网络信息论一直是学术界最为活跃的研究方向之一。具体而言，网络信息论主要研究广播信道、多址接入信道、中继信道、双向信道、干扰信道等模型的容量域分析，以及达到这些容量域的信源、信道编译码方法。2008-7-28 4BUPT Information Theory & Technology Center一、网络信息论的发展历程广播信道容量研究 1972年，Cover首先研究了BC信道容量域。 1973年1977年，Bergmans、Gallager、Gelfand先后解决了退化广播信道的容量域问题。多址接入信道容量研究 1971年1972年，Ahlswede和Liao最早给出了MAC信道容量域
3、结果。 1981年，Cover和Leung推导了带反馈的MAC信道的可达容量域。中继信道容量研究 1977年，Van der Meulen引入中继信道。 1979年，Cover和El Gamal给出了退化中继信道的容量域。2008-7-28 5BUPT Information Theory & Technology Center一、网络信息论的发展历程双向信道容量研究1961年，Shannon引入了双向信道，推导了内外容量界。干扰信道容量研究1961年，Shannon引入了干扰信道。1981年，Han和Kabayashi给出了一般干扰信道的可达容量域。相关信源编码研究1973年，Slepian
4、和Wolf提出了无记忆相关信源的编码定理。1976年，Wyner和Ziv提出了具有边信息的率失真相关信源定理。2008-7-28 6BUPT Information Theory & Technology Center一、网络信息论的发展历程1940年1950年1960年1970年1980年1990年2000年1948,Shannon通信中的数学理论通信网络中最大流注记1956 Shannon1962双向通信信道1962 Shannon1972,Liao多址信道1972Cover广播信道1974Wyner简单网络的信源编码1976Gallager数据通信网络的协议信息极限1994Shammi蜂
5、窝移动通信的信息论分析1995Knapp单蜂窝多址通信的信息论与功率控制1995 Gallager衰落信道下合并信息论与排队论1998 Tse多址衰落信道1998Ephremidus信息论与通信网: 未完成的联合2000年后通向新世纪图1. 网络信息论的发展里程碑2008-7-28 7BUPT Information Theory & Technology Center一、网络信息论的发展历程 1.2 21世纪网络信息论的新进展 1S. Vishwanath, N. Jindal, and A. Goldsmith, “Duality, achievable rates, and sum-ra
6、te capacity of MIMO broadcast channels,”IEEE Trans. Inform. Theory, vol. 49, no. 10, pp. 2658 2668, Oct. 2003.(2005 IT&COM joint paper award) 2H.Weingarten, Y. Steinberg, and S. Shamai (Shitz), “The capacity region of the gaussian multiple-input multiple-output broadcast channel,” IEEE Trans. on Inf
7、ormation Theory, vol. 52, no. 9, pp. 39363964, Sept. 2006.(2007 IT paper award) 3S. A. Jafar, S. Shamai, “Degrees of freedom region of the MIMO X channel,” IEEE Trans. on Information Theory, vol. 54, no. 1, pp. 151170, Jan. 2008.2008-7-28 8BUPT Information Theory & Technology Center一、网络信息论的发展历程 1.2
8、21世纪网络信息论的新进展 (1)MAC-BC对偶定理 Vishwanath, Jindal和Goldsmith证明了MIMO MAC-BC信道的对偶性。在和功率相等条件下，高斯MAC与BC信道具有对偶性，BC容量域每一点对应的最优功率分配都可以对应到MAC容量域每一点的最优功率分配。这两种信道进行译码时，采用串行干扰抵消就能够达到容量域。对于高斯BC，干扰抵消顺序为从弱用户到强用户；而对于高斯MAC，根据对偶性可以证明，干扰抵消顺序为从强用户到弱用户。2008-7-28 9BUPT Information Theory & Technology Center一、网络信息论的发展历程 1.2
9、21世纪网络信息论的新进展 (1)MAC-BC对偶定理上述高斯MAC-BC信道对偶的结论可以直观的推广到衰落信道条件下，但由于早期文献中，没有考虑明确表示信道增益(所有信道增益都为1)的影响，用户信号的差别就只能体现在高斯BC的噪声功率与高斯MAC的单个用户功率约束上，因此不具有明显的对称性。 Vishwanath, Jindal和Goldsmith三位学者揭示了高斯MACBC信道具有的对称性，可以推广到衰落信道、MIMO信道条件下，从而可以利用对偶性，为一些信道容量域的困难计算开辟新的道路。2008-7-28 10BUPT Information Theory & Technology Ce
10、nter一、网络信息论的发展历程 1.2 21世纪网络信息论的新进展 (2)Gaussian MIMO BC容量域 Weingarten, Steinberg和Shamai发现高斯MIMO BC容量域的证明不是简单的标量BC容量域推广，Bergmans所采用的熵功率不等式的经典方法不紧，难以推广到MIMO情况下。因此他们提出了增强信道的概念，首先证明退化增强矢量高斯BC信道的容量域必定包含原始的矢量高斯BC信道的容量。2008-7-28 11BUPT Information Theory & Technology Center一、网络信息论的发展历程 1.2 21世纪网络信息论的新进展 (2)
11、Gaussian MIMO BC容量域然后将其推广到非退化矢量BC信道条件下，对于DPC边界的每一点，都存在一个增强矢量BC信道，可以用切线区分DPC可达与不可达区域的点集。在DPC区域外的每一点也必定位于增强退化矢量BC信道容量域外，而后者的容量域包含原始矢量BC信道的容量域，因此证明了DPC区域就是高斯MIMO BC容量域，这是一个重大的进展。图2. 证明思路2008-7-28 12BUPT Information Theory & Technology Center一、网络信息论的发展历程 1.2 21世纪网络信息论的新进展 (3)MIMO X与Interference Alignmen
12、t Jafar和Shamai提出的MIMO-X信道是一种新的通信链路模型，它包含了MAC信道（多址接入信道）、BC信道（广播信道）和MIC信道（MIMO干扰信道），其模型图如下1T2T2R1R11W21W12W22W22H11H12H21H模型中：包含两个发射机和两个接收机每个发射机、接收机装备M根天线每个发射机发送独立的信息到每个接收机图3. MIMO X信道模型2008-7-28 13BUPT Information Theory & Technology Center一、网络信息论的发展历程 1.2 21世纪网络信息论的新进展 (3)MIMO X与Interference Alignme
13、nt发射机1的期望信号发射机2的期望信号发射机1的干扰信号发射机2的干扰信号假定每个发射机和接收机都已知全局信道信息，此时该MIMO-X信道可以达到4M/3的信道容量。MIMO-X联合处理中的关键技术为Interference Alignment，使用该技术，可以把同一接收机接收到的来自两个发射机的干扰信号空间进行相应重排，从而减少干扰占用的空间。图4. 干扰对齐2008-7-28 14BUPT Information Theory & Technology Center二、网络信息论面临挑战网络信息论的文献中，很大一部分关注容量域的推导与逼近容量域的编码方法。但是这些容量域求解问题提出了四方
14、面的挑战： 1. 缺乏系统的容量域分析方法到目前为止，容量域分析都是针对简单网络模型进行，即使如此，也往往需要发明新的分析技术，建模与求解非常困难。并且更重要的是，缺乏统一的分析方法，没有系统的分析工具。2008-7-28 15BUPT Information Theory & Technology Center二、网络信息论面临挑战 2.可求解容量域难以实用即使可以求解的容量域问题，也都是极端困难的最优化问题，对于不同的容量域问题，优化方法不同。甚至对于简单的信源分布与信道转移模型，其最优问题的数值解计算都非常困难。 3.难以推广到复杂网络场景再者，即使我们能够得到简单网络模型的容量域，也难
15、以将其推广到复杂网络场景。2008-7-28 16BUPT Information Theory & Technology Center二、网络信息论面临挑战 3.难以推广到复杂网络场景图5. 因特网增长规模与网络信息论的分析能力比较由图可知，因特网节点规模呈指数增长，已经达到十亿量级，但网络信息论的分析能力仍然局限于3个节点以下，远远不能满足应用的需求2008-7-28 17BUPT Information Theory & Technology Center二、网络信息论面临挑战 4.最优编码设计次优性能经典信息论指出信源与信道编码独立优化能达到联合优化的目标，但在通信网络中，上述分离优化
16、定理往往不能成立。例如 () ()()()()() 21212 1212 1 2(, ) 0,1, 1/ 3, , 0,0 , 0,1 , 1,1 , 1,0 0, 0,1 , 0,1,2UUpu u u u pMACXX Y X X= =+给定信源对，概率分布函数在信道中传输给定信源数据，令信道输入为而信道输出2008-7-28 18BUPT Information Theory & Technology Center二、网络信息论面临挑战 4.最优编码设计次优性能图6. SW与MAC容量域比较如图所示，对于给定的信源信道分布，SW区域与MAC容量域没有交集，因此即使独立优化，采用最优信源编
17、码和信道编码，仍然不能保证信息的可靠传输。2008-7-28 19BUPT Information Theory & Technology Center二、网络信息论面临挑战上述分析表明，以容量域分析与研究逼近容量域的编码技术为核心的网络信息论未必能够满足通信网络、信息网络的实际需求。单纯追求容量域分析与最优化逼近在小规模网络可能有其意义，但在大规模网络下，难以推广，难以对实际的通信网络设计起到指导作用。2008-7-28 20BUPT Information Theory & Technology Center三、信息网络的新型特征通信网络，或者更广义的信息网络具有不同于简单网络模型的新型特
18、征，可以总结为两个方面： (1)网络拓扑的复杂性大尺度的通信网络、信息网络具有复杂网络特征，简单的BC/MAC/Relay/Two Way等模型难以涵盖。 (2)网络行为的分布性信息网络本身具有优化能力，通过分布式交互与处理，能够达到网络效用函数的最大化。 (3)信息处理的广义性网络中信息的传递并非只是狭义的编、译码，还可以具有更广义的处理方法与目标。2008-7-28 21BUPT Information Theory & Technology Center三、信息网络的新型特征 (1)网络拓扑的复杂性移动通信网络、Internet网络都是复杂网络，典型特性就是具有小世界(Small Wor
19、ld)、无尺度(Scale Free)特性。所谓小世界是指实际网络中任意两节点之间的路径长度平均值很小。60年代，社会学学者曾经做过一个实验，发现两个陌生人之间平均经过6个人传递，就可以建立相互联系。陌生人见面，常常会谈到都认识的某些人，发出世界真小的感叹，这就是“小世界”名称的由来。所谓无尺度是指不同领域的研究者发现，很多网络都是由少数一些具有众多连结的节点所支配的，包括万维网、细胞代谢系统，以及好莱坞的演员网络在内。包含这种重要节点(或称集散节点)的网络，我们通常称之为“无尺度”(Scale Free)网络。在无尺度网络中，有些集散节点甚至具有数不清的连结，而且不存在代表性的节点。这种网络
20、还具有可预期的行为特性：例如对意外故障具有惊人的承受力，但面对协同式攻击时则很脆弱。2008-7-28 22BUPT Information Theory & Technology Center图7. 小世界网络模型小世界网络是介于规则网络和完全随机网络之间的网络，它有接近规则的网络结构，实际的复杂网络往往具有小世界特性。三、信息网络的新型特征2008-7-28 23BUPT Information Theory & Technology Center图8. 无尺度网络如图，复杂网络的节点出现概率与节点度数成幂次函数关系。高连通度的节点虽然出现概率低，但并非为0。三、信息网络的新型特征2008
21、-7-28 24BUPT Information Theory & Technology Center如图所示，因特网是一个无尺度网络，其中某些站点几乎与无数的其他站点相连结(参见图中的星爆形结构细节)。本图绘制于2003年2月6日，描绘了从某一测试站点到其他约10万个站点的最短连结路径。图中以相同的颜色来表示相类似的站点。三、信息网络的新型特征图9. 因特网连接路径2008-7-28 25BUPT Information Theory & Technology Center信息网络具有的复杂网络特征，是大尺度网络特性，传统网络信息论所研究的简单模型，如BC/MAC/Relay/Two way
22、等都只能够反映网络的小尺度特征，在实际网络与理论模型直接存在巨大鸿沟。信息网络往往还具有动力学特征，确定的网络拓扑结构可能表现出不确定的网络行为，这也是网络信息论无法建模描述的。因此，信息网络的研究需要考虑网络的整体行为，突破目前网络信息论的局域性分析的桎梏。三、信息网络的新型特征2008-7-28 26BUPT Information Theory & Technology Center三、信息网络的新型特征 (2)网络行为的分布性信息网络的行为具有分布特性，最近Chiang、Low和Calderbank发表了一篇标志性论文“Layering as optimization decompos
23、ition: a mathematical theory of network architectures,” Proceedings of the IEEE Vol. 95, No. 1, pp. 255-312, Jan. 2007.他们指出整个通信网络都可以看作一个优化器，通过分层处理，能够实现网络效用函数的分解与优化。信息网络的这种分布式行为与其复杂网络的结构密切相关，没有一个网络节点具有集中控制的能力，通过节点之间的分布式交互，能够实现网络的自配置、自学习与自优化。2008-7-28 27BUPT Information Theory & Technology Center三、信息网
24、络的新型特征 (3)信息处理的广义性传统观点认为，网络中信息传输的唯一目标就是准确可靠的对发送消息进行译码。衡量网络性能的主要指标是网络容量。但实际上，很多情况下，网络中的节点并非关注发送消息的全部属性，可能只关注这些消息特定属性。例如，一个消息是属于还是不属于某个集合，一个消息的变换是否正确还是错误等。广义而言，网络节点并不只是为了译码消息，往往只是辨识特定消息。2008-7-28 28BUPT Information Theory & Technology Center四、信息网络理论的进展 4.1 网络容量域的近似计算 4.2 复杂网络的信源编码技术 4.3 广义信息变换理论(GTIT)
25、与功能编码 4.4 分布式处理技术2008-7-28 29BUPT Information Theory & Technology Center四、信息网络理论的进展 4.1 网络容量域的近似计算在实际网络模型中，存在多种信源，它们的记忆结构复杂，并且难以获得精确的概率分布，因此，即使已知容量域也难以计算。甚至对于大多数网络而言，精确的容量域根本就不存在。多年来网络信息论所追求的研究目标可能需要转变，从精确的理论计算转向实用化的近似计算，适应网络规模与网络结构的变化，通过统一的近似计算方法，获得实际的信源和网络结构组合下的近似容量域。2008-7-28 30BUPT Information Theory & Technology Center四、信息网络理论的进展 4.1 网络容量域的近似计算容量域近似算法已经有一些进展，多数都是基于迭代计算思想，逼近可行容量域。近似算法所得到的结果，不一定达到理论最优，但其容量域是充分好的。这样近似算法不仅能够估计容量域的可行范围，而且能够在精确容量域未知的条件下，指导编码的优化设计。
