1、 通信的数学理论 (A Mathematical Theory of Communication) C. E. SHANNON 引言 近来出现了许多以带宽换取信噪比的调制方法，比如 PCM和 PPM，它们的出现进一步激发了人们对广义通信 理论的兴趣。在奈奎斯特（Nyquist） 1 和哈特莱（Hartley） 2 发表的一些重要相关论文中，奠定了这一理论 的基础。本论文将扩展该理论，增加一些新的因素，具体来说，就是信道中噪声的影响、由于原始消息的统 计结构和最终信宿的本质而可能减省的内容。 通信的基本问题就是在一个地方复现在另一个地方选定的消息，这一复现可能是准确的，也可能是近似的。 这些消息
2、通常有特定的含义；也就是说，它们会根据某一系统，与特定的物理或概念实体关联在一起。通信 的语义与工程问题无关。重要的是：实际消息是从一个消息集合选出的。所设计的系统必须能够处理任意选 定的消息，而不是仅能处理实际选择的特定消息，因为在设计系统时，并不知道会实际选择哪条消息。 如果集合中的消息数目是有限的，而且选择每条消息的可能性相等，那就可以用这个消息数或者它的任意单 调函数，来度量从集合中选择一条消息所生成的信息量。正如哈特莱所指出的那样，最自然的选择就是对数 函数了。如果考虑消息统计信息的影响，如果消息的选取范围是连续的，那必须对其定义进行重要扩展，但 在所有情况下，我们使用的度量在实质上
3、都是对数函数。 对数度量之所以更为便利，其原因有多种： 1. 它在实践中更为有用。一些在工程上非常重要的参数，比如时间、带宽、延迟数，等等，往往与可能性 的数量的对数值呈线性关系。例如，增加一个继电器会使继电器的可能状态数加倍。如果对这一数目求 以 2 为底的对数，则增加一个继电器后，会使结果加 1。使时间加倍，会使可能消息数近似变为原来的 平方，而其对数则是加倍，诸如此类。 2. 它更接近于人类对正确度量的直观认知。这一点与第 1 个原因密切相关，因为人们在对实体进行直觉度 量时，通常是与公共标准进行线性比较。比如，人们认为，两张打孔卡存储信息的容量应当是一张打孔 卡的两倍，两个相同信道的信
4、息传输能力应当是一个信道的两倍。 1Nyquist, H., “Certain Factors Affecting Telegraph Speed,” Bell System Technical Journal, April 1924, p. 324; “Certain Topics in Telegraph Transmission Theory,” A.I.E.E. Trans., v. 47, April 1928, p. 617. 2Hartley, R. V. L., “Transmission of Information,” Bell System Technical Journal, July 1928, p. 535.
