1、香农与信息论1948 年，美国数学家香农发表了一篇著名的论文“通信的数学理论” ，建立了比较完整的、系统的信息理论，即信息论。这门科学大大促进了通信技术和信息技术的发展。因此，香农的贡献是很大的。首先，他提出了信息的形式化。香农认为，在通信中，要排除信息的语义，只考虑信息的形式因素。在通信中，如果接收端能够把发送端发出的信息从形式上复制出来，那么也就复制了信息的语义内容。例如，有三个句子：“信息是人类社会三大资源之一。 ”“(ab) 2=a22ab b 2。 ”“Z!12#5$7*XYZ”。第一句是正常的句子，第二句是代数公式，第三句是含义不清的字符串。这三个句子有明显差别，但它们都是信息。在
2、通信时，一旦把它们转变为电信号，那么这种差别就没有了，都是电信号。当接收端将电信号转换成原来形式时，语义就恢复了。所以，信息形式化后，就有可能用数学进行描述。第二，他提出了如图所示的通信系统模型。信源给出要传输的信息；编码器把信息转变为信号，使之能在信道中传输；解码器把信号变回信息传给信息的接受方，即信宿。通信系统模型目前的通信系统都基本采用了这个模型。例如，利用电话线上网时，计算机既是信源(发送信息时) 又是信宿( 经受信息时) ，而调制解调器的调制和解调部分分别是编码器和解码器。这个模型的不足之处是，没有考虑信宿对信源的反馈作用。不管信息接收者对收到的信息是否正确理解，信息接收者都会做出反
3、应。譬如打电话，一个人讲话时，另一个人总要答理，否则讲话人会以为电话线路断了。第三，他研究了信息与事件发生概率的关系，提出用比特(即二进制位) 来测度信息量。他认为，信息量的大小可以用被消除的不确定性的多少来表示。例如，把一个硬币往上抛，那么硬币掉地时其正面可能朝上，也可能朝下。这是不确定的，概率都是二分之一。因为朝上和朝下可以分别用 1 和 0 来表示，所以这个事件的信息量是一个比特。不难推算，如果一个事件能够分解为 n 个二中择一的问题，那么它的信息量是 n 个比特。第四，他提出了冗余信息的概念。他认为，没有提供独特信息的那部分数据是冗余的，因此可以删除。比如，若在英文单词中，每个字母 q
4、 后面总是有字母 u(注意这只是一种比方)，字母 u 就没有提供更多的信息，因此在信息的存储和传输环节中可以去掉它。现在，香农的这项研究被广泛用于音频和视频信息的压缩上。信息技术的发展与信息论、控制论和系统论“三论”的发展是密切相关的。信息论是研究信息及其传输的一般规律的学科；控制论是由美国数学家诺伯特维纳于 1948 年前后创立的，它是研究生物(包括人类 )和机器中的控制与通信的普遍原则和规律的学科；而系统论是由奥地利生物学家贝塔朗菲于 1945 年创导的，它是研究系统的一般模式、结构、性质和规律的学科。信息论是信息科学的一个分支，它是信息科学的理论基础之一。信源 编码器 信道 解码器 信宿信息 信号 信号 信息噪音
