1、关于信息论的一点认识摘要：对于信息论中的一些概念的理解，将其与现实生活中的例子相结合，讲述人在认知过程中的信息论知识的应用以及信息论目前的应用方面。关键字：信息论、应用、认知、冗余、熵.1. 信息论的介绍1948 年美国博士香农的著名论文通信的数学理论的发表，标志着信息论的诞生。它是一门应用概率论、随机过程和数理统计等方法研究信息存储、传输和处理中一般规律的学科。随着它在各个领域的应用和推广，也成为现代教育科学的重要理论基础 1。香农信息论主要是通信的信息理论，但提出的“信息就是不确定性的消除”这一基本论点，不仅适用于描述通信的过程，也适用于描述认知的过程。因为人类每次认知的结果，都是对于外界
2、事物信息的不确定性的减少或完全消除。透彻的说，通信也属于一种间接的认知，即将一些人的知识传给另一些人，使之认知 2。2. 认知过程中的信息论通信过程中信息的传达和人类的认知有着密不可分的联系。信息熵是单消息信源非平均自信息量的概率统计平均值，是表征信源本身统计特性的一个物理量，它是信源平均不确定性的度量，是从整体的统计特性上对信源的一个客观的描述。信息量则是一般针对接受者而言的，是相对的，是指接收者从信源所获得的信息的度量。若通信传输中无干扰，则接收者所获得的信息量在数量上就等于信源的信息熵，但两者在概念上是有区别的。有干扰时不仅概念上有区别，而且在数量上也不相等。信息熵也可以理解为信源输出的
3、信息量。然而，通常所指的信息量则是指接收者所获得的信息，也就是互信息。就如同我们听英语材料，由于我们英文水平限制或者录音中有杂音干扰，我们并不能完全得知材料中所说的每个细节。此时录音就是信源，它所录的材料就是信息熵，而我们得到的则是互信息，是信息熵的一部分。人在认知某种事物的时候往往采取的并不是单一的手段，可以听别人讲，可以查阅资料，也可以亲身做实验，最后从各个角度得到该事物所包含的信息。这说明信息的载体可以有很多形式，就如同聋哑人，虽然不能说话和听到声音，但他们还是可以靠手语和文字来与他人交流。冗余度定义为表征信源信息率多余程度的一个物理量，描述的是信源的相对剩余，即在信源中多余分量所占的比
4、重与百分比。对于通信来说，冗余似乎不是一个好的事物，所以我们要进行编码进行压缩，以最小的代价让信宿获得最多的信息，当然，这要建立在信宿能够成功处理这些信息的基础上。而在人的认知过程中适当的冗余度是非常必要的。小学里老师向小学生讲授知识的过程可以看做是一个信息传递的过程，一节课中老师所讲的话里包含的知识的多少可以看做是信息量。由于小学生的知识水平和理解力有限，倘若老师所说的话里包含的全部都是新的知识、新的事物，完全没有一点冗余的话，信息量固然是达到了最大，但小学生肯定无法完全接受，可以看做信宿处理信息的能力有限，所以小学老师经常采取类比、比喻等方法来讲解新的知识，便于小学生接受。如果冗余度太高的
5、话，又无法突出主题。因此，可以看出，适当的冗余对于人的认知是有好处的。3.信息论的应用（1）信息论在数据压缩理论中的应用。香农指出，任何信息都有冗余，冗余大小和信息中每个符号的出现概率或者说不确定性有关。香农把信息中排除了冗余后的平均信息量称为信息熵，并给出了计算信息熵的数学表达式，这为数据压缩奠定了理论基础。数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达
6、到具有实用意义的标准。（2）信息论在密码学中的应用。密码学的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。（3）信息论在信号处理中的应用。信号处理包括数据、影象、语声或其他的信号的处理，从信息论的观点看，信号则是观察客观事物表达其相应信息的技术手段，也就是特定信息的载体。信息是通过信号来表达的，对信息的加工和处理，也就是信号的加工和处理 3。所有处理过程无非是信源编码，变换，过滤或决策过程，其实变换也是一种编码过程。这些过程中的大部分的信息论基础是信息率失真理论。参考文献1张江鑫 ,马福萍.信息概念对课堂教学的启示J.中国现代教育装备,2011,(5):154P.2卢侃 .从 shannon 信息论到认知信息论J.哈尔滨工程大学学报,2011,(8):1063P.3张姗姗 .信息论的应用J. 大众科技,2011,(7):45P.
