1、 题 目： 最大熵原理及其应用 姓 名： 学 院： 专 业： 信息与计算科学专业 班 级： 学 号： 20114968 指导教师： 2014 年 7 月 14 日目 录摘要： .1Abstract： 2引言 .31 概述 .41.1 信息与信息论 41.2 发展过程 42 信息熵的概念 .53 最大熵原理 .64 最大熵原理的合理性 .94.1 应用最大熵准则构造先验概率分布的优点 .94.2 对最大熵原理提出两个主要疑问 .104.2.1 关于最大熵原理所得解的客观性 104.2.2 如何理解被最大熵原理排除的其他满足约束条件的解 105 最大熵模型 105.1 最大熵模型概述 .105.2
2、 条件最大熵 .116 最大熵原理及其在杂波仿真中的应用 .126.1 最大熵方法求解杂波幅度概率密度函数 .126.2 随机数的产生 136.3 仿真实例分析 147 结论 .17参考文献 .180最大熵原理及其应用摘要：本文从信息熵的概念出发论述了信息熵的概念，最大熵原理，最大熵原理合理性，最大熵模型及其应用等。通过分析最大熵的两个具体模型，然后在具体例子当中应用最大熵原理，展示该原理的适用场合，以期对最大熵原理及其应用有更深刻的理解。熵是源于物理学的基本概念，后来 Shannon 在信息论中引入了信息熵的概念，它在统计物理中的成功使人们对熵的理论和应用有了广泛和高度的重视。最大熵原理是一
3、种在实际问题中已得到广泛应用的信息论方法。最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。关键词：信息熵；最大熵原理；应用The maximum entropy principle and its application1Abstract: This article from the concept of information entropy on the basis of the concept of information entropy, the princi
4、ple of maximum entropy, maximum entropy principle of rationality, the maximum entropy model and its application. Through the analysis of two specific models of maximum entropy, and the application of the maximum entropy principle in the concrete example, show the applicability of this theory, in ord
5、er to have a more profound understanding of the principle of maximum entropy and its application. Entropy is a basic concept in physicsconcept source, later Shannon introduced information entropy in information theory, it in statistical physics success made the theory and application ofentropy has b
6、een widely and attention. The principle of maximum entropy is ahave been widely applied in the practical problems in the method of information theory. The maximum entropy principle, when we need to predict the probability distribution of a random event, our forecasts should meet all conditions known
7、 tounknown, and dont make any subjective assumptions. In this case, the uniformprobability distribution, the minimum risk prediction. Keywords: information entropy; maximum entropy principle; application引言最大熵原理在 1957 年由 E.T.Jaynes 提出的，主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。因为在这种情况下，符合已知2知识的概率分布
8、可能不止一个。熵定义的实际上是一个随机变量的不确定性，熵最大时，表示随机变量最不确定，也就是随机变量最随机，对其行为做准确预测最困难。最大熵原理的实质就是，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是我们可以作出的唯一不偏不倚的选择，任何其它的选择都意味着我们增加了其它的约束和假设，这些约束和假设根据我们掌握的信息无法作出。信息论研究发现利用信息熵最大再附加上一些约束，就可以得到例如著名的统计学中的高斯分布（即正态分布） 。这件事提示我们高斯分布又多了一种论证的方法，也提示了把信息熵最大化是认识客观事物的规律性的新角度。信息论一般指的是香农信息论
9、，主要研究在信息可以度量的前提下如何有效地、可靠地、安全地传递信息，涉及消息的信息量、消息的传输以及编码问题。1948 年 C.E.Shannon 为解决通信工程中不确定信息的编码和传输问题创立信息论，提出信息的统计定义和信息熵、互信息概念，解决了信息的不确定性度量问题，并在此基础上对信息论的一系列理论和方法进行了严格的推导和证明，使以信息论为基础的通信工程获得了巨大的发展。信息论从它诞生的那时起就吸引了众多领域学者的注意，他们竞相应用信息论的概念和方法去理解和解决本领域中的问题。近年来，以不确定性信息为研究对象的信息论理论和方法在众多领域得到了广泛应用，并取得了许多重要的研究成果。迄今为止，
10、较为成熟的研究成果有：E.T.Jaynes 在 1957 年提出的最大熵原理的理论；S.K.Kullback 在 1959 年首次提出后又为J.S.Shore 等人在 1980 年后发展了的鉴别信息及最小鉴别信息原理的理论；A.N.Kolmogorov 在 1956 年提出的关于信息量度定义的三种方法概率法，组合法，计算法；A.N.Kolmogorov 在 1968 年阐明并为 J.Chaitin 在 1987 年系统发展了的关于算法信息的理论。这些成果大大丰富了信息理论的概念、方法和应用范围。在信息论中，最大熵的含义是最大的不确定性，它解决的一大类问题是在先验知识不充分的条件下进行决策或推断
11、等。熵方法在谱估计、图象滤波、图象重建、天文信号处理、专家系统等中都有广泛的应用。最大熵原理在实际问题中的应用近年来一直在不断地发展。1 概述1.1 信息与信息论信息一词由来已久，古代人讲的信息泛指音讯和消息。到了近代，信息又被用作英语中information 的译名，information 在英语中来自词根 inform（通知） ，指被告知的事实或知识。实地上，信息这一概念是在人类社会互通情报的实践过程中产生的，它所涉及的范围非常广，3比如语言信息、生物遗传信息、经济信息、管理信息。这些信息的研究涉及到语言学、生物遗传学、社会经济学、管理科学等更广泛的学科领域乃至许多边缘学科领域。1948
12、年 贝 尔 研 究 所 的 Shannon 在 题 为 通 讯 的 数 学 理 论 的 论 文 中 比 较 系 统 地 提出 了 关 于 信 息 的 论 述 ， 创 立 了 信 息 论 。 目 前 ， 人 们 已 把 早 先 建 立 的 有 关 信 息 的 规 律 与 理论 广 泛 应 用 到 物 理 学 、 化 学 、 生 物 学 等 学 科 中 去 。 一 门 研 究 信 息 的 产 生 、 获 取 、 变 换 、传 输 、 存 储 、 处 理 、 显 示 、 识 别 和 利 用 的 信 息 科 学 正 在 形 成 。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法
13、 1。信息论是一门应用概率论、随机过程、数理统计和高等代数的方法来研究信息传输、提取和处理系统中一般规律的学科；它的主要目的是提高信息系统的可靠性、有效性、保密性和认证性，以便达到系统最优化；它的主要内容包括香农理论、编码理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论和密码学理论。信息理论的应用领域是十分广泛的，也是非常重要的，我们所知道的多是在通讯方面的应用，这是因为香农等人的工作开拓了这方面的广泛而深入的应用。实际上，任一科学技术领域都离不开信息的基本知识和基本概念的。1.2 发展过程：早期的信息论其中心任务就是从理论上认识一个通信的设备（手段）的通信能力应当如何去计量以
14、及分析该通信能力的规律性。但是信息论研究很快就发现利用信息熵最大再附加上一些约束，就可以得到例如著名的统计学中的高斯分布（即正态分布） 。这件事提示我们高斯分布又多了一种论证的方法，也提示了把信息熵最大化是认识客观事物的规律性的新角度。把熵最大（对应我们的复杂程度最大）做为一种原则或者方法应用于各个科技领域的旗手是杰尼斯 E.T.Jaynes 。他从1957年就在这个方向做了开创性的工作。他给出了利用最大熵方法定量求解问题的一般技术途径；论证了统计力学中的一些著名的分布函数从信息熵最大的角度也可以得到证明。这不仅使信息论知识与统计物理知识实现了连通，也使熵概念和熵原理走出了热力学的领域。20世
15、纪60年代 Burg 在时间序列的分析中提出了用信息熵最大求频谱的技术。用这种方法得到的谱的准确性比过去的方法好，人们把它称为最大熵谱。80年代这个方法在我国也得到了广泛应用。40多年以来，尽管“利用最大熵的方法解决科技问题”在信息论的理论中不是主流，但是利用信息熵最大帮助解决很多科技问题已经形成了独立的一股学术和技术力量，4而且是硕果累累了。80年代以来在美国等地每年都召开一次讨论最大熵方法应用的学术会议，并且有一册会议文集出版。这成为他们的重要学术活动形式。前段时间，Google 中国研究院的刘骏总监谈到在网络搜索排名中，用到的信息有上百种。更普遍地讲，在自然语言处理中，我们常常知道各种各
16、样的但是又不完全确定的信息，我们要用一个统一的模型将这些信息综合起来。如何综合得好，是一门很大的学问。让我们看一个拼音转汉字的简单的例子。假如输入的拼音是“wang-xiao-bo“，利用语言模型，根据有限的上下文(比如前两个词)，我们能给出两个最常见的名字“王小波”和“王晓波” 。至于要唯一确定是哪个名字就难了，即使利用较长的上下文也做不到。当然，我们知道如果通篇文章是介绍文学的，作家王小波的可能性就较大；而在讨论两岸关系时，台湾学者王晓波的可能性会较大。在上面的例子中，我们只需要综合两类不同的信息，即主题信息和上下文信息。虽然有不少凑合的办法，比如：分成成千上万种的不同的主题单独处理，或者
17、对每种信息的作用加权平均等等，但都不能准确而圆满地解决问题，这样好比以前我们谈到的行星运动模型中的小圆套大圆打补丁的方法。在很多应用中，我们需要综合几十甚至上百种不同的信息，这种小圆套大圆的方法显然行不通。2 信息熵的概念信息熵是将熵概念成功地扩展到信息科学领域。熵是描述客观事物无序性的参数，它最早是由 R.Clausius 于 1865 年引入热力学中的一个物理概念，通常称之为热力学熵。后来L.Boltzmann 赋予熵统计意义上的解释，称之为统计热力学熵。1929 年，匈牙利科学家Lszilard 首先提出了熵与信息不确定性的关系，使信息科学引用熵的概念成为可能。1948年，贝尔实验室的
18、CShannon 创立了信息论，熵的概念有了新的解释，香农认为信息是人们对事物了解的不确定性的消除或减少 ，他把通讯过程中信源讯号的平均信息量称为信息熵，现在一般称之为香农熵，实现了信息熵的实际应用，从此对信息熵的研究，随着信息科学的发展而得到不断的发展。香农将随机变量 X 的信息熵定义为： )(XHnNnplog1式中， 为 的概率分布， n=1,2，N；当对数底数取 2 时，信息熵的单位为npnx5bit/sign；取自然对数时，单位为 nat/sign；取常用对数时，单位为 hart/sign。它代表了信源输出后每个消息所提供的平均信息量，或信源输出前的平均不确定度。信息熵的定义使随机变
19、量的不确定性得到了量度，使信息论得到了空前的发展。而且，信息熵具有的凸函数性质使得它特别适合作为优化问题中的目标函数，这同时也为信息论概念和方法在除通信领域以外的其他领域内的应用提供了理论基础，拓宽了信息论的应用范围。3 最大熵原理香农提出的信息熵的概念很好地解决了随机事件的不确定性程度的度量问题，但没有解决随机事件的概率是如何进行分配的问题。设想有一个可观测的概率过程，其中的随机变量取离散值 ， ， ，如果从观测的结果知道了这个随机变量的均值、方差等特征值，x1x2nx怎样才能确定它取各离散值的概率 ， ， 呢？一般地，满足可观测值的概率分配，1P2n可以有无限多组。那么究竟应当选哪一组呢？
20、即在什么意义下，所选出的一组概率才是最可能接近实际的呢？在项目决策实际中，有些随机事件不能直接计算其概率，也无法知道其频率，通常只能取得与该随机事件(或随机变量)有关的一个或几个平均值，从理论上讲，对于给定的随机变量，如何获取最为合适的一个分布呢？1957 年，E.T.Jaynes 在“信息论与统计力学”一文中，提出一个选择准则：“当根据部分信息进行推理时，必须选择这样一组概率分配，它应具有最大的熵，并服从一切已知的信息。这是我们能够做出的唯一的无偏分配；使用任何其它分配，就等于对原来没有信息做了随意假定” 。换言之，在只掌握部分信息的情况下要对分布做出推断时，符合已知信息的概率分布可能不止一
21、个，而我们应该选取符合约束条件但熵值取最大的概率分布，这是我们可以做出的唯一的不偏不倚的选择，任何其他的选择都意味着我们添加了其他的约束或假设，这些约束或假设根据我们所掌握的信息是无法做出的。E.T.Jaynes 建立的这一统计推理准则，被称为最大熵原理，或者极大熵准则。它为我们如何从满足约束条件的诸多相容分布中，挑选“最佳” 、 “最合理”的分布提供了一个选择标准。尽管这个准则在性质上也有主观的一面，但却是一个最“客观”的主观准则。因为，我们知道，熵定义的实际上是一个随机变量的不确定性，熵最大的时候，说明随机变量最不确定，换句话说，也就是随机变量最随机，对其行为做准确预测最困难。熵值最大意味
22、着添加的约束和假设最少，这时求出的分布是最自然、偏差最小的。6在信息论中，信息是对于事件随机性的一种描述，一个事件所包含的信息量与该事件出现的概率有关，两者之间的关系有如下定义：()log()Ixpx（1）公式（1）中 表示时间 x 发生的概率，是介于 0 和 1 之间的数。由公式可以()px看出，事件发生的概率越大，所包含的信息量就越小，当事件发生的概率为 1即确知该事件会发生时，它所包含的信息量为 0，对于确知事件，不再有研究意义。对于通信系统的信号在信道的传输问题，信源可能产生 个不同的消息n，各自对应于不同的事件，并且产生每个消息的概率不同，假设每个消息0121,nx产生的概率为 ，因
23、此根据公式（ 1）可以得到每个消息包含的信息量。而由于信源是i ()ipx按照不同的概率来产生这些消息的，因此从信源的角度综合考虑发送信号所包含的总的信息量，则有信源的平均信息量 ，定义如下：()Hx10()log()niiipxA（2）该信源的平均信息量通常也称为信源的熵，可以理解为信源的平均不确定度。在很多情况下，对一些随机事件，我们并不了解其概率分布，所掌握的只是与随机事件有关的一个或几个随机变量的平均值。按最大信息熵原理，如果我们从全部相容的分布中挑选这样的分布，它是在某些约束条件下（通常是给定的某些随机变量的平均值）使信息熵达到极大值的分布，这是因为信息熵取得极大值时对应的一组概率分
24、布出现的概率占绝对优势。可以看出，在给定的等式和不等式约束条件下，由最大信息熵原理求消息发生的“最佳”概率分布，就是一个求解条件极值的最优化问题，可表示如下：10max()()log()(),1)niiiiiHpxxnA热力学统计物理中有熵增加原理，在信息论中也有对应的关于信息熵的著名定理最大信息熵原理。在很多情况下，对一些随机事件，我们并不了解其概率分布，所掌握的只是与随机事件有关的一个或几个随机变量的平均值。例如，我们只知道一个班的学生 考试成绩有三个分7数档：80 分、90 分、100 分，且已知平均成绩为 90 分。显然在这种情况下，三种分数档的概率分布并不是唯一的。因为在下列已知条件
25、限 制下（平均成绩）（概率归一化条件）有无限多组解，该选哪一组解呢？即如何从这些相容的分布中挑选出“最佳的” 、 “最合理”的分布来呢？这个挑选标准就是最大信息熵原理。按最大信息熵原理，我们从全部相容的分布中挑选这样的分布，它是在某些约束条件下（通常是给定的某些随机变量的平均值）使信息熵达到极大值的分布。这一原理是由杨乃斯提出的。这是因为信息熵取得极大值时对应的一组概率分布出现的概率占绝对优势。从理论上可以证明这一点。在我们把熵看作是计量不确定程度的最合适的标尺时，我们就基本已经认可在给定约束下选择不确定程度最大的那种分布作为随机变量的分布。因为这种随机分布是最为随机的，是主观成分最少，把不确
26、定的东西作最大估计的分布。 任何物质系统除了都受到或多或少的外部约束外，其内部总是具有一定的自由度，这种自由度导致系统内的各元素处于不同的状态。而状态的多样性，状态的 丰富程度（混乱程度、复杂程度）的定量计量标尺就是熵，熵最大就是事物状态的丰富程度自动达到最大值。换句话说，事物总是在约束下争取（或呈现）最大的自 由权，我们把这看作是自然界的根本原则。在给定的约束条件下，由最大信息熵原理求“最佳”概率分布，就是求解条件极值问题。在某些场合，常用拉格朗日乘子法来确定此分布。一般地，拉格朗日乘子法的法则可叙述如下：欲求 n 元函数 f（ x1， x2， ， xn）在 m 个 约束条件下的条件极值，可
27、用常数 1，依次乘 f， 把结果加起来，得函数然后列出 无约束条件时具有极值的必要条件 8这 n 个方程（7）与 m 个方程（6）联立解出 n+m 个未知数 x1，x 2，x n ， 。而其中x1， x2， xn就是可能为极值点的坐标，称为驻点。 从信息论中发展起来的最大信息熵原理，使人们开始把统计物理看成是信息论的特例。这使我们看到熵概念的强大生命力，也看到了熵概念和熵原理的重大意义。 最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。 （不做主 观假设这点很重要。）在这种情况下，概率分布最均匀，预测的风险最小。
28、因为这时概率分布的信息熵最大，所以人们称这种模型叫“最大熵模型” 。我们常说，不 要把所有的鸡蛋放在一个篮子里，其实就是最大熵原理的一个朴素的说法，因为当我们遇到不确定性时，就要保留各种可能性4 最大熵原理的合理性最大熵方法对于构造概率密度函数来说，是一种有价值的方法。按照极大熵准则，人们应该挑选在一定约束下(常常是某些与随机变量有关的平均值)使得熵(或条件熵)能极大化的那种分布作为选定的分布。使用这个准则，先验信息(已知数据)将构成求极值的问题的约束条件。由最大熵准则得到的概率分布称为最大熵分布。4.1 应用最大熵准则构造先验概率分布的优点4.1.1 最大熵的解是最超然的，即在数据不充分的情
29、况下求解，解必须和己知的数据相吻合，而又必须对未知的部分做出最少的假定；4.1.2 根据熵集中原理，绝大部分可能状态都集中在最大熵状态附近，因此，用最大熵法所做出的预测是相当准确的；4.1.3 用最大熵法求得的解满足一致性要求不确定性的测度(熵)与试验步骤无关。最大熵方法的这一宝贵性质来源于推导熵函数的合成法则。用最大熵准则设立先验分布的理论根据由 S.A. Smith 从数学上进行了证明，其思路是9把随机性决策问题作为对策问题看待，即自然界选择一状态的分布使期望损失极大，而决策人选择一决策使此期望损失为极小，推导出在损失函数的集为适合特定条件的理想集的情况，这个极小化极大解的确能导致一概率分
30、布适合最大熵准则。4.2 对最大熵原理提出两个主要疑问4.2.1 关于最大熵原理所得解的客观性引起这一疑问的原因要追溯到香农对熵的定义和解释。在那里，香农是从通信的角度提出和讨论熵和信息的，因此计算熵和信息时所用的概率分布带有一定的主观性。而最大熵原理是用于对客观物理系统的某种实际分布的估计，那么这样得到的估计是否也带有主观性呢？仔细分析最大熵原理所针对的问题，就可以知道在这一问题中，熵的确代表了人们对客观物理系统中某种物理量概率分布的无知程度，它带有主观性。然而，在最大熵原理下所给出的解却完全是一个客观的量，因为这一解只与一组数学期望值有关，而这组数学期望值是可以客观测量得到的，所以最大熵原
31、理给出的解完全是一个客观量，没有主观的因素。4.2.2 如何理解被最大熵原理排除的其他满足约束条件的解最大熵原理所给出的解是唯一的，而不适定问题原来的解不唯一，因此我们如何来理解适合约束条件的其他解，它们在实际情况下会不会是真正的解呢？有关研究结果已经证明，从概率的观点来看，熵值远离最大熵的可能解出现的机会非常小，或者从组合的观点来看，熵值远离最大熵的组合种类在所有可能的组合中所占的比例很小。因此，最大熵解是在给定信息下可能做出的最可靠的解，它在绝大多数情况下会接近于真实解，因而最大熵原理是一种保险的策略。5 最大熵模型5.1 最大熵模型概述：最大熵概念最早由Jaynes, 19574一文提出
32、，并且在Berger, et al. 19961一文中首次被应用在自然语言处理中。之后最大熵模型被广泛应用到各个自然语言处理的任务中，并在在原模型基础上在计算方面不断得到优化。最大熵模型的核心思想是遵循最大熵原理进行建模，即在满足约束的模型中选择熵最大的模型。作为一种可区分性模型，最大熵模型的优点之一是可融合多种特征于一个模型，并且可以直接对这些特征直接对后验进行建模。此外，最大熵模型的分布为指数族分布，具有良好的分析性质，对计算带来方便。105.2 条件最大熵很多自然语言处理可以看作为一个分类问题，而最大熵模型是一种可区分性模型，即直接对 p(y|x)进行建模。这里的 x 表示上下文，而 y
33、 表示分类。我们用 P 表示所有可能的分布，而最大熵模型得到的分布 p(y|x)只是 P 中的一个元素。给定一个概率分布，则熵的定义为：Hp=p（x）logp(x).正则化“熵”最初是热力学中的一个概念，上世纪 40 年代，香农首先在信息论中引入了信息熵的概念。信息熵用来表示不确定度的度量，不确定度越大，熵值越大。极限情况，当一个随机变量均匀分布时，熵值最大；完全确定时，熵值为 0第一次系统提出最大熵的原理的一般认为是 Jaynes，后来有人提出了相应的算法来估计对应的统计模型的参数。由于当时计算条件的限制，最大熵模型在人工智能和自然语言处理领域都没有得到广泛应用。上世纪90年代，IBM 的研
34、究员应用重新深入的研究了这个问题，系统地描述了条件最大熵的框架和实现算法，并在自然语言处理任务上取得了非常好的效果，引起了人们的重视。很快条件最大熵模型技术得到了广泛的传播，在自然语言处理的各个领域都取得了巨大的成功，在此基础上的一些深入研究工作也不断展开。最大熵模型已经成为近年来自然语言处理领域最成功的机器学习方法。假设我们的分类任务或者预测任务的类别为，而我们能够依据的上下文信息记为， 。我们希望对于不同的给定的上下文 x 条件下，统计模型能够给出判为不同类别 y 的概率值。因此，我们希望能够建立一种区分性的条件概率模型（注意，我们这里仍然用了的表示形式，但是此处的意义表示的是整个的概率分
35、布，也不再表示具体的实例） 。我们用来表示所有这种条件概率模型的集合，而我们期望得到的模型就是中的一种。所谓的条件最大熵模型，就是在中一定约束下条件熵最大的模型。所谓的约束，也就是我们已知的信息，可以认为我们希望模型在这些信息上能和训练数据匹配。而熵最大，则表明除约束外，我们不再做未知的假设。在条件最大熵模型中，约束是通过特征的形式来体现的。这里的特征和语音识别等领域的特征有所不同，它表示成和的函数的形式，表示了 x 的某种属性和 y 的共现情况。特征函数理论上可以取任何实数值（早期因为训练算法的原因只能取正值） ，在自然语言处理领域一般表示为0-1的指示函数的形式，采用最大似然方法训练出的最
36、大熵模型能够在训练数据上表现良好，但是不一定在未知数据上具有好的推广性。特别是出现在参数数量巨大而训练数据又不是很充足的情况下。一种解11决方案是设立一定数量的开发集，当在开发集上性能下降时停止训练。但是这并不是一个很好的策略，因为可能暂时的下降之后还会上升。6 最大熵原理及其在杂波仿真中的应用6.1 最大熵方法求解杂波幅度概率密度函数假设给定一组 )(kxE杂波的实测值，要求对杂波特性进行分析和 Monte Carlo 仿真。这就需要根据实测的有限数据来估计杂波的幅度特性和功率谱特性，通过上文所述内容可知，最大熵原理是解决此问题的有效途径。在此以幅度统计特性为例，说明最大熵方法求解幅度概率密
37、度函数的过程。由概率论与数理统计的知识可知，一个随机变量可以用其概率分布函数来表示，也可以由其各阶中心矩来确定。本文以样本中心矩来代替总体中心矩，理论依据是样本的中心矩 MK依概率收敛于变量 X 的 k 阶中心矩 )(kxE，当样本很大时，样本中心矩的观察值比较靠近变量的中心矩。假设杂波的幅度概率分布函数为 )(xf，按照最大熵原则，有:MAXdxffsR)(ln约束条件为:1)(dxfR其中，1)(dxfR为概率密度函数的性质，表示样本均值， iM表示第 i 阶样本中心矩， m为所使用的最高阶中心矩的阶数。采用拉格朗日乘数法，构造函数: miRiiRRR dxfuxuxfdxfdxfxfL
38、210 )()()(1()ln( 让L对 f 取微分，可得:dxuxfxdfRmi)()(ln)( 21012令0)(xdfL可得: 0)()(ln210imiuxxf从而可导出:)(exp()(010miiuxf现在问题转化为对拉格朗日乘子 ),.2i的求取。可得: dxuxeimiR)(p21从而解得: )(exp(ln210 dxuRimi在上式等号两边分别对 1和 ),.i 求导，可得:dxumii210R10 )( x (ep =R( x) i exp ( 0 + 1 x + i( x )i dx 10 i2结合以上三式，可得:= 10=Mi(i= 23 ， ，m) 10将解得的 )
39、,.210(mi 代入上式可求得 0，然后将所有 ),.210(mi 带入到上式中，即可得到最大熵方法求出的杂波幅度概率密度函数。6.2 随机数的产生杂波的Monte Carlo 仿真最终需要产生与实际问题发生概率要求相一致的随机数。实际上在计算机中并不能产生真正的随机数，而是伪随机数，即使这样，也不能提供任意概率分13布的伪随机数，通常采用的方法就是尽可能提高伪随机数的质量，使其接近真实的随机数。上节内容中讨论了基于最大熵原理的杂波幅度概率密度函数的求解，本节介绍给定概率分布的伪随机数的产生方法。目前各种计算机语言中大多都提供了较为成熟的能够产生在 )1,0( 区间内服从均匀分布的独立伪随机
40、数的函数，如MATLAB 中的rand 函数，加以简单的变换，可以产生在任意区间),(ba上均匀分布的独立伪随机数。在此基础上，可以通过各种变换及映射关系来得到服从任意概率分布的伪随机数，常用的方法有反函数法、变换法、舍选法、组合法。本文中采用的是舍选法，在此不做推导，只简要介绍过程。假设要生成概率密度函数为 )(xf 的伪随机数。1) 选择一个易于生成伪随机数的分布函数 )(xg，并生成伪随机数 1r。本文中选取的是在杂波采样中的上下限区间 ),1(u 上服从均匀分布的分布函数。2) 生成在区间 ),0( 上服从均匀分布的伪随机数 2r。3) 若r2c ,，则接受r1;否则返回步骤1)，重新
41、生成r 1，循环往复，直到生成满足需)(gf要的数据量。式中c 的选择应对所有可能的r1都满足c 1。)(rgf6.3 仿真实例分析本文将通过加拿大McMaster大学公布的IPIX 雷达杂波数据来对上述算法进行验证。以在多篇文献中被引为高海情实例的Hizip 数据文件为例进行研究，将数据导入MATLAB 中，数据文件中包含同相(I) 和正交(Q) 通道的数据，这些数据已经作了去平均值、方差归一化以及补偿相位不平衡的预处理。将其幅度作为对象进行研究。首先求得杂波样本的均值及各阶中心矩，本文中只列出了前5 项，得= 1174984，M2 = 0619413，M3 = 0691611，M4 = 2
42、307386，M5 = 6612145，样本最小值为l = 0014，最大值为u = 73823。输入计算机程序进行求解，当使用的最高阶样本中心矩不同时，求解出的拉格朗日乘子也不相同，如表1 所示。图1、图2、图3 分别为三阶、四阶和五阶中心矩约束条件下求得的概率密度曲线，钉状图为实测数据的概率密度估计值，可以发现作为约束条件的中心矩阶次越高，求出的概率密度曲线与实测数据越接近。经过试验发现，当约束条件中的中心矩阶次高于五阶时，概率密度函数曲线彼此非常接近，差别很小，为简便考虑，本文将前五阶中心矩约束条件下的概率14密度函数作为结果。图 1 三阶中心矩约束下的概率密度曲线采用舍选法产生满足上述
43、概率密度函数的伪随机数，数据长度与实测数据长度相同。图4 为前 1000个仿真数据的示意图，图5 中曲线为实测杂波数据的概率密度曲线，直方图为仿真数据的概率密度估计值，可以看出，在数据长度相同的情况下，二者吻合度非常好。图 2 四阶中心矩约束下的概率密度曲线图 3 五阶中心矩约束下的概率密度曲线15图 4 杂波仿真数据图 5 杂波仿真数据幅度分布图杂波是雷达信号检测与处理的固有环境，自雷达问世以来，杂波就一直吸引着雷达领域学者的注意。杂波的研究和仿真对于研究最佳检测理论、设计杂波抑制处理器、雷达信号模拟器等方面都有着重要的理论和应用价值。这里介绍了最大熵理论的思想，并以杂波的幅度统计特性为例，
44、讨论了在中心矩约束条件下，利用最大熵原理求解杂波的幅度概率密度函数，并介绍了利用舍选法生成具有指定概率密度函数的伪随机数的过程，最后，将McMaster 大学IPIX 雷达的一组实测杂波数据作为样本，对方法进行了验证，结果显示，仿真数据与实测数据吻合程度较高，有一定的应用意义。7 结论熵原本是分子热力学的一个概念，是对在分子随机运动下所处状态的一种数量描述，以后被引用到信息论，衡量从随机信号得到的信息量大小。早在 20 世纪著名物理学家爱因斯坦曾将熵理论的地位概述为：“熵理论，对于整个科学来说是第一法则。 ” 随着时间的推移，人们对熵理论认识也在不断深入。最大熵原理指出，当我们需要对一个随机事
45、件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。16（不做主观假设这点很重要。 ）在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模型叫“最大熵模型” 。我们常说，不要把所有的鸡蛋放在一个篮子里，其实就是最大熵原理的一个朴素的说法，因为当我们遇到不确定性时，就要保留各种可能性。 “最大熵模型”在实际中有着及其广泛的应用。参考文献:1周荫清信息理论基础（第3版） 北京：北京航空航天大学出版社，2006.2田宝玉工程信息论北京：北京邮电大学出版社，20043曹雪虹，张宗橙信息论与编码北京：清华大学出版社，20044陈运信息论与编码（第2版） 北京：电子工业出版社，20075李立萍，张明友信息论导引成都：电子科技大学出版社，2005176朱雪龙应用信息论基础北京：清华大学出版社，20007李建东，王永茂，胡林敏最大熵原理及其应用信息科学. 8石峰 莫忠息信息理论基础（第二版） 武汉：武汉大学出版社，2006.9傅祖芸. 信息论基础理论与应用M. 北京：电子工业出版社，2001.10冯利华，李凤全基于最大熵原理的灾害损失分析数学的实践与认识，2005.11常迥信息理论基础北京：清华大学出版社，1993.18
