1、I摘 要神 经 网 络 作 为 一 门 新 兴 的 信 息 处 理 科 学 ， 是 对 人 脑 若 干 基 本 特 性 的 抽 象 和 模 拟 。它 是 以 人 的 大 脑 工 作 模 式 为 基 础 ， 研 究 自 适 应 及 非 程 序 的 信 息 处 理 方 法 。 这 种 工 作 机制 的 特 点 表 现 为 通 过 网 络 中 大 量 神 经 元 的 作 用 来 体 现 自 身 的 处 理 功 能 ， 从 模 拟 人 脑 的结 构 和 单 个 神 经 元 功 能 出 发 ， 达 到 模 拟 人 脑 处 理 信 息 的 目 的 。目 前 ， 在 国 民 经 济 和 国 防 科 技 现
2、代 化 建 设 中 神 经 网 络 具 有 广 阔 的 应 用 领 域 和 发 展前 景 ， 其 应 用 领 域 主 要 表 现 在 信 息 领 域 、 自 动 化 领 域 、 工 程 领 域 和 经 济 领 域 等 。本 文 以 BP 神 经 网 络 作 为 研 究 对 象 。 研 究 的 内 容 主 要 有 ： 首 先 介 绍 了 神 经 网 络 的概 念 、 控 制 结 构 ， 学 习 方 式 等 。 其 次 ， 介 绍 了 人 工 神 经 元 模 型 ， 并 对 BP 神 经 网 络的 基 本 原 理 及 推 导 过 程 进 行 详 细 阐 述 。 再 次 将 BP 神 经 网 络 的
3、 算 法 应 用 于 PID 中 ，介 绍 了 基 于 BP 神 经 网 络 PID 整 定 原 理 和 算 法 步 骤 。 最 后 利 用 MATLAB/Simulink 对BP 神经网络 PID 控制系统进行仿真，得出 BP 神经网络的控制效果明显好，它具有很强的自整定，自适应功能。关 键 词 ： BP 算 法 ， PID 控 制 ， 自 整 定IIABSTRACTAs a kind of emerging information processing science， the neural network can simulate some basic characteristic of
4、 human brain. It is an information-processed method which takes persons cerebrum working pattern as a foundation and studies the model of adaptive and non- program. The characteristics of this kind of work mechanism are that it can show its processing function through the massive neurons function in
5、 the network. Then, it starts with simulating the human brain structure and the single neuron function to achieve the goal that simulates the human brain to process information.Nowadays, the neural network has wide application fields and prospects in the national economy and modernization of nationa
6、l defense science. It mainly applies in information, automation, economical and so on.This article takes the BP neural network as the research object. The content of the research mainly contain: firstly, it introduces the concept of neural network, control structure and mode of study and so on. Seco
7、ndly, it introduces the artificial neuron model, the basic principles of BP neural network and the derivation process in detail. Then, it applies BP neural network in the PID, and introduces the tuning principles of PID based the BP neural network and steps of the algorithm. Finally, Matlab/Simulink
8、 is used to simulate the BP neural network PID control system. In the consequence, the performance of BP neutral network control significantly good. BP neural network control system has a strong self-tuning, adaptive function.KEY WORDS: BP algorithm, PID control, self-tuning1目 录摘 要 .IABSTRACT.II第 1
9、章 绪论 .21.1 选题背景和意义 21.2 神经网络技术国内外发展现状 3第 2 章 神经网络的 原理和应用 .62.1 神经网络的基本概念 62.2 神经网络的控制结构 62.2.1 前馈网络 .62.2.2 反馈网络 .62.3 神经网络的功能 72.4 神经网络的学习 72.4.1 神经网络的学习方式 .72.4.2 神经网络的学习算法 .82.5 人工神经元（MP）模型 82.6 BP 算法原理 .102.7 BP 网络的前馈计算 .112.8 BP 网络权系数的调整规则 .122.9 BP 网络学习算法的计算步骤 .142.10 本章小结 14第 3 章 BP 神经网络 PID
10、控 制方法研究 .153.1 引言 .153.2 基于 BP 神经网络的 PID 整定原理 153.3 本章小结 .19第 4 章 仿真研究 204.1 BP 神经网络自整定 PID 控制系统 .204.2 仿真结果分析 .274.3 本章小结 .27第 5 章 结论 与展 望 28参 考 文 献 30附 录 .31致 谢 .342第 1 章 绪论1.1 选题背景和意义在计算机技术没有发展的条件下,大量需求的控制对象是一些较为简单的单输入单输出线性系统,而且对这些对象的自动控制要求是保持输出变量为要求的恒值,消除或减少输出变量与给定值之误差、误差速度等。而 PID 控制的结构,正是适合于这种对
11、象的控制要求。因此 PID 控制是最早发展起来的控制策略之一，由于其算法简单，鲁棒性好和可靠性高，被广泛应用于过程控制中，尤其适用于可建立精确数学模型的确定性控制系统。然而实际工业生产过程往往具有非线性，时变不确定性，难以建立精确地数学模型，应用常规 PID 控制器不能达到理想的控制效果，而且在实际生产现场中，由于受到参数整定方法繁杂的困扰，常规 PID 控制器往往整定不良，性能欠佳，对运行工况的适应性很差。所以人们从工业生产过程需要出发,基于常规 PID 控制器的基本原理,对其进行了各种各样的改进，形成所谓智能 PID 控制 1。而其中神经网络所具有的大规模的并行处理和分布式的信息存储；极强
12、的自学、联想额容错能力；良好的自适应和自组织性；多输入、多输出的非线性系统都基本符合工程的要求。人工神经网络作为生物控制论的一个成果，其触角几乎延伸到各个工程领域，并且在这些领域中形成新的生长点。以神经网络研究为开端，整个学术界对计算的概念和作用有了新的认识和提高。计算不仅仅局限于数学中，更不仅采取逻辑的、离散的形式，在大量的物理现象以至生物学对象中，进行各种各样的计算，而且大量的运算表现在对模糊低精度模拟量的并行计算，对于这一类计算，传统的计算机是无能为力的。神经网络的数学理论本质是非线性的数学理论，因此，现代非线性科学方面的进展必将推动神经网络的研究，同时，神经网络理论也会对非线性科学提出
13、新课题。神经网络研究的对象是神经系统，这是高度进化的复杂系统，也是系统科学中一个重要的具体的领域。神经网络的研究不仅重视系统的动态特性，而且强调事件和信息在系统内部的表达和产生。神经网络应用时不需考虑过程或现象的内在机理，一些高度非线性和高度复杂的问题能较好地得到处理，因此神经网络在控制领域取得了较大的发展，特别在模型辨识、控制器设计、优化操作、故障分析与诊断等领域迅速得到应用。神经网络控制作为二十一世纪的自动化控制技术，国内外理论与实践均充分证明，其在工业复杂过程控制方面大有用武之地。而工业现场需要先进的控制方法，迫切需要工程化实用化的神经网络控制方法，所以研究神经网络在控制中的应用，对提高
14、我国的自动化水平和企业的经济效益具有重大意义 2。神经网络具有很强的非线性逼近能力和自学习能力，所以将BP神经网络算法与PID控制相结合产生的间接自校正控制策略，能自动整定控制器的参数，使系统在较好的性能下运行。虽然人工神经网络存在着以上的许多优点及广泛的应用，但同时也存在着一些不足，3由于神经网络的不足阻碍了神经网络的发展，在现实应用中 BP 神经网络是最为广泛的神经网络模型，BP 神经网络是在 1986 年被提出的，因其系统地解决了多层网络中隐含单元连接权的学习问题，它同样具有人工神经网络所具有的特点。本课题是以 BP 神经网络模型研究为主。BP 神经网络的缺点主要表现在以下几个方面:(1
15、)学习过程收敛速度慢，训练易陷入瘫痪;(2)训练过程中易陷入局部极小值;(3)网络泛化能力差;(4)隐节点数及权重和阈值初始值的选取缺乏理论指导:(5)未考虑样本选择对系统的影响;(6)未考虑传递函数对神经网络系统的影响;另外，网络结构的确定:包括隐含层数及各隐含层节点数的确定 :以及学习率的选取等问题的存在严重阻碍了 BP 神经网络的发展，致使其理论发展缓慢。同时也因为 BP 网络的这些缺点限制了其应用领域的拓宽及应用程度的深入，不利于国民经济的健康发展。因此，研究 BP 神经网络显然具有重要理论意义和重要的应用价值。1.2 神经网络技术国内外发展现状当今的自动控制技术都是基于反馈的概念。反
16、馈理论的要素包括三个部分：测量、比较和执行。测量关心的变量，与期望值相比较，用这个误差纠正调节控制系统的响应。PID（比例-积分-微分）控制器作为最早实用化的控制器已有 50 多年历史，现在仍然是应用最广泛的工业控制器。PID 控制器简单易懂，使用中不需精确的系统模型等先决条件，因而成为应用最为广泛的控制器。PID 控制器由比例单元（P） 、积分单元（I）和微分单元（D）组成。在实际生产过程中，由于受到参数整定方法繁杂的困扰，因此常规 PID 控制的应用受到很大的限制和挑战。人们对 PID 应用的同时，也对其进行各种改进，主要体现在两个方面：一是对常规 PID 本身结构的改进，即变结构 PID
17、 控制。如积分分离算法，抗积分饱和算法和微分项的改进等等。另一方面，与模糊控制、神经网络控制和专家控制相结合，扬长避短，发挥各自的优势，形成所谓智能 PID 控制。神经网络是一个由大量简单的处理单元广泛连接组成的系统，用来模拟人脑神经系统的结构和功能。它从开始研究到发展并不是一帆风顺的，经历了兴起到低潮，再转入新的高潮的曲折发展道路。20 世纪 80 年代中期以来，在美国、日本等一些西方工业发达国家里，掀起了一股竞相研究、开发神经网络的热潮。近十多年来人工神经网络的发展也表明了，这是一项有着广泛的应用前景的新型学科，它的发展对目前和未来科学技术水平的提高将有重要影响。初期阶段美国心理学家 wi
18、11iamJames(1890)发表了心理学原理一书，论述了相关学习、联想记忆的基本原理，对人脑功能作了创见性地工作。他指出:当前基本的脑细4胞曾经一起相继被激活过，其中一个受到刺激重新激活时，会将刺激传播到另一个。同时，James 认为：在大脑皮层上任意点的刺激量，是其他所有发射点进入该点的总和。美国心理学家 W.S.Mcculloh 与数学家 W.H.Pirts(1943)合作，用逻辑数学工具研究客观事件在形成神经网络中的数学模型表达，从此开创了对神经网络的理论研究。Bernard Widrow 和 MareianHoff(1962)提出了一种连续取值的线性加权求和阈值网络，即自适应线性元
19、件网络，也可以看成是感知器的变形，它成功地应用于自适应信号处理和雷达天线控制等连续可调过程。他们在人工神经网络理论上创造了一种被人们熟知的 Widrow-Hoff 学习训练算法，并用硬件电路实现人工神经网络方面的工作，为今天用大规模集成电路实现神经网络计算机奠定了基础。90 年代初，对神经网络的发展产生了很大的影响是诺贝尔奖获得者 Edelamn 提出Darwinism 模型。他建立了一种神经网络系统理论，例如，Darwinism 的结构包括 Dawin网络和 Nallance 网络，并且这两个网络是并行的，而他们又包含了不同功能的一些子网络。他采用了 Hebb 权值修正规则，当一定的运动刺激
20、模式作用后，系统通过进化，学会扫描跟踪目标。Narendra 和 Parthasarathy(1990 年)提出了一种推广的动态神经网络系及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。神经网络理论有较强的数学性质和生物学特性，尤是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而也是它发展的最好的机会。近十年来，神经网络理论与实践有了引人注目的进展，它再一次拓展了计算概念的内涵，使神经计算、进化计算成为新的学科，神经网络的软件模拟得到了广泛的应用。科技发达国家的主要公司对神经网络芯片、生物芯片情有独钟。例如 Intel 公司、IBM 公司和 HNC
21、公司已取得了多项专利，已有产品进入市场，被国防、企业和科研部门选用，许多公众手中也拥有神经网络实用化的工具，其商业化令人鼓舞。神经网络在国民经济和国防科技现代化建设中具有广阔的应用领域和发展前景。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适用于处理需要同时考虑多因素和多条件的、不精确和模糊的信息处理问题。它主要应用领域有：语音识别、图像识别、计算机视觉、智能机器人、故障诊断、实时语言翻译、企业管理、市场分析、决策优化、物资调运、自适应控制、专家系统、智能接口、神经心理学、心理学和认知科学研究等等。 PID 控制要取得较好的控制效果，就必须通过调整好比例、积分、微分
22、三种控制作用，形成控制量中既有相互配合又相互制约的关系。这种关系不一定是简单的线性组合，从变化无穷的非线性组合中可以找出最佳关系。神经网络所具有的任意非线性表达能力，可以通过对系统性能的学习来实现具有最佳组合的 PID 控制。因此基于神经网络的 PID不仅能适应环境变化，且有较强的鲁棒性。本设计正是研究基于神经网络 PID 控制理论及其应用，特别是基于反向传播算法的PID 控制的基本原理，然后利用 BP 神经网络 PID 控制器对一个单闭环调速系统进行仿真5研究，并和常规的 PID 控制进行对比，从而得出 BP 神经网络 PID 控制器具有较强的自整定、自适应的优点。6第 2 章 神经网络的原
23、理和应用2.1 神经网络的基本概念人工神经网络(ANN，Artificial Neural Network)，又称并行分布处理模型或连接机制模型，是基于模仿人类大脑的结构和功能而构成的一种信息处理系统或计算机系统。它具有很多与人类智能相类似的特点，诸如结构与处理的并行性、知识分布存储、容错性强、通过训练学习可具备适应外部环境的能力、模式识别能力和综合推理能力等。它是模仿生理学上的人脑神经网络的结构和功能的数学模型，由大量人工神经元连接而成的一种能够进行复杂的逻辑操作的自适应非线性动态信息处理系统。它具有高度的并行性、高度的非线性、良好的容错性、联想记忆功能和自适应等特点。2.2 神经网络的控制
24、结构人工神经网络是生物神经网络的一种模拟和近似。它主要从两个方面进行模拟。一种是从生理结构和实现机理方面进行模拟，它涉及生物学、生理学、心理学、物理及化学等许多基础科学。生物神经网络的结构和机理相当复杂，现在距离完全认识他们还相差甚远。另一种是从功能上加以模拟，即尽量使得人工神经网络具有生物神经网络的某些功能特性，如学习、识别、控制等功能。从功能上来看，人工神经网络根据连接方式主要分为两类。2.2.1 前馈网络前馈神经网络是整个神经网络体系中最常见的一种网络，其网络中各个神经元接收前一级的输入，并输出到下一级，网络中没有反馈。网络中节点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入
25、，但只有一个输出（它可耦合到任意多个其他节点作为输入） 。通常前馈网络可分为不同的层，第 i 层的输入只与第 i-1 层输出相连，输入和输出节点与外界相连，而其他中间层称为隐含层，它们是一种强有力的学习系统，其结构简单而易于编程。从系统的观点看，前馈网络是一静态非线性映射，通常简单非线性处理的符合映射可获得复杂的非线性处理能力。但从计算的观点看，前馈神经网络并非是一种强有力的计算系统，不具有丰富的动力学行为。大部分前馈神经网络是学习网络，并不注意系统的动力学行为，它们的分类能力和模式识别能力一般强于其他类型的神经网络。2.2.2 反馈网络反馈神经网络又称为递归网络或回归网络。在反馈网络中，输入
26、信号决定反馈系统7的初始状态，然后系统经过一系列的状态转移后，逐渐收敛于平衡状态。这样的平衡状态就是反馈网络经计算后输出的结果，由此可见，稳定性是反馈网络中最重要的问题之一。如果能找到网络的 Lyapunov 函数，则能保证网络从任意的初始状态都能收敛到局部最小点。反馈神经网络中所有节点都是计算单元，同时也可接收输入，并向外界输出。2.3 神经网络的功能神经网络在控制领域中的应用功能，基本有以下几个方面：（1）非线性映射和函数逼近功能。这种非线性映射可以是连续的，也可以是离散的，可以是一维的，也可以是多维的。在前馈网络中均有此功能。（2）模式记忆与联想功能。几乎所有的神经网络都能以连接权形式存
27、储一定数量的模式，并能实现对扭曲模式的自联想和异联想的功能。（3）优化计算功能。正因为有此功能，能对给定的一个问题，获得局部或全局的最优化解。可用于动态、静态规划与优化计算等。2.4 神经网络的学习2.4.1 神经网络的学习方式神经网络的学习也称为训练，指的是通过神经网络所在环境的刺激作用调整神经网络的自由参数，使神经网络以一种新的方式对外部环境作出反应的一个过程。能够从环境中学习和在学习中提高自身性能是神经网络最有意义的性质。神经网络经过反复学习对其环境更为了解。神经网络学习方式可分为：有导师学习、无导师学习和再励学习三类。1）有导师学习又称为有监督学习，在学习时需要给出导师信号或称为期望输
28、出。神经网络对外部环境是未知的，但可以将导师看成对外部环境的了解，由输入输出样本集合来表示。导师信号或期望输出响应代表了神经网络的执行情况的最佳结果，即对于网络输入调整网络参数，使得网络输出逼近导师信号或期望响应。2）无导师学习包括强化学习与无监督学习或称为自组织学习。在强化学习中，对输入输出映射的学习是通过与外界环境的连续作用最小化性能的标量索引而完成的。在无监督学习或称为自组织学习中没有外部导师或评价来统观学习过程，而是提供一个关于网络学习表示方法质量的测量尺度，根据该尺度将网络的自由参数最优化。一旦网络与输入数据的统计规律达成一致，就能够形成内部表示方法来为输入特征编码，并由此自动得出新
29、的类别。3）再励学习介于上述两种情况之间，外部环境对系统输出结果只给出评价而不是正确答案，学习系统经过强化那些受奖励的动作来改善自身性能。82.4.2 神经网络的学习算法常用的三种学习规则有以下几种：1）.无监督的 Hebb 学习规则Hebb 学习是一类相关学习，其基本思想是：如果两个神经元同时被激活，则它们之间的联接强度的增强与它们激励的乘积成正比，以 表示神经元 i 的激活值， 表示神经iojo元 j 的激活值， 表示神经元 i 和神经元 j 的连接权值，则 Hebb 学习规则可表示 ijw（2-1）()()ijjiwkk式中： 为学习速率。2）.有监督的 Delta 学习规则在 Hebb
30、 学习规则中，引入教师信号，即将 换成希望输出 与实际输出 之差，就jojdjo构成有监督学习的学习规则（2-2） ()()()ijjjiwkdk3）.有监督的 Hebb 学习规则将无监督的 Hebb 学习规则和有监督的 Delta 学习两者结合起来就构成有监督的 Hebb学习规则（2-3）()()()ijjjijwkdok2.5 人工神经元（MP）模型1943 年，美国心理学家 MeCulloch 和数学家 Pitts 共同提出“模拟生物神经元” ，被称为 MP 的人工神经元，人工神经网络是由大量的处理单元即人工神经元广泛互连组成的网络，网络的信息处理功能由神经元间相互作用来实现，知识与信息
31、的存储表现为网络元件间分布式的物理联系，网络的学习和识别取决于各种神经元件连接权系数的动态演化过程。其主要特征为连续时间非线性动力学、网络的全局作用、大规模的并行分布处理和联想学习能力。MP 的人工神经元一般是一个多输入多输出的非线性部件，其基本结构如图 2-1 所示。图 2-1 MP 神经元模型结构()ifu1yjniiuiy9其中， :神经元 i 的输出，它可以与其他多个神经元通过权连接。 iy:神经元的输入。 j:神经元的连接权值。 iw:神经元的阈值。 :神经元的非线性作用函数，又称为激发函数。 ()ifu神经元的输出 ，可用下式描述: iy(2-4)1()(niijijyfwyj设(
32、2-5)1niijju则(2-6)()iiyf激发函数 f（u）一般有以下几种形式。1）阶跃函数函数表达式为(2-7a)()=1, 1 111 1 3)Sigmoid 型函数最常用的 Sigmoid 型函数为(2-8)1()exp()fa式中，参数 a 可控制其斜率。Sigmoid 型函数也称为 S 型函数，上式表示的是一种非对称 S 型函数。另一种常用的 Sigmoid 型函数为双曲正切对称 S 型函数，即(2-9)1exp()()tanh()fx102.6 BP 算法原理1986 年，D.E.Rumelhart 和 J.L.McClelland 提出了一种利用误差反向传播训练算法的神经网络
33、，简称 BP 网络，是一种隐含层的多层前馈网络，系统地解决了多层中隐含单元连接权的学习问题。如果网络的输入节点数为 M、输出节点数为 L，则此神经网络可看成是从 M 维欧式空点到 L 维欧式空间的映射。这种映射是高度非线性的，其主要用于：（1）模式识别与分类：用于语言、文字、图像的识别，医学特征的分类和诊断等。（2）函数逼近：用于非线性控制系统的建模、机器人的轨迹控制及其其他工业控制等。（3）数据压缩：用于编码压缩和恢复、图像数据的压缩和存储以及图像特征的抽取等。BP 学习算法的基本原理是梯度最速下降法，它的中心思想是调整权值使网络总误差最小。也就是采用梯度搜索技术，以期使网络的实际输出值与期
34、望输出值的误差均方值为最小。网络的学习过程是一种误差边向后传播边修正权系数的过程。多层网络运用 BP 学习算法时，实际上包含了正向和反向传播两个阶段。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望输出，则转入反向传播，将误差信号沿原来的连接通道返回，通过修改各层神经元的权值 ，使误差信号最小。将上一层节点的输出传送到下一层时，通过调整连接权系数来达到增强或削弱这些输出的作用。除了输入层的节点外，隐含层和输出层的节点的净输入时前一层节点输出的加权和。每个节点的激活程度由它的输入信号、激活函数和节点的偏置来决定
35、。但对于输入层、输入模式送到输入层节点上，这一节点的输出即等于输入。注意：这种网络没有反馈存在，实际运行仍是单向的，所以不能将其看成是一非线性动力学系统，而只是一种非线性映射关系。图 3-1 BP 神经网络结构图具有神经网络的结构如图 3-1，图中设有 M 个输入节点 ， ， ，中间为隐含层 i 个，1x2m输出为 l 个。112.7 BP 网络的前馈计算假设有 M 个输入节点，L 个输出节点，网络的隐含层含有 q 个神经元。在训练网络的学习阶段，设有 N 个训练样本，先假定用其中的某一个样本 p 的输入/输出模式对Xp 和Tp 对网络进行训练，隐含层的第 i 个神经元在样本 p 作用下输入为
36、（i=1,2.q ） (2-10)11MMpppiijiijij jnetwox网络隐含层含有 q 个神经元，式中 和 分别为输入节点 j 在样本 p 作用时的输入和输pjj出，对输入节点而言两者相当； 为输入层神经元 j 与隐含层神经元 i 之间的连接权值；ij为隐含层神经元 i 的阈值；M 为输入层的节点数，即输入的个数。i隐含层第 i 个神经元的输出为 i=（1,2.q） (2-11)()ppiiognet式中的 g（）为激活函数。对于 Sigmoid 型激活函数(2-12)10()1exp()/f式中，参数 表示偏值，正的 使激活函数水平向左移动； 的作用是调节 Sigmoid 函数1
37、1形状的，较小的 使 Sigmoid 函数逼近一个阶跃限幅函数，而较大的 将使 Sigmoid 函数0 0变得较为平坦。隐含层激活函数 g( )的微分函数为pinet（i=1,2.q ） (2-13)()1(1)pppiiiiigtgneto隐含层第 i 个神经元的输出 将通过权系数的向前传播到输出层第 k 个神经元作为io它输入之一，而输出层第 k 个神经元的总输入为（k=1,2.L ） (2-14)1qppkkikinetwo式中， 为隐含层神经元 i 与输出层神经元 k 之间的连接权值； 为输出神经元 k 的阈kiw k值；q 为隐含层的节点数。输出层的第 k 个神经元的实际输出为（k=
38、1,2.L ） (2-15)()ppkknetgt输出层激活函数 的微分函数为()pkgt（k=1,2.L） (2-16) ()1()(1)pppkkktneto若其输出与给定模式对的期望输出 不一致，则将其误差信号从输出端反向传播回12来，并在传播过程中对加权系数不断修正，直到输出层神经元上得到所需要的期望输出值 为止。对样本 p 完成网络权系数的调整后，再送入另一样本模式对进行类似学习，pkt直到完成 N 个样本的训练学习为止。2.8 BP 网络权系数的调整规则对于每一个样本 p 的输入模式对的二次型误差函数为(2-17)21()LppkJto则系统对所有 N 个训练样本的总误差函数为 (
39、2-18)21()2NLpkJto式中，N 为模式样本对数；L 为网络输出节点数。一般来说，基于 还是基于 J 来完成加权系数空间的梯度搜索会获得不同的结果。pJ在 Rumelhart 等人的学习加权规则中，学习过程按使误差函数 减小最快的方向调整加权pJ系数直到获得满意的加权系数集为止。这里加权系数的修正时顺序操作的，网络对各模式对一个一个地顺序输入并不断学习，类似于生物神经网络的处理过程，但不是真正的梯度搜索过程。系统最小误差的真实梯度搜索方法是基于式（2-18）的最小化方法。1）输出层权系数的调整权系数应按 函数梯度变化的方向调整，使网络逐渐收敛。根据梯度法，可得输出pJ层每个神经元权系
40、数的修整公式为 1()pqppp ppkki kikiiki i kk kJJnetw woowtet net(2-19)式中， 为学习速率， 0。定义 (2-20)()()(1)ppp ppppkk kkkkkkJotgnetonetne因此输出层的任意神经元 k 的加权系数修整公式为(2-21)()(1)ppppikikkiwoto式中， 为输出节点 k 在样本 p 作用时的输出； 为隐含节点 i 在样本 p 作用时的输出；pko i为在样本 p 输入输出对作用时输出节点 k 的目标值。pkt2）隐含层权系数的调整根据梯度法，可得隐含层每个神经元权系数的修整公式为 1()pMpppppii
41、j ijiijij j iji iJJnetwwoowtt（2-22） 13式中， 为学习速率， 0。（2-23）()(1)pp ppp ppii i iiii i iJJJognetonetnet由于隐含层一个单元输出的改变会影响与该单元相连接的所有输出单元的输入，即(2-24)111()()pqLLppppk kikk iiki kpkiippkiJJJt woonetonetwt 因此，隐含层的任意神经元 i 的加权系数修正公式为(2-25)1()Lpppijijiikijowo式中， 为隐含节点 i 在样本 p 作用时的输出； 为在输入节点 j 在样本 p 作用时的输pio pj出，即
42、输入节点 j 的输入（因对输入节点两者相当） 。输出层的任意神经元 k 在样本 p 作用时的加权系数改进公式为(2-26)(1)()pkikikiwo隐含层的任意神经元 i 在样本 p 作用时的加权系数改进公式为 (2-27)()()pijijij由式（2-17）和（2-18）可知，对于给定的某一个样本 p，可根据误差要求调整网络的加权系数使其满足要求；对于给定的另一个样本，再根据误差要求调整网络的加权系数使其满足要求，直到所有样本作用下的误差都满足要求为止。这种计算过程称为在线学习过程。如果学习过程按使误差函数 J 减小最快的方向调整加权系数，采用类似的推导过程可得输出层和隐含层的任意神经元
43、 k 和 i 在所有样本作用时的加权系数增量公式(2-28)1(1)()Npikikiwo(2-29)1()()pijijij根据式（3-19）和（3-20）所得权的修正是所有样本输入后，计算完总的误差后进行的，这种修正称为批处理学习或称为离线学习。批处理修正后可保证其总误差 J 向减少的方向变化，在样本多的时候，它再比在线学习的收敛速度快。 因此，BP 网络的学习可采用两种方式，即在线学习和离线学习。在线学习是对训练集内每个模式对逐一更新网络权值的一种学习方式，其特点是学习过程中需要较少的存储单元，但有时会增加网络的整体输出误差，以上推导即为在线学习过程。因此，使用14在线学习时一般应使学习
44、因子足够小，以保证用训练集内每个模式训练一次后，权值的总体变化充分接近于最快速下降。所谓离线学习也称为批处理学习，是指用训练集内所有模式依次训练网络，累加各权值修正量并统一修正网络权值的一种学习方式，它能使权值变化沿最快速下降方向进行。其缺点是学习过程中需要较多的存储单元，好处是学习速度较快。在具体实际应用中，当训练模式很多时，可以将整个训练模式分为若干组，采用分组批处理学习方式。2.9 BP 网络学习算法的计算步骤（1）初始化：置所有的加权系数为最小的随机数（2）提供训练集：给出顺序赋值的输入量 ， 和期望的输出向量 ， ;1x2N1t2Nt（3）计算实际输出：按式（2-10）式（2-16）
45、计算隐含层、输出层各神经元的输出；（4）按式（2-17）或式（2-18）计算期望值与实际输出的误差；（5）按式（2-26）或式（2-28）调整输出层的加权系数 ；kiw（6）按式（2-27）或式（2-29）调整隐含层的加权系数 ；j（7）返回计算（3）步，直到误差满足要求为止。2.10 本章小结本章在介绍神经网络基本理论知识的基础上，着重给出了 BP 多层前向网络神经网络的结构、学习算法，为以后引入 BP 神经网络 PID 控制算法提供了理论基础。15第 3 章 BP 神经网络 PID 控制方法研究3.1 引言所谓“神经网络”是以一种简单计算处理单元（即神经元）为节点，采用某种网络拓扑结构构成
46、的活性网络，可以用来描述几乎任意的非线性系统；不仅如此，神经网络还具有学习能力、记忆能力、计算能力以及各种智能处理能力，在不同程度和层次上模仿人脑神经系统的信息处理、存储和检索功能。神经网络在控制系统中的应用提高了整个系统的信息系统处理能力和适应能力，提高了系统的智能水平。由于神经网络己具有逼近任意连续有界非线性函数的能力，对于长期困扰控制界的非线性系统和不确定性系统来说，神经网络无疑是一种解决问题的有效途径。采用神经网络方法设计的控制系统具有更快的速度(实时性)、更强的适应能力和更强的鲁棒性。正因为如此，近年来在控制理论的所有分支都能够看到神经网络的引入及应用，对于传统的 PID 控制当然也
47、不例外，以各种方式应用于 PID 控制的新算法大量涌现，其中有一些取得了明显的效果。传统的控制系统设计是在系统数学模型己知的基础上进行的，因此，它设计的控制系统与数学模型的准确性有很大的关系。神经网络用于控制系统设计则不同，它可以不需要被控对象的数学模型，只需对神经网络进行在线或离线训练，然后利用训练结果进行控制系统的设计。神经网络用于控制系统设计有多种类型，多种方式，既有完全脱离传统设计的方法，也有与传统设计手段相结合的方式。一般来说，基于神经网络的 PID 控制器的典型结构主要有两种，单神经元网络 PID控制器和神经网络 PID 控制器两种控制算法。本章将详细介绍基于 BP 神经网络的 P
48、ID 控制算法，然后对单闭环调速系统的进行设计，对其进行 Matlab 算法仿真。3.2 基于 BP 神经网络的 PID 整定原理PID 控制要取得好的控制效果，就必须通过调整好比例、积分和微分三种控制作用在形成控制量中相互配合又相互制约的关系，这种关系不一定是简单的“线性组合” ，而是从变化无穷的非线性组合中找出最佳的关系。BP 神经网络具有逼近任意非线性函数的能力，而且结构和学习算法简单明确。通过网络自身的学习，可以找到某一最优控制规律下的 P、I、D 参数。基于 BP 神经网络的 PID 控制系统结构如图 3-1 所示。控制器由两部分组成：经典的 PID 控制器：直接对被控对象进行闭环控制，并且三个参数 、 、 为在线调整方pkid式。BP 神经网络：根据系统的运行状态，调节 PID 控制器的参数，以其达到某种性能指标的最优化，
