1、浙江工业大学硕士学位论文基于神经网络的智能移动机器人导航算法研究姓名：李佳鹤申请学位级别：硕士专业：控制理论与控制工程指导教师：姚明海20091110浙江工业大学硕士学位论文的学习，提出一种神经网络模型，并将它应用于智能机器人导航控制中。神经网络将学习算法的“ 试错法”行为探索策略和神 经网络的自适应竞争学习机制相结合，利用网络中的长期记忆权向量来存储机器人探索 过的所有状态空间模式特征以及相应的模式行为估计值，使其无需任何先 验知识即可在完全未知环境中进行行为决策和状态空间模式分类的两层在线学习，通过与环境的交互，不断总结和积累不同环境特征下的导航经验，逐步改进控制策略，提高学 习精度。关键
2、词：导航控制，神经网络，模糊神 经网络，遗传进化神 经网络，神 经网络浙江工业大学硕士学位论文，：、析，浙江工业大学硕士学位论文，。，”，：，浙江工业大学学位论文原创性声明本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律责任。作者签名：李位召鸟日期：一年月万日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论
3、文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存和汇编本学位论文。本学位论文属于、保密口，在年解密后适用本授权书。、不保密曰。（请在以上相应方框内打“、”）作者签名：李侄筐乌日期：矿叫年剔醛轹剁 期：口吖年乙月了日仁月歹日浙江工业大学硕士学位论文第章绪论课题研究的目的与意义自世纪年代初人类研制了第一台机器人以后，机器人就显示出强大的生命力，在年的时间里，机器入技术得到了迅速的发展。所 谓机器人是指一种具有一定的感知和识别能力、能自动定位
4、、行为可控的、具有 编程能力的多功能机械装置 【】。机器入学是现今高科技发展的代表方向之一。机器人学是一种由计算机科学、控制理论、信息 论、传感器技术、仿生学、机械科学等多学科相互渗透而发展起来的一门新兴学科。智能移动机器人是机器人学的一个重要分支。智能移动机器人是一个集环境感知、动态决策与规划、行为控制与执行等多种功能于一体的综合系统。它能够按照预先给定的任务指令，根据己获取的地图信息做出全局规划，并且在行进过程中，不断感知周 围局部环境的信息，自主做出决策，引导自身绕开障碍物安全行驶到达指定目标并执行预定的动作与操作【引。它在工业 、民用以及军事等领域具有广泛的应用前景。发展智能移动机器人
5、技术对加快我国的国防、工业与农业现代化，提高人民的生活水平有着重要的意义。不 仅如此，智能移动机器人技术研究是一个多学科交叉的高科技领域，对人工智能、模式 识别、自动控制、电子电气、机械设计等多个学科都提出了很高的要求。因此，开展自主式移动机器人技术的研究对带动人工智能、自动控制、 电子电气、机械 设计以及其他相关领域的发展具有重要的推动作用。智能移动机器人是一种在复杂的环境下工作的具有自规划、自组织、自适应能力的机器人。导航技术是其研究核心，也是移动机器人实现智能化及完全自主的关键技术【。移动机器人智能导航研究的目标就是在没有人干预下使机器人有目的地移动并完成特定任务，进行特定操作。机器人通
6、过装配的信息获取设备来获得外部坏境信息，判定自身状 态，实现自我定位，规划并执行下一步动作。在移动机器人导航控制理论和方法研究中，确定性环境的导航控制方法已经取得了大量的研究和应用成果。对未知环境中的导航控制也开展了些研究，并提出了若干方法，但是尚未形成统一和完善的体系结构，还有许多关键理论和技术问题有待解决与完善。这些问题包括环境的建模、定位、 导航控制器的学习与优化、故障诊断以及路径规划等。未知环境中的移动机器人只具有较少的先验知识，其导航控制方法涉及环境认知、优化策略、知识表示与获取等多项关键问题。对移动机器人在未知环境中导航理论和方法的研究将推浙江工业大学硕士学位论文动认知科学、模式识
7、别、非线性控制等前沿学科的研究， 带动航天、海洋、 军事、建筑、交通、工业和服务业等领域移动机器人导航控制系统的研究开发，为无人勘探车、无人排险车和无人运输车等用于航天、军事、深海作 业和核工业领域的移动机器人系统的应用奠定理论和技术基础。人工神经网络因其大规模并行分布式结构而具有突出的计算能力，能够通过改变神经元之间的连接强度来获取从外界环境中学习得来的知识，并且具有较好的泛化能力【。】。因此，人工神经网络已经成为移动机器人控制器的首选计算模型。因此，本文重点研究了神经网络技术及其在移动机器人导航控制中的应用情况，针对移动机器人导航问题的特点和现状，主要应用神经网络技术， 结合其他智能算法如
8、强化学习等，来提高移 动机器人自组织、自学习、自适应的智能化水平，解决移 动机器人在复 杂不确定环境和未知可变环境下的自主导航问题。移动机器人导航研究概述导航是移动机器人应具备的基本功能，是移动机器人区别于固定式机器人的关键之一，也是反映移动机器人实现智能化及完全自主工作的关键技术之一。理想的移动机器人应具有以下能力：当处于一个未知的、复杂的、动态的非结构化环境中，并且在没有人的干预下，通过感知环境，能够到达期望的目的地，同 时应 尽量减少时间或能量的消耗等。随着移动机器入应用领域的日益扩大，对移动机器人导航问题的研究不断提出了新的课题，这将使移动机器人导航研究不断深入和发展，也将使移动机器人
9、具有更加美好的应用前景。移动机器人导航方式移动机器人导航控制通常包括自身和环境信息获取，环境的理解，运动规划与运动控制等方面的问题。在移动机器人自身和环境信息的获取方面，目前主要的导航方式有超声波导航，激光导航和视觉导航等等。（）超声波导航采用的主要环境感知传感器是声纳。这种超声波导航的优点是硬件结构简单，价格低廉，容易 实现，其缺点是传感器角度分辨率较低， 对光滑表面存在镜面反射。在实际应用中通常采取其他传感器来进行补偿。（）激光导航采用的感知 传 感器是激光雷达，其 优点是传感器的发散度小，并对物体基本上没有镜面反射现象，缺点是对于黑色或透明的物体就无法正常工作。视觉导航通浙江工业大学硕士
10、学位论文常采用摄像头来感知环境，通常采用敏感元件。（）利用视觉实现导 航可以很直 观的获取环境信息，但是在提起深度信息方面难度加大，并且易受光照、分辨率、聚焦调节、关注点选择等多种因素的影响，计算较复杂。国内外研究现状在移动机器人运动规划和控制中，移动机器人的路径规划和实时避障是反映自主导航能力的一个重要课题之一。其主要问题是在一个存在障碍物的复杂环境中，为移动机器人寻找一条无碰撞路径，并控制移动机器人沿着路径无碰撞地到达目标点。国内外学者对这一问题做了大量的研究，目前比较有效的方法主要是势场法和栅格法。年，提出了势场力法【】。障碍物表 现为对机器人的“斥力，而目 标则表现为对机器入的“引力”
11、，最后通过求合力来控制机器人的运动。此后，人工势场法得到不断的改进与完善。 】提出超二次函数（），将不同形状障碍物斥力场统一逼近为球形障碍物的斥力场，又提出从电场，温度场，流体 场的角度，运用调和函数（）】来回避局部最小 问题。但由于势场法把所有信息压缩为单位合力，这样存在把有关障碍物分布的有价值的信息被抛弃的缺陷，当目标产生的吸引力等于障碍物产生的斥力时，会带来局部最小问题，另外当目标点附近存在多个平衡点时，在目标位置会有抖动现象 ，且非常容易陷入局部最小的情况。卡内基梅隆大学提出了一种基于的栅格的避障方法。通过栅格法机器人可以静态环境中实现准确导航，做出有效的避障动作。其不足之 处是栅格法
12、计算量大，不利于 实时动态环境下的避障。后来，结合栅格法和势力场法提出了一种算法（】称为虚力场法，实验表明这种方法简单，可以使机器人在 动态环境下快速、 连续、光滑的运动。缺点是机器人在相近障碍物间不易找到路径井且容易在障碍物前振荡，在狭窄通道中摆动。年代至今及其研究组又提出了一种向量 场直方图法】、搭】等算法，这些不断的改进的算法较好的解决了在障碍物前的扰动，穿过狭窄通道时的伴动现象，并且对于机器人的宽度、 动力学和运动学特性有一定的考虑，但是 总的说来，他们还是一种纯局部避障算法，不可避免的存在一些局部特性如很难选择较优角度，容易在多个障碍物中迷失方向，当机器人陷入局部势能陷阱时没有办法摆
13、脱陷阱，并且存在环境分辨率和环境存储量之间的矛盾。浙江工业大学硕士学位论文神经网络在移动机器人导航中的应用神经网络是由大量简单非线性单元连接而成的复杂非线性网络，它是人们试图对人脑功能进行模拟而提出的一种非线性模型。从本质上看，它是一种不依赖于模型的自适应函数估计器。当给定的输入并不是原来训练的样本时，神经网络也能给出合适的输出，即具有泛化功能。在神经网络中，知识通过学习例子分布在存贮网络中，故神 经网络具有良好的容错能力。当个别处理单元损坏时， 对神经网络整体行为只有很小的影响，而不会影响整个系统的正常工作。由于神经网络具有很强的学习功能与非线性映射能力，使得其在机器人运动学、动力学问题以及
14、控制等领域得到了广泛的应用。在移动机器人导航中，它主要用于环境模型的表示、局部规划、全局 规划、 传感器信息融合、机器人的控制系 统等方面【。移动机器人导航控制就是希望在尽可能短的时间内根据传感器信息得出机器人应该采取的动作，可以说是实现一种从状态空间到动作空间的映射。映射关系可以用不同的方法来实现，但很难用一个精确的数学方程来表示。而神经网络作为一种高度并行的分布式系统，可以逼近任意的非线性函数。将 传感器的数据作为网络的输入，由人 给定相应场合下期望的机器人动作作为网络的输出，由多个选定的位置下的组数据构成原始样本集，经过剔除重复或冲突的样本加工处理，得到最终样本集。只是这种方法在运行以前
15、神经网络没有经过任何的学习，在运行的过程中根据环境返回的评价信号对网络的权值进行调整，运行的过程一直都是学习的过程。所以要在至少运行了一段时间之后才会比较稳定【和利用生物激励神经网络对环境信息进行映射 【】，实现动态环境下的导航和避障。，使用离散时间递归神经网络为移动机器人导航进化反应式行为】。使用动态神经网络进化了机器人集成控制器，并且利用获得的控制器控制机器人完成简单 的自主学习行为。在利用神经网络进行导航控制时，除了将神经网络作为输入 输出映射网络之外， 还可以利用具有局部反馈的细胞神经网络虚拟机器人工作空间内的势场进行路径规划。提出了一种动态环境下移动机器人路径规划神经网络模型【，利用
16、神经网络在机器人工作空间形成的势场进行导航控制。本文主要研究内容本论文深入探讨和研究神经网络技术及其在移动机器人导航控制中的应用情况，针对浙江工业大学硕士学位论文移动机器人导航问题的特点和现状，研究神经网络技术结合其他智能算法如强化学习等，来提高移动机器人自组织、自学习、自适 应的智能化水平，解决移动机器人在复杂不确定环境和未知可变环境下的自主导航问题，并进行计算机仿真实验。本文的研究内容安排如下：第章绪论，介绍移动机器人导航技术的研究意义，基本技术和方法，研究 现状和发展趋势，以及各种智能算法在移动机器人导航技术中的应用。第章基于模糊神经网络的导航控制研究，系 统 的讲述了神经网络的工作原理
17、和学习方法，介绍了几种典型的神经网络模型，并研究了一种基于模糊神经网络的机器人导航控制方法，在神经网络框架下，引入定性知识，即在常 规神经网络的输入层和输出层加入模糊层，用模糊规则构造神经网络，在使网 络权值有明确的物理意义的同时，保留了神 经网络的自适应学习机制。最后将模糊神经网络算法运用于移动机器人导航控制仿真实验，根据人类导航专家总结的先验知识，通过自学习修正网络权值，实现较为有效的实时导航控制。第章基于遗传进 化神经网 络算法的全局路径规划，首先介绍了遗传算法的基本理论和算法步骤，并就提高机器人的自主适应能力，减少前期的经验总结和结构设计工作量的问题，提出了一种基于遗传进化神经网络学习
18、算法（心）的移 动机器人全局路径规划方法。利用遗传算法的全局性搜索优化神经网络包括拓扑结构和网络权值在内的体系结构，以机器人的全局行为来评价网络性能，控制网络的进化方向，构造具有最优体系结构的移动机器入神经网络控制器，来解决复杂不确定环境下移动机器人的全局路径规划问题。最后通过仿真实验证明，学习算法无需任何导航先验知识，充分体现了机器人的智能水平和自主学习能力。第章基于神经网络 的导航算法研究，首先介绍了强化学习的原理、主要算法及其应用情况，为使智能机器人系统能够在未知可变环境中实现自主学习，提出一种神经网 络模型，并将它应用于智能机器人导航控制中。神经网络将学习算法的“试错法行为探索策略和神
19、经网络的自适应竞争学习机制相结合，利用网络中的长期记忆权 向量来存储机器人探索过的所有状态空间模式特征以及相应的模式行为估计值，使其无需任何先验知识即可在完全未知环境中进行行为决策和状态空间模式分类的两层在线学习，通过与环境的交互，不断总结和积累不同环境特征下的导航经验，逐步改进控制策略，提高学习精度。随后将神经网络控制器应用于移动机器人在未知环境下的导航仿真实验中，使移动机器人通过与不同环境的在线交互学习，逐浙江工业大学硕士学位论文步掌握较为完善的导航行为能力，充分体现了智能移动机器人在未知可变环境中的自主学习能力。第章总结与展望。总结本论文所做的工作，并就进一步研究的方向提出展望。浙江工业
20、大学硕士学位论文第章基于模糊神经网络的导航控制研究人工神经网络模拟人类部分形象思维的能力，是模拟人工智能的一条途径。特别是可以利用人工神经网络解决人工智能研究中所遇到的一些难题。人工神经网络理论的应用已经渗透到多个领域，在计算机视觉、模式 识别、智能控制、非线性优化、自适应滤波相信息处理等方面取得了可喜的进展。同时，由于神 经网络的自适应学习功能与非线性映射能力，使得其在机器人运动学、动力学问题及控制等领域也得到了广泛的应用。在移 动机器人导航中，它主要用于环境模型的表示、局部规划、全局规划、传感器信息融合、机器人的控制系统等方面。本章系统的讲述了神经网络的工作原理和学习方法，介绍了几种典型的
21、神经网络模型，并研究了一种基于模糊神经网络的机器入导航控制方法，在神经网络框架下，引入定性知识，即在常规神经网络的输入层和输出层加入模糊层，用模糊规则构造神经网络，在使网络权值有明确的物理意义的同时，保留了神经网络的自适应学习机制。最后将模糊神经网络算法运用于移动机器人导航控制仿真实验，根据人类导航专家总结的先验知识，通过自学习修正网络权值，实现较为有效的实时导航控制。人工神经网络概述人工神经网络是由大量简单的、反映非线性本质特征的处理单元（神经元、处理元件、电子元件、光电元件等）广泛连接而构成的复杂网络系统。它是在现代神经科学研究的基础上提出的，反映了人脑功能的基本特征。但它并不是人脑神经系
22、统的真实写照，而只是对其进行某种简化、抽象和模拟。神 经网络是一个具有高度非线性的超大规模连续时间动力系，其主要特征在于信息的分布存储和信息的并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神 经元构成的网络系统， 实现的行为却是丰富多彩的。神经网络并行处理能力是通过分布式结构来体现的，即由不同个数的神经元以及它们之间不同连接形式和方法来表现处理过程。神经网络的运行是从输入到输出的值的传递过程，在值传递的同时就完成了信息的存储和计算，从而将信息的存取和计算完善地结合在一起。值的传递过程和电流在电阻网络的传递过程是类似的，神经网络中各个神经元的工作是并行的。这种本质上的并行性与现在所
23、研究的并行计算机的并行性在概念和实现方法上均有差异。和数字计算机相比，神经网络系统具有集体运算和自适应学习的能力。此外，它还有一一浙江工业大学硕士学位论文很强的容错性和鲁棒性，善于联根、 综合和推广。神经网络模型神经系统的基本构造是神经元（神经细胞），它是处理人体内各部分之间相互信息传递的基本单元。神经生物学家研究的结果表明，人的一个大脑一般有 个神经元。每个神经元都由一个细胞体，一个连接其它神经元的轴突和些向外伸出的其它较短分支树突组成。 轴突的功能是将本神经元的输出信号（兴奋）传递给别的神经元。其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经
24、元细胞体将接受到的所有信号进行简单地处理（如：加权求和，即对所有的输入信号都加以考虑且对每个信号的重视程度体现在权值上有所不同）后由轴突输出。神经元的树突与另外的神经元的神经末梢相连的部分称为突触。大脑之所以能够处理极其复杂的分析、推理工作，一方面是因为其神经元个数的庞大，另一方面还在于神经元能够对输入信号进行非线性处理。因此，可进一步建立起更接近于工程的神经元数学模型（如图一），该模型是一个多输入单输出的非线性单元。其中的权值即代表神经元之间的连接强度，厂（）为非线性转移函数。该模型的数学表达式为：图神经元的数学模型匹山、），式中：置加于输入端的输入信号；（）浙江工业大学硕士学位论文。连接权
25、系数；神经元的偏移量；输入信号数目；，第歹个神经元的输出；（）激励函数（或输出变换函数）。大量的神经元广泛的相互连接而形成各种复杂的神经网络系统。通用的神经网络模型是提出的（）模型，它包含以下个方面的内容】：（）神经网络是一 组神经元 组成的， 这决定了神经网络具有并行处理能力神经网络中的每个神经元都采用模型，但可以将它们分为输入 单元、 输出单元和隐层单元三类【卯。输入单元接受外界的输入，输出单元向外界发出信号，隐层单元是系统的内部单元，与外界没有任何的联系。不同种类的神经元在转移函数、 输出函数等的定义上可根据需要有所不同。（）激活状态神经网络的激活状态是全体神经元的激活状态构成的状态向量
26、，表示系统的激活模式，刻画了系统在时刻所表示的对象。单元的激活值可取连续值，如， 间的值，也可取离散值，如，）。（）单元输出单元 输出（，）厂（口（，”，（）可取恒等函数，阈值函数等。全体单元输出构成神经网络的输出向量（）。（）连接模式连接模式指个单元之间的相互连接，用连接权值矩阵表示。，表示从单元到 单元的连接强度和性质。若单元兴奋单元，则；若单元抑制单元， 则。的绝对值表示连接强度。连接模式构成了系统所具有的知识，它以编码的形式分布于各权值矩阵中。一个权值矩阵就是种编码方式，反映一定的知识。所以 连接模式体现了神经网络的分布式能力。（）传递规则浙江工业大学硕士学位论文传递规则是指把输出向量
27、）和连接矩阵结合起来，是各类输入量进入单元以产生净输入的规则。单元的净输入为门，（）。（）激活规则。激活规则是指系统模式的更新规则，它直接反映为单个单元的激活规则，即（）（一），（）一）。在简单模式下为（）（）。（）学习规则学习能力是神经网络的重要特性。学习过程就是改变系统知识，使它接近所要学习的知识。由于系统知识是由连接权值矩阵表示的，所以就是权值的改变规则。模型中的学习规则都是赫布（）规则的某种派生。（）工作环境输入向量是工作环境是指外界输入向量集的全体输入模式。有些模型要求正交集或线性无关集，而有些模型则可以学习任意输入模式。神经网络的学习规则一个神经网络的拓扑结构确定之后，为了把它具有
28、某种智能特性，还必须有相应的学习方法与之配合。可以这样说，学 习方法是人工神经网络研究的核心问题【。对于大脑神经而言，不同的功能区域均有各自的学习规则。这些完整和巧妙的学习规则是大脑在进化过程中通过学习得到的。对于人工神经网络而言，学习方法归根结底就是网络连接权的调整方法。人工神经网络的学习算法通常可分为有监督学习和无监督学习两类。有监督学习是通过外部教师信号进行学习，即要求同时给出输入和正确的期望输出的模式对，当计算结果与期望输出有误差时，网 络将通过自动调节机制重复训练，最后与正确的结果相符合。无监督学习规则没有外部教师信号，其学习表现为自适应于输入空间的检测规则，其学习过程为对系统提供动
29、态输入信号，使各个单元以某种方式竞争， 获胜的神经元本身或其相邻域得到增强，其它神经元则进步被抑制，从而将信号空间分为有用的多个区域。常用的三种主要规则是 】：（）无监督学习规则学习是一类相关学习，它的基本思想是：如果有两个神经元同时兴奋， 则它们之间的连接强度的增强与它们的激励的乘积成正比。用，表示单元的激活值（输出），表浙江工业大学硕士学位论文示单元歹的激活值，表示单元到单元的连接权系数，则学习规则可用下式表示：咄，（）（）（）式中，口 学习速率。（）有监督盯学 习规则或学习规则在学习规则中引入教师信号，将式（）中的换成网络期望目标输出与 实际输出之差，即为有监督 盯学习规则。口（）一（）
30、（）（）上式表明，两种神经元间的连接强度的变化量与教师信号和网络实际输出之差成正比。（）有监督学习规则将无监督学习规则和有监督学习规则两者结合起来，组成有监督学习规则，即口【）一（）】（）（）（）这种学习规则使神经元通过关联搜索对未知的外界做出反应，即在教师信号（一（）的指导下，对环境信息进行相关的学习和自组织，使相应的输出增强或削弱。两种典型的神经网络模型（）神经网络（）神经网络，又叫反向传播网络、多层前传网络，其结构如图 所示【。输入层隐含层图神经网络模型一输奶出层浙江工业大学硕士学位论文如图所示，网 络一般由三层构成：输入层、 隐含层和 输出层，各 层次的神经元之间形成全互连连接，各层次
31、内的神经元之间没有连接。隐含层可以有多个，一个典型的网络 只含有一个隐含层，即由三个神经元层构成，理论证明这样的网络可以以任意精度逼近任意非线性函数。故我们只讨论含有一个隐含层的网络。对于模型的输入层神经元，其输入与输出相同，即。中 间隐含层和输出层的神经元的操作特性为（），（）（）其中表示当前的输入样本，为从神经元到神经元的连接权值，为神经元歹的当前输入，为其输出。为非线性可微非递减函数，一般取为形函数，即（）（“）或乃（）（卜。）（。），两者分别称为对数型激活函数和双曲正切型激活函数，它们都将输入空间压缩到一个有限的输出空间内，如图和所示厂（功（工）厂图对数型激活函数 图双曲正切型激活函数
32、对网 络进行训练时，首先要提供一组训练样本，其中的每个样本由输入样本和理想输出对组成。当网络的所有实际输出与其理想输出一致时，表明训练结束。否 则，通过修正权值，使网络的理想输出与实际输出一致。在网络不包含隐含神经元层的情况下，一一浙江工业大学硕士学位论文可以直接采用学习算法。即对于输入理想输出对，权值按下式进行调整：（酉一）这里劈为理想输出，为实际输出， 为网络的输入向量的第个元素。（）但是，在模型中，引进了中司 隐含神经兀层，因为中间隐含神经兀层的输出误差不能直接计算，故不能直接采用学习算法来训练模型。但将学习算法加以推广便可以应用于网络。设网络的输出误差为要（一）（）并设，为整个训练集中
33、所有样本产生的输出误差之和。并令一熹即令，与哆， 鸭成正比，面由式（）有定义则式（）可记为翻唾毗（）石：熹肚：珊弘一卺（）警：只这就是说，要使按梯度下降，就必须按下式进行权值调整 ，（）显然，式（）与标准的算法（式（）是一致的。现在的问题是如何求得网浙江工业大学硕士学位论文络中各个神经元，的厶值。模型中所采用的方法是将输出层产生的误差反向传播到输入层来计算。为了计算，可再一次利用偏微分规则，即厶一旦一考鲁（一）对于上式中的第一项的计算分两种情况来进行，若吩为网络的输出神经元时，由耳的定义可得拿：弋）晒这与标准的算法的结果是一致的。 这样，式（）可写成晒嚼一，）（）若叶不是网络的输出神经元，则有莩老百莩卺毒莩莩盟砷一莩靠喊呀嚏晒。 辨飞。将此结果代入式（）中便有如（”）（）（）也就是将所有与隐含神经元哆相连的输出神经元输出端的误差颤，乘上对应的权值并求和，作为隐含神经元甜，的 输出误差。所以 这个过程也称为误差反向传播。 这样，式（）、（）和（）就构成了推广的学习算法。如果
