1、神经网络理论Neural Network Theory,太原理工大学信息工程学院,2,适用领域：计算机技术先修课程：高等数学、离散数学、C语言（或Matlab）程序设计、,3,一、课程目的与要求,人工神经网络是目前国际上一门发展迅速的前沿交叉学科。它是模拟生物神经结构的新型计算机系统，目前已有广泛的应用。 本课程主要介绍人工神经网络的基本构成和基本的网络模型，是在分析单元的生物背景、结构的基础上，强调设计考虑、算法公式及应用。本课程的主要目的是：使学生 1、了解智能系统描述的基本模型； 2、掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式
2、、典型问题解决方法； 3、掌握软件实现方法； 为他们今后从事人工神经网络的研究和应用打下一定的基础。,4,二、教学内容,MATLAB神经网络工具箱神经网络概述感知机线性神经网络BP神经网络RBF网络竞争网络反馈神经网络(Hopfield)随机神经网络（Boltzman)遗传算法、PSO与神经网络优化,5,三、主要参考书,神经网络设计 Hagan 机械工业出版社MATLAB神经网络原理与实例精解 陈明 清华大学出版社MATLAB神经网络应用设计 张德丰 机械工业出版社MATLAB神经网络应用设计 闻新 科学出版社人工神经网络导论 蒋宗礼 高等教育出版社人工神经网络与模拟进化计算 阎平凡 清华大学
3、出版社人工神经网络教程 韩力群 北京邮电大学出版社神经网络 侯媛彬 西安电子科技大学出版社,6,学习要求,阅读1015篇文献（查阅适当的参考文献，将所学的知识与自己未来研究课题（包括研究生论文阶段的研究课题）相结合起来，达到既丰富学习内容，又有一定的研究和应用的目的） 思考题 计算机练习，结合Matlab应用,7,考核,试卷形式,8,第一章 神经网络概述,9,1.1智能的概念,智能是个体有目的的行为，合理的思维，以及有效的适应环境的综合能力。也可以说，智能是个体认识客观事物和运用知识解决问题的能力。,1. 感知与认识客观事物、客观世界和自我的能力2. 通过学习取得经验与积累知识的能力3. 理解
4、知识，运用知识和经验分析、解决问题的能力4. 联想、推理、判断、决策的能力5. 运用语言进行抽象、概括的能力6. 发现、发明、创造、创新的能力7. 实时、迅速、合理地应付复杂环境的能力8. 预测、洞察事物发展变化的能力,10,Artificial Intelligence，AI，最初在1956年被引入AI是指用计算机模拟或实现的智能。它是计算机科学的一个分支，研究的是如何使机器具有智能的科学与技术。特别是如何在计算机上实现或再现人工智能。它涉及计算机科学、脑科学、神经生理学、心理学、语言学、逻辑学、认知科学、思维科学、行为科学和数学，以及信息论、控制论和系统论等众多领域。,什么是人工智能？,1
5、1,人工智能的研究目标,长期目标：制造智能机器，使其具有看、听、说、写等感知交互能力联想、推理、理解、学习等思维能力分析、解决问题和发明创造的能力近期目标：实现机器智能，即部分的或某种程度上的智能。已取得很多成果：Deep Blue，Backgammon，Expert System，Auto Drive，etc.,12,人工智能的研究方法,对人工智能的研究必然借鉴自然智能 人脑的研究成果，根据侧重点的不同，可分为三大类：结构模拟：神经计算，生理学派，连接主义功能模拟：符号推演，心理学派，符号主义行为模拟：控制进化，控制论学派，行为主义，进化主义,13,结构模拟神经计算,生理学派根据人脑的生理结
6、构和工作机理，实现计算机的智能，是一种局部和近似的模拟(ANN)特点：利用NN的自学习能力获取知识，再利用知识解决问题具有高度的并行性、分布性、很强的鲁棒性和容错性擅长模拟人脑的形象思维，便于实现人脑的低级感知功能：图象、语音的识别和处理,14,功能模拟符号推演,心理学派根据人脑的心理模型，将知识/问题表示成某种逻辑网络，采用符号推演的方法，实现搜索、推理、学习等功能。如自动机器推理、定理证明、专家系统、机器博弈等擅长模拟人脑的逻辑思维，便于实现人脑的高级认知功能（推理、决策等）,15,行为模拟控制进化,控制论学派基于“感知行为模型”，模拟人在控制过程中的智能活动和行为特征：自优化、自适应、自
7、学习、自组织等又成为现场AI（Situated AI），强调智能系统与环境的交互认为智能取决于感知和行动，智能行为不需要知识，认为人的智能、机器的智能可以逐步进化，但必须与现实交互,16,搜索技术知识表示规划方法机器学习认知科学,人工智能的研究内容,17,自然语言理解与机器翻译专家系统与知识工程定理证明博弈机器人数据挖掘与知识发现,人工智能的研究领域,18,多Agent系统复杂系统足球机器人两个组织：RoboCup和FIRA模拟组与机器人组控制方式：FIRA采用集中控制，而RoboCup采用分布式控制清华大学获得2001年RoboCup冠军人机交互技术,人工智能的研究领域,19,正在与深蓝下棋
8、的卡斯帕罗夫,20,IBM的“深蓝”,“深蓝”的技术指标：32个CPU每个CPU有16个协处理器每个CPU有256M内存每个CPU的处理速度为200万步/秒,21,历史上的人工智能大师,阿伦图灵（Alan Turing）,计算机科学理论的创始人 人工智能之父,22,马文明斯基（Marniv Lee Minsky）,框架理论的创立者首位获得图灵奖的人工智能学者,23,约翰麦卡锡（John McCarthy）,LISP语言的发明人首次提出AI的概念,24,赫伯特西蒙（Herbert A. Simon）,符号主义学派的创始人爱好广泛的全能科学家中国科学院外籍院士,25,艾伦纽厄尔（Allen New
9、ell）,符号主义学派的创始人之一西蒙的学生与同事1975年与西蒙同获图灵奖,26,爱德华费根鲍姆（Edward A. Feigenbaum）,知识工程的提出者大型人工智能系统的开拓者,27,劳伊雷迪（Raj Reddy）,大型人工智能系统的开拓者,28,道格拉斯恩格尔巴特（Douglas Engelbart）,鼠标的发明人超文本研究的先驱,29,人工神经网络从以下四个方面去模拟人的智能行为,1. 物理结构 人工神经元将模拟生物神经元的功能 2. 计算模拟 人脑的神经元有局部计算和存储的功能，通过连接构成一个系统。人工神经网络中也有大量有局部处理能力的神经元，也能够将信息进行大规模并行处理3.
10、存储与操作 人脑和人工神经网络都是通过神经元的连接强度来实现记忆存储功能，同时为概括、类比、推广提供有力的支持4. 训练 同人脑一样，人工神经网络将根据自己的结构特性，使用不同的训练、学习过程，自动从实践中获得相关知识,30,计算机与人脑相比存在某些缺陷1、计算机串行的工作方式决定了它只具有“逻辑思维”能力，而不具有“形象思维”能力。2、计算机只能“被动”的执行人为它编写好的程序，没有“主动”的“学习”能力。3、计算机“一对一”的信息存储方式使得它没有容错性。,1.2 人工神经网络的基本概念,31,什么是神经网络？Artificial Neural Networks，ANN,目前关于人工神经网
11、络的定义尚不统一由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。一种由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及其各单元的处理方式是一种旨在模仿人脑结构及其功能的信息处理系统是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。,32,人工神经网络,简单单元广泛互连每个单元和连接具有自适应性每个单元均具有计算能力能模拟生物神经系统对客观世界的交互反应一种复杂的数学映射工具和动力学系统是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个
12、数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。,33,特点,a、传统计算机的存储与计算是独立分开的，因而在存储与计算之间存在“瓶颈”。 而在ANN中，信息的存储与处理(计算)是合二为一的。不论单个神经元还是整个神经网络都兼有信息处理(计算)和存储的双重功能。因此，从本质上解决了传统计算机无法解决的“瓶颈”问题。b、在ANN中，同一个信息“分布式”的存储在各个神经元之间的“连接权”上，因此ANN具有很强的容错性。任何局部的损伤不会影响整体结果。C、在ANN中，所有 “连接权”同时完成信息的存储、计算、传递的功能， 是“并行式”或者“集体式”的工作方式。因此，
13、比串行式工作方式的传统计算机速度要快的多。D、 ANN工作时不需要编程，通过对环境的学习，将信息存在网络的“连接权”中。有很强自适应能力。,34,多学科性,神经生理学：了解结构、信息活动的生理特征认识科学：物理平面到认识平面的映像表达、编码理论、符号方法等数理科学：NN运算和状态分析的工具信息论、计算机科学以及各工程领域：工程应用,35,人脑信息处理的特点,巨量并行性信息处理和存储单元结合在一起自组织学习能力求满意解而不是精确解有效处理各种模拟的、模糊的、随机的问题,36,人工神经网络的特点,非线性 输入出映射适应性容错性（信息的分布表示）VLSI实现（运算的全局并行）证据响应（决策置信度）,
14、37,人工神经系统（ANS）神经网络（NN）自适应系统（Adaptive Systems）、自适应网（Adaptive Networks）联接模型（Connectionism）神经计算机（Neurocomputer）,人工神经网络的别名,38,ANN与传统AI技术的比较,39,人工神经网络可以根据所在的环境去改变它的行为不同的人工神经网络模型，有不同的学习/训练算法自相联的网络：（Auto-associative）异相联的网络：（Hetero-associative）,学习(Learning)能力,40,信息的分布存储提供容错功能由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某
15、几个点被破坏时，信息仍然可以被存取。系统在受到局部损伤时还可以正常工作。并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。,信息的分布式存放,41,擅长两个方面：对大量的数据进行分类，并且只有较少的几种情况；必须学习一个复杂的非线性映射。目前应用：人们主要将其用于语音、视觉、知识处理、辅助决策等方面。在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有较好的应用。,适应性(Applicability)问题,42,1.3 人工神经网络的研究历史,
16、从19世纪末开始，神经网络的发展史可以分为四个时期：启蒙时期（18901969）低潮时期（19691982）复兴时期（19821986）高潮时期（1987 ） 从神经网络的发展历史可以看出它与神经生理学、数学、电子学、计算机科学以及人工智能学之间的联系。,43,1、启蒙时期,1890年，美国心理学家William James发表了第一部详细论述人脑结构及功能的专著心理学原理(Principles of Psychology)，对相关学习、联想记忆的基本原理做了开创性研究。20世纪40年代，心理学家麦克洛奇(McCulloch)和数理逻辑学家皮兹(Pitts)从信息处理的角度出发，采用数理模型的
17、方法对神经细胞的动作进行研究，提出了形似神经元的数学模型M-P神经元模型(著名的阈值加权和模型)；从原理上证明了人工神经网络可以计算任何算术和逻辑函数；这一结果发表在数学生物物理学会刊Bulletin of Mathematical Biophysics上；为人们用元器件、计算机程序实现人工神经网络打下了坚实的基础；从此开创了神经科学理论的新时代。,44,1949年，心理学家赫布（Hebb）在行为构成（Organization of Behavior）一书中提出了连接权训练算法，即Hebb算法。提出神经元之间的突触联系是可变的假说；经典的条件反射是由单个神经元的性质引起的，并提出了生物神经元的
18、一种学习机制；从心理学的角度提出Hebb学习法则；如果两个神经元同时兴奋，则它们之间的神经键（突触）联系得以增强；是人工神经网络学习训练算法的起点，是里程碑；1957年，罗森布兰特（Rosenblatt）提出了感知器（Perception）的概念，并公开演示了它进行模式识别的能力。或许是第一个优秀的神经网络，且是第一个实际应用（用一台IBM704计算机模拟实现）；这是一种学习和自组织的心理学模型，它基本符合神经生理学的原理。感知机虽然比较简单，却已具有神经网络的一些基本性质，如分布式存贮、并行处理、可学习性、连续计算等。,45,1962年，韦德罗（Widrow）和胡佛（Hoff）提出了自适应线
19、性单元（Adaline），这是一个连续取值的线性网络，在结构和功能上类似于Rosenblatt的感知机，又称Widrow-Hoff学习规则；1969年，人工神经网络的创始人之一明斯基（Minsky）和佩珀特（Papert）发表了感知器Perceptron 一书，由MIT出版社出版发行；对感知器的能力表示了怀疑态度，使神经网络的研究受到了影响，神经网络的研究从此走向低谷。指出感知机的功能和处理能力的局限性，从理论上证明单级感知器只能运用于线性问题，XOR等非线性问题必须用隐单元层解决；而隐单元层的NN算法无法从理论上证明其收敛性；同时也指出如果在感知器中引入隐含神经元，增加神经网络的层次，可以提
20、高神经网络的处理能力，但是却无法给出相应的网络学习算法。,46,因此Minsky的结论是悲观的。另一方面，由于60年代以来集成电路和微电子技术日新月异的发展，使得电子计算机的计算速度飞速提高，加上那时以功能模拟为目标、以知识信息处理为基础的知识工程等研究成果，给人工智能从实验室走向实用带来了希望，这些技术进步给人们造成这样的认识：以为串行信息处理及以它为基础的传统人工智能技术的潜力是无穷的，这就暂时掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。另外，当时对大脑的计算原理、对神经网络计算的优点、缺点、可能性及其局限性等还很不清楚。总之，认识上的局限性使对神经网络的研究进入了低潮。,
21、47,2、 低潮时期,在这一低潮时期，仍有一些学者扎扎实实地继续着神经网络模型和学习算法的基础理论研究，提出了许多有意义的理论和方法。其中，主要有自适应共振理论，自组织映射，认知机网络模型理论，BSB模型等等，为神经网络的发展奠定了理论基础。70年代(低潮)1969年，美国学者格诺斯博格（Grossberg）和卡普特尔（Carperter）提出了自适应共振理论（ART）模型。 （基本观点是：若在全部神经节点中有一个神经节点特别兴奋，其周围的所有节点将受到抑制）1972年，芬兰学者克豪南（Kohonen）提出了自组织映射（SOM）理论。1979年，福岛邦彦（Fukushima）提出了认知机（ C
22、ognitron ）理论。 ；日本福岛邦彦的改进型新认知机模型NcoCognitron；日本中野馨的联想记忆模型联想机Associatron在此之后，神经心理学家安德森（Anderson）提出了BSB模型，韦伯斯（Webos）提出了BP理论，为神经网络的发展奠定了基础。,48,3、 复兴时期,1982，美国生物物理学家，加州理工学院Hopfield1982年，提出循环网络，并将Lyapunov函数引入人工神经网络，作为网络性能判定的能量函数，用非线性动力学的方法来研究ANN的特性，建立了人工神经网络稳定性的判别依据；指出信息被存放在网络中神经元的联接上；1984年，Hopfield设计并研制了
23、他提出的神经网络模型的电路，并指出网络中的每一个神经元可以用运算放大器来实现。他同时进行了神经网络应用研究，成功解决了旅行商（TSP）问题，引起世人震惊。这些成果使对神经网络的研究重新进入了一个新的兴盛时期。,Hopfield模型的动作原理是：只要由神经元兴奋的算法和神经元之间结合强度，所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定，那么该状态就会一直变化下去，直到预先定义的一个必定减小的能量函数达到极小值时，状态才达到稳定而不再变化。,49,1984，Hinton、Sejnowski和Rumelhart在Hopfield网络中引入了随机机制，提出Boltzmann机模型（学习过程采
24、用模拟退火技术，克服Hopfield网络存在的局部极小问题）；1986，并行分布处理小组的Rumelhart与McCelland提出PDP(Parallel Distributed Processing)-BP算法较好地解决了多层网络的学习算法类似算法在1974年1982年分别被Werbos和Paker独立提出过； 1988年，RBF设计神经网络 90年代早期，vapnik提出SVM,50,1987年，美国电气和电子工程师学会IEEE (institute for electrical and electronic engineers）在圣地亚哥(San Dieg)召开了盛大规模的神经网络国际
25、学术会议，国际神经网络学会(international neural networks society)也随之诞生。 1988年，学会杂志Neural Networks创刊; 1988年开始，国际神经网络学会和IEEE 每年联合召开一次国际学术年会; 1990年IEEE神经网络会刊问世，各种期刊的神经网络特刊层出不穷，神经网络的理论研究和实际应用进入了一个蓬勃发展的时期。,51,4、 新时期,理论方面 支持向量机和核方法(SVM and Kernel Methods) 图模型(Graphical Models) 统计学习方法(Statistical Learning Algorithm) 高斯
26、过程（Gaussian Process) 泛化问题和模型选择(Generalization and Model Selection) 贝叶斯学习(Bayesian Learning) 递归神经网络(Recurrent Neural Networks)等,52,实际应用 图象处理(Image Processing) 人脸识别(Face Recognition) 语音信号处理(Voice Processing) 时间序列分析(Time Series Analysis) 机器人控制(Robot Control)等,53,2006年有42项研究课题2005年有40项研究课题2004年有32项研究课题2
27、003年有26项研究课题2002年有26项研究课题2001年有18项研究课题2000年有20项研究课题1999年有22项研究课题,国家自然科学基金中的神经网络研究,神经网络研究的比重逐年增加，已经引起越来越多的国内学者的关注，并成为信息学科的一个研究热点和重点。,54,1988年，Neural Networks创刊1990年，IEEE Transactions on Neural Networks创刊,国际著名期刊,55,IEEE Trans. on Neural Networks,56,Neural Networks,57,著名学者,Prof. Michael I. Jordan美国加州大学
28、伯克利分校 获加州大学博士学位研究方向: 图模型、变分方法、机器学习等。曾在麻省理工学院工作11年。已发表200多篇科技论文。国际上许多神经网络和机器学习方面的专家都曾师从Jordan教授，包括香港中文大学的徐雷教授。,58,著名学者,Prof. Bernhard Scholkopf德国Max Planck生物控制论研究院1997年获柏林科技大学博士学位研究方向: 机器学习、感知器、支持向量机和核方法。Scholkopf教授是国际著名杂志Journal of Machine Learning Research、IEEE Trans. On Pattern Analysis and Machin
29、e Intelligence, 和International Journal of Computer Vision编辑委员会成员。,59,著名学者,Prof. Lawrence Saul加州大学圣地牙哥分校1994年获麻省理工学院博士学位研究方向：机器学习、模式识别、神经网络、语音处理等。Saul教授的高维数据的分析方法和可视化、非线性维数化简已被应用于很多实际科学和工程领域。他发表文章的引用率已经进入计算机科学的前1%，另外他也是著名国际期刊Journal of Machine Learning Research编委会成员和发起人之一。,60,著名学者,Prof. Yoshua Bengio
30、加拿大蒙特利尔大学1991年获加拿大麦基尔大学博士学位研究方向: 多层感知机、核方法、递归神经网络等Bengio教授是IEEE Transactions on Neural Networks、Journal of Machine Learning、Neural Computing Surveys的编委。值得一提的是Bengio教授在1994年的一篇著名文章中逆转了递归神经网络梯度学习算法的研究方向，极大地影响了该网络的研究。,61,著名学者,Prof. Frank L. Lewis美国德克萨斯大学获美国乔治亚技术学院博士学位研究方向: 反馈系统控制、神经网络和模糊智能控制等现任德克萨斯大学自动
31、化与机器人研究院副院长、IEEE Fellow、International Journal of Control、Neural Computing and Applications等期刊的编委。他共获得超过6百万美元的资助，发表174篇杂志论文，285篇会议论文，12本专著。,62,著名学者,Christopher M. Bishop微软剑桥研究院研究方向: 模式识别，基于推理 的概率方法和学习Bishop教授是美国电子学会关于应用神经计算中心的带头人，是剑桥大学达尔文学院的会士(Fellow)，不列颠计算机协会的会士(Fellow)和英国计算研究委员会成员。2004年当选英国皇家工程院会士(
32、Fellow)。1995年曾出版著名专著Neural Networks for Pattern Recognition。,63,著名学者,Prof. Lei Xu (徐雷)香港中文大学研究方向: 模式识别、神经网络、 统计学习等现任香港中文大学讲座教授、IEEE Fellow、国际模式识别学会Fellow、欧洲科学院院士。已发表的学术论文被引用总量逾1300次，最大单篇被引用量达255(SCI)次。应邀在国际主要学术大会做大会报告/特邀报告/学术讲座40余次。曾任国际神经网络学会理事、亚太地区神经网络学会主席、IEEE神经网络学会计算金融学术委员会主任。,64,著名学者,刘德荣 教授伊利诺大学
33、芝加哥分校1994年获美国圣母大学博士学位研究方向: 非线性动态系统、 递归神经网络等。刘教授是该校电机与计算机工程系和计算机科学系的终身正教授。2005年，他因在非线性动态系统和递归神经网络方面作出的贡献而被选为IEEE Fellow。自1992年起, 共发表40多篇国际学术杂志论文、90多篇国际会议论文，合作出版五本学术专著；担任多个国际期刊的编委。,65,著名学者,Prof. Jun Wang (王钧)香港中文大学1991年 凯斯西储大学 博士研究方向：递归神经网络和工程应用现任香港中文大学自动化与计算机辅助工程系计算智能实验室主任。已发表120多篇期刊论文，多本书籍的11个章节的编写，
34、SCI引用次数超过1300次， 现在担任多个著名期刊的编委，是亚太地区神经网络联合会会长。2007年王钧教授因为在递归神经网络及其在优化和工程方面的应用的突出成绩被评为IEEE Fellow。,66,神经网络在中国1988 张承福，力学进展，神经网络系统；1989 广州，第一届神经网络-信号处理会议；1990 北京，首届神经网络学术会议,67,1.4、人工神经网络研究的主要内容,人工种经网络的研究方兴末艾，很难准确地预测其发展方向。但就目前来看，人工神经网络的研究首先须解决全局稳定性、结构稳定性、可编程性等问题。现今的研究工作应包含以下的一些基本内容： (1)人工神经网络模型的研究。1、神经网
35、络原型研究，即大脑神经网络的生理结构、思维机制；2、神经元的生物特性如时空特性、不应期、电化学性质等的人工模拟；3、易于实现的神经网络计算模型；4、利用物理学的方法进行单元间相互作用理论的研究，如：联想记忆模型。5、 神经网络的学习算法与学习系统；,68,(2)神经网络基本理论研究。 1、神经网络的非线性特性，包括自组织、自适应等作用； 2、神经网络的基本性能，包括稳定性、收敛性、容错性、鲁棒性、动力学复杂性； 3、神经网络的计算能力与信息存贮容量； 4、开展认知科学的研究。探索包括感知、思考、记忆和语言等的脑信息处理模型。采用诸如连接机制等方法，将认知信息处理过程模型化，并通过建立神经计算学
36、来代替算法沦。,69,(3)神经网络智能信息处理系统的应用。 1、认知与人工智能包括模式识别、计算机视觉与听觉、特征提取、语音识别语言翻译、联想记忆、逻辑推理、知识工程、专家系统、故障诊断、智能机器人等。 2、优化与控制，包括优化求解、决策与管理、系统辨识、鲁棒性控制、自适应控制、并行控制、分布控制、智能控制等。 3、信号处理；自适应信号处理(自适应滤波、时间序列预测、谱估计、消噪、检测、阵列处理)和非线性信号处理(非线性滤波、非线性预测、非线性谱估计、非线性编码、中值处理)。 4、传感器信息处理：模式预处理变换、信息集成、多传感器数据融合。,70,(4)神经网络的软件模拟和硬件实现。 1、在
37、通用计算机、专用计算机或者并行计算机上进行软件模拟，或由专用数字信号处理芯片构成神经网络仿真器。 2、由模拟集成电路、数字集成电路或者光器件在硬件上实现神经芯片。软件模拟的优点是网络的规模可以较大，适合于用来验证新的模型和复杂的网络特性。硬件实现的优点是处理速度快，但由于受器件物理因素的限制，根据目前的工艺条件，网络规模不可能做得太大。仅几千个神经元。但代表了未来的发展方向，因此特别受到人们的重视。,71,(5)神经网络计算机的实现。 1、计算机仿真系统。 2、专用神经网络并行计算机系统。 关于智能本质的研究是自然科学和哲学的重大课题之一，对于智能的模拟和机器再现肯定可以开发拓展出一代新兴产业。由于智能本质的复杂性，现代智能研究已超越传统的学科界限，成为脑生理学、神经科学、心理学、认知科学、信息科学、计算机科学、微电子学，乃至数理科学共同关心的“焦点”学科。人工神经网络的重大研究进展有可能使包括信息科学在内的其他学科产生重大突破和变革。展望人工神经网络的成功应用，人类智能有可能产生一次新的飞跃。,
