1、第一章,神经网络基本概念,内容提要,神经网络模型的基本组成神经网络的分类及典型的神经网络模型神经网络结构及神经计算特点神经计算的稳定性神经网络研究历史神经网络的应用领域,第一节,神经网络模型的基本组成,神经网络模型的基本组成 之神经元,生物神经元的基本组 细胞体 突起 树突 轴突 人工神经元的基本结构 处理单元 连接 输入 输出,神经网络模型的基本组成 之神经元,生物神经元的基本组 细胞体 突起 树突 轴突 人工神经元的基本结构 处理单元 连接 输入 输出,神经元的基本功能（1）,接收输入 输入类型 输入的权值 抑制性连接权值 活跃性连接权值 传播规则（传播函数） 把某类净输入与其连接权值结合
2、起来，使该类输入对目的处理单元产生最终净输入的规则。,神经元的基本功能（2）,处理输入 活跃状态（活跃值） 活跃值 活跃函数（活跃规则） 把某一处理单元的各类净输入相互结合起来，再与该处理单元当前活跃状态相结合，以产生一个新的活跃状态的规则。 活跃函数类型 恒等函数 阈值函数 S型单调函数,神经元的基本功能（3）,产生输出 输出值的作用 输出函数（输出规则） 根据某一神经元的当前活跃值产生对其它神经元影响的输出值的规则。 输出函数类型 硬极限函数 阈值函数 S型单调函数 恒等函数,神经网络模型的基本组成 之网络,神经网络结构 连接矩阵 连接模式 多层、单层 反馈、前馈,神经网络模型的基本组成
3、之学习规则,学习规则 根据环境动态修改各个处理单元之间连接权值的规则。 典型的学习规则 Hebbian学习规则 Delta学习规则 学习的类型 联想学习 自联想 异联想 规则发现,如果一个处理单元接收从另外一个处理单元来的输入，那么当两个单元都活跃时，它们之间的连接权值就应该增大。,神经网络模型的基本组成 之学习规则,学习规则 根据环境动态修改各个处理单元之间连接权值的规则。 典型的学习规则 Hebbian学习规则 Delta学习规则 学习的类型 联想学习 自联想 异联想 规则发现,权值主要根据在给定教师输入下，期望输出与目标输出之差来进行改变。,神经网络模型的基本组成 之学习规则,学习规则
4、根据环境动态修改各个处理单元之间连接权值的规则。 典型的学习规则 Hebbian学习规则 Delta学习规则 学习的类型 联想学习 自联想 异联想 规则发现,输入,输出,神经网络模型的基本组成 之学习规则,学习规则 根据环境动态修改各个处理单元之间连接权值的规则。 典型的学习规则 Hebbian学习规则 Delta学习规则 学习的类型 联想学习 自联想 异联想 规则发现,月亮,太阳,神经网络模型的基本组成 之环境,环境内容输入输出,神经网络模型的基本组成 小结,传播规则活跃规则输出规则,互连模式学习规则环境,神经网络模型完整描述的六个要素。,第二节,神经网络的分类以及 典型的神经网络模型,神经
5、网络分类原则,按神经网络模型的拓扑结构可以分为反馈神经网络模型和前向神经网络模型。 按神经网络模型的性能可分为连续型与离散型神经网络模型，确定型与随机型神经网络模型。 按学习方式可以分为有教师学习神经网模型和无教师学习神经网络模型。 按连接突触性质可以分为一阶线性关联神经网络模型和高阶非线性关联神经网络模型。,典型的神经网络模型,自适应谐振理论（ART） 该模型主要包括ART1、ART2和ART3，它们可以对任意多和任意复杂的二维模式进行自组织、自稳定和大规模并行处理。 ART1主要用于二值输入，ART2和ART3主要用于连续信号输入。该类模型主要用于模式识别（如雷达、声纳的信号识别）。 缺点
6、是对转换、失真及规模的变化较为敏感。,典型的神经网络模型,双向相联存储器（BAM ） 该类神经网络模型是由许多相同神经元构成的双向联想式两层网络。 主要用作按内容寻址的相联存储。 缺点是存储容量小而且需很好地进行编码。 感知机（Perceptron） 该类神经网络是一组可训练的线性分类单层网络模型，目前较少应用。 主要用于打印字符识别。 缺点是不能识别复杂字符（汉字），而且对大小、平移和变形很敏感。,典型的神经网络模型,反传神经网络模型（BP） 该类神经网络模型是一多层映射神经网络。采用的是最小均方差的学习方式，是目前使用最广泛的神经网络模型之一。 主要用于语言综合、语言识别、自适应控制等。
7、缺点是它仅仅是有监督的一种学习方式，而且输入、输出样本都必须是冗余的。,典型的神经网络模型,Boltzmann机（BCM ） 该类神经网络模型使用一噪声过程求得整个模型花费函数（cost function）的全局极小值。 主要用于模式识别（图像、声纳和雷达信号的识别）。 缺点是Boltzmann机的训练时间长。,典型的神经网络模型,Hopfield神经网络模型 它是由相同处理单元构成的单层自联想神经网络模型。 主要用于从片段中进行图像和数据的完全恢复。 缺点是处理单元间连接权值需预先设置，并且单元之间的连接是要对称的，它没有学习能力。 多个自适应线性元模型（MADALINE） 该类神经网络模型
8、是具有最小方差学习功能的线性网络模型。它的学习能力较强，是自适应线性元ADALINE的扩展。 主要用于自适应控制。 缺点是在输入输出之间设置的是一种线性关系。,典型的神经网络模型,自组织映射模型（SOM ） 该类神经网络模型主要是形成从一个密集簇到另一个簇的连续拓扑映射，并且映射矩阵密度随第二个簇所给定的概率密度函数不同而不同。 主要用于从一个几何区域到另一个几何区域的映射。 缺点是需要彻底的训练。,典型的神经网络模型的分类,前馈神经网络模型 自适应线性元模型 感知机 反馈神经网络模型 Hopfield神经网络模型 海明神经网络模型 双向联想存储器,典型的神经网络模型的分类,自组织神经网络模型
9、 自适应谐振理论（ART） 自组织映射神经网络模型（SOM） 随机神经网络模型 模拟退火算法 Boltzmann机,第三节,神经网络结构及 神经计算特点,神经网络模型结构特点,神经网络模型是由大量极简单的处理单元所组成 每一个处理单元仅仅是对输入信号加权求和，然后计算该处理单元新的活跃值和输出信号。每个处理单元要完成的功能非常简单，但是神经网络模型中的处理单元数目是如此之多，传统计算机是远远无法比拟的。,神经网络模型结构特点,高度复杂的互连 在神经网络模型中处理单元与处理单元之间存在着高度复杂的互连，有的是在每一个处理单元之间都存在着互连；有的是在层与层之间的处理单元间存在互连，这主要取决于实
10、际问题和所要达到的性能要求。而在传统计算机中，对于单机系统来说不存在互连问题，在双机或多机系统中，处理机之间的互连数也是有限的。,神经计算的本质,计算的数学观点 计算就是在满足一定原理、定理的条件下，从一个空间到另一个空间的映射； 计算的物理观点 计算是按照一定的自然规则，在某种“硬件”上所发生的一些物理规则。因此计算可以表示为一动力学系统中状态空间的变换轨迹。,神经计算的本质,神经网络的计算是一种非编程的信息处理方式。在不确定的条件下，只要我们能准确地描述所要求的计算功能，并能给出体现该功能的大量例子，那么神经网络就可以通过这些例子来进行自我调整，直至达到所要求的计算能力；有时甚至在没有例子
11、可寻时，神经网络也可以根据一些输入信号通过自组织而达到某种计算能力。,神经计算的本质,上述这种非编程的自适应信息处理方式称之为神经计算（neurocomputing）。 如果把神经网络看成是由大量子系统组成的大系统，那么神经计算就是该系统状态的转换，其整个计算过程可以认为是状态的转换过程。,神经计算的特点,大规模并行性、集团运算和容错能力。 信息的分布式表示。 学习和自组织能力。 多层神经网络系统具有强大的解算能力 和处理实际问题的能力。,神经计算的信息处理能力,数学逼近映射开发合适的函数，以自组织的方式响应以下的样本集合：(x1,y1)，(x2,y2)，(xn,yn)，（这里yi=f(xi)
12、或yi=f(xi)+N，其中N为噪音过程）。这里描述的当然是一般的数学抽象，像识别与分类这些计算都可以抽象为这样的一种近似数学映射。BPN、CPN模型都可以完成这种计算。,神经计算的信息处理能力,概率密度函数的估计 通过自组织的方式开发出一组等概率锚点来响应在空间中按照一定确定概率密度函数p选取的一组向量样本X1 ，X2 ， X3 ， 。CPN、SOM模型可以完成这种计算。 从二进制数据基中提取相关的知识 将从二进制数据基中提取的相关知识形成一种知识的聚集模型，这些知识依照数据基的自组织在它们之间有某种统计上的共性，并依这些共性来响应输入的数据基。BSB有能力进行这种计算。,神经计算的信息处理
13、能力,形成拓扑连续及统计意义上的同构映射 这是对固定概率密度函数选择的输入数据进行自适应的一种自组织映射，最终使得数据空间上的不同项有某种同构。SOM 模型最适合计算这类问题。 最近相邻模式分类 通过比较大量的存储数据来进行模式分类， 这种能力可应用于暂态或暂稳态模式分类，并且可用层次性的存储模式来表达存储。绝大多数的神经网络模型均能进行这种计算，比如ART、AVA、BAM、BCM、BPN、BSB、CBD、CPN、HOP、LRN、MDL、NEO、PTR。,神经计算的信息处理能力,数据聚集 这是采用自组织的方式所选择的颗粒或模式的聚类，以此来响应输入数据。聚类是可变的，但要限制其鞍点的个数。对于
14、任何新的目标，只要在系统中没有对其提供聚类，都要形成新的聚类。很显然，这种能力可直接应用于雷达的多目标跟踪，ART模型最适于这种计算。 最优化问题的计算 这是用来求解局部甚至是全局最优解的，HOP模型、BCM 模型有能力进行这种计算。,第四节,神经计算的稳定性,稳定性的基本概念,稳定性 是指神经网络系统在进行神经计算时，系统最终能收敛到一个稳定状态。只有使整个神经网络系统的状态朝稳定状态发展的神经计算才是有用的，否则，将导致整个系统的振荡或者随机波动，而不能得到一个一致的结果。,从计算机的角度看稳定性,计算机具有许多可能的逻辑状态。当计算机系统时钟不断推进时，计算机就从一个逻辑状态转换到另一个
15、逻辑状态。在计算机中，通过设置特定的逻辑初始状态开始计算（指令和数据）。然后计算机的状态就沿着事先确定的逻辑状态空间上的轨迹移动，直到得到答案，整个计算也就结束了。因而在计算机中的计算过程就是其逻辑状态空间中的一条轨迹。,从物理的角度看稳定性,从物理的角度来看，计算过程是其相应状态空间上状态变换的一条轨迹，这条轨迹的方向由该系统固有动力学特性控制着，其移动的结果是进入一稳定状态中，然后整个计算便结束了。 由该系统固有动力学特性控制着的各种物理系统可以展示不同的计算能力，,离散状态空间下的计算过程解释,S1,S2,S3,连续状态空间下计算过程的解释,S1,S2,S3,神经计算过程的数学描述,假定
16、状态空间向量为X=(x1，x2，xn )T，系统的局部稳定点为xa,，xb，。 只要系统初始点充分地靠近xixa，xb，比如xin=xi+（xin为系统初始点），则系统必随时间的演变而达到稳定点xi。这种稳定点也叫系统的吸引子或极小点。这里的xi+代表了xi的部分知识，可以从系统中查询到其完整的知识，也就是说系统具有相联搜索的能力。,吸引子的物理含义图解,吸引子的物理含义图解,局部极小,全局极小,第五节,神经网络的研究历史,神经网络研究简史,从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的功能，即人工神经网络的研究，始于本世纪四十年代，但它的发展却经历了一条曲折的道路，至今经历了兴起、萧条和兴盛三个时期。,第六节,神经网络的应用领域,神经网络潜在应用领域,传感器信息处理 信号处理 自动控制 知识处理 市场分析 运输与通信 神经科学和生物学,神经网络潜在应用领域,娱乐。比如下棋、打牌等。 零售分析。用神经网络来分析各种商品的零售量及价格。 信用分析。 航空与航天。 医用诊断系统。,
