1、人工智能Artificial Intelligence第六章,史忠植 中国科学院计算技术研究所http:/ Networks,2018/6/21,史忠植 人工智能：神经网络,1,2018/6/21,史忠植 人工智能：神经网络,2,内容提要,6.1 概述6.2 神经信息处理的基本原理6.3 感知机6.4 前馈神经网络6.5 Hopfield网络6.6 随机神经网络6.7 深度学习6.8 自组织神经网络6.9 小结,2018/6/21,3,神经网络,神经网络（neural networks, NN），也称作人工神经网络（ artificial neural networks， ANN），或神经计算
2、(neural computing， NC)，是对人脑或生物神经网络的抽象和建模，具有从环境学习的能力，以类似生物的交互方式适应环境。神经网络是智能科学和计算智能的重要部分，以脑科学和认知神经科学的研究成果为基础，拓展智能信息处理的方法，为解决复杂问题和自动控制提供有效的途径。一个神经网络是由简单处理元构成的规模宏大的并行分布处理器。天然具有存储经验知识和使之可用的特性。,史忠植 人工智能：神经网络,2018/6/21,4,发展历史,萌芽期（20世纪40年代） 人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。 1943年，心理学家McCulloch和数学家Pitt
3、s建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊Bulletin of Methematical Biophysics 1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说Hebb学习律。,史忠植 人工智能：神经网络,2018/6/21,5,发展历史,第一高潮期（19501968） 以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。 可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。,
4、史忠植 人工智能：神经网络,2018/6/21,6,发展历史,反思期（19691982） M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 异或”运算不可表示 二十世纪70年代和80年代早期的研究结果,史忠植 人工智能：神经网络,2018/6/21,7,发展历史,第二高潮期（19831990） 1982年，J. Hopfield提出Hopfield网络用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据阐明了ANN与动力学的关系用非线性动力学的方法来研究ANN的特性指出信息被存放在网络中神经元的联接上,史忠植 人工智能：
5、神经网络,2018/6/21,8,发展历史,第二高潮期（19831990） 1984年， J. Hopfield设计研制了后来被人们称为Hopfield网-Tank 电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。 1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。,史忠植 人工智能：神经网络,2018/6/21,9,发展历史, 1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较
6、好地解决了多层网络的学习问题。（Paker1982和Werbos1974年） 自适应共振理论（ART） 自组织特征映射理论,史忠植 人工智能：神经网络,2018/6/21,10,发展历史, Hinton 等人最近提出了 Helmboltz 机 徐雷提出的 Ying-Yang 机理论模型 甘利俊一( S.Amari) 开创和发展的基于统计流形的方法应用于人工神经网络的研究, 国内首届神经网络大会是1990年12月在北京举行的。,史忠植 人工智能：神经网络,2018/6/21,史忠植 人工智能：神经网络,11,内容提要,6.1 概述6.2 神经信息处理的基本原理6.3 感知机6.4 前馈神经网络6
7、.5 Hopfield网络6.6 随机神经网络6.7 深度学习6.8 自组织神经网络6.9 小结,2018/6/21,12,神经信息处理的基本原理,神经网络是由大量处理单元组成的非线性大规模自适应动力系统。它是在现代神经科学研究成果的基础上提出的, 试图通过模拟大脑神经网络处理、记忆信息的方式设计一种新的机器使之具有人脑那样的信息处理能力。同时, 对这种神经网络的研究将进一步加深对思维及智能的认识。,史忠植 人工智能：神经网络,2018/6/21,13,并行分布式理论框架,1986年，美国加州大学圣地亚哥分校（UCSD）Rumellhart，McClelland，Hinton： Paralle
8、l and Distributed Processing, MIT Press, Cambridge,史忠植 人工智能：神经网络,2018/6/21,14,并行分布式理论框架,PDP模型1） 一组处理单元（PE或AN）2） 处理单元的激活状态（ai）3） 每个处理单元的输出函数（fi）4） 处理单元之间的连接模式5） 传递规则（wijoi）6） 把处理单元的输入及当前状态结合起来产生激 活值的激活规则（Fi）7） 通过经验修改连接强度的学习规则8） 系统运行的环境（样本集合）,史忠植 人工智能：神经网络,2018/6/21,史忠植 人工智能：神经网络,15,内容提要,6.1 概述6.2 神经信
9、息处理的基本原理6.3 感知机6.4 前馈神经网络6.5 Hopfield网络6.6 随机神经网络6.7 深度学习6.8 自组织神经网络6.9 小结,2018/6/21,16,感知机,神经网络的基本处理单元为人工神经元，在1943年，麦克洛奇和皮兹定义了在简单的人工神经元模型，称为 M-P模型。它的一般模型可以用下图描述：,史忠植 人工智能：神经网络,17,神经元单元由多个输入xi，i=1,2,.,n和一个输出y组成。中间状态由输入信号的权和表示，而输出为 式中，j为神经元单元的偏置（阈值），wji为连接权系数。 n为输入信号数目，yj为神经元输出，t为时间，f( )为输出变换函数。,神经元模
10、型,2018/6/21,史忠植 人工智能：神经网络,18,神经元激励函数,(a) 二值函数,(b) S形函数,(c) 双曲正切函数,2018/6/21,史忠植 人工智能：神经网络,2018/6/21,19,净输入：,输出：,单层感知机,史忠植 人工智能：神经网络,2018/6/21,20,单层感知机模型,前馈神经网络,j=1,2,m,史忠植 人工智能：神经网络,2018/6/21,感知机的功能,(1)设输入向量 X=(x1 ,x2)T,输出：,则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。,单层感知机,史忠植 人工智能：神经网络,21,2018/6/21,22,感知
11、机的功能,单层感知机,史忠植 人工智能：神经网络,2018/6/21,23,感知机的功能,(2)设输入向量 X=(x1,x2,x3)T,输出：,则由方程 w1jx1+w2jx2+w3j x3Tj=0 确定了三维空间上的一个分界平面。,单层感知机,史忠植 人工智能：神经网络,2018/6/21,24,感知机的功能,单层感知机,史忠植 人工智能：神经网络,2018/6/21,25,多层感知机,网络的拓扑结构,史忠植 人工智能：神经网络,2018/6/21,26,双层感知器,“异或”问题分类,用两计算层感知器解决“异或”问题。,“异或”的真值表,多层感知机,史忠植 人工智能：神经网络,2018/6/
12、21,27,双层感知器,“异或”问题分类,用两计算层感知器解决“异或”问题。,“异或”的真值表,多层感知机,史忠植 人工智能：神经网络,2018/6/21,28,双层感知器,“异或”问题分类,用两计算层感知器解决“异或”问题。,“异或”的真值表,多层感知机,史忠植 人工智能：神经网络,2018/6/21,29,双层感知器,“异或”问题分类,用两计算层感知器解决“异或”问题。,“异或”的真值表,多层感知机,史忠植 人工智能：神经网络,2018/6/21,30,具有不同隐层数的感知器的分类能力对比,多层感知机,史忠植 人工智能：神经网络,2018/6/21,史忠植 人工智能：神经网络,31,内容提
13、要,6.1 概述6.2 神经信息处理的基本原理6.3 感知机6.4 前馈神经网络6.5 Hopfield网络6.6 随机神经网络6.7 深度学习6.8 自组织神经网络6.9 小结,2018/6/21,32,一般的前馈网络包括一个输入层和一个输出层，若干隐单元。隐单元可以分层也可以不分层，若分层，则称为多层前馈网络。网络的输入、输出神经元其激活函数一般取为线性函数，而隐单元则为非线性函数。单层感知器模型。前馈网络的输入单元从外部环境中接受信号,经处理将输出信号加权后传给其投射域中的神经元,网络中的隐含单元或输出单元 从其接受域中接受净输入 (其中 表示单元 的输出),然后向它的投射域 发送输出信
14、号 可以为任意的可微函数,一般常用的为,前馈神经网络,史忠植 人工智能：神经网络,2018/6/21,33,基于BP算法的多层前馈网络模型,误差反向传播（BP）网路,史忠植 人工智能：神经网络,2018/6/21,34,基于BP算法的多层前馈网络模型,输入向量： X=(x1,x2,xi,xn)T隐层输出向量： Y=(y1,y2,yj,ym)T输出层输出向量： O=(o1,o2,ok,ol)T期望输出向量：d=(d1, d2,dk,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl),误差反向传播（BP）网路,史忠植 人工智
15、能：神经网络,2018/6/21,35,基于BP算法的多层前馈网络模型,误差反向传播（BP）网路,史忠植 人工智能：神经网络,2018/6/21,36,基于BP算法的多层前馈网络模型,双极性Sigmoid函数：,误差反向传播（BP）网路,史忠植 人工智能：神经网络,2018/6/21,37,网络误差 定义与权值调整思路,将以上误差定义式展开至隐层：,BP学习算法,史忠植 人工智能：神经网络,2018/6/21,38,网络误差与权值调整,进一步展开至输入层：,BP学习算法,史忠植 人工智能：神经网络,2018/6/21,39,BP学习算法,式中负号表示梯度下降，常数(0,1)表示比例系数。,在全
16、部推导过程中，对输出层有j=0,1,2,m; k=1,2,l 对隐层有 i=0,1,2,n; j=1,2,m,BP学习算法,史忠植 人工智能：神经网络,2018/6/21,40,对于输出层，式(3.4.9a)可写为,BP算法推导,史忠植 人工智能：神经网络,2018/6/21,41,(1)初始化；,(4)计算各层误差信号；,(5)调整各层权值；,(6)检查是否对所有样本完成一次 轮训；,(7)检查网络总误差是否达到精 度要求。,(2)输入训练样本对X Xp、d dp计算各层输出；,(3)计算网络输出误差；,BP算法的程序实现,史忠植 人工智能：神经网络,2018/6/21,42,然后根据总误差
17、计算各层的误差信号并调整权值。,另一种方法是在所有样本输入之后，计算网络的总误差：,BP算法的程序实现,史忠植 人工智能：神经网络,43,该医疗诊断系统只考虑 6 种症状、2 种疾病、3种治疗方案症状：对每一症状采集三种信息 有（1）、无（-1）、没有记录（0）疾病：对每一疾病采集三种信息 有（1）、无（-1）、没有记录（0）治疗方案：对每一治疗方案采集两种信息 是、否每个病人的信息构成一个训练样例，用一批训练样例对网络进行训练（BP算法），假设得到的是如图所示的神经网络x1 - x6 为症状（输入）x7,x8 为疾病名x9,x10,x11 为治疗方案（输出）,基于BP网络的医疗诊断系统,20
18、18/6/21,史忠植 人工智能：神经网络,44,基于BP网络的医疗诊断系统,2018/6/21,史忠植 人工智能：神经网络,2018/6/21,45,标准的BP算法在应用中暴露出不少内在的缺陷：, 易形成局部极小而得不到全局最优； 训练次数多使得学习效率低，收敛速度慢； 隐节点的选取缺乏理论指导； 训练时学习新样本有遗忘旧样本的趋势。,针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法。,BP算法的改进,史忠植 人工智能：神经网络,2018/6/21,46,1 增加动量项,为动量系数，一般有(0，1),2 自适应调节学习率,设一初始学习率，若经过一批次权值调整后使总
19、误差，则本次调整无效，且=(1 )。,标准BP算法的改进,史忠植 人工智能：神经网络,2018/6/21,47,3 引入陡度因子,实现这一思路的具体作法是，在原转移函数中引入一个陡度因子,标准BP算法的改进,史忠植 人工智能：神经网络,2018/6/21,史忠植 人工智能：神经网络,48,内容提要,6.1 概述6.2 神经信息处理的基本原理6.3 感知机6.4 前馈神经网络6.5 Hopfield网络6.6 随机神经网络6.7 深度学习6.8 自组织神经网络6.9 小结,2018/6/21,49,Hopfield网络,Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学
20、院物理学家J.J.Hopfield教授于1982年提出，是一种单层反馈神经网络。,Hopfield网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(优化问题)。,Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。,Hello,Im John Hopfield,史忠植 人工智能：神经网络,2018/
21、6/21,50,离散Hopfield网络,史忠植 人工智能：神经网络,2018/6/21,51,离散Hopfield网络,网络模型表示法二,史忠植 人工智能：神经网络,2018/6/21,52,离散Hopfield网络,相关参数说明任意神经元 i与 j间的突触权值为 ，神经元之间连接是对称的，神经元自身无连接. 每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己 设Hopfield网络中有n个神经元，其中任意神经元的输入用 表示，输出 用表示，它们都是时间的函数，其中 也称为神经元在时刻t 的状态。,史忠植 人工智能：神经网络,2018/6/21,53,离散Hopfie
22、ld网络,激励函数,史忠植 人工智能：神经网络,2018/6/21,54,离散Hopfield 网络,离散Hopfield网络的运行规则(1)串行(异步)工作方式 在任时刻，只有某神经元 (随机的或确定的选择)依上式变化，而其他神经元的状态不变。(2)并行(同步)工作方式 在任一时刻，部分神经元或全部神经元的状态同时改变。,史忠植 人工智能：神经网络,2018/6/21,55,离散Hopfield网络,串行(异步)工作方式运行步骤第一步 对网络进行初始化；第二步 从网络中随机选取一个神经元；第三步 按式(2-5)求出该神经元i的输出；第四步 按式(2-6)求出该神经元经激活函数处理后的输出，此
23、时网络中的其他神经元的输出保持不变；第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件则结束；否则转到第二步继续运行。,史忠植 人工智能：神经网络,2018/6/21,56,离散Hopfield网络,稳定状态若网络从某一时刻以后，状态不再发生变化，则称网络处于稳定状态网络为对称连接，即；神经元自身无连接 能量函数在网络运行中不断降低，最后达到稳定,史忠植 人工智能：神经网络,2018/6/21,57,离散Hopfield网络,网络中神经元能量函数变化量,Hopfield网络状态向着能量函数减小的方向演化。由于能量函数有界，所以系统必然会趋于稳定状态 。,史忠植 人工智能：神经网络,
24、2018/6/21,58,稳定性分析,网络的稳定性是与收敛性不同的问题 Cohen和Grossberg1983年:Hopfield网络的稳定性定理 如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的 用著名的Lyapunov函数作为Hopfield网络的能量函数,史忠植 人工智能：神经网络,2018/6/21,59,Lyapunov函数能量函数,作为网络的稳定性度量wijoioj：网络的一致性测度。xjoj：神经元的输入和输出的一致性测度。joj：神经元自身的稳定性的测度。,史忠植 人工智能：神经网络,2018/6/21,60,当ANk的状态从ok变成ok,1、ANk是输
25、入神经元,史忠植 人工智能：神经网络,2018/6/21,61,当ANk的状态从ok变成ok,wkk=0,史忠植 人工智能：神经网络,2018/6/21,62,=-(netk-k)okANk状态的变化：ok=(ok-ok)ok=0， =0,ok0，ok=1& ok=0，ok由0变到1，netkk，netk-k0所以，-(netk-k)ok0故0,结论：网络的目标函数总是下降,ok0, ok=0& ok=1，ok由1变到0netkk，netk-k0-(netk-k)ok0故0,当ANk的状态从ok变成ok,史忠植 人工智能：神经网络,2018/6/21,63,当ANk的状态从ok变成ok,2、A
26、Nk不是输入神经元,史忠植 人工智能：神经网络,2018/6/21,64,当ANk的状态从ok变成ok,无论ANk的状态是如何变化的，总有 0,史忠植 人工智能：神经网络,2018/6/21,65,连续Hopfield网络,网络模型,史忠植 人工智能：神经网络,2018/6/21,66,连续Hopfield网络,稳定性分析将下式代入得：,因为,连续Hopfield网络模型是稳定的,史忠植 人工智能：神经网络,2018/6/21,67,连续Hopfield网络,连续Hopfield网络模型的主要特性1)连续Hopfield网络的神经元作为I/O转换，其传输特性具有Sigmoid特性；2)具有时空
27、整合作用；3)在神经元之间存在着大量的兴奋性和抑制性连接，这种联接主要是通过反馈来实现。4)具有既代表产生动作电位的神经元，又有代表按渐进方式工作的神经元，即保留了动态和非线性两个最重要的计算特性。 Hopfield神经网络设计的目标就是使得网络存储一些特定的平衡点，当给定网络一个初始条件时，网络最后会在这样的点上停下来,史忠植 人工智能：神经网络,2018/6/21,史忠植 人工智能：神经网络,68,内容提要,6.1 概述6.2 神经信息处理的基本原理6.3 感知机6.4 前馈神经网络6.5 Hopfield网络6.6 随机神经网络6.7 深度学习6.8 自组织神经网络6.9 小结,随机神经
28、网络,前面讨论的两种网络都为确定性的网络，组成它们的神经元均为确定性的，即给定神经元的输入其输出就是确定的。但在生物神经元中由于有各种各样的干扰，这实际上是很难实现的。同时人工神经元的硬件实现也会有各种扰动，从而带来某些不确定性， 因此讨论随机神经元显得必要且必需。下面首先讨论模拟退火算法（simulated annealing，SA）, 然后讨论玻耳兹曼机（Boltzmann machine，BM）。,2018/6/21,史忠植 人工智能：神经网络,69,模拟退火算法,模拟退火算法（Simulated Annealing)来源于固体退火原理，将固体加温至充高，再让其徐徐冷却，加温时，固体内部
29、粒子随温度升高变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。它由Metropolis算法和退火过程（Annealing Procedure，AP）组成。,2018/6/21,史忠植 人工智能：神经网络,70,模拟退火算法的基本思路：首先在高温下进行搜索，此时各状态出现概率相差不大，可以很快进入“热平衡状态”，这时进行的是一种“粗搜索”，也就是大致找到系统的低能区域；随着温度的逐渐降低，各状态出现概率的差距逐渐被扩大，搜索精度不断提高。这就可以越来越准确的找到网络能量函数的全局最小点。,模拟退火算法,2018/6/21,史忠植 人工智
30、能：神经网络,71,模拟退火的最初目的是寻找代表复杂系统的代价函数的全局最小值。因此，这种方法为解决凹平面最优问题提供了一个强有力的工具，其中心思想在于：在用模拟退火最优化一个复杂系统（如：一个拥有很多自由度的系统）时，误差或能量函数绝大部分的时间在下降，但不是一直下降，即误差或能量函数的总趋势向减小的方向变化，但有时也向增大的方向变化，这样可跳出局部极小点，向全局最小点收敛。,模拟退火算法,2018/6/21,史忠植 人工智能：神经网络,72,模拟退火与传统迭代最优算法的比较：（1）当系统在非零温度下时，从局部最优中跳出是非常可能的，因此不会陷入局部最优。（2）系统最终状态的总特征可以在较高
31、温度下看到，而状态的好的细节却在低温下表现，因此，模拟退火是自适应的.。,模拟退火算法,2018/6/21,史忠植 人工智能：神经网络,73,1.Metropolis抽样过程 假定一随机变量在某一时刻的状态为vi。在另一时刻的状态为vj。假设这种状态的转移满足以下条件：E表示系统从状态vi转移至状态vj所引起的能量差。如果能量差E为负，这种转移就导致状态能量的降低，这种转移就被接受。接下来，新状态作为算法下一步的起始点。,模拟退火原理,2018/6/21,史忠植 人工智能：神经网络,74,若能量差为正，算法在这一点进行概率操作。首先，选定一个在0,1内服从均匀分布的随机数。如果0或Ei 0即
32、0 时， 神经元取1的概率： 神经元取0的概率：,当 Ei 0时， 这时神经元i的状态取1的可能性比取0的可能性大，即网络状态取能量低的可能性大。,Boltzmann机的工作原理,2018/6/21,史忠植 人工智能：神经网络,89,（2）同理当Ei 0，即能量差Ei0，取vi=1为神经元i的下一状态值。若ui0，计算概率：,Boltzmann机的运行步骤,2018/6/21,史忠植 人工智能：神经网络,97,第四步：判断网络在温度Tm下是否达到稳定，若未达到稳定，则继续在网络中随机选取另一神经元j，令ji，转至第二步重复计算，直至网络在Tm下达到稳定。若网络在Tm下已达到稳定则转至第五步计算
33、。第五步：以一定规律降低温度，使Tm+1Tm，判断Tm+1是否小于Tfinal，若Tm+1大于等于Tfinal，则Tm=Tm1，转至第二步重复计算；若Tm+1小于Tfinal ，则运行结束。此时在Tm下所求得的网络稳定状态，即为网络的输出。,Boltzmann机的运行步骤,2018/6/21,史忠植 人工智能：神经网络,98,Boltzmann机学习需要注意,（1）初始温度T0的选择方法。初始温度T0的选取主要有以下方法：随机选取网络中k个神经元，选取这k个神经元能量的方差作为T0；在初始网络中选取使E最大的两个神经元，取T0为Emax的若干倍；按经验值给出T0等。（2）确定终止温度阈值Tfi
34、nal的方法。主要根据经验选取，若在连续若干温度下网络状态保持不变，也可认为已达到终止温度。,2018/6/21,史忠植 人工智能：神经网络,99,（3）概率阈值的确定方法。的选取方法主要有：在网络初始化时按照经验确定或在网络每次运行过程中选取一个0,0.5之间均匀分布的随机数。（4）网络权值wij的确定方法。将在下一章节讨论。（5）在每一温度下达到热平衡的条件。通常在每一温度下，实验足够多的次数，直至网络状态在此温度下不再发生变化为止。,Boltzmann机学习需要注意,2018/6/21,史忠植 人工智能：神经网络,100,（6）降温的方法。通常采用指数的方法进行降温，即：为加快网络收敛速
35、度也可采用倍乘一个小于1的降温系数的方法进行快速降温。,Boltzmann机学习需要注意,2018/6/21,史忠植 人工智能：神经网络,101,Boltzmann机是一种随机神经网络，可使用概率中的似然函数量度其模拟外界环境概率分布的性能。因此，Boltzmann机的学习规则就是根据最大似然规则，通过调整权值wij，最小化似然函数或其对数。假设给定需要网络模拟其概率分布的样本集合 ，Vx是样本集合中的一个状态向量，Vx即可代表网络中显见神经元的一个状态，假设向量Vy表示网络中隐见神经元的一个可能状态，则V=Vx Vy即可表示整个网络所处的状态。,Boltzmann机的学习规则,2018/6/
36、21,史忠植 人工智能：神经网络,102,由于网络学习的最终目的是模拟外界给定样本集合的概率分布，而Boltzmann机含有显见神经元和隐见神经元，因此Boltzmann机的学习过程包括以下两个阶段：（1）主动阶段：网络在外界环境约束下运行，即由样本集合中的状态向量Vx控制显见神经元的状态。定义神经元i和j的状态在主动阶段的平均关联为：,Boltzmann机的学习规则,2018/6/21,史忠植 人工智能：神经网络,103,史忠植 人工智能：神经网络,其中概率P(Vy|Vx)表示网络的显见神经元约束在Vx下隐见神经元处于Vy的条件概率，它与网络在主动阶段的运行过程有关。2）被动阶段：网络不受外界环境约束，显见神经元和隐见神经元自由运行，不受约束。被动阶段的平均关联为：定义神经元i和j的状态在,Boltzmann机的学习规则,
