1、2006-2007 年度第 1 学期研究生人工智能教案-详案第四部分 计算智能4-1 概述第一个定义计算智能者：Bezdek(1992)。依据：计算智能取决于制造者提供的 数值数据而非知识 。人工智能则 运用人类知识 解决问题。相关概念：ANN-Artificial Neutral NetworkCNN-Computing Neutral NetworkAI-Artificial IntelligenceCI-Computing IntelligenceABC-Artificial（非生物的） ，Biological（物理+化学+?=生物） ，Computational（数学+ 计算机） PR
2、-Pattern RecognitionABC 的交互关系（见教材 P125）ABC 相关的各领域之基本定义（见教材 P125）“计算智能”系统：计算智能是一种智力活动的低层认识。如果一个系统只涉及到数值计算（含模式识别类）而不运用人工智能意义下的知识，且具有：计算适应性、计算容错性、接近人的速度、误差与人接近的特征，则该系统归入计算智能领域。“人工智能”系统：智能计算系统以非数值方式加上知识值后，将成为人工智能系统。已有的计算智能研究领域：神经计算、模糊计算、粗糙集理论、遗传算法、进化策略、人工生命、粒群算法、自然计算、蚁群算法、免疫计算等。4-2 神经计算4-2-1 引入美国神经神经生理学
3、家 McCulloch 和青年数理逻辑学家 Pitts 于 1943 年提出第一个人工神经网络模型。分为两个方向：一是以 Kleene 为代表的理论计算机科学工作者，他们将神经网络研究抽象为自动机理论；一是从人工智能的应用方面努力。简史：1957 年，Rosenblatt 引入感知机，稍后，Minsky 和 Papert 从数学上证明了感知机的逻辑推理局限性(不能实现复杂逻辑功能)。1970s 基本停滞不前。1982 年 Hopfield 提出了有坚实数学理论基础的，又易于实现，还找到不少应用领域的神经网络模型，才又一次进入了研究高潮。2006-2007 年度第 1 学期研究生人工智能教案-详
4、案主要应用领域：模式识别、图像处理、自动控制、机器人、信号处理、管理、商业、医疗、军事、家用电器等。主要特点：(1) 并行分布式处理方式：大规模并行处理结构与信息分布式存储结构合二为一，且具有网络全局性作用特性。适合处理实时和动态应用；(2) 非性线映射特征：可反映神经网络的固有特性。适合处理很多非性线分析与计算问题；(3) 学习的特征：通过以往的数据进行训练、学习，使对输入空间产生相应的非线性映射关系，或对输入产生自适应或自组织聚类结果，使其能相对容易地处理难以用数学模型或规则描述解决的问题；(4) 适应能力与集成能力：适于处理复杂、大规模和多变量的系统；(5) 实现上：软、硬均可。4-2-
5、2 大脑神经系统与神经网络4-2-2-1 大脑的组织1.大脑组织重约 1350g，由大约 1011 个（约 1000 亿）神经细胞或神经元构成，没有完全相同的神经元。2.大脑的发育与成长过程及结构（略）3.对大脑的研究与认识方法(1)对单个神经元及其功能的了解与认识(2)对构成大脑的神经元群怎样相互连接成一个统一的整体的研究(3)研究神经元如何相互作用以及其携带信息的意义的研究4.脑的总体组织结构及其信息流过程从感受器细胞(A) 输入感觉信号，直到终止于肌细胞的运动神经元(Z) 输出感A B C X Y Z输入 A 输出 Z图 4-2-2-1 脑的基本信息流处理过程2006-2007 年度第
6、1 学期研究生人工智能教案-详案觉信号。如图 4-2-2-1 图所示。(1)输入方法(人认识外部世界的唯一途径！)方法 1：一组组感受器，即一些变了形的神经细胞，它们可以将外界作用于它们的各种形式的信息转换成电信号，如有些对光有反应（如眼） ，有些对化学物有反应（如触觉、嗅觉等） ，有些对声音有反应（如听觉等） 。注：感受器与其后面的神经元想接触，而后面的神经元又与其它神经元相接触，如此等等。方法 2：在传导路径的每一级，轴突分支向后续神经元提供输入信息。方法 3：每一神经元对从前面传来而会聚到它上面的神经元兴奋性和抑制性加以整合，其结果作为下一级的输入信息。(2)输出方法(人对外部世界产生反
7、应并对其施加影响的唯一途径)经过多级接替后，神经轴突终止于腺细胞或肌细胞上，构成神经细胞的对外界之输出。(3)(内部 )操作 (基于大脑神经网络系统的知觉、情绪、记忆、思维等等活动)4-2-2-2 大脑神经系统的结构与机能1.神经元的结构如图 4-2-2-2 所示（略）。其中，每一个典型的神经元大约有 1000-10000 个突触，能够接受来自大约 1000 个其它神经元的信息。神经元由三个区构成：细胞体-包含细胞核及相应的酶组成；树突-管状延伸物，成灌木丛状，神经元将从这里接受输入信号；轴突-从细胞体延伸出来 (形成通路)，将信号传入脑和神经系统的其它部分。神经元之的连接方式： 一个细胞的轴
8、突与另一个细胞的树突连接形成突触； 轴突与轴突之间的连接； 树突与树突之间的连接； 轴突与细胞体之间的连接；突触 (触突的终点) ：是神经元传送信息部分。其中，一些突触是兴奋性的，一些是抑制性的，两者的综合结果使神经元处于兴奋或抑制状态。2.突触的结构和机理 结构 作用机理脉冲 轴突末梢(突触前)突触后细胞膜变化(接收信息) 在突触后产生正/ 负电位(PSP) 一组相关概念PSPPost Synaptic Potential 突触后电位 PSP；Depolarization：去极化。正电位去极化即正负电位的产生引起对应静息电位的绝对增加。Hyper-polarization：超极化。正电位去极
9、化即正负电位的产生引起对应静向突触间隙释放乙酰胆碱化学物质2006-2007 年度第 1 学期研究生人工智能教案-详案息电位的绝对减少。EPSP： Excitatory PSP。兴奋性突触后电位，正 PSP。IPSP： Inhibitory。抑制性突触后电位，负 PSP。化学突触：向突触释放某种化学物质而传递兴奋或抑制信息的突触（一般都是这种突触） 。中断性神经元：只从一根轴突接受输入信息的神经元。兴奋性神经元：能使突触后神经元产生 EPSP 的神经元。抑制性神经元：能使突触后神经元产生 IPSP 的神经元。突触前抑制性突触：对其它突触所产生的 EPSP 有抑制作用的突触。3.脉冲的产生静息膜
10、电位：神经元细胞膜在静止状态下，膜内与膜外保持 50-90mV 的负电位( 哺乳动物为 70mV)。脉冲电位：细胞内的 PSP 传到突触前的脉冲在正方向大到一定值(阈值)时，细胞内的电位便迅速上升，从而产生一个尖峰的形脉冲电位。神经元阈值的变化：绝对不应期相对不应期。结论：增强兴奋性突触的输入，输入脉冲密度将增加，则神经元产生的输出脉冲密度也增加，反之亦然。4.脉冲在突触上的传递问题一般过程：轴突的初始阶段 下一轴突轴突末梢 引 起 兴 奋 ， 然 后 沿 轴 突轴突脉冲传送速度与轴突粗细 的关系：越粗越快。有髓鞘神经纤维的传递d速度与 成正比，没有时与 成正比。如哺乳类中， ，食用蛙类 。d
11、 dv6dv2轴突的传递优势：1) 无衰减； 2) 保持固有脉冲(使兴奋信号稳定，增强了适应能力) ；3) 接近的波形在神经纤维上以恒定的速度传递；4) 抗干扰性好。因为，轴突传递的信号，其脉冲振幅有要求，小于阈值的信号会消失，大于阈值的信号将调整为接近固有波形。兴奋性突触波形 抑制性突触波形EPSP 负正IPSP1.2ms 5ms图 4-2-2-3 IPSP 和 EPSP 波形图2006-2007 年度第 1 学期研究生人工智能教案-详案5.大脑神经系统的结构(由神经元通过突触相互连接而成)大脑皮层的 6 层结构：分子层/外颗粒层/外锥体细胞/内颗粒层/ 内锥体细胞层/多形细胞层。大脑的 5
12、2 大功能区的划分及结构关系（图略）：大脑神经系统52 个功能区构成每一功能区由 300 万个神经元群构成每一神经元群由 30-1000 个神经元构成神经元群中的各神经元之间通过突触连接成一个整体。大脑神经元的主要连接方式： 辐射：通过轴突末梢分支与许多神经元的树突连接，形成突触联系。扩散现象：一个神经元的兴奋或抑制状态，通过突触联系而扩展到许多其它神经元的现象。 聚合：许多神经元的轴突末梢与一个神经元的树突连接的突触联系。使来自多个神经元的兴奋和抑制作用能集中对同一个神经元产生影响。 规律：传入神经元（如感受类神经元）的神经纤维进入系统后与某神经元之间的关系呈现出辐射为主的突触连接特性；传出
13、神经元（如大脑末皮层神经元）则以聚合为主，接受其它神经元轴突的突触联系；中间神经元兼而有之，比较复杂，如链状、环状等。4-2-3 人工神经网络4-2-3-1 人工神经网络的信息处理机制以神经生理学为基础。信息表达的分布性：信息及对其处理的功能必须分布到广泛的大脑皮层区域上；脑具有重新组织信息处理过程的能力。几个实例结论： Lashley（迷宫鼠大脑皮层实验）：记忆的丧失只依赖于切除动物的整个皮层，仅切除任何局部区域都不怎么影响记忆！ Westlake（全息记忆模型）： 记录光学图像的全息技术与脑的记忆之相似性。1) 全息图片的片段也能使记录到的光学像再现；2) 两束光线 A、B 相干成的全息图
14、，A 为参考时，B 可再现。反之亦然。 John 的“统计构型”学说：学习过程的关键事件发生于脑的不同部位。 Freeman“K-集”学说：分组的神经元组织成以相互作用为基础的“神经元2006-2007 年度第 1 学期研究生人工智能教案-详案群” 。 Schwarts 空间映射的数学模型： 复对数映射。神经网络的学习特性： 大部分神经元均表现出不停的活动特征，每个细胞都对任意的刺激表现出发放模式的改变。随着外部刺激性质的不同，形成和改变神经元之间的突触联系。 自组织特性(Self-Organization)：由于外部刺激，形成和调整神经元之间的突触关系，并逐渐改变而建成神经网络的现象。 神经
15、元之 间的突触联 系方法（算法）：（见图 4-2-3-1）(1)开始是强兴奋联系，即可变突触 ；在 不发放（脉冲）而 发放时，0iCixy的联合强度减弱（即对 的发放无用的突触会向失效方向变化） ；而抑制性突iCy触的作用是控制 的阈值。(2)开始有兴奋联系，但当 与 同时发放时，则从 到 的可变突触 将ixixyiC得到强化。此类模型有：Caianiello 记忆方程式；中野的联想机(Association)；Grossberg 的神 经通路模型 等。(3)Hebb 突触： 对神经元 ，除兴奋性可变突触外，还有从 Z 细胞来的固定y强度的兴奋性突触。它对可变突触进行强化，以调节信号。Marr
16、 假说：小脑是通过这种突触进行学习的。(4)福岛假说： 发放时， 附近没有比 发放更强（更高的发放频率）的神ixy经元存在时，才能使 到 的可变突触 得到强化。iyiC(5)Alkon 假说：突触形成过程中，对某一神经元而言，并不是所有的突触权值都要进行修改，而只是局部修改。而(1)(4)假说中，需要对所有突触的连接权值进行修改。4-2-3-2 人工神经网络的结构及模拟原理一.人工神经元的结构及基本特性1.神经元结构如图 4-2-3-2 所示。当前神经元 由多个输入 和一j nix,.1| -1图 4-2-3-2 人工神经元的基本模型()fj1xw2jnxj. jy2006-2007 年度第
17、1 学期研究生人工智能教案-详案个输出 构成。其中， 表示神经元的偏置或阈值， 为连接权 重或系数jyjjiw（对激发状态其取正值，抑制状态则取负值） ， 为神经元的输入信号数目，n为神经元 的输出， 为输出变换函数，称为激励函数。输出变换函数一jj()f般采用 S 函数或阶跃函数或二值分段函数。注 1：对输入信息、权重信息等，往往用矢量形式表达。如 ，,.1nxX。,.jnjjwW注 2：常见的激励函数有：1)一般线性函数： ，其中， 是常量。bkvubk,2)对数函数： ，其中， 是常量。1)(e3)双曲正切函数： ，其中， 是常量。)/(kvkvek4)高斯函数： ，其中， 确定函数的中
18、心， 确2exp(2cuc定函数的宽度。5)符号函数： 0,1)sgn(v6)阶跃函数： ,0u一般讲，线性函数用于线性神经网络，对数、双曲正切函数用于多层或反馈连接的非线性神经网络，高斯、柯西函数用于非线性经向基函数神经网络，而符号函数、阶跃函数是对数、双曲正切函数的极限情形，因此，可用其完成连续神经网络到离散神经网络的转换。部分激励函数几何特性见图 4-2-3-3（略，见教材 P128）。神经元的输入、输出关系由以下公式表示：jy，其中， 表示时间。nijijwft1)()t2.神经元的基本特性（见教材 P128）3.神经元的模型及实现讨论（参见神经网络导论，胡守仁 等，国防科技大学出版社
19、，1993 年 10 月）二. 人工神经网络的互连结构（Top 结构）1.单层或双层结构2006-2007 年度第 1 学期研究生人工智能教案-详案2.多层互连结构4-2-3-3 人工神经网络的典型模型简介早期的自适应网络模型：(1) 感知机模型（通过监督学习来逐渐获得划分模式能力，其分类模式为 0/1 向量，类别集合也为 0/1 向量，神经元之间只有自适应的层间权连接，层内神经元之间没有互连）：双层感知机、三层感知机；(2) ADALINE 模型、MADLINES 模型、Widrow 的 MRII 算法。其主要不足在于对输入的过分敏感，较小的输入变化可能引起较大的输出变化。联想存储器：Ste
20、inbuch 学习矩阵、Kohohen 关联矩阵存储器（在 Steinbuch(a) 不允许同层互连， (b) 允许同层互连 (c) 允许层间有反馈的连接（如感知机结构） 。 （带一直的神经网络） （如 ART、BAM 模型）(d) 单层全互连模型 (e) 单层局部互连结构 （Hopfield 神经网络结构） （如在单层抑制网中） 图 4-2-3-4 单层或双层互连神经网络的常见 Top 结构(a) 前馈神经网络模型 (b) 多层抑制神经网络结构 (c) 带反馈的多层神经网络结构（如 BP 神经网络） （同层允许互连） （如 ART2、ART3 等）图 4-2-3-5 多层神经网络互连结构.
21、. . . . .2006-2007 年度第 1 学期研究生人工智能教案-详案学习矩阵基础上提出的一种网络结构，其输入域分为键域和数据域，键域是对存储数据的编码，输出域即联想域） 、Nakano 联想机（能够实现自联想的三值神经元构成） 、BAM 模型（双向联想存储器，使用双层反馈网络结构） 、RCE（ Reduced Coulomb Energy）模型（具有快速一次学习能力，适合于决策辅助支持，网络具有三个处理层次结构，其输入层用于记录一个描述事件的特征，其输出层输出一个模式分类） 。其主要缺点是存储密度较低，易于震荡。多层神经网络：BP 网络模型（反向传播神经网络模型，具有三层结构、各层之
22、间全互连、层内不互连特征） 、新认知机（Neocognitron） （直接从视觉神经通路结构获得启示，提出的一种结构） 。其不足在于训练时间比较长，且容易陷入局部极小。Hopfield 网络结构：二值 Hopfield 网络（只有一个神经元层次，各神经元之间为双向的全互连模式） 、连续值的 Hopfield 模型；Hopfield 的应用实例有 TSP问题。其计算代价较高，且需要对称连接，同时，它不具有学习能力。Boltzmann 机：由许多逻辑单元构成的无向图，由 Hint 提出，建立在Hopfield 网络基础上，可以通过模拟退火算法寻求问题的解。具有学习能力，但训练时间比较长。自组织特征
23、映射模型 SOM：由 Teuvo Kohonen1981 年提出，神经元有序 n 等排列，并可感觉到外界刺激。计算实例 1：以感知机为例，如图 4-2-3-4 所示，以两层感知机模型为准。其输入层与输出层间完全互连，权值通过学习来调整。感知机单元取值为 0/1/-1。其神经元的输入加权和为 ， 为偏置或阈nijijwxS11j值，神经元的输出值为 。0,jjjy感知机训练：由一组样本集合构成训练集，反复将样本送入感知机输入层，通过调整权值使其输出达到理想要求。具体方法步骤如下：(1)样本 (2)训练误差的计算：设 表示输出层神经元 的第 次训练输出， 表示jpyjpjpt神经元 的理想输出，则
24、训练误差为： 。j jpjyt(3)权值调整方式： ，其中， 为常数，)()1( tcwt jjjiji 1c代表学习速度。表 4-2-3-1 训练样本数据输入模式 输出模式11000000 1000000111000 0100000001111 0010010101010 1001011001100 000012006-2007 年度第 1 学期研究生人工智能教案-详案(4)性能测试公式或分类精度： ，其中， 表示训练样本ypjjnt2)(pn中的样本数， 表示输出层处理单元个数。yn训练实例：设 ，初1.0c始权值为 之间的5.随机数。训练样本情况如表4-2-3-1 所示，则输入样本数为
25、5，输出层单元为 5，输入层神经元数为 8。其训练的误差变化如图 4-2-3-6 所示。计算实例 2：LVQ 网络（略）；计算实例 3：Kohonen 网络（略）；计算实例 4：Hopfield 网络（略）；4-2-3-4 基于神经网络的知识表示与推理1.基于神经网络的知识表示（教材 P134-136）思想方法：隐式表示法。不是独立地表示某一条知识，而是同时表示若干知识内容在网络中，甚至包含推理方法和过程也如此。表示形式：用神经网络所对应的有向权的邻接矩阵及阈值向量来表示。例如：图 4-2-3-7 所示为一个异或逻辑的神经网络表示。 （WHY?）其邻接矩阵为： 002100逻辑分析的计算公式如
26、下为： 。)()1nijijj xwfty1) 当 时，1*0+1*0=0 0，所以， 的输出为 0。同理， 02,1x1yx1.00.50 1 2 3 4 5 6 y图 4-2-3-6 表 4-2-3-1 所示训练样本的训练误差曲线(0) (2) (4)(1) (3)误差010+1+1+1+1+1-21x2x y图 4-2-3-7 异或逻辑的神经网络表示1y2y2006-2007 年度第 1 学期研究生人工智能教案-详案1*0+1*0=0 0，所以， 的输出为 0。1*0+(-2)*0=0 ；2y0y2) 当 时，1*0+1*1=10 ，所以， 的输出为 1。同理， 1,x 11*0+1*1
27、=1 1，所以， 的输出为 0。1*1+(-2)*0=10 ；2y y3) 当 时，1*1+1*0=10 ，所以， 的输出为 1。同理， ,x 11*1+1*0=1 1，所以， 的输出为 0。1*1+(-2)*0=10 ；2y y4) 当 时，1*1+1*1=20 ，所以， 的输出为 1。同理， 1,x 11*1+1*1=21，所以， 的输出为 1。 1*1+(-2)*1=-10 =0；2y y注：教材 P135 页图 4.10 的计算与此过程类似（但 权值有问题！）。与、或、非、异或（教材 P135）、少数服从多数的逻辑表示方法。 （P167-168智能计算，曾黄麟，重庆大学出版社， 200
28、4 年 6 月）2.基于神经网络的推理（教材 P136-137）基本思想：将初始条件或证据用作网络的输入，通过网络计算最终得到输出结果。正向推理过程：(1) 把已知数据输入网络输入层的各个节点；(2) 分别逐层计算网络中各层的输出结果；直到计算出输出层为止。(3) 用阈值函数对输出层的输出进行判定，得到输出结果。推理过程的特征：(1) 同一层的处理单元（神经元）是完全并行的，但是，层间的信息传递是串行的。(2) 在推理计算中不会出现如 ES 中的冲突问题。(3) 网络推理只与输入和网络自身的参数有关，这些参数又是通过训练获得的（因此是自适应推理） 。逆向推理过程和双向推理过程等（略）。2006-2007 年度第 1 学期研究生人工智能教案-详案4-3 模糊计算 4-3-1 模糊集合、模糊逻辑及其运算4-3-2 模糊逻辑推理3-3-3 模糊判决方法4-3-4 模糊逻辑、专家系统和神经网络在控制中的集成4-4 粗糙集理论4-4-1 基本概念4-4-2 粗糙集理论的数据和决策表约简4-5 遗传算法4-6 进化4-7 人工生命小结：
