MATLAB程序代码--人工神经网络及其工程应用new.doc

1、 MATLAB 程 序 代 码 -人 工 神 经 网 络 及 其 工 程 应 用目 录第 一 章 人 工 神 经 网 络 31.1 人 工 神 经 网 络 简 介 31 1 人 工 神 经 网 络 的 起 源 31 2 人 工 神 经 网 络 的 特 点 及 应 用 31.2 人 工 神 经 网 络 的 结 构 42 1 神 经 元 及 其 特 性 52 2 神 经 网 络 的 基 本 类 型 62.2.1 人 工 神 经 网 络 的 基 本 特 性 62.2.2 人 工 神 经 网 络 的 基 本 结 构 62.2.3 人 工 神 经 网 络 的 主 要 学 习 算 法 71.3 人 工 神

2、 经 网 络 的 典 型 模 型 73 1 Hopfield 网 络 73 2 反 向 传 播 (BP)网 络 83 3 Kohonen 网 络 83 4 自 适 应 共 振 理 论 (ART) 93 5 学 习 矢 量 量 化 （ LVQ） 网 络 111.4 多 层 前 馈 神 经 网 络 （ ） 模 型 124 1 BP 网 络 模 型 特 点 124 2 BP 网 络 学 习 算 法 134.2.1 信 息 的 正 向 传 递 134.2.2 利 用 梯 度 下 降 法 求 权 值 变 化 及 误 差 的 反 向 传 播 144 3 网 络 的 训 练 过 程 154 4 BP 算 法

3、 的 改 进 154.4.1 附 加 动 量 法 154.4.2 自 适 应 学 习 速 率 164.4.3 动 量 -自 适 应 学 习 速 率 调 整 算 法 174 5 网 络 的 设 计 174.5.1 网 络 的 层 数 174.5.2 隐 含 层 的 神 经 元 数 174.5.3 初 始 权 值 的 选 取 174.5.4 学 习 速 率 171.5 软 件 的 实 现 18第 二 章 遗 传 算 法 192.1 遗 传 算 法 简 介 192.2 遗 传 算 法 的 特 点 192.3 遗 传 算 法 的 操 作 程 序 202.4 遗 传 算 法 的 设 计 20第 三 章

4、基 于 神 经 网 络 的 水 布 垭 面 板 堆 石 坝 变 形 控 制 与 预 测3.1 概 述 233.2 样 本 的 选 取 243.3 神 经 网 络 结 构 的 确 定 253.4 样 本 的 预 处 理 与 网 络 的 训 练 254 1 样 本 的 预 处 理 254 2 网 络 的 训 练 263.5 水 布 垭 面 板 堆 石 坝 垂 直 压 缩 模 量 的 控 制 与 变 形 的 预 测 305 1 面 板 堆 石 坝 堆 石 体 垂 直 压 缩 模 量 的 控制 305 2 水 布 垭 面 板 堆 石 坝 变 形 的 预 测 355 3 BP 网 络 与 COPEL 公

5、 司 及 国 内 的 经 验 公 式 的 预 测 结 果 比 较 353.6 结 论 与 建 议 38第 四 章 BP 网 络 与 遗 传 算 法 在 面 板 堆 石 坝 设 计 参 数 控 制 中 的 应 用4.1 概 述 394.2 遗 传 算 法 的 程 序 设 计 与 计 算 394.3 结 论 与 建 议 40参 考 文 献 41第 一 章 人 工 神 经 网 络1.1 人 工 神 经 网 络 简 介1 1 人 工 神 经 网 络 的 起 源 人 工 神 经 网 络 （ Artificial Neural Network,简 称 ANN） 研 究 的 先 锋 ， 美 国心 理 学 家

6、 Warren S McCulloch 和 数 学 家 Walter H Pitts 曾 于 1943 年 提 出 一 种叫 做 “似 脑 机 器 ”（ mindlike machine） 的 思 想 ， 这 种 机 器 可 由 基 于 生 物 神 经 元特 性 的 互 连 模 型 来 制 造 ,这 就 是 神 经 学 网 络 的 概 念 。 他 们 构 造 了 一 个 表 示 大 脑基 本 组 成 部 分 的 神 经 元 模 型 ， 对 逻 辑 操 作 系 统 表 现 出 通 用 性 。 随 着 大 脑 和 计 算机 研 究 的 进 展 ， 研 究 目 标 已 从 “似 脑 机 器 ”变 为

7、 “学 习 机 器 ”， 为 此 一 直 关 心 神经 系 统 适 应 律 的 心 理 学 家 D.O.Hebb 于 1949 年 提 出 了 学 习 模 型 。 1957 年Rosenblatt 首 次 提 出 感 知 器 ， 并 设 计 一 个 引 人 注 目 的 结 构 。 到 60 年 代 初 期 ，关 于 学 习 系 统 的 专 用 设 计 指 南 有 Widrow 等 提 出 的 Adaline(adaptive linear element,即 自 适 应 线 性 元 )以 及 Steinbuch 等 提 出 的 学 习 矩 阵 。 由 于 感 知 器 的 概念 简 单 ， 因

8、而 在 开 始 介 绍 时 对 它 寄 托 很 大 希 望 。 然 而 ， 不 久 之 后 Minsky 和Papert 从 数 学 上 证 明 了 感 知 器 不 能 实 现 复 杂 逻 辑 功 能 1。到 了 70 年 代 ， Grossberg 和 Kohonen 对 神 经 网 络 研 究 作 出 重 要 贡 献 。 以生 物 学 和 心 理 学 证 据 为 基 础 ， Grossberg 提 出 几 种 具 有 新 颖 特 性 的 非 线 性 动 态系 统 结 构 。 该 系 统 的 网 络 动 力 学 由 一 阶 微 分 方 程 建 模 ， 而 网 络 结 构 为 模 式 聚 集算

9、 法 的 自 组 织 神 经 实 现 。 基 于 神 经 元 组 织 自 己 来 调 整 各 种 各 样 的 模 式 的 思 想 ，Kohonen 发 展 了 他 在 自 组 织 映 像 方 面 的 研 究 工 作 。 Werbos 在 70 年 代 开 发 一种 反 向 传 播 算 法 。 Hopfield 在 神 经 元 交 互 作 用 的 基 础 上 引 入 一 种 递 归 型 神 经 网络 ， 这 种 网 络 就 是 有 名 的 Hopfield 网 络 。 在 80 年 代 中 叶 ， 作 为 一 种 前 馈 神 经网 络 的 学 习 算 法 ， Parker 和 Rumelhart

10、 等 重 新 发 现 了 反 回 传 播 算 法 。 如 今 ， 神经 网 络 的 应 用 越 来 越 广 泛 了 1。1 2 人 工 神 经 网 络 的 特 点 及 应 用 人 工 神 经 网 络 是 由 许 多 神 经 元 互 连 在 一 起 所 组 成 的 复 杂 网 络 系 统 。 它 是在 现 代 神 经 学 研 究 成 果 基 础 上 提 出 的 ， 能 模 拟 人 的 若 干 基 本 功 能 。 它 具 有 并 行分 布 的 信 息 处 理 结 构 ， 是 通 过 “学 习 ”或 “训 练 ”的 方 式 完 成 某 一 特 定 的 工作 。 其 最 显 著 的 特 点 是 具 有

11、 自 学 习 能 力 ， 并 在 数 据 含 有 噪 音 、 缺 项 或 缺 乏 认 知时 能 获 得 令 人 满 意 的 结 论 ， 特 别 是 它 可 以 从 积 累 的 工 作 实 例 中 学 习 知 识 ， 尽 可能 多 地 把 各 种 定 性 定 量 的 影 响 因 素 作 为 变 量 加 以 输 入 ， 建 立 各 影 响 因 素 与 结 论之 间 的 高 非 线 性 映 像 ， 采 用 自 适 应 模 式 识 别 方 法 完 成 此 工 作 。 它 对 处 理 内 部 规律 不 甚 了 解 、 不 能 用 一 组 规 则 或 方 程 进 行 描 述 的 较 复 杂 问 题 或 开

12、 放 的 系 统 显 得较 为 优 。按 照 神 经 元 的 连 接 方 式 ， 人 工 神 经 网 络 可 分 为 两 种 ： 没 有 反 馈 的 前 向 网 络和 相 互 结 合 型 网 络 。 前 向 网 络 是 多 层 映 像 网 络 ， 每 一 层 中 神 经 元 只 接 受 来 自 前一 层 神 经 元 的 信 号 ， 因 此 信 息 的 传 播 是 单 方 向 的 。 BP 网 络 是 这 类 网 络 最 典 型的 例 子 。 在 相 互 结 合 型 的 网 络 中 ， 任 意 神 经 元 之 间 都 可 能 有 连 结 ， 因 此 ， 输 入信 号 要 在 网 络 中 往 返

13、传 播 ， 从 某 一 初 态 开 始 ， 经 过 若 干 变 化 ， 渐 渐 趋 于 某 一 稳定 状 态 或 进 入 周 期 震 荡 等 其 它 状 态 ， 这 方 面 的 网 络 有 Hopfield 网 络 、 SOM网 络 等 。网 络 的 学 习 能 力 体 现 在 网 络 参 数 的 调 整 上 。 参 数 调 整 方 法 为 有 教 师 学 习 和无 教 师 学 习 两 种 基 本 方 式 。 有 教 师 学 习 方 式 是 网 络 根 据 教 师 给 出 的 正 确 输 入 模式 ， 校 正 网 络 的 参 数 ， 使 其 输 出 接 近 于 正 确 模 式 。 这 类 方

14、式 常 采 用 梯 度 下 降 的学 习 方 法 ， 如 BP 算 法 。 而 无 教 师 学 习 是 网 络 在 没 有 教 师 直 接 指 点 下 通 过 竞 争等 方 式 自 动 调 整 网 络 参 数 的 学 习 方 法 ， 如 自 适 应 共 振 网 络 。神 经 网 络 就 是 由 许 多 神 经 元 互 连 在 一 起 所 组 成 的 神 经 结 构 。 把 神 经 元 之 间相 互 作 用 的 关 系 进 行 数 学 模 型 化 就 可 以 得 到 神 经 网 络 模 型 。 目 前 已 有 几 十 种 不同 的 神 经 网 络 模 型 。 代 表 的 网 络 模 型 有 感

15、知 器 、 反 向 传 播 BP 网 络 、 GMDH网 络 、 RBF 网 络 、 双 向 联 想 记 忆 （ BAM） 、 Hopfield 网 络 、 Boltsmann 机 、自 适 应 共 振 网 络 （ ART） 、 自 组 织 特 征 映 像 （ SOM） 网 络 等 。 运 用 这 些 网 络模 型 可 实 现 函 数 近 似 （ 数 字 逼 近 映 像 ） 、 数 据 聚 类 、 模 式 识 别 、 优 化 计 算 等 功能 ， 因 此 ， 人 工 神 经 网 络 广 泛 用 于 人 工 智 能 、 自 动 控 制 、 机 器 人 、 统 计 学 、 工程 学 等 领 域 的

16、 信 息 处 理 中 。1.2 人 工 神 经 网 络 的 结 构神 经 网 络 的 结 构 是 由 基 本 处 理 单 元 及 其 互 连 方 法 决 定 的 。2 1 神 经 元 及 其 特 性人 工 神 经 网 络 的 基 本 处 理 单 元 在 神 经 网 络 中 的 作 用 与 神 经 生 理 学 中 神 经 元的 作 用 相 似 ， 因 此 ， 人 工 神 经 网 络 的 基 本 处 理 单 元 往 往 被 称 为 神 经 元 。 人 工 神经 网 络 结 构 中 的 神 经 元 模 型 模 拟 一 个 生 物 神 经 元 ， 如 图 1.2.1 所 示 。 该 神 经元 单 元

17、由 多 个 输 入 ， i=1,2,.,n 和 一 个 输 出 组 成 。 中 间 状 态 由 输 入 信 号ixjy的 加 权 和 与 修 正 值 表 示 ， 而 输 出 为 : )()1nijijj xwftY（ 1.2.1）图 1.2.1 神 经 元 模 型式 (1.2.1)中 ,j 为 神 经 元 单 元 的 偏 置 （ 阈 值 ） ， wji 为 连 接 权 系 数 （ 对 于 激发 状 态 ， wji 取 正 值 ， 对 于 抑 制 状 态 ， wji 取 负 值 ） ， n 为 输 入 信 号 数 目 ， yj 为神 经 元 输 出 ， t 为 时 间 ， f()为 输 出 变

18、换 函 数 ， 有 时 叫 做 激 发 或 激 励 函 数 ， 往 往采 用 0 和 1 二 值 函 数 或 形 函 数 ， 见 图 1.2.2， 这 三 种 函 数 都 是 连 续 和 非 线 性的 。一 种 二 值 函 数 如 图 1.2.2（ a） 所 示 ,可 由 下 式 表 示 ：(1.2.2)0,)(xxf一 种 常 规 的 形 函 数 如 图 1.2.2（ b） 所 示 ， 可 由 下 式 表 示 ：, (1.2.3)axef1)()(f常 用 双 曲 正 切 函 数 （ 如 图 1.2.2（ c） ） 来 取 代 常 规 形 函 数 ， 因 为 形 函数 的 输 出 均 为 正

19、 值 ， 而 双 曲 正 切 函 数 的 输 出 值 可 为 正 或 负 。 双 曲 正 切 函 数 如 下式 所 示 ：， (1.2.4) axef1)( 1)(xf图 1.2.2 神 经 元 中 的 某 些 变 换 （ 激 发 ） 函 数 2 2 神 经 网 络 的 基 本 类 型 2.2.1 人 工 神 经 网 络 的 基 本 特 性人 工 神 经 网 络 由 神 经 元 模 型 构 成 ； 这 种 由 许 多 神 经 元 组 成 的 信 息 处 理 网 络具 有 并 行 分 布 结 构 。 每 个 神 经 元 具 有 单 一 输 出 ， 并 且 能 够 与 其 它 神 经 元 连 接

20、；存 在 许 多 （ 多 重 ） 输 出 连 接 方 法 ， 每 种 连 接 方 法 对 应 一 个 连 接 权 系 数 。 严 格 地说 ， 人 工 神 经 网 络 是 一 种 具 有 下 列 特 性 的 有 向 图 ：（ ） 对 于 每 个 节 点 存 在 一 个 状 态 变 量 xi；（ ） 从 节 点 i 至 节 点 j， 存 在 一 个 连 接 权 系 数 wji；（ ） 对 于 每 个 节 点 ， 存 在 一 个 阈 值 j；（）对于每个节点，定义一个变换函数 fj(xi,wji,j),ij；对于最一般的情况，此函数取 形式。)(ijijjxwf2.2.2 人工神经网络的基本结构(

21、1)递 归 网 络 在 递 归 网 络 中 ， 多 个 神 经 元 互 连 以 组 织 一 个 互 连 神 经 网 络 ，如 图 1.2.3 所 示 。 有 些 神 经 元 的 输 出 被 反 馈 至 同 层 或 前 层 神 经 元 。 因 此 ， 信 号能 够 从 正 向 和 反 向 流 通 。 Hopfield 网 络 ， Elmman 网 络 和 Jordan 网 络 是 递 归网 络 有 代 表 性 的 例 子 。 递 归 网 络 又 叫 做 反 馈 网 络 。 图 1.2.3 中 ， vi 表 示 节 点 的 状 态 ， xi 为 节 点 的 输 入 (初 始 )值 ， xi为 收

22、敛 后 的 输 出 值 ， i=1,2,.,n。(2)前馈网络 前馈网络具有递阶分层结构，由一些同层神经元间不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通；神经元从一层连接至下一层，不存在同层神经元间的连接，如图 1.2.4 所示。图中，实线指明实际信号流通而虚线表示反向传播。前馈网络的例子有多层感知器(MLP)、学习矢量量化(LVQ)网络、小脑模型联接控制(CMAC)网络和数据处理方法(GMDH)网络等。 图 1.2.3 递 归 （ 反 馈 ） 网 络 图 1.2.4 前 馈 （ 多 层 ） 网 络 2.2.3 人 工 神 经 网 络 的 主 要 学 习 算 法神 经 网 络

23、主 要 通 过 两 种 学 习 算 法 进 行 训 练 ， 即 指 导 式 （ 有 师 ） 学 习 算 法 和非 指 导 式 （ 无 师 ） 学 习 算 法 。 此 外 ， 还 存 在 第 三 种 学 习 算 法 ， 即 强 化 学 习 算 法 ；可 把 它 看 做 有 师 学 习 的 一 种 特 例 。（ ） 有 师 学 习 有 师 学 习 算 法 能 够 根 据 期 望 的 和 实 际 的 网 络 输 出 (对 应 于 给定 输 入 )间 的 差 来 调 整 神 经 元 间 连 接 的 强 度 或 权 。 因 此 ， 有 师 学 习 需 要 有 个 老师 或 导 师 来 提 供 期 望 或

24、 目 标 输 出 信 号 。 有 师 学 习 算 法 的 例 子 包 括 规 则 、 广义 规 则 或 反 向 传 播 算 法 以 及 LVQ 算 法 等 。（ ） 无 师 学 习 无 师 学 习 算 法 不 需 要 知 道 期 望 输 出 。 在 训 练 过 程 中 ， 只 要 向神 经 网 络 提 供 输 入 模 式 ， 神 经 网 络 就 能 够 自 动 地 适 应 连 接 权 ， 以 便 按 相 似 特 征把 输 入 模 式 分 组 聚 集 。 无 师 学 习 算 法 的 例 子 包 括 Kohonen 算 法 和Carpenter-Grossberg 自 适 应 共 振 理 论 （

25、ART） 等 。（ ） 强 化 学 习 如 前 所 述 ， 强 化 学 习 是 有 师 学 习 的 特 例 。 它 不 需 要 老 师 给 出目 标 输 出 。 强 化 学 习 算 法 采 用 一 个 “评 论 员 ”来 评 价 与 给 定 输 入 相 对 应 的 神经 网 络 输 出 的 优 度 （ 质 量 因 数 ） 。 强 化 学 习 算 法 的 一 个 例 子 是 遗 传 算 法 (GAs)。1.3 人 工 神 经 网 络 的 典 型 模 型在 人 们 提 出 的 几 十 种 神 经 网 络 模 型 中 ， 人 们 较 多 用 的 是 Hopfield 网 络 、BP 网 络 、 Ko

26、honen 网 络 和 ART(自 适 应 共 振 理 论 )网 络 、 LVQ 网 络 。3 1 Hopfield 网 络 Hopfield 网 络 是 最 典 型 的 反 馈 网 络 模 型 ， 它 是 目 前 人们 研 究 得 最 多 的 模 型 之 一 。 Hopfield 网 络 模 型 由 一 组 可 使 某 个 能 量 函 数 最 小的 微 分 方 程 组 成 。 Hopfield 网 络 是 由 相 同 的 神 经 元 构 成 的 单 层 ， 并 且 不 具 学习 功 能 的 自 联 想 网 络 。 它 需 要 对 称 连 接 。图 1.3.1 表 示 Hopfield 网 络

27、 的 一 种 方 案 。 这 种 网 络 通 常 只 接 受 二 进 制 输入 (0 或 1)以 及 双 极 输 入 （ +1 或 -1） 。 它 含 有 一 个 单 层 神 经 元 ， 每 个 神 经 元 与所 有 其 它 神 经 元 连 接 ， 形 成 递 归 结 构 。 Hopfield 网 络 的 训 练 只 有 一 步 ， 网 络的 权 值 被 直 接 指 定 如 下 ：(1.3.1)jixNwcjiij ,01式 中 ， wij 为 从 神 经 元 i 至 神 经 元 j 的 连 接 权 值 ， xic（ 可 为 +1 或 -1）是 c 类 训 练 输 入 模 式 的 第 i 个

28、分 量 ， p 为 类 数 ， N 为 神 经 元 数 或 输 入 模 式 的 分量 数 。 从 式 （ 1.3.1） 可 以 看 出 ,wij =wji 以 及 wii=0,为 一 组 保 证 网 络 稳 定 的 条件 。 当 一 种 未 知 模 式 输 至 此 网 络 时 ， 设 置 其 输 出 初 始 值 等 于 未 知 模 式 的 分 量 ，即 ， (1.3.2) iixy)0(N1图 1.3.1 一 种 Hopfield 网 络 从 这 些 初 始 值 开 始 ， 网 络 根 据 下 列 方 程 迭 代 工 作 ， 直 至 达 到 某 个 最 小 的 能量 伏 态 ， 即 其 输 出

29、 稳 定 于 恒 值 ：， (1.3.3)Njiji kywfky1)()( Ni1式 中 ， f 为 一 硬 性 限 制 函 数 ， 定 义 为 ：(1.3.4)0,1,)(xxf3 2 反 向 传 播 (BP)网 络 最 初 由 Werbos 开 发 的 反 向 传 播 训 练 算 法 是 一 种 迭代 梯 度 算 法 ， 用 于 求 解 前 馈 网 络 的 实 际 输 出 与 期 望 输 出 间 的 最 小 均 方 差 值 。BP 网 络 是 一 种 反 向 传 递 并 能 修 正 误 差 的 多 层 映 像 网 络 。 当 参 数 适 当 时 ， 此 网 络能 够 收 敛 到 较 小

30、的 均 方 差 ， 是 目 前 应 用 最 广 的 网 络 之 一 。 它 可 用 于 语 言 综 合 ，识 别 和 自 适 应 控 制 等 用 途 。 BP 网 络 需 有 教 师 训 练 。 在 下 一 部 分 中 将 详 细 进 行介 绍 。3 3 Kohonen 网 络 Kohonen 网 络 是 典 型 的 自 组 织 神 经 网 络 ， 这 种 网 络 也 称为 自 组 织 特 征 映 像 网 络 SOM（ self-organizing feature map） 。 它 是 由Kohonen 提 出 的 ， 是 以 神 经 元 自 行 组 织 以 校 正 各 种 具 体 模 式

31、的 概 念 为 基 础 的 。SOM 能 够 形 成 簇 与 簇 之 间 的 连 续 映 像 ， 起 到 矢 量 量 化 器 的 作 用 。 它 的 输 入 层 是单 层 单 维 神 经 元 ； 而 输 出 层 是 二 维 的 神 经 元 ， 神 经 元 之 间 存 在 以 “墨 西 哥 帽 ”形 式 进 行 侧 向 交 互 的 作 用 。 因 而 ， 在 输 出 层 中 ， 神 经 元 之 间 有 近 扬 远 抑 的 反 馈特 性 ； 从 而 使 Kohonen 网 络 可 以 作 为 模 式 特 征 的 检 测 器 。Kohonen 网 络 或 自 组 织 特 征 映 像 网 络 含 有

32、两 层 ， 一 个 输 入 缓 冲 层 用 于 接 收输 入 模 式 ， 另 一 为 输 出 层 ， 见 图 1.3.2。 输 出 层 的 神 经 元 一 般 按 正 则 二 维 阵 列排 列 ， 每 个 输 出 神 经 元 连 接 至 所 有 输 入 神 经 元 。 连 接 权 值 形 成 与 已 知 输 出 神 经元 相 连 的 参 考 矢 量 的 分 量 。训 练 一 个 Kohonen 网 络 包 含 下 列 步 骤 ：（ 1） 对 所 有 输 出 神 经 元 的 参 考 矢 量 预 置 小 的 随 机 初 值 。（ 2） 供 给 网 络 一 个 训 练 输 入 模 式 。（ 3） 确

33、 定 获 胜 的 输 出 神 经 元 ， 即 参 考 矢 量 最 接 近 输 入 模 式 的 神 经 元 。 参 考 矢量 与 输 入 矢 量 间 的 Euclidean 距 离 通 常 被 用 作 距 离 测 量 。（ 4） 更 新 获 胜 神 经 元 的 参 考 矢 量 及 其 近 邻 参 考 矢 量 。 这 些 参 考 矢 量 （ 被 引 至 ）更 接 近 输 入 矢 量 。 对 于 获 胜 参 考 矢 量 ， 其 调 整 是 最 大 的 ， 而 对 于 离 得 更 远 的 神经 元 ， 减 少 调 整 。 一 个 神 经 邻 域 的 大 小 随 着 训 练 进 行 而 减 小 ， 到

34、训 练 末 了 ， 只有 获 胜 神 经 元 的 参 考 矢 量 被 调 整 。图 1.3.2 Kohonen 网 络对 于 一 个 很 好 训 练 了 的 Kohonen 网 络 ， 相 互 靠 近 的 输 出 神 经 元 具 有 相 似的 参 考 矢 量 。 经 过 训 练 之 后 ， 采 用 一 个 标 记 过 程 ， 其 中 ， 已 知 类 的 输 入 模 式 被送 至 网 络 ， 而 且 类 标 记 被 指 定 给 那 些 由 该 输 入 模 式 激 发 的 输 出 神 经 元 。 当 采 用LVQ 网 络 时 ， 如 果 一 个 输 出 神 经 元 在 竞 争 中 胜 过 其 它

35、输 出 神 经 元 （ 即 它 的 参 考矢 量 最 接 近 某 输 入 模 式 ） ， 那 么 此 获 胜 的 输 出 神 经 元 被 该 输 入 模 式 所 激 发 。3 4 自 适 应 共 振 理 论 (ART) ART 网 络 也 是 一 种 自 组 织 网 络 模 型 。 它 是 由Grossberg 提 出 的 ， 是 一 个 根 据 可 选 参 数 对 输 入 数 据 进 行 粗 略 分 类 的 网 络 。ART-1 用 于 二 值 输 入 ， 而 ART-2 用 于 连 续 值 输 入 。 这 是 一 种 无 教 师 学 习 网 络 。它 能 够 较 好 地 协 调 适 应 性

36、 ， 稳 定 性 和 复 杂 性 的 要 求 。 在 ART 网 络 中 ， 通 常 需要 两 个 功 能 互 补 的 子 系 统 相 互 作 用 这 两 个 子 系 统 称 注 意 子 系 统 和 取 向 子 系 统 。ART 网 络 主 要 用 于 模 式 识 别 。自 适 应 共 振 理 论 (ART)网 络 具 有 不 同 的 版 本 。 图 1.3.3 表 示 ART- 版 本 ，用 于 处 理 二 元 输 入 。 新 的 版 本 ， 如 ART- ， 能 够 处 理 连 续 值 输 入 。 从 图 1.3.3 可 见 ， 一 个 ART- 网 络 含 有 两 层 ， 一 个 输 入

37、 层 和 一 个 输 出 层 。这 两 层 完 全 互 连 ， 该 连 接 沿 着 正 向 （ 自 底 向 上 ） 和 反 馈 （ 自 顶 向 下 ） 两 个 方 向进 行 。 自 底 向 上 连 接 至 一 个 输 出 神 经 元 i 的 权 矢 量 Wi 形 成 它 所 表 示 的 类 的 一个 样 本 。 全 部 权 矢 量 Wi 构 成 网 络 的 长 期 存 储 器 ， 用 于 选 择 优 胜 的 神 经 元 ， 该神 经 元 的 权 矢 量 Wi 最 相 似 于 当 前 输 入 模 式 。 自 顶 向 下 从 一 个 输 出 神 经 元 i连 接 的 权 矢 量 用 于 警 戒 测

38、 试 ， 即 检 验 某 个 输 入 模 式 是 否 足 够 靠 近 已 存 储 的 样本 。 警 戒 矢 量 Vi 构 成 网 络 的 短 期 存 储 器 。 Vi 和 Wi 是 相 关 的 ,Wi 是 Vi 的 一 个规 格 化 副 本 ，即 (1.3.5) jiivw式 中 ， 为 一 小 的 常 数 ， Vji 为 Vi 的 第 j 个 分 量 （ 即 从 输 出 神 经 元 i 到 输入 神 经 元 j 连 接 的 权 值 ） 。图 1.3.3 一 个 网 络当 ART-1 网 络 在 工 作 时 ， 其 训 练 是 连 续 进 行 的 ， 且 包 括 下 列 步 骤 ：（ ） 对

39、于 所 有 输 出 神 经 元 ， 预 置 样 本 矢 量 Wi 及 警 戒 矢 量 Vi 的 初 值 ， 设 定每 个 Vi 的 所 有 分 量 为 1,并 据 式 (1.3.5)计 算 Wi。 如 果 一 个 输 出 神 经 元 的 全 部警 戒 权 值 均 置 1,则 称 为 独 立 神 经 元 ， 因 为 它 不 被 指 定 表 示 任 何 模 式 类 型 。（ ） 给 出 一 个 新 的 输 入 模 式 x。（ ） 使 所 有 的 输 出 神 经 元 能 够 参 加 激 发 竞 争 。（ ） 从 竞 争 神 经 元 中 找 到 获 胜 的 输 出 神 经 元 ， 即 这 个 神 经

40、元 的 x.Wi 值 为最 大 ； 在 开 始 训 练 时 或 不 存 在 更 好 的 输 出 神 经 元 时 ， 优 胜 神 经 元 可 能 是 个 独 立神 经 元 。（ ） 检 查 看 该 输 入 模 式 x 是 否 与 获 胜 神 经 元 的 警 戒 矢 量 足 够 相 似 。 相 似 性是 由 x 的 位 分 式 r 检 测 的 ， 即(1.3.6)iVr如 果 r 值 小 于 警 戒 阈 值 (0 1)， 那 么 可 以 认 为 x 与 Vi 是 足 够 相 似 的 。（ ） 如 果 r ,即 存 在 谐 振 ， 则 转 向 第 (7)步 ； 否 则 ， 使 获 胜 神 经 元 暂

41、 时无 力 进 一 步 竞 争 ， 并 转 向 第 (4)步 ， 重 复 这 一 过 程 直 至 不 存 在 更 多 的 有 能 力 的神 经 元 为 止 。（ ） 调 整 最 新 获 胜 神 经 元 的 警 戒 矢 量 Vi， 对 它 逻 辑 加 上 x， 删 去 Vi 内 而 不出 现 在 x 内 的 位 ； 据 式 (1.3.5)， 用 新 的 Vi 计 算 自 底 向 上 样 本 矢 量 Wi； 激 活该 获 胜 神 经 元 。 转 向 第 （ ） 步 。上 述 训 练 步 骤 能 够 做 到 ： 如 果 同 样 次 序 的 训 练 模 式 被 重 复 地 送 至 此 网 络 ，那 么

42、 其 长 期 和 短 期 存 储 器 保 持 不 变 ， 即 该 网 络 是 稳 定 的 。 假 定 存 在 足 够 多 的 输出 神 经 元 来 表 示 所 有 不 同 的 类 ， 那 幺 新 的 模 式 总 是 能 够 学 得 ， 因 为 新 模 式 可 被指 定 给 独 立 输 出 神 经 元 ， 如 果 它 不 与 原 来 存 储 的 样 本 很 好 匹 配 的 话 （ 即 该 网 络是 塑 性 的 ） 。3 5 学 习 矢 量 量 化 （ LVQ） 网 络 图 1.3.4 给 出 一 个 学 习 矢 量 量 化 （ LVQ）网 络 ， 它 由 三 层 神 经 元 组 成 ， 即 输

43、入 转 换 层 、 隐 含 层 和 输 出 层 。 该 网 络 在 输 入层 与 隐 含 层 间 为 完 全 连 接 ， 而 在 隐 含 层 与 输 出 层 间 为 部 分 连 接 ， 每 个 输 出 神 经元 与 隐 含 神 经 元 的 不 同 组 相 连 接 。 隐 含 输 出 神 经 元 间 连 接 的 权 值 固 定 为 。输 入 隐 含 神 经 元 间 连 接 的 权 值 建 立 参 考 矢 量 的 分 量 （ 对 每 个 隐 含 神 经 元 指 定一 个 参 考 矢 量 ） 。 在 网 络 训 练 过 程 中 ， 这 些 权 值 被 修 改 。 隐 含 神 经 元 （ 又 称 为K

44、ohnen 神 经 元 ） 和 输 出 神 经 元 都 具 有 二 进 制 输 出 值 。 当 某 个 输 入 模 式 送 至 网 络时 ， 参 考 矢 量 最 接 近 输 入 模 式 的 隐 含 神 经 元 因 获 得 激 发 而 赢 得 竞 争 ， 因 而 允 许它 产 生 一 个 “ ”。 其 它 隐 含 神 经 元 都 被 迫 产 生 “ ”。 与 包 含 获 胜 神 经 元的 隐 含 神 经 元 组 相 连 接 的 输 出 神 经 元 也 发 出 “ ”， 而 其 它 输 出 神 经 元 均 发出 “ ”。 产 生 “ ”的 输 出 神 经 元 给 出 输 入 模 式 的 类 ， 每

45、 个 输 出 神 经 元 被 表示 为 不 同 的 类 。 最 简 单 的 训 练 步 骤 如 下 ：（ ） 预 置 参 考 矢 量 初 始 权 值 。（ ） 供 给 网 络 一 个 训 练 输 入 模 式 。（ ） 计 算 输 入 模 式 与 每 个 参 考 矢 量 间 的 Euclidean 距 离 。（ ） 更 新 最 接 近 输 入 模 式 的 参 考 矢 量 （ 即 获 胜 隐 含 神 经 元 的 参 考 矢 量 ） 的 权值 。 如 果 获 胜 隐 含 神 经 元 以 输 入 模 式 一 样 的 类 属 于 连 接 至 输 出 神 经 元 的 缓 冲 器 ，那 幺 参 考 矢 量 应 更 接 近 输 入 模 式 。 否 则 ， 参 考 矢 量 就 离 开 输 入 模 式 。（ ） 转 至 (2)， 以 某 个 新 的 训 练 输 入 模 式 重 复 本 过 程 ， 直 至 全 部 训 练 模 式 被正 确 地 分 类 或 者 满 足 某