基于遗传算法的神经网络算法研究.pdf

1、X第 3 卷 第 4 期2004 年 12 月 太 原 师 范 学 院 学 报 (自 然 科 学 版 )JOU RNAL O F TA IYUAN T EA CH ER S COLL EGE (N atural Science Edition) V o l. 3 N o. 4D ec. 2004基 于 遗 传 算 法 的 神 经 网 络 算 法 研 究樊 为 民(镇 江 市 高 等 专 科 学 校 , 江 苏 镇 江 212003) 摘 要 针 对 神 经 网 络 存 在 许 多 局 部 最 小 点 , 在 某 些 初 值 的 条 件 下 , 算 法 的 结 果 会 陷 入 局 部 最小 等

2、问 题 . 文 章 将 遗 传 算 法 和 神 经 网 络 相 结 合 , 用 遗 传 算 法 替 代 B P 算 法 学 习 网 络 权 值 , 并 将 其 应用 于 聚 类 分 析 . 计 算 结 果 表 明 , 遗 传 算 法 和 神 经 网 络 的 结 合 将 具 有 良 好 的 全 局 搜 索 能 力 . 关 键 词 神 经 网 络 ; 遗 传 算 法 ; 全 局 最 优 解 ; 随 机 搜 索 文 章 编 号 167222027 (2004) 0420014204 中 图 分 类 号 T P183 文 献 标 识 码 A0 引 言神 经 网 络 是 目 前 在 国 际 上 迅 速

3、发 展 的 一 门 前 沿 性 交 叉 学 科 , 由 于 其 具 有 非 线 性 映 射 、 学 习 分 类 及 并 分 布式 信 息 处 理 等 功 能 , 人 工 神 经 网 络 已 逐 渐 成 为 工 程 和 科 学 研 究 中 一 种 重 要 信 息 处 理 手 段 . 但 由 于 非 线 性 所 固有 的 复 杂 性 , 它 也 存 在 不 少 问 题 . 例 如 ,BP 算 法 的 实 质 是 梯 度 下 降 法 , 它 存 在 着 学 习 收 敛 速 度 较 慢 以 及 存 在许 多 局 部 最 小 点 , 在 某 些 初 值 的 条 件 下 , 算 法 的 结 果 会 陷 入

4、 局 部 最 小 . 除 此 以 外 , 还 有 初 始 随 机 加 权 的 大 小 ,对 局 部 最 小 的 影 响 很 大 等 问 题 . 为 了 解 决 BP 算 法 经 常 陷 入 局 部 最 小 和 收 敛 过 程 较 长 之 问 题 , 通 常 使 用 一 些全 局 最 优 化 算 法 与 BP 算 法 相 结 合 的 方 法 . 常 用 的 全 局 最 优 化 算 法 是 模 拟 退 火 算 法 、 遗 传 算 法 等 . 本 文 在 研究 了 遗 传 算 法 和 神 经 网 络 算 法 的 基 础 上 , 将 遗 传 算 法 融 入 到 神 经 网 络 的 内 部 . 用 遗

5、传 算 法 代 替 BP 算 法 训 练网 络 权 值 , 从 而 增 加 了 网 络 的 鲁 棒 性 , 消 除 了 局 部 最 优 问 题 .1 遗 传 算 法 及 其 改 进1. 1 传 统 的 遗 传 算 法遗 传 算 法 (GA )是 自 然 遗 传 学 和 计 算 机 科 学 相 互 渗 透 而 成 的 新 的 计 算 方 法 , 它 是 美 国 J. Ho lland 教 授 提出 , 其 主 要 特 点 是 群 体 搜 索 策 略 和 群 体 中 个 体 之 间 信 息 交 换 , 搜 索 不 依 赖 于 梯 度 信 息 . 它 尤 其 适 用 于 处 理 传统 搜 索 方 法

6、 难 以 解 决 的 复 杂 和 非 线 性 问 题 , 可 广 泛 用 于 组 合 优 化 、 机 器 学 习 、 自 适 应 控 制 、 规 划 设 计 和 人 工 生命 等 领 域 . 遗 传 算 法 是 具 有 “ 生 成 + 检 测 ” 的 迭 代 过 程 的 随 机 搜 索 算 法 .遗 传 算 法 的 基 本 流 程 : 遗 传 算 法 是 一 种 群 体 型 操 作 , 该 操 作 以 群 体 中 的 所 有 个 体 为 对 象 . 选 择 、 交 叉 、 变异 是 遗 传 操 作 的 3 个 主 要 操 作 算 子 , 见 图 1. 它 们 构 成 所 谓 的 遗 传 操 作

7、 , 使 得 遗 传 算 法 具 有 了 其 他 传 统 方 法所 没 有 的 特 性 . 遗 传 算 法 中 包 含 了 如 下 5 个 基 本 要 素 : (1) 参 数 编 码 ; (2) 初 始 群 体 的 设 定 ; (3) 适 应 度 函 数 的设 计 ; (4) 遗 传 操 作 设 计 ; (5) 控 制 参 数 设 计 (主 要 指 群 体 大 小 和 使 用 遗 传 操 作 的 概 率 等 ). 这 5 个 要 素 构 成 了遗 传 算 法 的 核 心 内 容 .1. 2 改 进 的 遗 传 算 法 1 传 统 的 遗 传 算 法 中 染 色 体 采 用 二 进 编 码 ,

8、它 将 导 致 影 响 数 值 优 化 问 题 的 精 度 , 同 时 频 繁 的 编 码 , 解 码 增加 了 计 算 工 作 量 , 为 了 克 服 传 统 遗 传 算 法 在 求 解 数 值 优 化 问 题 中 的 不 足 , 在 遗 传 算 法 中 作 以 下 的 改 进 :1. 2. 1 染 色 体 的 构 造在 改 进 的 遗 传 算 法 中 采 用 实 数 对 染 色 体 进 行 编 码 , 每 个 染 色 体 是 一 组 随 机 产 生 的 网 络 权 值 , 每 个 权 值 看作 染 色 体 的 一 个 基 因 . 遗 传 操 作 中 的 交 叉 、 变 异 操 作 将 对

9、每 个 基 因 进 行 .X 收 稿 日 期 : 2003210227作 者 简 介 : 樊 为 民 (19692) , 男 , 江 苏 泗 阳 县 人 , 镇 江 高 等 专 科 学 校 讲 师 .图 1 遗 传 算 法 的 基 本 流 程F ig. 1 T he basal flow chart ofgenetic algo rithm1. 2. 2 适 应 度 函 数 的 确 定遗 传 算 法 在 随 机 搜 索 进 化 过 程 中 一 般 不 需 要 其 他 外 部 信 息 ,仅 用 评 估 函 数 值 来 评 估 个 体 或 解 的 优 劣 , 并 作 为 以 后 遗 传 操 作 的

10、依 据 . 本 文 选 用 f = C - (tij - d j ) 为 适 应 度 函 数 , 其 中 tij为网 络 输 出 的 期 望 值 , d j 为 网 络 输 出 的 实 际 值 , C 为 某 一 常 数 , 在 遗传 进 化 中 f 值 将 趋 向 最 大 值 C.1. 2. 3 选 择选 择 操 作 的 目 的 是 为 了 从 当 前 群 体 中 选 出 优 良 个 体 , 使 它 们有 机 会 作 为 父 代 为 下 一 代 繁 殖 子 孙 . 判 断 个 体 优 良 与 否 的 准 则 就是 根 据 个 体 的 适 应 度 值 . 这 一 操 作 是 借 用 了 达 尔

11、 文 的 适 者 生 存 的进 化 原 则 , 个 体 适 应 度 越 高 , 其 被 选 择 的 机 会 就 越 多 . 适 应 度 值f m (m = 1, 2, ,N ) 大 于 平 均 适 应 度 值 fq =N1f mN 的 个 体 将 首 先被 选 为 产 生 下 一 新 群 体 的 侯 选 解 , 另 一 部 分 侯 选 解 是 以 群 体 中 每 一 个 体 的 适 应 度 值 的 比 例 概 率 p = f mN1f m产 生 , 其 中 概 率 大 的 个 体 有 机 会 进 入 侯 选 解 , 概 率 小 的 个 体 也 有 机 会 进 入 侯 选 解 , 保 证 群 体

12、 中 个 体 的 多 样 性 ,防 止 算 法 落 入 局 部 最 优 .1. 2. 4 交 叉 2 交 叉 操 作 是 遗 传 算 法 中 最 主 要 的 遗 传 操 作 . 交 叉 操 作 在 某 一 代 群 体 中 , 随 机 选 择 A 和 B 两 个 个 体 进 行 遗传 算 法 的 交 叉 操 作 , 交 叉 操 作 产 生 的 新 个 体 A B 和 A B . 在 A 、 B、 A B 和 A B 中 , 适 应 度 较 大 的 两 个 个 体 将 作为 产 生 新 一 代 群 体 的 侯 选 解 . 群 体 中 个 体 进 行 交 叉 操 作 的 概 率 为 :P c =f

13、m ax - f mf m ax - f avg f m f avg1. 0 otherw ise其 中 f m ax 为 当 前 群 体 中 适 应 度 值 最 大 的 染 色 体 , f m 为 某 一 染 色 体 的 适 应 度 值 , P c 为 该 染 色 体 的 交 叉 概率 , f avg 为 群 体 的 平 均 适 应 度 值 .1. 2. 5 变 异变 异 操 作 是 按 位 进 行 的 , 即 把 某 一 基 因 进 行 变 异 , 变 异 操 作 同 样 也 是 随 机 进 行 的 . 变 异 操 作 后 的 新 个 体 ,如 果 其 适 应 度 值 高 于 原 个 体

14、的 适 应 度 值 , 那 么 , 变 异 后 新 产 生 的 个 体 将 归 入 侯 选 解 集 . 变 异 操 作 体 现 了 生 物进 化 过 程 中 的 基 因 突 变 . 群 体 中 个 体 变 异 操 作 的 概 率 为 :P m =f m ax - f mf m ax - f avg f m f avg0. 5 otherw ise变 异 操 作 能 够 不 断 开 拓 问 题 解 的 新 空 间 , 体 现 了 遗 传 算 法 的 全 局 搜 索 能 力 .2 遗 传 算 法 与 神 经 网 络 的 结 合 1 4 BP 算 法 是 一 种 只 考 虑 局 部 区 域 的 梯

15、度 法 , 缺 乏 全 局 性 , 有 可 能 陷 入 到 局 部 最 优 极 值 处 . 遗 传 算 法 是 一 种基 于 生 物 进 化 过 程 的 随 机 搜 索 的 全 局 优 化 方 法 , 它 通 过 交 叉 和 变 异 操 作 大 大 减 少 了 初 始 状 态 的 影 响 , 使 搜 索得 到 全 局 最 优 解 , 而 不 是 停 留 在 局 部 最 优 解 处 . 把 遗 传 算 法 与 神 经 网 络 相 结 合 , 可 以 使 神 经 网 络 系 统 搜 索 解的 空 间 扩 大 , 具 备 了 全 局 最 优 的 能 力 . 但 遗 传 算 法 搜 索 到 的 解 的

16、 精 度 较 低 , 在 遗 传 算 法 搜 索 解 的 基 础 上 , 将 遗传 算 法 获 得 的 解 作 为 神 经 网 络 的 初 始 解 , 经 过 神 经 网 络 的 学 习 , 最 后 获 得 较 为 满 意 的 解 .基 于 遗 传 算 法 的 神 经 网 络 系 统 的 学 习 步 骤 :step 1 给 W ir、 T r、 V rj、 Hj 随 机 赋 一 个 较 小 的 值 .51第 4 期 樊 为 民 : 基 于 遗 传 算 法 的 神 经 网 络 算 法 研 究step 2 对 每 一 模 式 对 (A (k) , C (k) ) (k = 1, 2, , p )

17、, 进 行 下 列 操 作step 2. 1 将 的 A (k) 值 (a (k)i ) 输 入 LA 层 节 点 , 据 LA 层 节 点 激 活 值 a i, 依 次 正 向 计 算 :br= f (mi= 1W ij a i + T r) (r = 1, 2, , u)cj = f (ur= 1W rj br + Hj ) (j = 1, 2, , n)其 中 , f () 为 S 型 函 数 即 f (x ) = (1 + e- x ) - 1step 2. 2 计 算 L C 层 节 点 输 出 与 期 望 输 出 值 的 误 差 , 令d j = cj (1 - cj ) (c(k

18、)j - cj )step 2. 3 采 用 遗 传 算 法 产 生 新 一 代 群 体 (W ir、 T r)step2. 3. 1 根 据 适 应 度 函 数 定 义 , 计 算 染 色 体 (侯 选 解 )适 应 度 函 数 值 f m (m = 1, 2, ,N )step2. 3. 2 根 据 各 染 色 体 的 比 例 信 息 P 选 取 参 与 产 生 下 一 代 染 色 体 的 解 向 量 . 为 了 加 快 算 法 的 收 敛 速度 , 将 每 代 中 适 应 度 值 f m 大 于 平 均 适 应 度 值 的 侯 选 解 强 行 复 制 到 下 一 代 , 而 不 受 选

19、择 过 程 的 控 制step2. 3. 3 在 向 量 中 以 一 定 的 概 率 随 机 选 择 两 向 量 交 叉 操 作 , 保 留 适 应 度 值 较 大 的 一 向 量 , 丢 弃 另 一向 量step2. 3. 4 从 侯 选 解 中 以 一 定 的 概 率 随 机 选 取 某 一 向 量 中 的 某 一 分 量 并 对 其 实 行 变 异 操 作 , 同 样 保 留适 应 度 值 较 大 的 一 向 量 , 丢 弃 另 一 向 量 , 得 到 新 一 代 群 体 .step 3 采 用 BP 网 的 误 差 回 传 方 法 计 算 网 络 中 每 一 个 节 点 的 阈 值Hj

20、 = Hj + A d j (0 A 1)T r = T r + B er (0 B 1)step 4 重 复 步 骤 (2) , 直 至 K 和 K+ 1 代 群 体 中 适 应 度 值 最 高 的 两 解 向 量 间 的 欧 氏 距 离 小 于 给 定 的 一任 意 小 的 值 .step 5 用 BP 算 法 对 遗 传 杂 合 算 法 学 习 所 得 的 权 值 作 为 BP 网 络 的 初 始 权 值 , 用 BP 算 法 对 其 进 行 学习 , 直 至 误 差 小 于 所 给 定 的 值 .3 应 用 实 例 及 结 果 分 析在 遗 传 算 法 和 神 经 网 络 结 合 的

21、系 统 中 , 神 经 网 络 采 用 三 层 的 BP 网 , BP 网 的 输 入 层 单 元 数 为 4、 隐 含 层单 元 数 为 16、 输 出 层 单 数 为 3. GA 算 法 用 来 调 整 BP 网 的 权 值 , 其 参 数 选 取 为 : 取 群 体 大 小 为 6, 将 遗 传 算 法和 神 经 网 络 结 合 的 系 统 和 神 经 网 络 分 别 对 Iris 150 组 样 本 数 据 进 行 聚 类 分 析 , 聚 类 的 结 果 的 优 劣 用 聚 类 准则 :J = Ci= 1 x Xix - m i 2 其 中 m i = 1ii x Xix来 进 行 评

22、 价 .表 1 聚 类 后 各 类 样 本 数 比 较T able 1 T he cases commpared after clustering算 法各 类 域 中 样 本数类 别杂 合 遗 传 算 法 BP 算 法第 0 类 50 50第 1 类 49 48第 2 类 51 5261太 原 师 范 学 院 学 报 (自 然 科 学 版 ) 第 3 卷 表 2 聚 类 准 则 函 数 值 的 比 较T able 2 T he clustering rulefunctions values comparison聚 类 准 则 函 数 值 J m杂 合 遗 传 算 法 25. 870 877BP

23、 算 法 26. 026 342表 3 聚 类 中 心 距 离 的 比 较T able 3 T he clustering center distance comparison算 法类 中 心 距 离类 间杂 合 遗 传 算 法 BP 算 法第 0 和 第 1 类 1. 61 1. 61第 0 和 第 2 类 2. 35 2. 36第 1 和 第 2 类 0. 76 0. 77表 4 杂 合 遗 传 算 法 类 域 内 距 离 标 准 方 差T able 4 T he distance standard variance inside field of hybrid genetic algo

24、rithm cluster聚 类 域 X1 距 离 标 准 差 X2 距 离 标 准 差 X3 距 离 标 准 差 X4 距 离 标 准 差s1 0. 348 947 0. 375 255 0. 171 919 0. 104 326s2 0. 536 739 0. 321 880 0. 472 077 0. 259 561s3 0. 649 034 0. 328 547 0. 550 209 0. 298 130表 5 BP 算 法 类 域 内 距 离 标 准 方 差T able 5 T he distance standard variance inside field of BP algo

25、 rithm cluster聚 类 域 X1 距 离 标 准 差 X2 距 离 标 准 差 X3 距 离 标 准 差 X4 距 离 标 准 差s1 0. 348 947 0. 375 255 0. 171 919 0. 104 326s2 0. 543 186 0. 313 554 0. 475 803 0. 261 274s3 0. 648 355 0. 341 003 0. 563 206 0. 302 767从 聚 类 结 果 来 看 , 杂 合 遗 传 算 法 在 聚 类 评 价 函 数 值 , 不 同 类 之 间 的 距 离 以 及 类 域 内 距 离 方 差 几 方 面 都 反映

26、出 杂 合 遗 传 算 法 在 聚 类 分 析 方 面 优 于 BP 算 法 , 说 明 了 杂 合 遗 传 算 法 搜 索 全 局 最 优 解 的 能 力 强 于 BP 算法 .4 结 论本 文 将 遗 传 算 法 和 BP 神 经 网 络 相 结 合 , 并 将 其 应 用 于 聚 类 分 析 之 中 . 对 Iris 数 据 的 数 值 实 验 表 明 , 遗传 算 法 和 神 经 网 的 结 合 克 服 了 BP 算 法 的 局 部 最 优 . 由 于 遗 传 算 法 特 殊 的 搜 索 方 式 , 其 学 习 过 程 相 对 于 BP算 法 要 慢 , 这 是 今 后 要 解 决 的

27、 问 题 .参 考 文 献 : 1 袁 曾 任 . 人 工 神 经 元 网 络 及 其 应 用 M .北 京 : 清 华 大 学 出 版 社 , 1999 2 刘 增 良 , 刘 有 才 . 模 糊 逻 辑 与 神 经 网 络 M .北 京 : 北 京 航 空 航 天 大 学 出 版 社 , 1996 3 赵 振 宇 . 模 糊 理 论 和 神 经 网 络 的 基 础 与 应 用 M .北 京 : 清 华 大 学 出 版 社 , 1995 4 王 以 直 , 张 志 强 , 李 敏 强 . 杂 合 遗 传 算 法 与 计 算 智 能 J .系 统 工 程 理 论 与 实 践 , 1999, (

28、3) : 18219The Ana lysis of Neura l Networks Ba sed on Genetic A lgor ithm sFan W e im in(Zhenjiang Co llege, Zhejiang 212003, Ch ina) Abstract N eu ral netw o rk s, there are m any local sm allest po in ts, the resu lt of algo rithm scan rum in to local sm allest po in ts. In o rder to a find a so l

29、u tion, the article com b ines the geneticalgo rithm s and neu ral netw o rk s, rep lacing the BP algo rithm w ith the genetic algo rithm to studynetw o rks au tho rity values, and u sing it in to clu ster analysis. T he calcu lation resu lts indicate thatit w ill have better ab ility to search all fields. Key words neu ral netw o rk; genetic algo rithm ; global op tim al so lu tion s; random icitysearch ing71第 4 期 樊 为 民 : 基 于 遗 传 算 法 的 神 经 网 络 算 法 研 究