神经网络技术及应用.docx

1、神 经 网 络 技 术 及 应 用中 国 铁 道 出 版 社1第 一 章 绪 论1.1 人 工 神 经 网 络 概 述在 近 代 科 学 技 术 的 发 展 过 程 中 , 人 们 通 过 仿 生 学 的 方 法 取 得 了 很 大 的 成 就 , 像 模 仿 蝙 蝠 的 声 纳 定 位 方 法 研 制 出 分 辨 率 很 高 的 雷 达 探 测 系 统 就 是 一 个 例 子 。 仿 生 学 的 方 法 是 一 种 有 效 可 行 的 方 法 , 人 类 在 向 鸟 类 学 习 飞 翔 时 , 不 是 机 械 地 模 仿 鸟 类 展 翅 飞 翔 的 方 法 , 而 是 根 据 鸟 类 展 翅

2、 在 飞 翔 中 能 获 得 上 浮 力 的 基 本 原 理 , 制 造 出 比 鸟 类 飞 得 更 高 的 飞 机 , 并 在 飞 机 的 发 展 过 程 中 , 使 飞 机 的 某 些 性 能 , 如 飞 行 高 度 、 航 程 和 全 天 候 能 力 等 大 大 提 高 , 远 非 原 来 的 学 习 对 象 鸟 类 所 能 达 到 。 然 而 , 从 全 面 来 比 较 , 鸟 类 在 视 觉 、 听 觉 和 飞 翔 的 起 落 自 如 等 方 面 , 则 比 飞 机 要 高 超 的 多 。我 们 把 存 在 于 脑 中 的 实 际 神 经 网 络 叫 做 生 物 神 经 网 络 (

3、Biological Neur al N etwor ks , 简 称 BN 2 ) , 而 把 向 生 命 学 习 , 用 电 子 方 法 、 光 学 方 法 或 其 他 生 物 物 理 化 学 方 法 仿 照 生 物 神 经 网 络 所 构 造 出 来 的 神 经 网 络 , 称 为 人 工 神 经 网 络 ( A r tificial Neur al N etwor ks , 简 称 A N2 ) 。 向 生 物 神 经 网 络 学 习 的 人 工 神 经 网 络 , 并 非 ( 实 际 上 也 不 可 能 ) 在 全 面 指 标 功 能 上 达 到 或 超 过 它 的 学 习 对 象

4、, 而 是 在 了 解 和 分 析 生 物 神 经 网 络 的 结 构 、 机 理 和 功 能 的 基 础 上 , 学 习 和 实 现 那 些 人 们 所 需 要 的 智 能 , 平 常 所 称 的 神 经 网 络 指 人 工 神 经 网 络 。1.1.1 神 经 网 络 是 当 代 信 息 高 科 技 的 竞 争 热 点20 世 纪 80 年 代 中 后 期 以 来 , 国 际 上 以 美 国 、 日 本 为 首 的 工 业 先 进 发 达 国 家 中 , 掀起 了 竞 相 研 究 开 发 神 经 网 络 , 设 计 构 造 神 经 计 算 机 的 热 潮 。 美 国 DAR PA 宣 布

5、投 资 4 亿美 元 , 执 行 一 项 8 年 神 经 网 络 计 算 机 的 研 制 计 划 。 日 本 H FSP 计 划 中 投 资 7 000万 美 元 用 于 神 经 网 络 计 算 机 的 研 究 。 1987 年 首 届 国 际 神 经 网 络 学 术 会 议 在 美 国 加 利 佛 尼 亚 州 召 开 , 在 会 上 成 立 了 国 际 神 经 网 络 学 会 ( I nter national Neur al N etwor k Society, 简 称 I NN S) 。 接 着 在 1988 年 , 由 当 今 世 界 著 名 的 神 经 网 络 学 家 , 即 日 本

6、 东 京 大 学 的 Shunichi A mar i ( 甘 利 俊 一 ) 教 授 , 美 国 波 士 顿 大 学 的 St ephen Gr os sber g 教 授 和 芬 兰 赫 尔 辛 基 技 术 大 学 的 T euvo Kohon en 教 授 , 主 持 创 办 了 世 界 上 第 一 份 神 经 网 络 杂 志 Neur al N etwor ks 。 随 后 , 国 际 电 气 工 程 师 与 电 子 工 程 师 学 会 ( IE E E ) 也 成 立 了 神 经 网 络 协 会 并 出 版 神 经 网 络 刊 物 。我 国 于 1986 1988 年 在 北 京 召

7、 开 了 有 关 神 经 网 络 的 三 次 专 门 学 术 会 议 , 1989 年2 神 经 网 络 技 术 及 应 用10 月 在 北 京 由 中 国 自 动 化 学 会 主 持 召 开 神 经 元 网 络 及 其 应 用 学 术 讨 论 会 , 1989 年11 月 由 华 南 理 工 大 学 和 西 南 交 通 大 学 等 主 持 召 开 第 一 届 全 国 信 号 处 理 神 经 网 络 学 术 会 议 。19 90 年 12 月 , 由 我 国 八 个 学 会 ( 即 中 国 电 子 学 会 、 计 算 机 学 会 、人 工 智 能 学 会 、 自 动 化 学 会 、 通 信 学

8、 会 、 物 理 学 会 、 生 物 物 理 学 会 和 心 理 学 会 ) 联 合 在 北 京 召 开 “中 国 神 经 网 络 首 届 学 术 大 会 ”。 这 个 空 前 的 盛 会 , 以 “八 学 会 联 盟 , 探 智 能 奥 秘 ”为 主 题 , 收 到 了 来 自 各 方 面 的 论 文 300 余 篇 , 从 而 开 创 了 我 国 神 经 网 络 研 究 的 新 纪 元 。 目 前 每 年 都 召 开 一 次 中 国 神 经 网 络 学 术 大 会 , 已 有 九 次 全 国 性 的 神 经 网 络 学 术 会议 在 北 京 、南 京 、西 安 、 武 汉 、成 都 和 汕

9、 头 等 地 召 开 , 全 国 有 15 个 一 级 学 会 联 合 起 来 ( 除 上 面 八 个 学 会 外 , 还 有 中 国 电 机 学 会 、 光 学 学 会 、 中 华 医 学 会 、 运 筹 学 会 、 电 工 学 会 、 数 学 学 会 、生 物 医 学 工 程 学 会 ) , 向 着 “携 手 探 智 能 , 联 盟 攻 大 关 ”的 宏 伟 目 标 , 迈 开 新 的 一 步 。 而 且 国 家 攀 登 计 划 、 国 家 “八 六 三 ”高 技 术 计 划 和 国 家 自 然 科 学 基 金 等 项 目 计 划 中 , 都 给 予 人 工 神 经 网 络 的 研 究 以

10、 巨 大 的 支 持 。目 前 , 国 际 和 国 内 的 学 术 刊 物 上 涌 现 出 大 批 神 经 网 络 学 术 论 文 , 在 神 经 网 络 这 个 涉 及 多 种 学 科 的 新 的 高 科 技 领 域 中 , 吸 引 了 众 多 的 科 学 家 , 大 量 的 有 关 神 经 网 络 机 理 、 模 型 、 算 法 、 特 性 分 析 以 及 建 立 在 神 经 网 络 原 理 基 础 上 的 神 经 计 算 机 ( N eur ocomputer ,简称 NC) , 成 为 当 代 高 科 技 领 域 中 方 兴 未 艾 的 竞 争 热 点 。 神 经 网 络 技 术 的

11、开 发 越 来 越 受 到 众 多 专 业 领 域 的 科 学 家 和 工 程 技 术 人 员 的 关 注 和 重 视 。 美 、 日 、 德 、 英 等 国 家 , 为争 夺 这 座 人 类 迄 今 尚 未 攀 登 的 智 能 科 学 高 峰 , 抢 占 21 世 纪 科 技 竞 争 的 制 高 点 , 在 神 经 网 络 理 论 和 应 用 方 面 投 入 了 大 量 的 人 力 和 资 金 。1.1.2 神 经 网 络 的 基 本 原 理近 代 神 经 解 剖 学 和 神 经 生 物 学 的 研 究 表 明 , 表 征 人 类 无 比 精 巧 奥 妙 的 大 脑 神 经 系 统 , 并

12、没 有 像 传 统 V on Neumann 型 计 算 机 那 样 有 一 个 集 中 的 CPU , 而 是 由 多 达 101 0 1011 个 神 经 元 ( N eur on) 构 成 , 而 每 个 神 经 元 与 103 105 个 其 他 神 经 元 以 某 种 形 式 相 互 联 系 , 这 种 联 系 的 部 分 称 为 突 触 或 神 经 键 ( Synapse) 。 神 经 元 之 间 连 接 的 强 弱 可 随 外 部 的 激 励 信 号 自 适 应 地 变 化 , 每 个 神 经 元 所 处 的 状 态 ( 兴 奋 或 抑 制 ) 随 着 其 输 入 信 息 的 某

13、 种 方 式 综 合 而 变 化 。 大 脑 的 学 习 过 程 就 是 神 经 元 之 间 的 连 接 强 度 随 外 部 激 励 信 息 自 适 应 的 调 整 过 程 。 这 就 是 一 般 神 经 网 络 通 用 建 模 方 法 的 生 物 学 依 据 , 在 建 模 过 程 中 , 先构 筑 合 适 的 网 络 结 构 , 固 定 处 理 单 元 ( 神 经 元 ) 的 数 目 , 然 后 通 过 不 断 改 变 神 经 元( 处 理 单 元 ) 间 的 连 接 强 度 来 对 网 络 进 行 训 练 , 优 化 网 络 性 能 , 最 终 实 现 网 络 的 应 用 目 标 。 图

14、 1.1.1 ( a ) 表 示 生 物 神 经 元 的 基 本 结 构 , 它 包 括 进 行 信 息 处 理 活 动 的 细 胞 体 、 传 递 活 动 电 位 所 携 带 信 息 的 轴 索 、 将 信 息 传 至 另 一 神 经 元 的 突 触 和 接 受 其 他 神 经 元 传 递 来 的 信 息 的 树 突 。 图 1.1.1 ( b) 表 征 与 生 物 神 经 元 等 效 的 系 统 模 型 。第 一 章 绪 论 3图 1. 1 .1 神 经 元 模 型研 究 表 明 , 神 经 元 具 有 兴 奋 和 抑 制 两 种 状 态 , 只 有 当 所 有 外 来 刺 激 ( 即 输

15、 入 ) 作 用 之 和 超 过 某 一 阈 值 后 , 神 经 元 由 抑 制 变 为 兴 奋 , 并 输出 电 位 脉 冲 。 因 此 , 1943 年 美 国 心 理 学 家 M cCulloch 和数 学 家 Pitt s 提 出 了 如 图 1.1.2 所 示 的 神 经 元 模 型 , 称 为 M P 模 型 。 设 神 经 网 络 由 N 个 神 经 元 组 成 , 某 种 神 经 元 i 在 ( t+ 1) 时 刻 的 输 出 yi( t+ 1) 可 表 示 为Nyi( t + 1) = s gn w ij x j ( t) - i ( 1.1.1)j = 1 j i式 中 x

16、 j 为 神 经 元 i 的 第 j 个 输 入 , 即 为 神 经 元 j 的 图 1 . 1. 2 神 经 元 M P 模 型输 出 ; i 为 神 经 元 的 阈 值 ; w ij 为 神 经 元 i 与 神 经 元 j 间 的 突 轴 连 接 强 度 ( 或 称 为 连 接 权 ) 。 sgn ( ) 为 符 号 函 数 。除 了 这 种 离 散 型 阈 值 模 型 外 , 还 有 连 续 型 神 经 元 模 型 、 概 率 型 神 经 元 模 型 等 。 根 据 不 同 的 拓 扑 结 构 、 工 作 原 理 、 功 能 特 性 等 要 求 , 可 以 由 简 单 的 人 工 神 经

17、 元 构 成 多 种 多 样 的 人 工 神 经 网 络 :按 拓 扑 结 构 , 可 以 分 为 全 互 连 型 、 层 次 型 、 混 合 型 和 区 组 设 计 型 等 ;按 信 号 的 形 式 , 可 以 分 为 离 散 型 、 连 续 型 和 混 合 型 ;按 信 息 流 向 , 可 分 为 前 向 型 、 反 馈 型 和 混 合 型 ;按 神 经 元 间 工 作 节 拍 , 可 分 为 同 步 式 和 异 步 式 ;按 网 络 参 数 统 计 特 性 , 可 分 为 确 定 型 和 随 机 型 ;按 网 络 学 习 方 法 , 可 分 为 有 教 师 指 导 型 和 无 教 师 指

18、 导 型 ;按 实 现 手 段 , 可 分 为 电 子 式 、 光 学 式 和 光 电 混 合 式 等 。 目 前 有 许 多 神 经 网 络 模 型 , 它 们 从 不 同 的 方 面 模 拟 了 人 脑 的 功 能 。1.2 神 经 网 络 信 息 处 理 的 特 征 及 应 用由 于 神 经 网 络 是 按 生 物 神 经 网 络 的 结 构 和 机 理 构 造 出 来 的 , 所 以 它 能 显 示 出 比 传 统 的 按 预 编 程 序 串 行 集 中 处 理 的 Von N eumann 计 算 机 所 不 曾 具 有 的 重 要 特 征 。 概 括4 神 经 网 络 技 术 及

19、应 用起 来 , 有 如 下 四 个 主 要 方 面 。( 1) 巨 量 并 行 分 布 处 理 : 信 息 的 处 理 依 靠 结 构 简 单 且 相 同 的 大 量 神 经 元 同 时 协 同 作 用 来 完 成 , 信 息 的 存 储 和 学 习 功 能 则 依 靠 它 们 之 间 的 突 轴 连 接 强 度 的 变 化 来 实 现 , 这 就 是 所 谓 连 接 主 义 ( Connectionism) 的 信 息 处 理 方 法 , 并 使 处 理 速 度 大 大 提 高 。( 2) 信 息 处 理 单 元 和 信 息 存 储 单 元 合 二 而 为 一 : Von Neumann

20、计 算 机 每 个 存 储 器 的 地 址 和 存 储 器 的 内 容 是 分 开 的 , 而 神 经 网 络 则 是 两 者 合 在 一 起 的 , 由 改 变 连 接 权 值 来 进 行 控 制 , 这 就 能 按 内 容 记 忆 联 想 。( 3) 具 有 自 组 织 、 自 学 习 、 自 适 应 的 能 力 : 它 不 是 被 动 的 执 行 预 先 编 好 的 程 序 , 而是 根 据 环 境 条 件 的 变 化 或 人 为 的 学 习 来 自 行 调 节 权 值 。 使 网 络 的 行 为 适 应 于 规 定 的任 务 。 ( 4) 它 能 处 理 模 拟 的 、 模 糊 的 和

21、 随 机 的 信 息 : 它 不 像 Von Neumann 计 算 机 那 样 求 得 精 确 到 若 干 位 的 精 确 解 , 而 是 迅 速 给 出 能 解 决 问 题 的 满 意 解 输 出 。其 次 还 有 : 非 线 性 运 算 、 规 模 效 应 、 弹 性 结 构 、 分 散 处 理 、 高 度 集 成 等 。 概 括 起 来 和 现 行 计 算 机 比 较 , 神 经 网 络 突 破 图 灵 模 型 确 定 性 算 法 解 决 模 拟 、 模 糊 和 随 机 问 题 的 求 解 方 法 , 突 破 处 理 信 息 和 存 储 信 息 分 离 的 传 统 方 式 , 突 破

22、逐 步 推 理 运 算 追 求 精 确 解 的 目 标 , 寻 求 人 脑 信 息 处 理 惯 用 的 满 意 解 的 有 效 方 法 。由 于 神 经 网 络 具 有 类 似 于 人 脑 神 经 系 统 智 能 活 动 的 特 征 , 它 在 许 多 智 能 信 息 处 理 领 域 中 显 示 出 威 力 , 这 些 领 域 有 :( 1) 模 式 识 别 如 图 象 识 别 、 语 音 识 别 及 雷 达 声 纳 一 类 目 标 识 别 等 。( 2) 信 号 处 理 如 特 征 提 取 、 噪 声 抑 制 、 数 据 压 缩 、 自 适 应 均 衡 、 自 适 应 滤 波 、 话 音 插

23、 空 、 预 测 估 值 、 自 适 应 控 制 等 。( 3) 判 识 决 策 如 模 糊 评 判 、 系 统 诊 断 、 差 错 控 制 、 加 密 破 译 、 市 场 分 析 等 。( 4) 实 时 优 化 控 制 如 机 器 人 控 制 系 统 、 列 车 自 动 驾 驶 、 智 能 计 算 机 实 时 信 息 处 理 、 驼 峰 速 度 自 动 控 制 等 。( 5) 组 合 优 化 如 T SP 解 法 , 任 务 分 配 、 货 物 调 运 、组 合 编 码 、路 由 选 择 , 以 及 线 性 规 划 和 图 论 中 各 类 问 题 的 解 法 等 。( 6) 知 识 工 程

24、如 知 识 表 达 、 专 家 系 统 、 自 然 语 音 处 理 和 实 时 翻 译 系 统 等 。 不 难 看 出 , 上 述 这 些 应 用 领 域 与 铁 路 科 学 技 术 的 发 展 紧 密 相 关 , 并 且 预 示 着 神 经网 络 与 神 经 计 算 机 的 开 发 研 究 , 将 为 铁 路 运 输 现 代 化 带 来 新 的 活 力 和 前 景 。1.3 Von Neum ann 机 与 人 脑 的 比 较研 究 人 脑 神 经 的 结 构 特 点 和 活 动 机 制 , 并 在 此 基 础 上 仿 造 出 人 工 神 经 网 络 和 神 经 计 算 机 , 绝 对 不

25、是 要 否 定 和 取 代 传 统 计 算 机 在 精 确 数 值 计 算 方 面 的 巨 大 优 势 , 而 是 作 为 应 用 于 模 式 识 别 、 组 合 优 化 和 决 策 方 面 的 扩 展 和 补 充 , 考 虑 到 人 类 日 常 生 活 和 工 作第 一 章 绪 论 5中 绝 大 多 数 情 况 下 要 处 理 的 都 是 模 拟 的 、 模 糊 的 和 随 机 的 信 息 , 因 此 这 种 扩 大 和 补 充 带 来 的 效 益 是 及 其 巨 大 的 。表 1.3.1 传 统 计 算 机 与 人 脑 的 比 较比 较 内 容 传 统 计 算 机 人 脑基 本 单 元 半

26、 导 体 元 件 神 经 细 胞单 元 数 目 1 0 5 1 0 7 10 10 1 0 11信 号 形 式 电 脉 冲 活 动 电 位动 作 速 度记 忆 容 量记 忆 形 式1 0 - 9s1 0 10b it按 地 址 记 忆10 - 3 s10 13 1 0 20b it按 内 容 记 忆 联 想理 论 操 作 能 量 4 1 0 - 13J 10 - 10J故 障 率 5 1 0 - 22 10 - 21信 息 处 理 方 式 数 字 集 中 处 理 模 拟 分 布 处 理系 统 结 构 串 行 处 理 并 行 处 理抗 干 扰 性 低 高容 错 能 力 弱 强制 造 方 法信 息

27、 的 再 现 性硬 件 + 软 件 完 全遗 传 因 子 + 自 组 织 不 完 全工 作 方 式 被 动 执 行 已 编 程 序 主 动 学 习 创 新睡 眠 不 需 要 不 可 少能 力 擅 长 高 精 度 数 值 计 算 模 式 识 别 、 模 糊 判 识信 息 加 工 方 式 形 式 逻 辑 思 维 为 主 形 象 思 维 为 主发 展 年 代 半 个 世 纪 数 十 万 年从 表 1.3.1 中 可 以 看 出 , 在 那 些 需 要 根 据 逻 辑 推 理 进 行 精 确 计 算 的 场 合 , 传 统 计 算 机 能 比 人 脑 更 有 成 效 的 工 作 , 而 在 那 些 根

28、 据 多 种 因 素 和 经 验 作 出 综 合 判 断 , 以 求 得 某 种 满 意 解 的 场 合 , 人 脑 要 比 传 统 计 算 机 强 得 多 。为 了 加 速 神 经 网 络 信 息 处 理 方 法 和 神 经 计 算 机 的 发 展 , 应 集 中 精 力 完 成 下 列 工 作 : ( 1) 解 决 神 经 网 络 的 建 模 和 特 性 分 析 问 题 , 其 中 包 括 探 讨 神 经 网 络 的 拓 扑 结 构 、 动态 特 性 、 稳 定 性 、 收 敛 性 、 混 沌 性 和 容 量 分 析 、 延 时 分 析 、 计 算 复 杂 性 等 。( 2) 解 决 神

29、经 计 算 机 的 软 件 模 拟 实 现 和 硬 件 实 现 问 题 , 为 开 发 具 有 一 定 通 用 特 性 的 各 类 神 经 计 算 机 创 造 条 件 , 其 中 包 括 神 经 计 算 机 的 体 系 结 构 、 并 行 算 法 、 神 经 网 络 信 息 处 理 软 件 、 专 用 加 速 板 、 硅 处 理 器 实 现 、 光 学 实 现 和 光 电 混 合 实 现 等 。( 3) 神 经 网 络 与 神 经 计 算 机 在 各 专 用 领 域 中 的 应 用 。 在 这 方 面 有 许 多 工 作 要 进 行 , 一 般 情 况 下 在 实 时 性 要 求 不 太 高

30、的 场 合 , 可 以 利 用 软 件 模 拟 的 方 法 ( 包 括 加 速 板 ) 在 现 行 Von N eumann 机 上 进 行 , 对 那 些 实 时 性 强 的 信 息 处 理 问 题 , 则 宜 用 硬 件 方 法 来 解 决 。6第 二 章 神 经 网 络 的 生 理 基 础2.1 大 脑 信 息 处 理 基 础大 脑 是 由 多 个 神 经 元 ( Neur on ) 构 成 的 大 规 模 网 络 。 本 节 以 脑 神 经 系 统 的 结 构 为 基 础 , 说 明 其 基 本 结 构 特 征 , 以 及 神 经 元 间 的 相 互 作 用 。2.1.1 脑 神 经

31、系 统 的 结 构生 物 的 脑 神 经 系 统 自 生 命 的 诞 生 以 来 , 经 历 了 几 十 亿 年 漫 长 的 进 化 历 程 。 大 脑 的 发 达 导 致 了 高 等 动 物 的 出 现 。 其 后 , 大 约 在 200 万 年 前 , 由 于 人 类 直 立 行 走 的 缘 故 , 使得 大 脑 更 加 发 达 , 终 于 具 有 高 度 的 智 能 。人 脑 从 外 部 观 察 , 可 分 为 左 、 右 两 个 半 球 , 称 为 大 脑 , 其 后 部 的 一 小 块 称 为 小 脑 。 大 脑 担 负 认 知 、 语 言 、 记 忆 等 高 等 功 能 , 与 大

32、 脑 密 切 联 系 的 小 脑 则 担 负 高 级 运 动 控 制 等 功 能 。 大 脑 和 小 脑 的 表 面 覆 盖 有 一 层 脑 皮 质 , 下 面 连 接 有 众 多 的 神 经 纤 维 。神 经 纤 维 是 构 成 人 脑 的 重 要 组 成 部 分 , 它 在 脑 与 感 觉 器 官 和 运 动 器 官 之 间 起 联 络 作 用 。 其 中 , 从 末 梢 感 觉 器 官 的 信 息 传 向 中 枢 的 神 经 称 为 上 行 性 ( 或 称 为 求 心 性 ) 神 经 。 这 里 所 指 的 末 梢 感 觉 器 官 包 括 : 视 、 听 觉 器 官 , 肌 肉 等 运

33、动 器 官 和 胃 肠 等 消 化 器 官 。 将 中 枢 的 信 息 传 向 末 梢 器 官 的 神 经 称 为 下 行 性 ( 或 称 远 心 性 ) 神 经 。 人 的 听 觉 神 经 纤 维 约 有 10 万 条 , 视 觉 神 经 纤 维 则 约 有 100 万 条 之 多 。图 2 . 1. 1 人 脑 图 2 .1 . 2 人 脑 的 新 皮 质 、 老 皮 质 和 旧 皮 质根 据 神 经 生 理 学 的 研 究 , 人 脑 的 皮 质 按 进 化 的 顺 序 可 分 为 旧 皮 质 、 老 皮 质 和 新 皮 质 等 自 里 向 外 三 层 , 这 三 层 皮 质 分 别 担

34、 任 人 类 神 经 系 统 的 三 种 功 能 , 即 食 欲 、 逃 走 等 本 能 功 能 , 愉 快 、 不 安 等 情 绪 功 能 以 及 认 知 、 随 意 运 动 等 高 级 功 能 。 其 中 , 旧 皮 质 以 具 有 嗅 觉 处 理 的 嗅 皮 质 为 代 表 , 老 皮 质 以 海 马 皮 质 为 其 代 表 。 哺 乳 类 高 等 动 物 , 尤 其第 二 章 神 经 网 络 的 生 理 基 础 7是 猿 猴 和 人 等 灵 长 类 动 物 的 新 皮 质 特 别 发 达 , 并 分 为 前 头 叶 、 头 顶 叶 、 后 头 叶 以 及 侧 头 叶 四 个 大 区 域

35、 。 新 皮 质 和 老 皮 质 之 间 称 为 中 间 皮 质 。 如 图 2.1.1 及 图 2.1.2 所 示 。2.1.2 神 经 元神 经 系 统 是 一 个 有 序 组 织 和 相 互 作 用 的 群 体 。 例 如 , 人 类 的 中 枢 神 经 系 统 , 包 括 脊 髓 和 脑 大 约 1010 至 1012 个 神 经 元 组 成 。 这 些 神 经 元 被 组 织 成 大 约 1 000 个 模 块 ( 或 模 体 modules ) , 每 一 个 模 块 含 有 约 500 个 神 经 元 网 络 , 每 一 个 神 经 元 网 络 又 有 大 约 100 000个

36、神 经 元 连 接 而 成 。神 经 元 即 神 经 细 胞 , 是 神 经 系 统 的 基 本 单 元 , 复 杂 的 神 经 网 络 是 各 种 类 型 的 神 经 元 按 不 同 的 结 合 方 式 构 成 的 。 通 过 神 经 元 的 可 塑 特 性 , 将 使 人 脑 具 有 学 习 、 记 忆 和 认 知 等 各 种 智 能 。人 脑 神 经 元 有 许 多 不 同 的 类 型 。 就 其 共 性 而 言 , 神 经 元 有 三 个 部 分 组 成 : 树 突 、 细 胞 体 和 轴 索 , 如 图 1.1.1 ( a ) 所 示 。树 突 作 为 神 经 元 的 信 息 接 受

37、 器 , 树 突 接 受 并 解 释 来 自 别 的 细 胞 轴 突 的 化 学 信 息 。 这 些 化 学 信 息 , 或 刺 激 ( 激 励 ) 、 或 抑 制 一 个 树 突 。 一 旦 树 突 接 受 了 一 定 的 信 息 组 合 , 它 就 向 细 胞 体 发 出 信 号 。细 胞 体 作 为 神 经 元 的 控 制 中 心 , 细 胞 体 响 应 并 解 释 来 自 各 个 树 突 的 信 息 , 然 后 通 过 轴 索 输 出 信 息 。轴 索 作 为 神 经 元 信 息 的 传 送 者 , 轴 索 把 称 之 为 动 作 电 位 的 信 号 传 送 出 去 , 解 放 化 学

38、 物 质 去 激 励 或 抑 制 相 邻 神 经 元 的 树 突 。 一 个 神 经 元 的 轴 索 可 以 分 支 伸 延 , 与 数 百 个 别 的 神 经 元 以 及 不 同 类 型 的 神 经 元 的 连 接 状 态 也 不 同 。单 个 神 经 元 的 操 作 是 简 单 的 , 这 表 明 智 能 或 信 息 并 不 是 存 储 在 单 个 神 经 元 中 。 人 脑 的 智 能 存 在 于 神 经 元 相 互 连 接 之 中 , 存在 于 网 络 神 经 元 相 互 作 用 之 中 。 即 智 能 是 分 布 式 地 存 在 着 , 主 要 存 在 于 神 经 元 之 间 的 连

39、 接 模 式 和 连 接 强 度 之 中 。一 个 脊 椎 动 物 的 典 型 神 经 元 , 其 轴 索 可 以 长 1cm, 有 的 却 可 长 达 1m 多 ; 其 终 端 可 以 有 多 达 近 千 的 分 支 , 连 向 近 千 个 神 经 元 。 另 一 方 面 , 围 绕 着 神 经 元 像 树 枝 状 的 树 突 , 一 个 神 经 元 可 以 接 受 几 十 、 几 百 甚至 几 千 个 别 的 神 经 元 送 来 的 信 号 。 这 就 表 现 出 大 规 模 的 并 行 性 , 它 可 以 完 成 大 量 信 息 的 大 规 模 并 行 处 理 。图 2 .1 . 3 长

40、 枪 乌 贼 神 经 膜 内 、 外 液 的 离 子 构 成第 二 章 神 经 网 络 的 生 理 基 础 82+ 2 +2.1.3 神 经 膜 等 效 电 路在 神 经 膜 一 级 , 隔 在 神 经 膜 两 侧 的 细 胞 内 液 、 细 胞 外 液 的 离 子 构 成 具 有 很 大 的 差异 , 这 一 现 象 在 外 部 表 现 为 生 物 的 非 平 衡 性 。 图 2.1.3 所 示 的 长 枪 乌 贼 神 经 膜 内 、 外 液 的 离 子 构 成 , 在 细 胞 外 液 中 Na+ 居 多 , 而 在 细 胞 内 液 中 K + 居 多 。 而 且 在外 液 中 有 很 多

41、二 价 阳 离 子( Ca , M g ) , 在 神 经 膜 表 面 具图 2 . 1. 4 神 经 膜 电 路 模 型有 很 多 高 密 度 的 负 的 固 定 电 荷 , 阴 离 子 很 难 穿 过 其 表 面 , 所 以 神 经 膜 的 电 气 现 象 主 要 由 上 述 的 阳 离 子 决 定 。从 微 观 上 看 , 神 经 膜 以 及 生 物 膜 的 结 构 是 由 脂 肪 分 子 二 重 膜重 叠 构 成 的 。 在 这 种 脂 质 二 重 膜 中 , 埋 藏 着 蛋 白 质 形 成 的 离 子 通 道 , 它 可 使 特 定 的 离 子 穿 过 其 中 , 这 样 的 神 经

42、 膜 , 可 由 图 2.1.4 所 示 电 路 来 表 示 。该 电 路 由 4 条 支 路 构 成 : 电 容 支 路 ; 钠 电 流 支 路 ; 钾 电 流 支 路 ; 漏 电 流 支 路 。 电 容 支 路 对 应 着 脂 质 二 重 膜 。 钠 电 流 支 路 及 钾 电 流 支 路 分 别 对 应 着 钠 离 子 通 道 及 钾 离 子 通 道 的 集 合 。因 为 在 外 液 中 钠 离 子 居 多 , 有 流 向 细 胞 内 的 趋 势 。 另 外 , 内 液 中 钾 离 子 居 多 , 有 流 向 细 胞 外 的 趋 势 。 这 可 用 图 2.1.4 所 示 的 钠 平 衡

43、 电 位 VN a 及 钾 平 衡 电 位 VK 表 示 。神 经 膜 的 基 本 特 性 非 线 性 特 性 起 因 于 钠 电 导 gN a 、 钾 电 导 g K 及 漏 电 导 g L 这 些 非 线 性 时 变 元 件 , 它 们 随 膜 电 位 的 变 化 而 变 化 。神 经 膜 当 中 , 通 常 g K g N a , gL 。 钾 平 衡 电 位 VK 保 持 在 接 近 - 60mV 水 平 上 。 这图 2 .1 . 5 静 止 电 位 与 脱 极 化 、 过 极 化里 的 膜 电 位 是 神 经 生 理 学 当 中 最 重 要 的 状 态 变 量 。 图 2.1.5

44、表 示 了 以 神 经 膜 外 液 电 位 为 基 准 神 经 元 的 内 部 电 位 。将 - 60mV 的 电 位 称 为 静 止 电 位 。 依 此 为 基 准 , 膜 电 位 向 正 负 方 向 发 生 变 化 时 , 分别 称 之 为 脱 极 化 与 过 极 化 。8 神 经 网 络 技 术 及 应 用处 于 静 止 状 态 的 神 经 膜 , 对 于 图 2.1.6 所 示 的 激 励 信 号 , 呈 现 出 非 线 性 的 响 应 。 即 对 超 过 阈 值 的 激 励 信 号 才 产 生 动 作 电 位 ( Act ion potential ) 或 称 为 神 经 脉 冲 (

45、 Neur ous Impuls e) 。 神 经 脉 冲 的 振 幅 一 定 , 宽 度 约 为 1ms , 与 数 字 电 路 脉 冲 相 比 , 速 度 是 相 当 低 的 。生 成 动 作 电 位 的 状 态 称 为 神 经 图 2. 1 .6 神 经 膜 中 活 动 电 位 生 成 的 非 线 性 过 程元 的 兴 奋 状 态 。 这 种 动 作 电 位 可 以 认 为 是 脑 内 传 递 信 息 的 基 本 信 号 , 动 作 电 位 只 在 高 于 阈 值 的 脱 极 化 情 形 下 才 会 产 生 , 这 是 一 种 主 动 的 非 线 性 现 象 , 而 且 在 动 作 电

46、位 生 成 之 后 , 阈 值 变 得 比 通 常 情 况 要 大 , 使 得 下 一 个 活 动 电 位 难 以 产 生 , 这 一 期 间 称 为 不 应 期 。2.1.4 H -H 神 经 元 细 胞 等 效 方 程对 生 物 的 研 究 , 主 要 由 观 察 、 解 剖 、 实 验 所 进 行 的 研 究 , 也 可 以 以 数 学 为 工 具 进 行 分 析 研 究 。 A .L . Hodgkin 与 A .F. Hu xley 因 1952 年 建 立 了 神 经 元 细 胞 非 线 性 动 力 学 微 分 方 程 式 而 获 得 诺 贝 尔 生 物 医 学 奖 。 在 欧 美

47、 , H odgkin-Hux ley ( H -H ) 方 程 式 非 常 有 名 , 日 本 东 京 大 学 的 合 原 一 幸 对 此 方 程 式 进 行 了 长 达 7 年 的 解 析 , 得 到 了 很 多 有 意 义 的 结 果 。H -H 方 程 式 是 具 有 四 个 变 量 的 非 线 性 微 分 方 程 式 , 由 ( 2.1.1) 式 至 ( 2.1.4) 式 表 示 。I = C dV - 3 - 4 -dt + g N a mh ( V- VN a ) + g K ndm( V- VK ) + g L ( V- VL ) ( 2.1.1)dt = ( Sm ( V)

48、- m) / T m ( V) ( 2.1.2)d hdt = ( Sh ( V) - h) / T h ( V) ( 2.1.3)dndt = ( Sn ( V) - n) / T n ( V) ( 2.1.4)式 ( 2.1.1) 至 式 ( 2.1.4) 中 , V 为 膜 电 位 ( mV ) , m 为 钠 的 活 性 化 系 数 ( 0 0 g oto T E STif X F + 且 WX 0 g oto ADDif X F - 且 WX 0 ( 3.2.8)这 就 是 通 常 所 说 的 学 习 规 则 。在 BP 网 络 学 习 过 程 中 , 输 出 层 单 元 与 隐 单

49、 元 的 误 差 的 计 算 是 不 同 的 , 下 面 分 别 讨第 三 章 前 馈 神 经 网 络 27a p j ) - ( p j - p j ) ( 3.2.9)论 。当 Op j 表 示 输 出 层 单 元 的 输 出 时 , 其 误 差 p j = -E pa p j = -E p Op j Op j = - f ( a d Op j即 p j = f ( ap j ) ( d p j - Op j ) ( 3.2.10) 式中 , ( d p j - Op j ) 反 映 了 输 出 单 元 j 的 输 出 误 差 量 , 作 用 函 数 的 导 数 项 f ( a p j ) 按 比 率 减 少 误 差 量 。 图 3.2.2 所 示 为 作 用 函 数 及 其 导 数 的 曲 线 变 化 , 显 然 , 当 激 活 函 数 ap j 值为 0 时 , S 型 曲 线 上 升 得 最 快 , 导 数