1、人工神经网络（ArtificialNeuralNetworks，简写为 ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionistModel），它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人 工 神 经 网 络 就 是 模 拟 人 思 维 的 第 二 种 方 式 。 这 是 一 个 非 线 性 动 力 学 系 统 ， 其 特 色 在于 信 息 的 分 布 式 存 储 和 并 行 协 同 处 理 。 虽 然 单 个 神 经 元 的 结 构 极 其 简 单 ，
2、 功 能 有 限 ， 但大 量 神 经 元 构 成 的 网 络 系 统 所 能 实 现 的 行 为 却 是 极 其 丰 富 多 彩 的 。人 工 神 经 网 络 的 发 展 历 史1943 年 ， 心 理 学 家 WMcculloch 和 数 理 逻 辑 学 家 WPitts 在 分 析 、总 结 神 经 元 基 本 特 性 的 基 础 上 首 先 提 出 神 经 元 的 数 学 模 型 。 此 模 型 沿 用 至 今 ，并 且 直 接 影 响 着 这 一 领 域 研 究 的 进 展 。 因 而 ， 他 们 两 人 可 称 为 人 工 神 经 网 络研 究 的 先 驱 。 1945 年 冯 诺
3、 依 曼 领 导 的 设 计 小 组 试 制 成 功 存 储 程 序 式 电 子 计 算 机 ，标 志 着 电 子 计 算 机 时 代 的 开 始 。 1948 年 ， 他 在 研 究 工 作 中 比 较 了 人 脑 结 构与 存 储 程 序 式 计 算 机 的 根 本 区 别 ， 提 出 了 以 简 单 神 经 元 构 成 的 再 生 自 动 机网 络 结 构 。 但 是 ， 由 于 指 令 存 储 式 计 算 机 技 术 的 发 展 非 常 迅 速 ， 迫 使 他 放 弃了 神 经 网 络 研 究 的 新 途 径 ， 继 续 投 身 于 指 令 存 储 式 计 算 机 技 术 的 研 究
4、， 并 在此 领 域 作 出 了 巨 大 贡 献 。 虽 然 ， 冯 诺 依 曼 的 名 字 是 与 普 通 计 算 机 联 系 在 一起 的 ， 但 他 也 是 人 工 神 经 网 络 研 究 的 先 驱 之 一 。 50 年 代 末 ， FRosenblatt 设 计 制 作 了 “感 知 机 ”， 它 是 一 种 多 层 的神 经 网 络 。 这 项 工 作 首 次 把 人 工 神 经 网 络 的 研 究 从 理 论 探 讨 付 诸 工 程 实 践 。当 时 ， 世 界 上 许 多 实 验 室 仿 效 制 作 感 知 机 ， 分 别 应 用 于 文 字 识 别 、 声 音 识 别 、声
5、纳 信 号 识 别 以 及 学 习 记 忆 问 题 的 研 究 。 然 而 ， 这 次 人 工 神 经 网 络 的 研 究 高潮 未 能 持 续 很 久 ， 许 多 人 陆 续 放 弃 了 这 方 面 的 研 究 工 作 ， 这 是 因 为 当 时 数 字计 算 机 的 发 展 处 于 全 盛 时 期 ， 许 多 人 误 以 为 数 字 计 算 机 可 以 解 决 人 工 智 能 、模 式 识 别 、 专 家 系 统 等 方 面 的 一 切 问 题 ， 使 感 知 机 的 工 作 得 不 到 重 视 ； 其 次 ，当 时 的 电 子 技 术 工 艺 水 平 比 较 落 后 ， 主 要 的 元
6、件 是 电 子 管 或 晶 体 管 ， 利 用 它们 制 作 的 神 经 网 络 体 积 庞 大 ， 价 格 昂 贵 ， 要 制 作 在 规 模 上 与 真 实 的 神 经 网 络相 似 是 完 全 不 可 能 的 ； 另 外 ， 在 1968 年 一 本 名 为 感 知 机 的 著 作 中 指 出线 性 感 知 机 功 能 是 有 限 的 ， 它 不 能 解 决 如 异 感 这 样 的 基 本 问 题 ， 而 且 多 层 网络 还 不 能 找 到 有 效 的 计 算 方 法 ， 这 些 论 点 促 使 大 批 研 究 人 员 对 于 人 工 神 经 网络 的 前 景 失 去 信 心 。 60
7、 年 代 末 期 ， 人 工 神 经 网 络 的 研 究 进 入 了 低 潮 。 另 外 ， 在 60 年 代 初 期 ， Widrow 提 出 了 自 适 应 线 性 元 件 网 络 ， 这 是 一 种连 续 取 值 的 线 性 加 权 求 和 阈 值 网 络 。 后 来 ， 在 此 基 础 上 发 展 了 非 线 性 多 层 自适 应 网 络 。 当 时 ， 这 些 工 作 虽 未 标 出 神 经 网 络 的 名 称 ， 而 实 际 上 就 是 一 种 人工 神 经 网 络 模 型 。 随 着 人 们 对 感 知 机 兴 趣 的 衰 退 ， 神 经 网 络 的 研 究 沉 寂 了 相 当
8、长 的 时 间 。80 年 代 初 期 ， 模 拟 与 数 字 混 合 的 超 大 规 模 集 成 电 路 制 作 技 术 提 高 到 新 的 水平 ， 完 全 付 诸 实 用 化 ， 此 外 ， 数 字 计 算 机 的 发 展 在 若 干 应 用 领 域 遇 到 困 难 。这 一 背 景 预 示 ， 向 人 工 神 经 网 络 寻 求 出 路 的 时 机 已 经 成 熟 。 美 国 的 物 理 学家 Hopfield 于 1982 年 和 1984 年 在 美 国 科 学 院 院 刊 上 发 表 了 两 篇 关 于 人 工神 经 网 络 研 究 的 论 文 ， 引 起 了 巨 大 的 反 响
9、 。 人 们 重 新 认 识 到 神 经 网 络 的 威 力以 及 付 诸 应 用 的 现 实 性 。 随 即 ， 一 大 批 学 者 和 研 究 人 员 围 绕 着 Hopfield提 出 的 方 法 展 开 了 进 一 步 的 工 作 ， 形 成 了 80 年 代 中 期 以 来 人 工 神 经 网 络 的研 究 热 潮 。“人 脑 是 如 何 工 作 的 ？ ” “人 类 能 否 制 作 模 拟 人 脑 的 人 工 神 经 元 ？ ” 多 少 年 以 来 ， 人 们 从 医 学 、 生 物 学 、 生 理 学 、 哲 学 、 信 息 学 、 计 算 机科 学 、 认 知 学 、 组 织
10、协 同 学 等 各 个 角 度 企 图 认 识 并 解 答 上 述 问 题 。 在 寻 找 上述 问 题 答 案 的 研 究 过 程 中 ， 近 年 来 逐 渐 形 成 了 一 个 新 兴 的 多 学 科 交 叉 技 术 领域 ， 称 之 为 “神 经 网 络 ”。 神 经 网 络 的 研 究 涉 及 众 多 学 科 领 域 ， 这 些 领 域 互相 结 合 、 相 互 渗 透 并 相 互 推 动 。 不 同 领 域 的 科 学 家 又 从 各 自 学 科 的 兴 趣 与 特色 出 发 ， 提 出 不 同 的 问 题 ， 从 不 同 的 角 度 进 行 研 究 。 人 工 神 经 网 络 首
11、先 要 以 一 定 的 学 习 准 则 进 行 学 习 ， 然 后 才 能 工 作 。 现 以人 工 神 经 网 络 对 手 写 “A”、 “B”两 个 字 母 的 识 别 为 例 进 行 说 明 ， 规 定 当“A”输 入 网 络 时 ， 应 该 输 出 “1”， 而 当 输 入 为 “B”时 ， 输 出 为 “0”。 所 以 网 络 学 习 的 准 则 应 该 是 ： 如 果 网 络 作 出 错 误 的 的 判 决 ， 则 通 过 网 络的 学 习 ， 应 使 得 网 络 减 少 下 次 犯 同 样 错 误 的 可 能 性 。 首 先 ， 给 网 络 的 各 连 接权 值 赋 予 (0，
12、1)区 间 内 的 随 机 值 ， 将 “A”所 对 应 的 图 象 模 式 输 入 给 网 络 ，网 络 将 输 入 模 式 加 权 求 和 、 与 门 限 比 较 、 再 进 行 非 线 性 运 算 ， 得 到 网 络 的 输出 。 在 此 情 况 下 ， 网 络 输 出 为 “1”和 “0”的 概 率 各 为 50%， 也 就 是 说 是 完全 随 机 的 。 这 时 如 果 输 出 为 “1”(结 果 正 确 )， 则 使 连 接 权 值 增 大 ， 以 便 使网 络 再 次 遇 到 “A”模 式 输 入 时 ， 仍 然 能 作 出 正 确 的 判 断 。 如 果 输 出 为 “0”(
13、即 结 果 错 误 )， 则 把 网 络 连 接 权 值 朝 着 减 小 综 合 输 入加 权 值 的 方 向 调 整 ， 其 目 的 在 于 使 网 络 下 次 再 遇 到 “A”模 式 输 入 时 ， 减 小犯 同 样 错 误 的 可 能 性 。 如 此 操 作 调 整 ， 当 给 网 络 轮 番 输 入 若 干 个 手 写 字 母“A”、 “B”后 ， 经 过 网 络 按 以 上 学 习 方 法 进 行 若 干 次 学 习 后 ， 网 络 判 断 的正 确 率 将 大 大 提 高 。 这 说 明 网 络 对 这 两 个 模 式 的 学 习 已 经 获 得 了 成 功 ， 它 已将 这 两
14、 个 模 式 分 布 地 记 忆 在 网 络 的 各 个 连 接 权 值 上 。 当 网 络 再 次 遇 到 其 中 任何 一 个 模 式 时 ， 能 够 作 出 迅 速 、 准 确 的 判 断 和 识 别 。 一 般 说 来 ， 网 络 中 所 含的 神 经 元 个 数 越 多 ， 则 它 能 记 忆 、 识 别 的 模 式 也 就 越 多 。 心 理 学 家 和 认 知 科 学 家 研 究 神 经 网 络 的 目 的 在 于 探 索 人 脑 加 工 、 储 存 和搜 索 信 息 的 机 制 ， 弄 清 人 脑 功 能 的 机 理 ， 建 立 人 类 认 知 过 程 的 微 结 构 理 论
15、。 生 物 学 、 医 学 、 脑 科 学 专 家 试 图 通 过 神 经 网 络 的 研 究 推 动 脑 科 学 向 定 量 、精 确 和 理 论 化 体 系 发 展 ， 同 时 也 寄 希 望 于 临 床 医 学 的 新 突 破 ； 信 息 处 理 和 计算 机 科 学 家 研 究 这 一 问 题 的 目 的 在 于 寻 求 新 的 途 径 以 解 决 目 前 不 能 解 决 或 解决 起 来 有 极 大 困 难 的 大 量 问 题 ， 构 造 更 加 逼 近 人 脑 功 能 的 新 一 代 计 算 机 。 人 工 神 经 网 络 是 由 大 量 的 简 单 基 本 元 件 神 经 元 相
16、 互 联 接 而 成 的 自适 应 非 线 性 动 态 系 统 。 每 个 神 经 元 的 结 构 和 功 能 比 较 简 单 ， 但 大 量 神 经 元 组合 产 生 的 系 统 行 为 却 非 常 复 杂 。 人 工 神 经 网 络 反 映 了 人 脑 功 能 的 若 干 基 本 特 性 ， 但 并 非 生 物 系 统 的 逼真 描 述 ， 只 是 某 种 模 仿 、 简 化 和 抽 象 。 与 数 字 计 算 机 比 较 ， 人 工 神 经 网 络 在 构 成 原 理 和 功 能 特 点 等 方 面 更 加 接近 人 脑 ， 它 不 是 按 给 定 的 程 序 一 步 一 步 地 执 行
17、 运 算 ， 而 是 能 够 自 身 适 应 环 境 、总 结 规 律 、 完 成 某 种 运 算 、 识 别 或 过 程 控 制 。 人 工 神 经 元 的 研 究 起 源 于 脑 神 经 元 学 说 。 19 世 纪 末 ， 在 生 物 、 生 理 学领 域 ， Waldeger 等 人 创 建 了 神 经 元 学 说 。 人 们 认 识 到 复 杂 的 神 经 系 统 是 由 数目 繁 多 的 神 经 元 组 合 而 成 。 大 脑 皮 层 包 括 有 100 亿 个 以 上 的 神 经 元 ， 每 立方 毫 米 约 有 数 万 个 ， 它 们 互 相 联 结 形 成 神 经 网 络 ，
18、 通 过 感 觉 器 官 和 神 经 接 受来 自 身 体 内 外 的 各 种 信 息 ， 传 递 至 中 枢 神 经 系 统 内 ， 经 过 对 信 息 的 分 析 和综 合 ， 再 通 过 运 动 神 经 发 出 控 制 信 息 ， 以 此 来 实 现 机 体 与 内 外 环 境 的 联 系 ，协 调 全 身 的 各 种 机 能 活 动 。 神 经 元 也 和 其 他 类 型 的 细 胞 一 样 ， 包 括 有 细 胞 膜 、 细 胞 质 和 细 胞 核 。 但是 神 经 细 胞 的 形 态 比 较 特 殊 ， 具 有 许 多 突 起 ， 因 此 又 分 为 细 胞 体 、 轴 突 和 树
19、突 三 部 分 。 细 胞 体 内 有 细 胞 核 ， 突 起 的 作 用 是 传 递 信 息 。 树 突 是 作 为 引 入 输入 信 号 的 突 起 ， 而 轴 突 是 作 为 输 出 端 的 突 起 ， 它 只 有 一 个 。 树 突 是 细 胞 体 的 延 伸 部 分 ， 它 由 细 胞 体 发 出 后 逐 渐 变 细 ， 全 长 各 部 位 都可 与 其 他 神 经 元 的 轴 突 末 梢 相 互 联 系 ， 形 成 所 谓 “突 触 ”。 在 突 触 处 两 神经 元 并 未 连 通 ， 它 只 是 发 生 信 息 传 递 功 能 的 结 合 部 ， 联 系 界 面 之 间 间 隙
20、 约 为（ 15 50)10 米 。 突 触 可 分 为 兴 奋 性 与 抑 制 性 两 种 类 型 ， 它 相 应 于 神 经 元之 间 耦 合 的 极 性 。 每 个 神 经 元 的 突 触 数 目 正 常 ， 最 高 可 达 10 个 。 各 神 经 元之 间 的 连 接 强 度 和 极 性 有 所 不 同 ， 并 且 都 可 调 整 、 基 于 这 一 特 性 ， 人 脑 具 有存 储 信 息 的 功 能 。 利 用 大 量 神 经 元 相 互 联 接 组 成 人 工 神 经 网 络 可 显 示 出 人 的大 脑 的 某 些 特 征 。 下 面 通 过 人 工 神 经 网 络 与 通
21、用 的 计 算 机 工 作 特 点 来 对 比 一下 ： 若 从 速 度 的 角 度 出 发 ， 人 脑 神 经 元 之 间 传 递 信 息 的 速 度 要 远 低 于 计 算 机 ，前 者 为 毫 秒 量 级 ， 而 后 者 的 频 率 往 往 可 达 几 百 兆 赫 。 但 是 ， 由 于 人 脑 是 一 个大 规 模 并 行 与 串 行 组 合 处 理 系 统 ， 因 而 ， 在 许 多 问 题 上 可 以 作 出 快 速 判 断 、决 策 和 处 理 ， 其 速 度 则 远 高 于 串 行 结 构 的 普 通 计 算 机 。 人 工 神 经 网 络 的 基 本结 构 模 仿 人 脑 ，
22、 具 有 并 行 处 理 特 征 ， 可 以 大 大 提 高 工 作 速 度 。 人 脑 存 贮 信 息 的 特 点 为 利 用 突 触 效 能 的 变 化 来 调 整 存 贮 内 容 ， 也 即 信 息存 贮 在 神 经 元 之 间 连 接 强 度 的 分 布 上 ， 存 贮 区 与 计 算 机 区 合 为 一 体 。 虽 然 人脑 每 日 有 大 量 神 经 细 胞 死 亡 （ 平 均 每 小 时 约 一 千 个 ） ， 但 不 影 响 大 脑 的 正常 思 维 活 动 。 普 通 计 算 机 是 具 有 相 互 独 立 的 存 贮 器 和 运 算 器 ， 知 识 存 贮 与 数 据 运
23、算互 不 相 关 ， 只 有 通 过 人 编 出 的 程 序 使 之 沟 通 ， 这 种 沟 通 不 能 超 越 程 序 编 制 者的 预 想 。 元 器 件 的 局 部 损 坏 及 程 序 中 的 微 小 错 误 都 可 能 引 起 严 重 的 失 常 。 人 类 大 脑 有 很 强 的 自 适 应 与 自 组 织 特 性 ， 后 天 的 学 习 与 训 练 可 以 开 发 许多 各 具 特 色 的 活 动 功 能 。 如 盲 人 的 听 觉 和 触 觉 非 常 灵 敏 ； 聋 哑 人 善 于 运 用 手势 ； 训 练 有 素 的 运 动 员 可 以 表 现 出 非 凡 的 运 动 技 巧
24、等 等 。 普 通 计 算 机 的 功 能 取 决 于 程 序 中 给 出 的 知 识 和 能 力 。 显 然 ， 对 于 智 能活 动 要 通 过 总 结 编 制 程 序 将 十 分 困 难 。 人 工 神 经 网 络 也 具 有 初 步 的 自 适 应 与 自 组 织 能 力 。 在 学 习 或 训 练 过 程 中改 变 突 触 权 重 值 ， 以 适 应 周 围 环 境 的 要 求 。 同 一 网 络 因 学 习 方 式 及 内 容 不 同可 具 有 不 同 的 功 能 。 人 工 神 经 网 络 是 一 个 具 有 学 习 能 力 的 系 统 ， 可 以 发 展 知识 ， 以 致 超
25、过 设 计 者 原 有 的 知 识 水 平 。 通 常 ， 它 的 学 习 训 练 方 式 可 分 为 两 种 ，一 种 是 有 监 督 或 称 有 导 师 的 学 习 ， 这 时 利 用 给 定 的 样 本 标 准 进 行 分 类 或 模 仿 ；另 一 种 是 无 监 督 学 习 或 称 无 为 导 师 学 习 ， 这 时 ， 只 规 定 学 习 方 式 或 某 些 规 则 ，则 具 体 的 学 习 内 容 随 系 统 所 处 环 境 （ 即 输 入 信 号 情 况 ） 而 异 ， 系 统 可 以 自动 发 现 环 境 特 征 和 规 律 性 ， 具 有 更 近 似 人 脑 的 功 能 。 人 工 神 经 网 络 早 期 的 研 究 工 作 应 追 溯 至 20 世 纪 40 年 代 。 下 面 以时 间 顺 序 ， 以 著 名 的 人 物 或 某 一 方 面 突 出 的 研 究 成 果 为 线 索 ， 简 要 介 绍
