人工智能导论人工智能导论 (156).pdf

1、26专题第 10 卷 第 2 期 2014 年 2 月深度网络和认知计算象。尽 管 在 一 些 领 域 已 经 有 了 一些 详 细 的 阐 释，但 还 没 有 一 个 概念 化 的 结 论 能 回 答 所 有 这 些 重 要的 问 题，更 没 有 一 个 能 达 成 一 致的结果。另 一 方 面，科 学 家 们 对 智能 的 核 心 问 题 和 包 含 基 本 能 力 的描 述 是 基 本 一 致 的。在 关 于 智能 的主流科学(Mainstream Sci-ence on Intelligence)一书中2，著 者 将 智 能 定 义 为“一 种 非 常 广泛的精神能 力，包括 推理、计

2、 划、解 决 问 题、抽 象 思 维、领 悟 复 杂思 想、快 速 学 习 及 吸 取 经 验 等。”一 般 认 为：智 能 是 个 体 的 不 断 学习、理 解 周 围 环 境、对 客 观 事 物进 行 合 理 分 析、判 断 并 有 效 地 处理 周 围 环 境 的 综 合 能 力。这 种 综合能力是多种才 能的总 和，包 括：适 应 及 改 变 周 围 环 境 的 能 力、获取 知 识 的 能 力、理 性 及 抽 象 思 维的 能 力、理 解 关 系 的 能 力、评 估和判断的能 力、意识 及创 造力等。现 代 著 名 计 算 机 科 学 家 杰夫 霍金 斯(Jeff Hawkins)将

3、智能的 描 述 问 题 化 繁 为 简，提 出“智能 是 基 于 记 忆 的 预 测”3。大 脑利 用 记 忆 不 断 地 对 我 们 看 到 的、听 到 的 以 及 感 觉 到 的 事 物 进 行 预测，预 测 的 结 果 和 感 知 事 实 再 进一 步 反 作 用 于 记 忆，进 而 提 高 预测 能 力。仔 细 分 析 这 个 定 义 不 难发 现，智 能 主 要 包 括 3 个 方 面：对 事物产 生感 知(perception)，由感 知产生 记忆(memory)，由 记忆产 生预测(prediction)，即智 能的感 知、记 忆和 预测(PMP)框架。如 图 1 所 示，感 知

4、、记 忆 和预 测 框 架 指 出，智 能 是 通 过 记 忆能 力 和 对 周 围 环 境 中 的 模 式 的 预测 能 力 来 衡 量 的。大 脑 从 外 部 世界 获 取 信 息 并 将 其 以 知 识 的 形 式储 存 起 来，然 后 将 它 们 以 前 的 模式（记忆）和正 在发生 的情 况（感知）进 行 比 较，并 以 此 为 基 础 进行预测。在 文 献 4 中 提 出 了 一 个 基于 人 类 认 知 基 本 原 理 的 感 知、记忆 和 判 断(PMJ)模 型，将 认 知 过对 智 能 的 研 究 一 直 是 科 学 家们 孜 孜 不 倦 探 索 的 课 题。计 算 机科 学

5、 在 追 寻 智 能 的 道 路 上 起 了 推波 助 澜 的 作 用，一 方 面 以 实 现 人工 智 能、制 造 智 能 机 器 为 终 极 目标 不 断 努 力，另 一 方 面 从 计 算 角度 促 进 了 对 智 能 机 制 的 理 解 和 深入 研 究。深 度 网 络 和 认 知 计 算 是当 前 国 际 上 的 两 个 研 究 热 点，它们 都 试 图 通 过 各 自 的 研 究 来 模 拟生 物 体 的 某 些 智 能 行 为，进 而 提出一些可 计算模 型。关 于 智 能 的 定 义，科 学 家们 存 在 许 多 争 议，由 于 智 能 的超 复 杂 性，这 个 争 论 可 能

6、 会 一直 持 续 下 去。美 国 心 理 学 会 在1995 年 发 布 的 智 能：已 知 与未知(Intelligence:Knowns and Unknowns)报 告中指出1，个体之 间 的 差 别 体 现 在 理 解 复 杂 思想、高 效 地 适 应 环 境、吸 取 经 验教 训、处 理 不 同 形 式 的 推 理 问 题以 及 通 过 思 考 克 服 阻 碍 的 能 力。而 且 这 些 差 异 在 同 一 个 体 上 也 可能 不 完 全 一 致：一 个 人 的 智 能 表现 会 因 不 同 的 原 因、领 域 以 及 标准 发 生 改 变。“智 能”的 概 念 试图 阐 明 和

7、 规 整 这 一 系 列 复 杂 的 现 智能基于记忆的预测感知 记忆 预测图1 智 能 的 感 知、记 忆 和 预 测 框 架27第 10 卷 第 2 期 2014 年 2 月程 分 为 感 知(perception)、记 忆(memory)和判断(judgment)三阶段，如 图 2 所 示。该 模 型 明 确 了认 知 的 三 阶 段、多 通 路 的 处 理 框架以及一系列认知加工策略。智 能 的 感 知、记 忆 和 预 测 框架 和 认 知 计 算 的 感 知、记 忆 和 判断 模 型 有 许 多 相 似 之 处，在 解 释人 类 认 知 行 为 的 同 时，也 为 计 算科 学 进

8、行 智 能 的 探 索 指 出 了 一 条充满希望的途径。大脑的深度网络结构计 算 机 智 能 研 究 的 另 一 个 重要 线 索 来 自 大 脑 智 能。人 的 智 能（如 感 知、语 言、想 象 力、数 学能力、艺术感等等）产生于大脑，而 大 脑 皮 层 则 是 人 脑 形 成 智 能 的至 关 重 要 的 部 分，理 解 大 脑 皮 层的 结 构 和 功 能 对 我 们 更 好 地 了 解智能的产生具有重要意义。大 脑 皮 层 主 要 由 神 经 元 和神 经 胶 质 细 胞 组 成。人 类 的 大 脑皮 层 表 面 有 大 量 褶 皱，即 脑 沟 和脑 回，如 将 其 拉 伸 开，面

9、 积 约 有1000 平 方 厘 米，2 毫 米 厚，约 由300 亿 个 神 经 元 细 胞 组 成，包 含超 过 100 万 亿 条 的 突 触。在 最 新进 化 出 来 的 新 皮 层 区 域，可 纵 向分 为 6 层 神 经 细 胞，不 同 层 间 的细 胞 相 连 形 成 微 型 回 路。同 时，神 经 科 学 家 也 发 现，尽 管 大 脑 皮层 上 没 有 任 何 标 记，但 大 脑 皮 层上 的 神 经 元 具 有 明 显 的 功 能 区 域划 分，例 如 视 觉 区 域、听 觉 区 域、触 觉 区 域、语 言 区 域、联 合 区 域 等。这 些 几 乎 具 有 相 同 解 剖

10、 结 构的 区 域 分 布 于 皮 层 上，主 管 感 官或 者 思 维 的 某 一 个 方 面 功 能，形似 一 幅 地 图，如 图 2 所 示。这 些功 能 区 域 之 间 没 有 明 确 的 界 限，却 按 照 一 定 的 分 支 层 级 结 构 排列。皮 层 区 域 的 层 级 结 构 中，某些 区 域 凌 驾 于 其 他 区 域 之 上 或 者屈 居 其 下，决 定 其“高 与 低”的关 键 在 于 其 相 互 之 间 的 连 接 方式。低 级 区 域 通 过 特 定 的 连 接 方式 向 高 级 区 域 传 递 信 息；高 级 区域 用 另 一 种 方 式 向 低 级 区 域 反

11、馈信 息。众 多 区 域 在 一 个 复 杂 的 层级 结 构 中 相 互 联 系，通 过 彼 此 之间 不 断 地 交 流 反 馈 信 息 产 生 人 的“智 能”及“智 能 行 为”。例 如，当 被 蚊 子 叮 咬 时，视 觉 区 域 和 触觉 区 域 首 先 分 别 感 知 到“蚊 子”和“痒”的 感 觉 信 息 并 传 向 高 层联 合 区 域。与 此 同 时，高 层 联 合区 域 接 收 来 自 多 种 感 觉 的 输 入 信息，并 最 终 将“痒”和“蚊 子 叮咬”联系起来产生对“蚊子叮咬”事件的认知。如图 3 所示，大脑皮层中不同 的 处 理 区 域 以 层 级 结 构 的 方

12、式连 接 起 来，低 级 区 域 向 高 级 区 域提 供 感 官 感 受 到 的 具 体 信 息 或 其他 低 级 信 息，而 高 级 区 域 则 融 合来 自 不 同 低 级 区 域 的 信 息 产 生 高级 的 认 知。在 层 级 结 构 中，低 级区 域 产 生 更 具 体 的 信 息，其 变 更速 度 也 更 快，包 含 的 细 节 更 多；高 级 区 域 与 之 相 对，形 成 更 稳 定的 空 间 不 变 性，改 变 也 相 对 缓 慢得 多，表 达 的 则 是 更 高 层 的 语 义对象。由 此，我 们 可 以 总 结 出 大 脑皮 层 信 息 处 理 的 过 程：由 低 层

13、区域 感 知、处 理 信 息，并 向 高 层 区域 传 递；高 层 区 域 处 理 多 个 低 层区 域 的 输 出 信 息 并 做 出 判 断；信息 在 不 同 层 级 区 域 间 传 递 与 反图2 大 脑 皮 层“地 图”感受触觉、听觉、视觉感受触觉、听觉空间不变性触觉 听觉 视觉感受听觉、视觉改变缓慢 语义对象空间具体化 改变迅速 细节特征图3 层 级 结 构28专题第 10 卷 第 2 期 2014 年 2 月馈。这 样 的 基 本 原 则 对 于 智 能 算法、智 能 机 器 的 设 计 和 实 现 有 重要的启示与指导作用。认知神经网络模型基 于 上 述 认 识，我 们 在 此基

14、 础 上 抽 象 出 一 个 计 算 模 型，具有 以 下 特 点：首 先，该 模 型 由 众多 功 能 区 域 按 照 一 定 层 级 结 构 组成；其 次，每 个 区 域 作 为 一 个 基础 的 计 算 单 元 具 有 相 似 的 结 构；第 三，不 同 区 域 以 及 同 一 区 域 的神 经 元 之 间 存 在 一 套 简 单 高 效 的算 法 进 行 信 息 传 递，并 最 终 做 出预 测。该 模 型 需 要 处 理 两 种 截 然不 同 而 又 息 息 相 关 的 模 式 信 息：空 间 模 式 和 时 间 模 式。空 间 模式 即 某 一 时 刻 事 物 共 同 出 现 的

15、组合，时 间 模 式 则 是 空 间 模 式 发 生的先后次序的模式。图 4 展 示 了 一 个 抽 象 模 型（左）及 其 对 应 的 神 经 网 络 模 型（右）。模型包含若干个功能区域，每 个 功 能 区 域 有 相 似 的 内 部 结构，功 能 区 域 间 相 连 形 成 层 级 结构。神 经 网 络 模 型 由 若 干 组 神 经元 的 集 合 共 同 构 成，每 一 组 神 经元 之 间 相 互 连 接，形 成 一 个 功 能区 域，两 组 神 经 元 之 间 又 互 相 连接，共 同 构 成 了 一 个 有 层 级 关 系的 网 络 结 构。我 们 称 这 种 结 构 的网络模型

16、为“认知 神经网络”。下 面 从 不 同 的 方 面 观 察 认 知神经网络。横向结构网 络 中 一 个 功 能 区 域 的 神 经元 即 是 一 层 神 经 元，其 连 接 方 式构 成 了 一 个 递 归 神 经 网 络，如 图5(a)所 示。这 种 网 络 的 特 点 是 每个 神 经 元 与 其 他 所 有 神 经 元 相 连接，在 神 经 元 的 激 活 和 信 息 传 递过程中形成一个动力学系统。图 6 展 示 了 一 个 由 两 个 神经 元 组 成 的 最 简 单 的 递 归 神 经 网络 例 子。x1(k)和 x2(k)表 示 神 经元 1 和 神 经 元 2 的 状 态。神

17、 经 元1 将 同 时 接 受 到 来 自 神 经 元 2 以及 其 自 己 的 激 活 信 息，经 由 突 触w12(k)和 w11(k)的 传 递，神 经 元 1胞 体 接 受 到 净 输 入 z1(k+1)，并 通过 激 活 函 数 f1(z)来 决 定 下 一 时 刻k+1 时 神 经 元 的 状 态 x1(k+1)。对于 神 经 元 2 也 是 发 生 相 同 的 过 程。对 于 如 图 5(a)中 的 递 归 神 经网络，我们用向量 x(k)表示 k 时刻 神 经 元 的 激 活 状 态，wij(k)表示 此 时 前 神 经 元 j 与 后 神 经 元 i之 间 突 触 的 连 接

18、 权 值，形 成 权 值矩阵 w(k)。向量 z(k)表示各神经元的净输入，fi(z)则表示各神经元 的 激 活 函 数。信 息 递 归 传 递 的过程可以形式化地表示为该 式 是 一 个 典 型 的 关 于 时 刻 k 的动 力 学 系 统，对 于 连 续 时 间 t，功能区域功能区域功能区域功能区域图4 大 脑 功 能 抽 象 模 型 和 认 知 神 经 网 络 模 型(a)递归网络(b)受限递归网络(c)深度网络图5 认 知 神 经 网 络 的3 个 观 察 角 度图6 两 个 神 经 元 组 成 的 递 归 神 经 网 络29第 10 卷 第 2 期 2014 年 2 月可以表示为这

19、个 动 力 学 系 统 可 以 描 述 状 态 向量 x(t)在 时 间 t 上 的 变 化，在 状态 空 间 中 产 生 的 轨 线 描 述 了 事 物依 时 间 变 化 的 过 程 和 趋 势，通 过研 究 动 力 学 系 统 的 轨 线 与 权 值 矩阵 可 以 将 其 用 于 对 时 间 进 行 模 式建模。邻接结构对 于 网 络 中 层 级 之 间 的 连 接，如 图 5(b)所 示，可 以 表 示 为 一 个受 限 的 递 归 神 经 网 络。该 网 络 中包 含 邻 接 两 层 神 经 元，它 们 分 别与 和 自 己 不 在 同 一 层 的 所 有 神 经元 相 连 接。其 数

20、 学 模 型 表 示 为其 中，向 量 x(k)与 y(k)分 别 表 示下、上 两 层 各 神 经 元 在 k 时 刻 的激 活 状 态，wu(k)和 wd(k)则 为 k时 刻 上 行(up)和 下 行(down)连 接的 权 值 矩 阵。我 们 同 样 可 以 在 连续 时 间 t 上 表 示 该 动 力 学 系 统 为 该 模 型 可 以 产 生 上 层 神 经 元 对 下层 神 经 元 的 稳 定 表 达，将 低 级 的信 号 编 码 为 高 级 的 特 征，这 描 述了 网 络 模 型 处 理 空 间 模 式 的 过 程。深度结构我 们 将 众 多 邻 接 结 构 叠 加 在一起，

21、形成一个多层的神经网络，如 图 5(c)所 示，即 深 度 网 络。结合 对 邻 接 结 构 的 介 绍 和 分 析 不 难发 现，整 个 纵 向 的 深 度 结 构 与 当前 热 门 讨 论 的 深 度 学 习 的 网 络 结构 是 一 致 的。网 络 的 深 度，即 神经 网 络 中 神 经 元 层 次 的 数 量，对于 网 络 处 理 问 题 的 能 力 至 关 重要，尤 其 是 特 征 抽 象、形 成 语义 的 能 力。在 早 期 神 经 网 络 算法 兴 起 之 时，网 络 深 度 的 重 要性 就 被 发 现 了，尤 其 是 在 解 决非 线 性 映 射 的 问 题 上。尽 管 可

22、以 证 明 含 有 一 个 隐 含 层 的 网 络即 可 逼 近 任 何 映 射，但 是 这 需要 指 数 级 的 甚 至 无 限 的 增 加 隐含 层 神 经 元。通 过 增 加 层 级，可 以 以 较 少 的 隐 含 层 神 经 元 总数 达 到 相 同 的 逼 近 结 果。以 视 觉 为 例，深 度 网 络 结 构可 以 在 最 低 层 将 像 素 聚 合 形 成 边缘 特 征，第 二 层 可 以 将 边 缘 聚 合形 成 轮 廓 或 简 单 形 状，更 深 一 层由 形 状 构 成 事 物 的 局 部，直 至 形成 事 物 的 语 义 概 念。如 果 要 让 一个 浅 层 网 络 直

23、接 达 成 这 一“终 极目 标”形 成 语 义 概 念，则 是 十 分困 难 的。这 种 使 用 深 层 网 络 进 行抽 象 的 情 况 在 大 脑 中 也 有 很 好 的印 证。在 人 类 大 脑 的 视 觉 处 理 通路 上，也 是 由 诸 如 V1、V2、IT等 不 同 的 小 区 块 按 层 级 顺 次 连 接共 同 构 成 的，分 别 对 从 简 单 到 复杂的特征进行响应。深 度 结 构 对 神 经 网 络 的 裨 益显 而 易 见，然 而 训 练 一 个 深 度 网络 却 没 那 么 简 单。传 统 的 方 法 往往 受 到 陷 入 局 部、梯 度 弥 散 等 问题 的 困

24、扰，可 用 的 有 标 签 的 数 据往 往 也 不 多，有 时 还 会 制 约 深 度网络的有效训练。最 近 对 深 度 学 习 研 究 的 突 破改 变 了 这 一 状 况。新 的 方 法 可 以有 效 地 利 用 无 标 签 数 据 对 模 型 进行 预 训 练，不 仅 弥 补 了 有 标 签 数据 的 不 足，使 得 由 于 梯 度 弥 散 而无 法 获 得 训 练 的 低 层 网 络 得 到 了良 好 的 训 练，而 且 将 网 络 的 初 始值 引 向 了 更 有 意 义 的 局 部，使 网络 性 能 得 以 提 升，因 而 在 各 种 任务中获得出众的结果。总 之，认 知 神 经

25、 网 络 结 合 了横 向 递 归 神 经 网 络 和 纵 向 深 度 网络，在 结 构 和 算 法 上 有 良 好 的 基础，结 合 生 物 神 经 科 学 和 认 知 科学 的 指 导，在 某 种 意 义 上 是 一 种人脑工作机制的计算体现。认知神经网络与认知计算模型认 知 神 经 网 络 与 认 知 感 知、记 忆 和 判 断 模 型 有 着 紧 密 的 联系，二 者 互 相 支 持。前 者 为 后 者提 供 了 一 个 可 计 算 的 实 例 以 及 从计 算 机 科 学 角 度 对 模 型 进 行 解释，而 后 者 则 是 前 者 在 心 理 学 上的理论依据。从 认 知 神 经

26、网 络 的 介 绍 中 可以 发 现，邻 接 的 结 构 在 整 个 网 络构 成 中 起 了 极 大 的 作 用。为 此，我 们 提 出 一 个 重 要 观 点，邻 接 两层 结 构 是 认 知 神 经 网 络 进 行 认 知计 算 的 基 本 单 元，如 图 7 所 示。基 本 计 算 单 元 包 括 两 层 相 互 连 接的 神 经 元，两 个 递 归 神 经 网 络，各 个 单 元 彼 此 连 接 形 成 具 有 深 度结 构 的 网 络。在 计 算 单 元 中，低层 神 经 元 感 知 原 始 输 入 信 息 并 将30专题第 10 卷 第 2 期 2014 年 2 月其 解 读，产

27、 生 低 级 的 空 间 模 式，之 后 将 信 息 传 递 给 高 层 神 经 元；高 层 神 经 元 感 知 低 级 区 域 的 传 入信 息，产 生 空 间 判 断，即 相 对 更抽 象 和 接 近 语 义 的 高 级 空 间 模式；通 过 高 层 神 经 元 的 横 向 结 构对 下 一 时 刻 的 变 化 做 出 时 间 模 式判 断，或 称 时 间 模 式 预 测，结 果再 反 向 作 用 于 低 层 神 经 元，并 调整 连 接 权 重，对 已 知 模 式 进 行 加强，对 新 模 式 进 行 更 新，即 反 馈学习过程。需 要 注 意 的 是，在 对 网 络 的分 析 中，高

28、层 神 经 元 包 括 层 内 的完 全 连 接，形 成 递 归 神 经 网 络，而 低 层 神 经 元 的 横 向 结 构 属 于 其以 及 下 一 层 神 经 元 共 同 组 成 的 基本 计 算 单 元 的 分 析，故 不 包 括 在当前基本计算单元的分析中。感知阶段感 知 阶 段 发 生 在 计 算 单 元 的低 层，尤 其 是 整 个 认 知 神 经 网 络的 底 层。如 同 人 接 受 基 础 感 官 刺激 的 过 程：底 层 神 经 元 接 收 到 由传 感 器 采 集 的 信 息，每 个 细 胞 接受 各 自 感 受 域 的 刺 激，感 知 特 定的 特 征，即 对 这 些 特

29、 征 做 出 激 活响 应，并 将 感 知 响 应 传 递 给 高 层神经元。图 8(a)展 示 了 一 个 视 觉 底 层网 络 感 知 过 程。基 本 计 算 单 元 中低层神经 元分别对图 8(b)中展示的 不 同 特 征 进 行 响 应，如 边 缘、色 彩 等。每 个 神 经 元 的 感 受 域 有限，为 了 实 现 类 似 视 网 膜 中 共 享特 征 的 细 胞 在 不 同 位 置 对 同 样 特征 进 行 响 应 的 特 性，实 际 应 用 中会 采 用 卷 积 神 经 网 络 在 整 个 视 空间 中 进 行 感 知。感 知 的 结 果 传 递给高层的神经元。记忆阶段认 知 过

30、 程 中 记 忆 包 括 空 间 和时 间 两 种 模 式 记 忆。对 于 神 经 网络，知 识 都 存 储 在 突 触 连 接 上，连 接 权 重 的 不 同 产 生 不 同 的 空 间特征或序列轨迹。图 9 是 认 知 记 忆 阶 段 在 认知 神 经 网 络 基 本 计 算 单 元 中 的 反映。空 间 模 式 记 忆 是 指 认 知 神 经网 络 中 低 层 神 经 元 与 高 层 神 经 元连接，通 过 连 接 权 重 的 组 合 产 生特 征 组 合 而 形 成 更 高 层 的 特 征，如 视 觉 中 低 层 的 边 缘 特 征 汇 聚到 高 层 形 成 角、形 状 等 特 征，更

31、 高 层 的 神 经 元 可 以 形 成 简 单的 形 状、简 单 对 象、具 体 事 物等 逐 步 接 近 语 义 的 特 征。高 层神 经 元 的 激 活 也 会 在 重 构 中 反作 用 于 低 层 神 经 元，修 正 偏 差、缺 失 等。而 时 间 模 式 则 出 现 在横 向 结 构 的 连 接 中。每 个 时 刻神 经 元 都 会 根 据 自 身 当 前 的 状态，通 过 横 向 连 接 预 测 下 一 时刻 的 状 态。(a)低 层 网 络 感 知 示 意 图(b)低 层 特 征 例 子图8 认 知 神 经 网 络 的 感 知 阶 段74M时序记忆图9 认 知 神 经 网 络 中

32、 存 储 的 两种 记 忆功能区域功能区域功能区域功能区域图7 两 层 结 构 的 基 本 计 算 单 元31第 10 卷 第 2 期 2014 年 2 月判断阶段认 知 科 学 中 的 判 断 包 括 对 出现 事 物 的 确 认 和 对 未 来 情 形 的 预测，因 而 与 之 对 应 的 有 空 间 模 式的 判 断 和 时 间 模 式 的 预 测。对 于空 间 模 式 的 判 断，在 认 知 神 经 网络中，表现为具体神经元的激活。当 特 定 高 层 语 义 特 征 对 应 的 神 经元 受 到 低 层 神 经 元 的 触 发 而 激 活时，随 即 产 生 对 这 一 语 义 概 念

33、出现 的 判 断。然 后 该 判 断 会 进 一 步触 发 人 做 出 相 应 的 反 应，认 知 神经网络则会产生特定的输出。时 间 模 式 是 指 空 间 模 式 出现、发 生 的 先 后 序 列。时 间 模 式的预测相对复杂，包括预测机制、反 馈 机 制 和 学 习 机 制 三 个 方 面。认 知 神 经 网 络 通 过 横 向 连 接，根据 当 前 状 态 和 已 有 知 识，预 测 下一 时 刻 的 状 态。这 里 的 知 识 主 要指 存 储 在 横 向 连 接 权 重 中，通 过反 馈 式 学 习 获 得 的 关 于 时 间 模 式的知识。图 10 展 示 了 空 间 模 式 预

34、 测的 过 程。每 一 时 刻 发 生 的 事 件 组成 了 事 件 流，认 知 系 统 的 感 知 阶段 将 感 知 到 的 信 息 编 码 为 某 种 内部 表 达。基 于 当 前 的 表 达 和 关 于时 间 模 式 的 知 识，认 知 系 统 将 产生 对 下 一 时 刻 状 态 的 预 测。而 这个 预 测 的 正 确 性 需 要 通 过 与 下 一时 刻 具 体 事 件 进 行 比 较 而 获 得，比 较 的 结 果 即 为 反 馈。认 知 模 型根据反馈进一步进行学习。反馈式学习认 知 过 程 中 的 一 个 重 要 加 工通 路 是 反 馈，它 是 学 习 知 识 的 重要 依

35、 据。在 神 经 网 络 中，反 馈 是产 生 记 忆、更 新 记 忆 的 基 础 和 依据。在 认 知 神 经 网 络 的 横 向 结 构和 纵 向 邻 接 结 构 中，突 触 连 接 权重的获得和更新依靠反馈获得。对 于 进 行 预 测 判 断 的 横 向 结构，如 果 预 测 与 实 际 情 况 一 致，则 已 有 的 记 忆 因 正 确 而 得 到 加强；反 之，如 果 预 测 与 实 际 情 况相 违 背，则 可 能 出 现 新 的 模 式，或 是 已 有 记 忆 是 错 误 的，则 需 要更 新 记 忆 达 到 学 习 新 模 式、产 生新记忆的目的。处 理 空 间 模 式 抽 象

36、 的 纵 向 邻接 结 构 学 习 过 程 也 与 之 类 似。低层 向 高 层 传 递 信 息 并 激 活 高 层 特征，而 高 层 特 征 又 反 过 来 重 构 低层 模 式，重 构 可 能 产 生 误 差：一方 面 可 能 是 对 低 层 错 误 和 缺 失 信息 的 补 充；另 一 方 面 也 可 能 是 因为 新 模 式 的 出 现，需 要 对 突 触 连接 权 重 进 行 调 整，从 而 达 到 学 习新模式、产生新特征的目的。神 经 科 学 中 很 早 就 有 展 现 反馈 式 学 习 本 质 的 学 习 方 法，即 赫比(Hebbian)学 习（亦 称 赫 比 法则）5。神

37、经 元 之 间 突 触 的 权 重会 随 着 突 触 前 神 经 元 对 后 神 经 元反 复 而 持 续 的 刺 激 而 增 强。基 于这 一 描 述，我 们 可 以 得 到 一 个 知识学习与更新的算法：.其中，是模型在 k 时刻基于当前空间模式 x(k)的感知表达和 当 前 记 忆 w(k)对 下 一 时 刻 表达 的 预 测，x(k+1)则 是 下 一 时 刻真 实 的 表 达，为 反 馈，整个 过 程 更 新记 忆，产 生w(k+1)，即 学习 的 过 程。计算 神 经 科 学中 的 其 他 学习 算 法 在 对反 馈 的 运 用上 与 赫 比 学习 类 似，在 此不 一 一 枚 举

38、。t=k-1 t=k-1 t=k t=k t=k-1 图10 认 知 神 经 网 络 模 型 中 的 预 测 过 程32专题第 10 卷 第 2 期 2014 年 2 月结语本 文 从 大 脑 皮 层 具 有 的 深 度网 络 结 构 和 一 种 认 知 计 算 模 型 出发，介 绍 了 一 种 新 的 神 经 网 络：认 知 神 经 网 络。这 种 认 知 神 经 网络 在 结 构 上 模 拟 大 脑 皮 层 中 功 能区 域 划 分、层 级 连 接 等 特 性，抽象 出 其 计 算 要 素，同 时 算 法 上 又符 合 最 近 提 出 的 认 知 计 算 的 PMJ模 型 及 其 反 馈

39、学 习 的 机 制。这 一模 型 可 望 用 于 分 析 大 数 据 的 时 空不 变 模 式，促 成 新 的 应 用 成 果。众 所 周 知，大 数 据 隐 含 着 巨 大 的社 会、经 济、科 研 价 值，已 引 起了 各 行 各 业 的 高 度 重 视，一 场 前所 未 有 的 大 数 据 研 究 的 热 浪 正 席卷 而 来。大 数 据 研 究 呼 唤 新 的 研究 方 法。对 大 数 据 分 析 方 法 的 研究，一 个 重 要 的 灵 感 源 泉 就 是 大脑 的 信 息 处 理 机 制。具 有 丰 富 感觉 器 官 的 人 类 大 脑 能 够 从 感 知 信息 抽 象 出 对 周

40、 围 环 境 的 整 体 性 知识，形 成 对 环 境 的 理 解 从 而 实 现更 为 复 杂 的 智 力 活 动。大 脑 每 秒信息传递和交换 1000 亿次 PB 级数 据，并 同 步 处 理 声 音、温 度、参考文献1 Gottfredson L S.Mainstream science on intelligence:An editorial with 52 signatories,h i s t o r y,a n d b i b l i o g r a p h y.Intelligence,1997;24(1):1323.2 Neisser U,Boodoo G,Bouchard

41、 Jr T J,et al.Intelligence:K n o w n s a n d u n k n o w n s.American Psychologist,1996,51(2):77.3 Hawkins J.On intelligence.Macmillan,2004.4 Fu X L,Cai L H,Liu Y,et al.A computational cognition model of perception,memory,and judgment.Science China Information Sciences,2014,57,doi:10.1007/s11432-013

42、-4911-9.5 Hebb D O.The organization of behavior:A neuropsychological approach.John Wiley&Sons,1949.章毅C C F高级会员。四川大学教授。主要研究方向为神经网络、机器智能。郭泉四川大学博士研究生。主要研究方向为机器智能及多媒体计算。guoquanscu gmail.co m张蕾C C F会员。四川大学教授。主要研究方向为基于大脑工作原理的机器智能方 法。leizhang 吕建成C C F高级会员。四川大学教授。主要研究方向为机器学习、神经计算及深度学习。CCF监事会报告理事履职情况CCF 十 届

43、五 次 常 务 理 事 会 上，CCF 监 事 长 钱 德 沛 报 告 了 本 届 理 事 与 常 务 理 事 履 职 情 况 以 及 理 事 参加 CNCC 2013 的 情 况。截 至 2013 年 底，CCF 共 有 理 事 127 人，常 务 理 事 33 人，常 务 理 事 均 按 照 理 事 会 条 例 的 要 求 参 加了 常 务 理 事 会 议，其 中 23 名 常 务 理 事 保 持 全 勤，为 学 会 民 主 决 策 和 民 主 办 学 会 打 下 了 基 础。在 理 事 中，有 88 人 保 持 全 勤，但 也 有 连 续 两 次 未 能 参 加 理 事 大 会 的 理 事。在 2013 中 国 计 算 机 大 会 上，有 114 名(90%)理 士 注 册 参 加 了 大 会，体 现 了 对 学 会 事 务 和 对 CNCC 的 重 视。钱 德 沛 指 出，理 事 是 由 会 员 选 举 产 生 的，代 表 了 广 大 会 员 的 根 本 利 益，希 望 今 后 能 够 更 好 地 履 行 职 责。气味、图像等数据等。毫无疑问，人 的 大 脑 就 是 一 个 天 然 的 大 数 据处 理 器！本 文 介 绍 的 认 知 神 经 网络 涵 盖 了 感 知、记 忆 和 预 测 三 个方 面 的 计 算 机 制，对 大 数 据 的 研究定将起到积极的作用。