1、7第 11 卷 第 8 期 2015 年 8 月本期 各 个 栏 目 都 发 表 了 与“深 度 学 习”有 关 的 文 章。不 论 你 是 否 研 究 人 工 智 能，都 应 该 能 从本期的文章中得到启发。在 2015 IEEE 计算机视觉与模式识别(IEEE CVPR)会议上，卷积神经网络的创始人之一、Face-book 人工智能实验室主任雅恩 乐昆(Yann LeCun)教授做的大会主旨报告的题目是“Whats Wrong with Deep Learning?”作为一位积极推动深度学习的权威学者，不谈深度学习的光辉前景，而谈“深度学习怎么了”，指出深度学习的三个局限性，体现了引领科研
2、潮流的一流学者的思维逻辑。每 当 国 外 在 某 个 科 研 方 向 X 上 取 得 较 大 突 破，我 国 的 学 者 习 惯 的 思 维 模 式 是 我 能 否 对 X 有 所 改进，在 某 个 实 验 数 据 集 或 某 个 应 用 上 得 到 更 好 的 性 能。这 种 工 作 当 然 需 要 做，但 改 进 型 的 工 作 终 究是证明别人有理，我们是否应更多地考虑“Whats Wrong with X”或“X 不能做什么？”。在 深 度 学 习 中，无 监 督 学 习 可 以 帮 助 特 定 的 深 度 网 络 进 行“预 训 练”，但 最 终 能 够 应 用 于 实 践 的绝 大
3、 部 分 深 度 学 习 方 法 还 是 用 纯 监 督 学 习 加 上 后 向 传 播 算 法，与 上 世 纪 九 十 年 代 初 的 神 经 网 络 没 有太 大 区 别。很 多 图 像 识 别 上 的 成 功 应 用 大 都 采 用 卷 积 神 经 网 络，这 是 上 个 世 纪 八 九 十 年 代 乐 昆 在 贝尔 实 验 室 开 发 出 来 的。最 近 取 得 进 展 的 重 要 原 因 是 现 在 可 以 在 速 度 很 快 的 GPU 上 跑 规 模 很 大 的 深 层神 经 网 络，而 且 大 规 模 训 练 数 据 的 出 现 缓 解 了 训 练 过 拟 合 的 问 题。从
4、原 理 和 方 法 的 角 度 看，深 度 学习只是人工智能研究的一个小的里程碑。人 工 智 能 的 每 一 个 新 浪 潮，都 会 走 一 段 从 盲 目 乐 观 到 预 言 落 空 的 老 路。感 知 机、基 于 规 则 的 专家 系 统、神 经 网 络、图 模 型、支 持 向 量 机 等，无 一 例 外。深 度 学 习 也 可 能 走 同 样 的 路。深 度 学 习 方法 常 常 被 视 为 黑 盒，大 多 数 的 结 论 都 由 经 验 而 非 理 论 来 确 认。为 了 构 建 更 好 的 深 度 学 习 系 统，提 供更好的解释，深度学习需要更完善的理论支撑。基 于 多 层 人 工
5、 神 经 网 络 的 深 度 学 习 受 到 人 类 大 脑 皮 层 分 层 的 启 发，但 由 于 对 大 脑 如 何 实 现 无 监督 学 习 还 不 明 白，现 在 还 不 可 能 开 发 出 类 似 大 脑 皮 层 的 算 法。在 今 后 若 干 年 内，我 们 能 做 的 可 能 主要是“脑启发计算(brain-inspired computing)”而不是“类脑计算(brain-liked computing)”。但凡我们讲要做与某物机理上类似的东西，其前提是对某物已有相当的了解，否则只能是样子相像而已。我 最 近 读 了 一 本 阐 述 大 脑 皮 层 机 理 的 新 书 智 能
6、 时 代，作 者 是 掌 上 电 脑 的 发 明 人、红 木 神 经 科学 研 究 院 创 始 人、美 国 工 程 院 院 士 杰 夫 霍 金 斯。他 用 一 个 称 为“一 百 步 法 则”的 思 维 实 验 挑 战 了现 在 所 有 的 脑 计 算 模 型。一 个 神 经 元 从 突 触 中 收 集 信 息、结 合 起 来 再 输 出 电 脉 冲 约 在 5 毫 秒 内 完 成，而一个人可在半秒钟（500 毫秒）内识别图像，这意味着进入大脑的信息只能穿过 100 个神经元长度的 链 条。也 就 是 说，不 管 多 少 神 经 元 参 与，大 脑 总 能 在 100 步 以 内 完 成“计 算”。“深 度 学 习”中 有数以万亿次的计算，无法想象如何能做到 100 步。因此，霍金斯认为：大脑不是“计算”出问题的答案，而是从记忆中提取答案。他做出一种大胆猜想：智能的本质是“预测”，并据此提出了智能的“记忆-预 测 框 架”。我 不 能 肯 定 霍 金 斯 的 猜 想 一 定 正 确，但 我 们 是 不 是 可 以 从 更 新、更 宽 广 的 角 度 思 考 机 器学习和“类脑计算”。CCCF 2015 年第 8 期深度学习和类脑计算主编评语7Messages from Editor-in-Chief
