1、胡晓林 清华大学计算机系 清华大学类脑研究中心 受 脑启发的视觉模型进展评述 2014-2016 VALSE 2016, Wuhan, 2016/4/24 1 背景 Neocognitron (Fukushima 1980) Convolutional neural network (CNN) LeCun et al., 1980s-1990s 2 概况 神经元 神经线路 功能区 认知过程 神经元的发放特性 突触可塑性 神经线路的反馈连接 视觉区域的双通路结构 人的概念学习过程 Srivastava, et al., JMLR, 2014 Gao, et al. IEEE TPAMI, 201
2、5 Bengio, et al., arXiv 2016 Scellier, Bengio, arXiv 2016 Liang, Hu. IEEE CVPR 2015; Liang, Hu, Zhang, NIPS 2015 Wang, et al., NIPS 2014 Cao, et al., IEEE ICCV 2015 Yoo et al., IEEE ICCV 2015 Shi, Liang, Hu, CVPR 2014 Simonyan, Zisserman, NIPS 2014 Zhang, et al., IEEE CVPR 2016 Lake, Salakhutdinov,
3、Tenenbaum, Science, 2015 100 m 1 mm 10 cm 1 m 对于一个相同刺激神经元的发放每次都不一样 受 神经元 噪声 特性的 启发 对于每一次刺激，将神经元的发放值按概率 (e.g., 0.5)随机置为 0 极大地提高了神经网络的泛化能力 Trial 1 Trial 2 Trial 3 在做梯度反传时要用到 这些零值 等价于训练了大量不同的神经网络，最后做模型组合 降低神经元之间的相关性 Srivastava, Hinton, Krizhevsky, et al., Journal of Machine Learning Research, 2014 4 神经
4、节细胞和 V1细胞的颜色拮抗特性 5 Bear et al., 2006 Courtesy of LI Yongjie 受神经节细胞的颜色拮抗特性启发 6 用高斯函数对颜色拮抗特性建模 Gao, Yang, Li, et al. IEEE Transactions on PAMI, 2015 神经突触可塑性 STDP 突触前神经元先于突触后神经元发放，突触增强 反之，突触减弱 与 Hebb规则一致 Adapted from (Bi, Poo, 1998) 突触 7 受 STDP的启发 若权值对称： 突触 一种新的多层神经网络的训练方法 让以下动态系统稳定，得 让以下动态系统稳定，得 + 权值更
5、新 Bengio, et al., arXiv 2016; Scellier, Bengio, arXiv 2016 8 前向 后 向 更新 神经 线路的 连接 模式 高级皮层的反馈对低纸皮层的反应进行调制 同级皮层中的反馈也对神经元的反应进行调制 现有的（前馈）深度学习模型只是视觉皮层的一个粗糙近似，而现有的反馈网络主要用来处理时序信息 前馈 反馈 Gilbert, Li, 2013 反馈连接 在各级视觉皮层中广泛 存在。例如 初级视皮层（ V1） 4C 层神经元只有不超过 8%的突触输入是来自于 LGN 前馈输入 9 在卷积神经网络的卷积层加上层内的反馈连接 每个单元同时接收前馈和反馈的输
6、入 受 神经 线路 连接 模式的启发 horse car cat Liang, Hu. IEEE CVPR 2015; Liang, Hu, Zhang, NIPS 2015 10 受神经 线路 连接模式的启发 通过 top-down的反馈连接和乘法机制引入注意 11 Wang, Zhang, Song, Zhang, NIPS 2014 Top-down Bottom-up 受 神经 线路 连接 模式的启发 在卷积神经网络的卷积层加上层间的反馈连接（引入 Gate机制 ） 自上而下的反馈： 将高级的语义和全局信息传到下层 Cao, et al., IEEE ICCV 2015 12 受视觉注
7、意力的启发 从 图片中截取片段进行分类，并且给出下一步的移动信号，去决定下一步注意点应该落在 哪里 再次 截取 图像片段进行分类，直到最后输出 停止信号 Yoo et al., IEEE ICCV 2015 13 视觉显著性 14 image Fixation density map Reverse hierarchy theory（逆层次化理论 ） 15 Hochstein, Ahissar, Neuron, 2002 Coarse to fine 逆层次化模型做显著性预测 16 Shi, Liang, Hu, CVPR 2014 第 1步：在各个层次产生显著图 第 2步： 注意力自上而下传
8、播 受视觉通路的整体结构启发 腹侧通路 背侧通路 Simonyan, Zisserman, NIPS 2014 Zhang, et al., IEEE CVPR 2016 17 受人类概念学习过程的启发 Lake, Salakhutdinov, Tenenbaum, Science, 2015 18 受人类概念学习过程的启发 Lake, Salakhutdinov, Tenenbaum, Science, 2015 Bayesian program learning 19 受人类概念学习过程的启发 Lake, Salakhutdinov, Tenenbaum, Science, 2015 20
9、 生 成新的样本 BPL Deep learning people One-shot 分类（ 20 类） 总结与展望 神经元 神经线路 功能区 认知过程 神经元的发放特性 突触可塑性 神经线路的反馈连接 视觉区域的双通路结构 人的概念学习过程 Srivastava, et al., JMLR, 2014 Gao, et al. IEEE TPAMI, 2015 Bengio, et al., arXiv 2016 Scellier, Bengio, arXiv 2016 Liang, Hu. IEEE CVPR 2015; Liang, Hu, Zhang, NIPS 2015 Wang, e
10、t al., NIPS 2014 Cao, et al., IEEE ICCV 2015 Yoo et al., IEEE ICCV 2015 Shi, Liang, Hu, CVPR 2014 Simonyan, Zisserman, NIPS 2014 Zhang, et al., IEEE CVPR 2016 Lake, Salakhutdinov, Tenenbaum, Science, 2015 100 m 1 mm 10 cm 1 m 总结与展望 脑科学的研究涵盖从分子到行为各个层次，每个层次都可能对视觉模型尤其是 深度学习 有启发 挑战 人们对脑的认知机理了解并不透彻 需要计算机视觉研究者对脑科学有一定的了解 机遇 人脑是一个已知的非常优秀系统，是一个好的参照物 有可能带来革命性的突破，正如 CNN受脑的视觉系统启发一样 22 致谢 感谢以下学生对此评述的贡献 廖方舟 张清天 梁鸣 王宇龙 陈曦 吴健 23
