1、深度学习之循环神经网络陈 鹏1目录1：深度 学习 发展史2：从神经网络到深度学习3：循环 神经网络 基础4：自然语言处理基础（扩充知识）21：深度 学习 发展史3深度学习发展史 SVM Boosting Decision tree KNN Neural networkBack propagation1986 2006Deep belief netScience Speech2011 2012Computer visionNLPSpeech2014Geoffrey Hinton 1949Learning model of neurons1958PerceptronHebb Rosenblatt
2、Geoffrey Hinton DBN CNN RBM RNN 机器学习第一次浪潮： 机器学习第二次浪潮浅层学习模型(Shallow Learning)深度 学习模型(Deep Learning)First Winter of NNSecond Winter of NN 4深度学 习（多 层 神经 网 络 ）神 经 网 络 神 经 元5synapse dendrite Cell bodySynapticterminals Axon轴突末梢 突触 树突 细胞体 轴突w1x1xn 线性动态 系统 激励函数 own神经元是构成神经网络的最基本单元 (构件 ), 因此 , 首要任务 是构造人工神经元模
3、型。细胞体 Cell body树突 dendrite突触 synapse轴突 Axon来自其它神经元神经元模型6yyaxo x2x1xnw1w2wnw1x1xn 激励函数 o=f(net)wnnet = W TX典型的激励函数 (Activation Function)：线性函数，非线性斜面函数，阶跃函数，S型函数等。神经元模型7Input Layer Hidden Layer Output Layerx1xMh1hLo1oNw11wm1wM1wmLwMLw1Lv11vl1vL1vLN神经网络一般形式 Nonlinearity 非线性 Parallel Processing 并行处理 InputOutput Mapping 输入输出匹配 Adaptivity 自适应性ocx2x1xnw1w2wn8最简单的神经网络：Perceptrons9Single Layer Perceptronsybx2x1xMw1w2wMRosenblatt, 1957u0u010
