1、卷积神经网络Convolutional Neural NetworkSequence ModelingI want to play game with that little girl.NN for sentence modeling Convolutional Neural Network (CNN) Recurrent Neural Network (RNN) Recursive Neural Network (RNN)Feed Forward Neural Networks全连接 表示第 层神经元的个 数 L表示神经网络的层数参数个数： =1 权重矩阵参数非常多，训练效率 低下数据不足时
2、，欠学习CNN Convolutional Neural Network是 一种前馈 神经网络 。卷积神经网络是受生物学上 感受野 (Receptive Field)的机制而提出 的 。一 个神经元的感受野是 指特定 区域，只有这个区域内的刺激才能够激活该神经元 。 局部链接 权值共享 采样具有平移、缩放和扭曲不变性全连接 vs. 卷积全连接CNN1000*1000*1000000=1012 1000*1000*100=108 10*10*100=104一维卷积信号 x，信号长度 n滤波器 f，滤波器长度 m当 = 1时，相当于移动平均Example输入序列卷积核 (filter)输出卷积类型
3、窄卷积 信号两端不补 0 输出信号长度为 n-m+1宽卷积 信号两端补 0 输出信号长度为 n+m-1等长卷积 信号两端补 0 输出信号长度为 n窄卷积等长卷积滤波器步长 Stride=2滤波器步长 Stride=2滤波器步长 Stride=2二维卷积信号 x，信号 长度 M*N滤波器 f，滤波器 长度 m*n在图像中，卷积意味着区域内像素的加权平均当 = 1时，相当于平均卷积类型窄卷积 信号四周不 补 0 输出信号长度 为 M-m+1*N-n+1宽卷积 信号 四周 补 0 输出信号长度 为 M+m-1 *N+n-1等长卷积 信号 四周 补 0 输出信号长度 为 M*NExamplesExam
4、ples两维卷积实例卷积层全连接前馈神经网络XZw2w1w3 = + +1 = ()() = ( () 1 +()卷积层卷积神经网络第 l层的每一个神经元都只和第 l 1层的一个局部窗口内的神经元相连 ，构成一个局部连接网络 。其中， () 为 维 的滤波器，权值共享 。这样，在卷积层里，我们只需要 m + 1个参数 。另外，第 l + 1层的神经元个数不是任意选择的， 而是满足 n(l+1) = n(l) m + 1() = ( +1 +()= ( +1 + )() =( +1 +()二 维卷积层在图像处理中，图像是以二维矩阵的形式输入到神经网络中， 因此我们需要二维卷积 。假设 () 和
5、(1) (11)分别是第 层和第 1层的神经元活性 。 的每一个元素为：其中， () 为两维的滤波器 ， ()为偏置矩阵。 1, , ,11uvl l l ls t i j s i u t j vijX f W X b 1l l l lX f W X b 第 1层的神经元个数为 ， 并且 = 1 +1, = 1 +1两个 filters特征 映射 Feature Map为了增强卷积层的表示能力 ，我们可以使用 K个不同的滤波器来得到 K组输出。每一组输出都共享一个滤波器。 如果我们把滤波器看成一个特征提取器 ， 每一组输出都可以看成是输入图像经过一个特征抽取后得到的特征 。因此， 在卷积神经网
6、络中每一组输出也叫作一组 特征映射 （ Feature Map）。特征映射不失一般性 ，我们假设第 1层的特征映射组数为 1，每组特征映射的大小为 1 =1 1。 第 1层的总神经元数： 1 1。第 层的特征映射组数为 。 如果假设第 层的每一组特征映射 (,)的输入为第 1层的所有组特征映射。第 层的第 k组特征映射 (,)为： -1, , , 1 , ,1lnl k l k p l p l kpX f W X b 其中， (,) 表示第 1层的第 组特征向量到第 层的第 组特征映射所需的滤波器 。两维卷积层的映射关系(,1)(,1)输入特征映射 滤波器(, , 1) (,) 输 出特征映射
7、滤波器(,1)偏置b两 维卷积层示例 -1, , , 1 , ,1lnl k l k p l p l kpX f W X b 连接表第 层的每一组特征映射都依赖于第 层的所有特征映射， 相当于不同层的特征映射之间是全连接的关系。实际上，这种全连接关系不是必须的。我们可以让第 层的每一组特征映射都依赖于前一层的少数几组特征映射 。这样，我们定义一个 连接表 T来描述不同层的特征映射之间的连接关系 。 如果第 层的第 组特征映射依赖于前一层的第 组特征映射 ，则 , = 1，否则为 0。这样，假如连接表 T的非零个数为 K， 每个滤波器的大小为 u v， 那么共需要 K (u v)+ nl参数。
8、,1, , , , ,11lpknl k l k p l p l kpTX f W X b 子采样层 卷积层虽然可以显著减少连接的个数 ， 但是每一个特征映射的神经元个数并没有显著减少 高维数据 过拟合 降低维度： Pooling、 Subsampling 特征选择 、 特征抽取子采样层对于卷积层得到的一个特征映射 X(l)，我们可以将 X(l)划分为很多区域 Rk, k = 1, ,K，这些区域可以重叠 ，也可以不重叠。 一个子采样函数 down()定义为：其中， w(l+1)和 b(l+1)分别是可训练的权重和偏置参数。 1111llkkllkX f Zf w dow n R b lX f Zf w dow n X b down(l)是指子采样后的特征映射
