1、 卷积神经网络 摘要：卷积神经网络是近年来广泛应用于模式识别、图像处理等领域的一种高效识别算法，它具有结构简 单、训练参数少和适应性强等特点。本文从卷积神经网络的发展历史开始，详细阐述了卷积神经网络的网 络结构、神经元模型和训练算法。在此基础上以卷积神经网络在人脸检测和形状识别方面的应用为例，简 单介绍了卷积神经网络在工程上的应用，并给出了设计思路和网络结构。 关键字：模型；结构；训练算法；人脸检测；形状识别 0 引言 卷积神经网络是人工神经网络的一种已成为当前语音分析和图像识别领域的研究热点， 它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值 的数量。该优点在
2、网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输 入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而 特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具 有高度不变性。 1 卷积神经网络的发展历史 1962 年 Hubel 和 Wiesel 通过对猫视觉皮层细胞的研究，提出了感受野(receptive field) 的概念，1984 年日本学者 Fukushima 基于感受野概念提出的神经认知机(neocognitron)可以 看作是卷积神经网络的第一个实现网络，也是感受野概念在人工神经网络领域的首次应用。 神经认知机
3、将一个视觉模式分解成许多子模式(特征)，然后进入分层递阶式相连的特征平面 进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能 完成识别。神经认知机能够利用位移恒定能力从激励模式中学习，并且可识别这些模式的变 化形，在其后的应用研究中，Fukushima 将神经认知机主要用于手写数字的识别。随后，国 内外的研究人员提出多种卷积神经网络形式， 在邮政编码识别和人脸识别方面得到了大规模 的应用。 通常神经认知机包含两类神经元，即承担特征抽取的 S-元和抗变形的 C-元。S-元中涉 及两个重要参数，即感受野与阈值参数，前者确定输入连接的数目，后者则控制对特征子模 式的反应
4、程度。 许多学者一直致力于提高神经认知机的性能的研究： 在传统的神经认知机中， 每个 S-元的感光区中由 C-元带来的视觉模糊量呈正态分布。如果感光区的边缘所产生的模 糊效果要比中央来得大， S-元将会接受这种非正态模糊所导致的更大的变形容忍性。我们希 望得到的是， 训练模式与变形刺激模式在感受野的边缘与其中心所产生的效果之间的差异变 得越来越大。为了有效地形成这种非正态模糊， Fukushima 提出了带双 C-元层的改进型神经 认知机。 Trotin 等人提出了动态构造神经认知机并自动降低闭值的方法 1 ，初始态的神经认知机 各层的神经元数目设为零， 然后会对于给定的应用找到合适的网络规模
5、。 在构造网络过程中， 利用一个反馈信号来预测降低阈值的效果，再基于这种预测来调节阈值。他们指出这种自动 阈值调节后的识别率与手工设置阈值的识别率相若，然而，上述反馈信号的具体机制并未给 出，并且在他们后来的研究中承认这种自动阈值调节是很困难的 【 8 】 。 Hildebrandt将神经认知机看作是一种线性相关分类器， 也通过修改阈值以使神经认知机 成为最优的分类器。Lovell 应用 Hildebrandt 的训练方法却没有成功。对此，Hildebrandt 解 释的是，该方法只能应用于输出层，而不能应用于网络的每一层。事实上，Hildebrandt没有 考虑信息在网络传播中会逐层丢失。
6、Van Ooyen 和 Niehuis 为提高神经认知机的区别能力引入了一个新的参数。事实上，该 参数作为一种抑制信号，抑制了神经元对重复激励特征的激励。多数神经网络在权值中记忆 训练信息。根据 Hebb 学习规则，某种特征训练的次数越多，在以后的识别过程中就越容易 被检测。也有学者将进化计算理论与神经认知机结合 【 9 】 ，通过减弱对重复性激励特征的训 练学习，而使得网络注意那些不同的特征以助于提高区分能力。上述都是神经认知机的发展 过程，而卷积神经网络可看作是神经认知机的推广形式，神经认知机是卷积神经网络的一种 特例。 卷积神经网络本身可采用不同的神经元和学习规则的组合形式。其中一种方法
7、是采用 M-P神经元和 BP学习规则的组合，常用于邮政编码识别中。还有一种是先归一化卷积神经 网络，然后神经元计算出用输入信号将权值和归一化处理后的值，再单独训练每个隐层得到 权值，最后获胜的神经元输出活性，这个方法在处理二值数字图像时比较可行，但没有在大 数据库中得到验证。第三种方法综合前两种方法的优势，即采用 McCulloch-Pitts 神经元代 替复杂的基于神经认知机的神经元。在该方法中，网络的隐层和神经认知机一样，是一层一 层训练的，但是回避了耗时的误差反向传播算法。这种神经网络被称为改进的神经认知机。 随后神经认知机和改进的神经认知机作为卷积神经网络的例子，广泛用于各种识别任务中
8、， 比如大数据库的人脸识别和数字识别。下面详细介绍卷积神经网络的原理、网络结构及训练 算法。 2 卷积神经网络 2.1 网络结构 卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独 立神经元组成。网络中包含一些简单元和复杂元，分别记为 S-元和 C-元。S-元聚合在一起 组成 S-面，S-面聚合在一起组成 S-层，用 U s 表示。C-元、C-面和 C-层(U s )之间存在类似的 关系。网络的任一中间级由 S-层与 C-层串接而成，而输入级只含一层，它直接接受二维视 觉模式，样本特征提取步骤已嵌入到卷积神经网络模型的互联结构中。一般地，U s 为特征 提取层，每个神
9、经元的输入与前一层的局部感受野相连，并提取该局部的特征，一旦该局部 特征被提取后，它与其他特征间的位置关系也随之确定下来；U c 是特征映射层，网络的每 个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。 特征映射结构采用影响函数核小的 sigmoid 函数作为卷积网络的激活函数，使得特征映射具 有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个 数，降低了网络参数选择的复杂度。卷积神经网络中的每一个特征提取层(S-层)都紧跟着一 个用来求局部平均与二次提取的计算层(C-层)，这种特有的两次特征提取结构使网络在识别 时对输入样本有较高
10、的畸变容忍能力 【 10 】 。 网络中神经元的输出连接值符合“最大值检出假说” 【 15 】 ，即在某一小区域内存在的一个 神经元集合中，只有输出最大的神经元才强化输出连接值。所以若神经元近旁存在有输出比 其更强的神经元时，其输出连接值将不被强化。根据上述假说，就限定了只有一个神经元会 发生强化。卷积神经网络的种元就是某 S-面上最大输出的 S-元，它不仅可以使其自身强化， 而且还控制了邻近元的强化结果。因而，所有的 S-元渐渐提取了几乎所有位置上相同的特 征。在卷积神经网络早期研究中占主导的无监督学习中，训练一种模式时需花费相当长的时 间去自动搜索一层上所有元中具有最大输出的种元，而现在的
11、有监督学习方式中，训练模式 同它们的种元皆由教师设定。 图 1 是文献12中卷积神经网络的典型结构图。将原始图像直接输入到输入层(U c1 )，原 始图像的大小决定了输入向量的尺寸，神经元提取图像的局部特征，因此每个神经元都与前 一层的局部感受野相连。文中使用了 4 层网络结构，隐层由 S-层和 C-层组成。每层均包含 多个平面，输入层直接映射到 U s2 层包含的多个平面上。每层中各平面的神经元提取图像中 特定区域的局部特征，如边缘特征，方向特征等，在训练时不断修正 S-层神经元的权值。 同一平面上的神经元权值相同，这样可以有相同程度的位移、旋转不变性。S-层中每个神经 元局部输入窗口的大小
12、均为 5x5，由于同一个平面上的神经元共享一个权值向量，所以从一 个平面到下一个平面的映射可以看作是作卷积运算， S-层可看作是模糊滤波器，起到二次特 征提取的作用。隐层与隐层之间空间分辨率递减，而每层所含的平面数递增，这样可用于检 测更多的特征信息。 图1 卷积神经网络结构图 Fig.1 The structure of convolutional neural network 2.2 神经元模型 在卷积神经网络中，只有 S-元间的输入连接是可变的，而其他元的输入连接是固定的。 用U sl （kl，n）表示第 l 级，第 kl个S-面上，一个S-元的输出，用Ucl(kl，n)表示在该级第 k
13、l个 C-面上一个 C-元的输出。其中，n 是一个二维坐标，代表输入层中神经元的感受野所 在位置，在第一级，感受野的面积较小，随后随着 l 的增大而增加。 1 1 1 , , , 1 , 1 1 1 1 1 1 n u k b k r k r v n k u k k v a k r n k u vl l l K kA v l cl l l l sl l ll (2.1) 式(2.1)中 al（v，kl-1，k ）和 b l(k)分别表示兴奋性输入和抑制性输入的连接系数；rl(k) 控制特征提取的选择性，其值越大，对噪音和特征畸变的容错性越差，它是一常量，它控制 着位于每一 S-层处的单个抑制子
14、平面中每个神经元的输入: rl(k)的值越大，与抑制性成比 例的兴奋性就得越大，以便能产生一个非零输出，换句话说就是相当好的匹配才一能激活神 经元，然而因为 rl(k)还需乘以()，所以rl值越大就能产生越大的输出，相反，小的 rl(k) 值允许不太匹配的神经元兴奋，但它只能产生一个比较小的输出；(x)为非线性函数。v 是一个矢量，表示处于 n感受野中的前层神经元 n 的相对位置，Al确定S 神经元要提取特征 的大小，代表 n 的感受野。所以式中对 v 的求和也就包含了指定区域当中所有的神经元；外 面对于勺 kl-1的求和，也就包含了前一级的所有子平面，因此在分子中的求和项有时也被称 作兴奋项
15、，实际上为乘积的和，输入到 n 的神经元的输出都乘上它们相应的权值然后再输出 到n c。 0 , 0 0 , x x x x (2.2) 式(2.2)表示的是指定某级(第 l 级)、某层(S-层)、某面(第 kl个 S-面)、某元(向量为 n 处)的一个输出。对于一个 S-元的作用函数可分为两部分，即兴奋性作用函数和抑制性作 用函数。兴奋性作用使得膜电位上升，而抑制性作用起分流作用。 兴奋性作用为： 1 1 , , , 1 1 1 l ll K kA v l cl l l v n k u k k v a( 2. 3) S-元与其前一级 C-层的所有 C-面均有连接， 所连接的 C-元个数由该
16、S-级的参数感受野 Al唯一确定。 网络中另一个重要的神经元是假设存在的抑制性神经元 V-元 Uvl (n)，它位于 S-面上 满足以下三个条件:环元的抑制作用影响整个网络的运作；C-元与 V-元间存在着固定的连 接；V-元的输出事先设为多个 C-元输出的平均值。可以用它来表示网络的抑制性作用，发 送一个抑制信号给 Usl（kl，n）神经元，从与 Usl（kl，n）类似的元接收它的输入连接值， 并输出: 2 1 1 2 1 1 1 , l ll K kA v l cl l vl v n k u v c n u(2.4) 权 c l (v)是位于 V元感受野中的 v 处的神经元相连的权值，不需要
17、训练这些 值，但它们应随着v的增加而单调减小。因此，选择式 2.5 的归一化权值。 r l l C c c ( 2. 5) 式 2.5 中的归一化常量 C由式 2.6 给出，其中：r(v)是从 v 处到感受野中心的 归一化距离: 1 1 ) ( ) ( l lj K KA v v r l a l C( 2.6) C 神经元的输出由式 2.7给出: 1 ) ( 1 ) , ( ) ( ) , ( 1 ) , ( 1 1 1 n V v n k u v d k k j n k u sl K KD v l st l l l l l d t lt （2.7） 上式中(x)为: 0 , 0 0 , )
18、( x x x x x （2.8） 式中为一常量。 k l 是第 l 级中的 S子平面的数量。 D l 是 C元的感受野。因此，它和特征的大小相对应。 d l (v) 是固定兴奋连接权的权值， 它是v的单调递减函数。 如果第 k l 个 S神经元子平面从第 k l-1 子平面处收到信号，那么 j l (k l ,k l-1 )的值为，1 否则为 0。 最后，S _ 层的 V s 神经元的输出为 1 1 1 ) , ( ) ( 1 l lt K KV v j sl l st v n k u v dl K V（2.9） 图 2 为卷积神经网络中不同神经元之间的连接关系图， 从图中可以很清楚地看出各
19、种不同神 经元之间的连接关系。 图2 卷积神经网络中不同神经元间的连接 Fig.2 The connections convolutional neural network among different neurons 2.3 卷积网络的训练过程 神经网络用于模式识别的主流是有指导学习网络， 无指导学习网络更多的是用于聚类分 析。对于有指导的模式识别，由于任一样本的类别是已知的，样本在空间的分布不再是依据 其自然分布倾向来划分， 而是要根据同类样本在空间的分布及不同类样本之间的分离程度找 一种适当的空间划分方法， 或者找到一个分类边界， 使得不同类样本分别位于不同的区域内。 这就需要一个长时
20、间且复杂的学习过程，不断调整用以划分样本空间的分类边界的位置，使 尽可能少的样本被划分到非同类区域中。由于本文主要是检测图像中的人脸，所以可将样本 空间分成两类： 样本空间和非样本空间， 因而本文所使用的学习网络也是有指导的学习网络。 卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关 系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以 训练，网络就具有输入输出对之间的映射能力。卷积网络执行的是有导师训练，所以其样本 集是由形如： （输入向量，理想输出向量）的向量对构成的。所有这些向量对，都应该是来 源于网络即将模拟的系统的实际“运行”
21、结果。它们可以是从实际运行系统中采集来的。在 开始训练前，所有的权都应该用一些不同的小随机数进行初始化。 “小随机数”用来保证网 络不会因权值过大而进入饱和状态，从而导致训练失败； “不同”用来保证网络可以正常地 学习。实际上，如果用相同的数去初始化权矩阵，则网络无能力学习。 训练算法主要包括 4 步，这 4 步被分为两个阶段： 第一阶段，向前传播阶段： 从样本集中取一个样本(X,Y p )，将 X输入网络； 计算相应的实际输出 O p 。 在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络 在完成训练后正常运行时执行的过程。在此过程中，网络执行的是由式（2.7）计算： O
22、p =F n （F 2 （F 1 （X p W （ 1 ） ）W （ 2 ） ）W （ n ） ） 第二阶段，向后传播阶段 计算实际输出 O p 与相应的理想输出 Y p 的差； 按极小化误差的方法调整权矩阵。 这两个阶段的工作一般应受到精度要求的控制，在这里，用式（2.8）计算 Ep。 作为网络关于第 p 个样本的误差测度。而将网络关于整个样本集的误差测度定义为： E=Ep。 2 1 ) ( 2 1 m j pj pj p o y E （2.8） 如前所述，之所以将此阶段称为向后传播阶段，是对应于输入信号的正常传播而言的。 因为在开始调整神经元的连接权时，只能求出输出层的误差，而其他层的误差
23、要通过此误差 反向逐层后推才能得到。有时候也称之为误差传播阶段。为了更清楚地说明本文所使用的卷 积神经网络的训练过程，首先假设输入层、中间层和输出层的单元数分别是 N、L 和 M。 X=(x0,x1,xN)是加到网络的输入矢量， H=(h0,h1,hL)是中间层输出矢量， Y=(y0,y1,yM) 是网络的实际输出矢量，并且用 D=(d0,d1,dM)来表示训练组中各模式的目标输出矢量输 出单元 i 到隐单元 j 的权值是 V ij ，而隐单元 j 到输出单元 k 的权值是 W jk 。另外用 k 和 j 来分别表示输出单元和隐含单元的阈值。 于是，中间层各单元的输出为式（2.9） ： ) (
24、 1 0 N i j i ij j x V f h （2.9） 而输出层各单元的输出是式（2.10） ： k L j j u k h W f y 1 0（2.10） 其中 f(*)是激励函数采用 S型函数式（2.11） ： e kx x f 1 1 ) ( （2.11） 在上述条件下，网络的训练过程如下： 1）选定训练组。从样本集中分别随机地选取 300 个样本作为训练组。 2）将各权值 V ij ，W jk 和阈值 j ， k 置成小的接近于 0 的随机值，并初始化 精度控制参数和学习率。 3）从训练组中取一个输入模式 X加到网络，并给定它的目标输出矢量 D。 4）利用式（2.9）计算出一个
25、中间层输出矢量 H，再用式(2.10)计算出网络的实际输出 矢 Y。 5）将输出矢量中的元素 y k 与目标矢量中的元素 d k 进行比较，计算出 M 个输出误差项 式（2.12） ： ) 1 ( ) ( k k k k k y y y d （2.12）对中间层的隐单元也计算出 L 个误差项式（2.13） ： jk M k k j j j W h h 1 0 ) 1 ( （2.13） 6）依次计算出各权值的调整量式（2.14）和式（2.15） ： j k jk jk h n W L n W * * ) 1 ) 1 ( ( * ) 1 /( ( ) ( （2.14） j k ij ij h n
26、V N n V * * ) 1 ) 1 ( ( * ) 1 /( ( ) ( （2.15） 和阈值的调整量式（2.16）和（2.17） ： k k k n L n * ) 1 ) 1 ( ( * ) 1 /( ( ) ( （2.16） j j j n L n * ) 1 ) 1 ( ( * ) 1 /( ( ) ( （2.17） 7）调整权值式（2.18）和式（2.19） ： ) ( ) ( ) 1 ( n W n W n W jk jk jk （2.18） ) ( ) ( ) 1 ( n V n V n V ij ij ij （2.19） 调整阈值式（2.20）和（2.21） ： ) ( )
27、 ( ) 1 ( n n n k k k （2.20） ) ( ) ( ) 1 ( n n n j j j （2.21） 8）当 k 每经历 1 至 M 后，判断指标是否满足精度要求：E，其中 E是 总误差函数，且 2 1 0 ) ( 2 1 k M k k y d E 。如果不满足，就返回（3） ，继续迭代。如果满 足就进入下一步。 9）训练结束，将权值和阈值保存在文件中。这时可以认为各个权值已经达稳 定，分类器形成。再一次进行训练时，直接从文件导出权值和阈值进行训练，不需 要进行初始化。 2.4 卷积神经网络的优点 卷积神经网络 CNN 主要用来识别位移、缩放及其他形式扭曲不变性的二维图形
28、。由于 CNN 的特征检测层通过训练数据进行学习，所以在使用 CNN时，避免了显示的特征抽取，而 隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可 以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局 部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性， 其布局更接近于实际 的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入 网络这一特点避免了特征提取和分类过程中数据重建的复杂度。 流的分类方式几乎都是基于统计特征的，这就意味着在进行分辨前必须提取某些特征。 然而，显式的特征提取并不容易，在一些
29、应用问题中也并非总是可靠的。卷积神经网络，它 避免了显式的特征取样，隐式地从训练数据中进行学习。这使得卷积神经网络明显有别于其 他基于神经网络的分类器，通过结构重组和减少权值将特征提取功能融合进多层感知器。它 可以直接处理灰度图片，能够直接用于处理基于图像的分类。 卷积网络较一般神经网络在图像处理方面有如下优点： a) 输入图像和网络的拓扑结构 能很好的吻合；b) 特征提取和模式分类同时进行，并同时在训练中产生；c)权重共享可以 减少网络的训练参数，使神经网络结构变得更简单， 适应性更强。 3 卷积神经网络的应用 3.1 基于卷积网络的形状识别 物体的形状是人的视觉系统分析和识别物体的基础，几
30、何形状是物体的本质特征的表 现，并具有平移、缩放和旋转不变等特点，所以在模式识别领域，对于形状的分析和识别具 有十分重要的意义，而二维图像作为三维图像的特例以及组成部分，因此二维图像的识别是 三维图像识别的基础。物体形状的识别方法可以归纳为如下两类，其中，第一类是基于物体 边界形状的识别，这种边界的特征主要有周长、角、弯曲度、宽度、高度、直径等，第二类 是基于物体所覆盖区域的形状识别，这种区域的特征主要有面积、圆度、矩特征等，上述两 类方法都适用于物体形状的结构或区域的识别。 卷积神经网络也是一种基于物体边界形状的 识别，它既可以识别封闭形状同时对不封闭形状也有较高的识别率。 图 3 试验用卷
31、积神经网络的结构图 Fig.3 The structure of convolutional neural network 图 3 是所用的网络结构，U 0 是输入层，U c4 是识别层。Us 为特征提取层，U s1 的输入是 光感受器的像素位图，该层只是提取一些相对简单的像素特征，随后几层的 S-元提取一些 更为复杂的像素特征，随着层数的增加，提取的特征也相应递增；Uc 是特征映射层，提取 高阶特征，提取这些高阶特征时不需要提取像简单特征那样的精确位置信息。 网络中 S-元的闭值是预先设定值，训练时权值的更新基于 Fukushima 提出 的增强型学习规则，如式(2.10)所示，网络的训练方
32、式采用的是无监督学习方式。 图 4 与图 5是部分实验样本图 图 4部分训练样本图 Fig.4 Part of the training sample plans 图 5 部分测试样本图 Fig.5 Part of the test sample plans 样本分为三角形，四边形，八边形，圆形四类，每类 10 个共 80 个样本，实验训练时采 用 40 个样本，测试时采用剩余的 40 个样本，最终的识别结果如表 2 所示。 表 1 训练后网络参数 Table1 Network parameters after training 级数 S-层包含的 S-面数 S-元数 第一级 16 32 第二
33、级 19 290 第三级 15 272 第四级 7 89 表 2 识别结果 Table3.2 Recognition results 待识别形状 识别结果 三角形 10 个全对 四边形 10 个全对 八边形 10 个全对 圆形 对 9 个，另一个错识成四边形 识别错误样本如图 6 所示： 图 6 测试出错样本 F ig.6 Th e sam ple er r or i n t est 识别错误的原因是由于训练所用样本模式较少，不能覆盖所有的圆形模式，以至于该测 试模式输入网络时，与之相近的四边形模式获胜，最终得到错误的输出结果。这里采用卷积 神经网络进行形状识别目的主要是为了验证卷积神经网络的
34、模式识别能力， 所以虽然采用的 样本图片较少，但已经能够说明卷积网。络在形状识别时有较高的识别率和抗畸变性，而识 别前的车牌字符由于前期处理(定位、分割)能力的局限性，具有一定的噪声和变形，因此可 以将卷积神经网络应用于车牌识别系统。 3.2 基于卷积网络的人脸检测 卷积神经网络与传统的人脸检测方法不同，它是通过直接作用于输入样本，用样本来训 练网络并最终实现检测任务的。它是非参数型的人脸检测方法，可以省去传统方法中建模、 参 数估计以及参数检验、重建模型等的一系列复杂过程。本文针对图像中任意大小、位置、姿 势、方向、肤色、面部表情和光照条件的人脸，提出了一种基于卷积神经网络（Convolut
35、ional Neural Networks，简称 CNN）的人脸检测方法。设计了一个输入层节点数为 400、输出层节 点数为 2、四层隐藏层的 CNN网络。网络结构如图 7。 图 7 卷积网络结构 Fig.1 The structure of convolutional neural network 输入、输出层的设计：卷积神经网络是一种分层型网络，具有输入层、中间层（隐含层） 和输出层的三层结构。对于一个神经网络，中间层可以有两个以上，而具有一个中间层的神 经网络则是一种基本的神经网络模型。实验表明，增加隐含层的层数和隐含层神经元的个数 不一定能够提高网络的精度和表达能力。使用输入窗口的大小
36、都是 2020，这是通常能使 用的最小窗口，这个窗口包含了人脸非常关键的部分。因此，可将输入层节点数设计为 400， 对应于 2020 图像窗口中按行展开的各个像素。考虑到本文使用卷积神经网络是用作分类 器，其类别数为 2（即人脸和非人脸） ，所以输出层的节点数为 2。 隐藏层的设计：隐藏层为四层，分别是图像特征增强的卷积层、数据缩减的子抽样层、 和两个激活函数层。其结构如图 7所示。设计方法如下： 卷积层的设计：信号的卷积运算是信号处理领域中最重要的运算之一。比如，在图像处 理、语音识别、地震勘探、超声诊断、光学成像、系统辨识及其他诸多信号处理领域中。卷 积运算一个重要的特点就是，通过卷积运
37、算，可以使原信号特征增强，并且降低噪音。在进 行人脸检测时使用离散的卷积核，对图像进行处理。由于离散卷积核只需要进行优先次的加 法运算，而且是整数运算，没有浮点运算，计算机可以迅速的计算出结果。本文选定的四个 卷积核，分别为两个拉普拉斯算子和两个 Sobel边缘算子。输入图像分别经过这四个卷积核 的卷积得到四个 1818 的待测图像。其中拉普拉斯算子是图像的整体特征增强。而 Sobel 边缘算子则强化了边缘特征。 子抽样层的设计：利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理 量同时保留有用信息。本层把卷积层输出的四个图像作为输入，分别进行子抽样运算后输出 四个 99 图像。而该
38、图像保留了原图像的绝大部分有用信息。子抽样点的值是原图像相邻 四个点的平均值。 激活函数层：本层分为两层激活函数层，一层为通过与抽样层输出的四个图像分别进行 全连结， 得到四个中间输出。 第二层为有四个中间结果连接的四个激活函数并与输出层连接， 得出网络判断结果。这层有 99414 个激活函数参数需要训练。 激励函数的选择：网络的拓扑结构和训练数据确定后，总误差函数就完全由激励函数决 定了， 因此， 激发函数的选择对网络的收敛性具有很重要的作用。 对每一个人工神经元来说， 它可以接受一组来自系统中其他神经元的输入信号，每个输入对应一个权，所以输入的加权 和决定该神经元的激活状态。按照卷积网络算
39、法的要求，这些神经元所用的激活函数必须是 处处可导的。 在设计基于人工神经网络的分类系统中，不仅网络的结构设计非常重要，而且训练数据 的收集也十分重要。 在人脸检测系统中除了选择好的人脸样本外同时还要解决从大量非人脸 图像中选择非人脸样本的问题。对于人脸样本图像还要进行一些预处理，以消除噪音和光线 差异的影响。 为了提高网络的健壮性， 收集各种不同类型的人脸样本； 为了得到更多的样本， 并提高旋转不变性和亮度可变性的能力，对初始人脸样本集中的部分图像进行一些变换。然 后是关于非人脸样本的收集，这是基于神经网络的检测方法中的一个难题，按照常用的 Bootstrap 处理方法，可以从大量的图像中收
40、集这些边界样本，同时根据卷积神经网络的特 点，做出一些改进，降低随机性，提高了效率。在获得图像数据后，通过一些归一化和预处 理步骤， 减小图像噪声的影响和消除图像亮度及对比度的差异， 提高数据的针对性和鲁棒性， 得到统计的方法进行学习处理样本的最基本的特征向量，然后使用这些特征向量训练网络。 4 总结 本文首先阐述了卷积神经网络的原理。卷积神经网络是在神经认知机的基础上为了处理 模式识别问题而提出的网络。 此网络是多层的分级神经网络， 每层的神经元都是相同类型的， 或简单，或复杂，或是超复杂的神经元，在每层之间都有非常稀少并且固定模式的连接。介 绍了基本的卷积神经网络结构及其神经元模型，接着讨
41、论了卷积神经网络的训练过程，当需 要的特征已预先确定，那么就采用有监督算法，网络一层一层地学习，反之则进行无监督学 习。最后简要的介绍了卷积神经网络在形状识别和人脸检测中的应用。 目前，卷积神经网络已经被应用于二维图像处理、模式识别、机器视觉、形状识别、智 能交通等领域，并且能够很好的解决各个领域中的问题。 参考文献 1 王天翼. 基于卷积网络的三位特征提取 学位论文.吉林:吉林大学,2006. 2 李葆青. 基于卷积神经网络的模式分类器 J.大连大学学报,2003,24(2):19-23. 3 Simon Haykin 著,叶世伟,史忠植译.神经网络原理 M. 北京：机械工业出版社，2004
42、. 4 肖柏旭.基于卷积网络的人脸检测的研究与实现学位论文.北京:华北电力大学, 2009. 5 陆璐. 卷积神经网络的研究及其在车牌识别系统中的应用 学位论文.合肥:合肥工业大学,2006. 6 顾佳玲,彭宏京.增长式卷积神经网络及其在人脸检测中的应用 J.系统仿真学报, 2009,21(8):2441-2445. 7 赵志宏,杨绍普,马增强.基于卷积神经网络LeNet-5 的车牌字符识别研究 J.系统仿真学报,2010,22(3):638-641. 8 T .H .Hildebrandt, Optimal Training of Thresholded Linear Correlation
43、 Classifiers, IEEE Transactions on Neural Networks Z(6),PP.577一588,Nov.(1991). 9 K. Fukushima，“Neocognitron:A self-organizing neural-network model for a Mechanism of Pattern recognition unaffected by shift in position，Biol. Cybern.，vol.36，pp.193一202，1980. 10 C.Neubauer，Shape, position and size invar
44、iant visual pattern recognition based on principles of neocognitron and perception in Artificial Neural Networks，1.AlexanderandJ.Taylor，Eds. Amsterdam the Netherlands: North 一Holland，vol.2，1992，PP.833一837. 11 D. Lovell，et al.，Comments on“Optimal Training of Thresholded Linear Correlation Classifiers
45、”,IEEE Trans .On Neural Networks 4(2),PP.367一369,March(1993). 12 K. Fukushima， “Analysis of the process of visual pattern recognition by the neocognitron， ”Neural Networks， vol.2，pp.413-421，1989 13 Van Ooyen and B. Nienhuis，Pattern Recognition in the Neocognitron Is Improved一 by Neuronal Adaption，Bi
46、ological Cyberneties70,pp.47-53(1993). 14 石大明，刘海涛，舒文豪.结合进化计算的神经认知机.计算机学报J ，2001，24(5):468 一 473 15 Claus Neubauer. Evaluation of Convolutional Neural Networks for VisualRecognition，Neural Netwoks，vol.9， no.4，pp.685-696(1998) 16 K.Fukushima and M.Tanigawa,“Use of different thresholds in learning and
47、recognition，”NeuroeomPuting，vol.11， pp.1-17，1996. 17 G. W. Cottrell，“EMPATH: Face，emotion，and gender recognition using holons，”in Advances in Neural Information Processing Sys 18 H. Bourlard and Y. Kamp，“Autoassoziation by multilayerperceptrons and singular value decomposition，”Biol. Cybern.，vol.59，
48、pp.291-294，1988. 19洪家荣，李星原. Neocognitron 学习算法分析. 软件学报 J，1994，5，(4):35-39 20Fukushima K. A hierarchical neural network capable of visual pattern recognition . Neural Networks， 1989:2:413-420 21 Y.Bengio.YLeCun，and D.Henderson， “Globally Trained Handwritten Word Recognizer using Spatial Representation, Convolutional Neural Netw
