1、分类号 !里3窆!U D C论文题目101263 1 109002密级编号研究生： 呈釜擅指导教师： 高光塞教援专 业： 让箕扭型堂皇拉苤研究方向； 多堪佳技苤所在学院： i士篡扭堂院2014年5月2日原创性声明本人声明：所呈交的学位论文是本人在导师的指导下进行的研究工作及取得的研究成果。除本文已经注明引用的内容外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得内蒙直太堂及其他教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：豸叁丝 指导教师签名：l至呈兰丝日 期：塑丝：笸：丕 日 期：盈丝：五!至在
2、学期间研究成果使用承诺书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：内蒙古大学有权将学位论文韵全部内容或部分保留并向国家有关机构、部门送交学位论文的复印件和磁盘，允许编入有关数据库进行检索，也可以采用影印、缩印或其他复制手段保存、汇编学位论文。为保护学院和导师的知识产权，作者在学期间取得的研究成果(含计算机软件、程序)属于内蒙古大学计算机学院。作者今后使用涉及在学期间主要研究内容或研究成果，须征得内蒙古大学计算机学院就读期间导师的同意；若用于发表论文，版权单位必须署名为内蒙古大学计算机学院方可投稿或公开发表。 、学位论文作者签名：j阻日 期：地，左!丕基于深度学习的图像检索研究
3、摘要深度学习(Deep Learning)是近年来提出的一种利用具有多个隐层的深度神经网络(Deep Nepal Network，DNN)完成学习任务的机器学习方法。其实质是，通过构建具有多个隐层的神经网络模型并使用大量的训练数据来学习得到更有用的特征，进而提升模型预测或分类的准确性。与以往的浅层神经网络的不同之处在于，深度学习主要强调了神经网络的深度(通常有大于1层的隐层)，还突出了特征学习的重要性，从大数据中学习特征，这些特性可以刻画数据丰富的内在信息。基于内容的图像检索(Content-b嬲ed ImageRetrieval，cBm)的基本思想是通过分析图像本身的内容(如颜色、纹理、形状
4、等)，再从图像库中查找相似或相近的图像。本文在简要介绍了基于文本的图像检索和基于内容的图像检索，并对两者进行了优劣分析之后，又概述了基于内容的图像检索的研究背景和国内外的发展与应用现状。在着重介绍了基于内容的图像检索的关键技术和深度学习的相关知识后，本文设计了一个基于深度学习的图像检索系统。与传统的图像检索一一需要预先提取图片的底层特征的方法不同的是：基于深度学习的图像检索可以直接对原图片进行处理，这就消除了不同的底层特征对检索结果所带来的影响。关键词：深度学习；基于内容的图像检索；人工神经网络；多隐层RESEARCH ON眦GE RETRIEVAL BASED ONDEEP LEARNING
5、ABSTRACTDeep Learning is a recently proposed neural networks with multiple hidden layersIts essenceis through building a machine learning model with multiple hidden layers and a lot of training datato leam more useful featuresThus，enhance the accuracy of prediction or classificationDifferentwith the
6、 traditional shallow learning is that Deep Learning emphasizes the depth model(hiddenlayer is usually not less than two layers)，highlighting the importance of feature learning，usinglarge data to learn features，describing the internal information ofdataThe basic idea of content-based image retrieval
7、is analyzing the content of the image itself,such as color,texture，shape etc，then find similar images from image databaseThis paper brieflydescdbed the content-based image retrieval and text-based image retrieval，then analyzing the prosand cons of bothAn overview of research background of CBIR(Conte
8、nt-based Image Retrieval)and development situation at home and abroadAfter introducing key technologies of content-basedimage retrieval and knowledges of Deep Learning，this paper designed a image retrieval systembased on Deep LearningThe traditional image retrieval system needs to extract features f
9、rompicture，then retrieve similar pictures based on the featuresDifferent from this is that imageretrieval system based on deep neural network retrieve similar images based on the content of thewhole image no need to extract featuresThis can reduces the influence from different featuresDifferent from
10、 shallow learning is that the initialization of network through unsupervised training ofa set oftest(not random)，SO the initial data is close to optimalKEYWORDS：Deep Learning；CBIR；Content-based image retrieval；artificial neural network目录摘要IABSTRACTII目录III图表目录一V第一章绪论111前言112国内外研究热点313著名的图像检索系统介绍414本文
11、研究内容和组织结构5第二章相关理论基础721基于内容图像检索的相关知识7211基于内容的图像检索系统结构7212图像的特征提取8213相似性度量9214评判标准一922人工神经网络基础11221神经网络概念的提出1 1222神经元模型1 1223神经网络的学习和类别1323 BP网络模型13231 BP网络的基本原理13232 BP网络的优劣1424本章小结1 5第三章深度学习网络模型1631深度学习简介16基王邃度堂盈曲图像捡塞班究32深度学习的基本思想和训练方法1 8321深度学习的基本思想18322深度学习的训练过程1833深度学习的常用方法1 8331自动编码器l 8332受限玻尔兹曼
12、机1934受限玻尔兹曼机(RBM)19341受限玻尔兹曼机模型1934。2受限玻尔兹曼机的学习算法2l343受限玻尔兹曼机的评估方法【23】2335深度信念神经网络2436本章小结25第四章基于深度学习的图像检索2641图片样本库的建立2742 BP神经网络27421输入设置27422改进后的BP神经网络28423检索结果分析2843深度信念神经网络32431输入设置32432网络层数的选择33433隐层节点数的设计33434构建RBM模型33435 RBM模型的学习算法34436 Softmax分类器35437实验结果与分析3644两种网络模型比较3845本章小结40第五章总结与展望4151
13、总结41内筮直太堂亟堂位监奎 一一一52展望。42参考文献43致谢。45V图表目录表11基于文本的图像检索与基于内容的图像检索的比较1图I1基于文本检索方法的一般流程2图12基于内容的图像检索的一般框架3图21 CBIR系统结构【25】7图22神经元模型12图23三层BP神经网络结构图13图24 BP算法流程图14图31一张图片可以由一些基本结构组成21116图32深度学习的处理过程【2l】-17图33从不同的对象训练学习到的特征17图34一般玻尔兹曼机和受限玻尔兹曼机20图35多层RBM和对应的深信度网络24图36产生具有二层隐层的深度神经网络的过程25图41检索特征的提取26表41样本数据
14、归一化27图42向日葵的阈值与准确率查全率的相应关系30图43山的阈值与准确率查全率的相应关系30表42 BP网络的检索结果31图44 BP网络中向日葵的检索结果31图45 BP网络中山的检索结果32图46深层网络与浅层网络的区别32图47向日葵的阈值与准确率和查全率的相应关系36图48脑结构图的阈值与准确率查全率的相应关系37表43 DBN网络的检索结果37图49 RBM重构表现38图410 BP和DBN检索结果的F值比较39由蕴古太堂亟堂位j坌玄图41 1 DBN中向日葵的部分检索结果一39图412 DBN中佛像的部分检索结果4011前言第一章绪论弟一旱瑁比随着数码相机、扫描仪等数字化设备
15、的快速发展和普及使用，使得图像来源不断扩大。网络的快速发展也使得我们能够以各种形式的媒体(图像，文本，视频，音频等)形式获取自己所需的信息，从而推动对数字多媒体的巨大需求。怎样才能又快又准的从海量的数据库中检索到我们想要找的图片，成为了最近几年多媒体研究领域的Textbased热点。图像数据的快速膨胀，使得人们对图片管理和存储越来越困难，但是对图像数据的检索却越来越普遍。通常情况下，我们将图像检索分为以下两种方法：基于文本的图像检索(Textbased ImageRetrieval，TBIR)和基于内容的图像检索(Content-based ImageRetrieval，CBIR)。但是目前使
16、用的较多也较为普遍的是基于文本的图像检索，基于内容的图像检索由于存在技术上的难题而并没有被广泛使用。基于文本的图像检索TBIR与基于内容的图像检索CBIR有着各自的优缺点，下表进行了几个方面的比较：裹11基于文本的图像检索与基于内容的图像检索的比较Table 11 The Comparison ofTBIR and CBIR可供检索的系统 可供检索比较项目 主要用户 准确率 交互性或搜索引擎 的资源取决于图像的基于文本的图 大部分用 标注，对于不比较多 比较丰富 交互性低像检索 白 同的关键词准确率不同基于内容的图 较低，在特定 有一定得较少 比较少 较少像检索 领域较高 交互性基于文本的图像
17、检索规避了对图像本身的处理，而是通过检索关键字与图片标签的匹配程度来进行检索。而图片的标签又是由不同的人进行人工标注的，不同的人对同一张图片的理解可能都不同，而且图像在人工标注时每个人的观点不同、也没有一个统一的标准，因此差王逯度堂星鳇图篮捡塞班宜没有办法对图像所包含的对象或场景进行理解。基于内容的图像检索主要是对图像所包含的内容进行分析，而不是人为打上去的标签，因此比基于文本的图像检索要更为客观一些，进而避免了人工标注时会产生太多主观性的问题。基于文本的图像检索典型的操作方法是利用某一种查询语言来描述我们想要的图像，检索过程就是对标注或描述进行匹配，之后再返回图像数据库中与之匹配的图像。一般
18、的检索流程如图11所示旧。目前广泛使用的如百度，Google的图片搜索就是基于关键字的匹配。圈11基于文本检索方法的一般流程Figure 11 Regular process oftext-based image retrieval基于内容的图像检索由于相同场景也可以有不同的表现方式，而且图片信息的内容丰富关联性较强，与特征数据之间一般很少有简单的对应关系，因此通常采用相似匹配方式，这与基于文本的图像检索的精确匹配有所不同。实际上，由于图像内容千差万别、同一幅场景下的图片由于图片尺寸不同，所提取到的特征数据就可能大不一样，所以也无法进行精确匹配。但是基于内容的图像检索由于其在特定领域的需求较强
19、(比如公安系统的人脸识别)，正越来越受到重视并得到迅速的发展。基于内容的图像检索的一般框架如图12所示口1。由于基于内容的图像检索涉及计算机视觉、模式识别、图像理解等技术，它具有以下几个特点：(1)采用相似匹配方式。在基于文本的图像检索中，由于我们输入的是关键字或关键词，而图像的标签也是文本，与图片的内容毫不相干，故可以采用吻合(Match)比对方式，这是精确匹配。而在基于内容的图像检索中，由于同一场景的图像也可能因为角度不同或光线明暗不同而有不同的表现方式，且图像的内容一般比较丰富、关联性较强，与特征数据之间通常不会是简单的对应关系，所以一般采用相似(Similar)匹配方式。圈12基于内容
20、的图像检索的一般框架Figure 12 General Frame of CBIR(2)采用直接输入图片的方式查询。基于内容的图像检索一般采用直接输入图片的方法查询，如果用户不熟悉自己想查询图片的具体结构时，可以通过浏览选择系统提供的示例图片进行检索。有的系统还可以通过浏览返回的结果判定查询结果的好坏，进而督促系统做出必要的修正。(3)交互性强。有反馈功能的系统可以通过用户的反馈对检索方式不断改进并反复修正检索结果。(4)可满足多层次的检索要求。基于内容的图像检索系统一般包含了特征库、图像库、知识库，可以满足不同的检索要求。12国内外研究热点当前，有关基于内容的图像检索的研究主要集中在特征提取
21、、查询方法和用户接口这三个方面。其中，特征提取是基于内容的图像检索研究中最为困难的也是最重要的。基于内容的图像检索从90年代开始，由于其涉及的领域较广所以迅速成为研究热点。其研究热点主要有以下几个方面：1图像底层特征的提取和描述上世纪70年代，人们研究最多的就是怎样才能选择合适的全局特征来全面客观的描述图像，以及怎样的度量方法才能找出最相近的图片。尽管目前仍然无法有效的从图像的低层特征获取高层语义口3，但是如何才能从图像中提取到有效的特征，并用此特征来进行检索和存基王逯厦堂习曲图像拉霆盈冠储却有着实际的研究价值。2基于区域的图像检索其主要思想是首先对图像进行分割，然后对分割后的每一块小区域使用
22、局部特征进行描述口1，之后再综合这些局部特征得到这副图像的总体特征，最后再使用合适的相似性度量标准来检索图像n“巧16|1引。虽然这种方法比较接近用户的检索思路，但由于目前还没有办法将分割后的区域与图像中内容很好的对应起来，因此这种方法的检索准确率不高。3图像语义特征提取基于内容的图像检索所检索的内容主要包含图像的纹理、颜色、形状、语义等特征。虽然我们平时总是习惯于使用语义查询，但是由于语义相对比较主观抽象，因此想要实现这种查询还有一定的困难。比如我们想要查找一幅“广场上跳舞的舞者”的图像，这对于目前的检索系统还是有一定困难的，因为就目前的检索系统来说，还无法像人脑一样识别广场和正在跳舞的人。
23、4高维索引技术网络的快速发展导致图像数据库越来越庞大。但最新的检索系统也只能同时处理最多几千幅图像(因为要考虑到检索速度和CPU的操作性能)，这样才不会导致检索系统过慢。在图像数量不断激增的今日，检索速度己成为一个检索系统需要重点关注的问题。尽管已取得一些进展，例如：kd树，R一树及变种尺+树、R木树等n“，但探索更加快捷有效的高维索引技术仍然需要做许多工作。在上述研究方向中，前三个方向主要集中在特征提取问题上，第四项是图像检索的效率问题，主要研究图像特征的存储数据结构模型。13著名的图像检索系统介绍上世纪90年代初期，一些图像检索系统如雨后春笋般相继出现。本节将简单介绍几个经典的图像检索系统
24、。1QBIC(Que叫By Image Comem)7，191：该系统是由IBM研发的应用比较早的商用产品。用户只要输入示例图片就可以检索出一系列相近的图像而不需要提供关键词。该系统提供多种检索方式，用户可以使用系统提供的示例图像、用户绘制的简图或扫描输入图像、所选颜色、纹理模式等方法进行查询。QBIC另外还考虑了高维特征索引，由于其建立较早且技术比较成熟、功能全面，因此为基于内容的检索做出了很大的贡献。2Photobook：由美国麻省理工学院(Massachusetts Institute ofTechnology,MIT)多媒体4由蘩直太堂亟堂僮j盆塞实验室开发的图像浏览和检索工具。它主要
25、包含：形状识别、纹理识别、大脑形状识别和人脸识别。形状识别给出了一部分简单形状物体的检索示例；纹理识别主要是针对以纹理为主要内容的图像；人脸识别和大脑形状识别都是新的应用领域。其最新版本为Foureyes，Picard等人提出由人参与到图像注解和检索的过程【211中，之后又建立模型集(Society ofmodel)，该实验结果表明该模型集在交互式图像注释中效果非常好。3MARS(MultimediaAnalysis and Retrieval System)：由美国伊利诺伊大学俄巴纳一香槟分校(University ofIllinois at Urbana-Champaign)开发研制的【2
26、2】。它与其他系统有很大的不同：他的诞生是数据库管理系统(DBMS)、计算机视觉和信息检索(瓜)等多个研究领域交叉的结果。MARS的特点是：索引和检索的结合、数据库管理系统和信息检索的结合、计算机与人的结合。MARS在检索的不同层次中结合了相关反馈技术(有自动匹配工具的选择、查询矢量的优化和自动特征适应【5】)。14本文研究内容和组织结构在本文中，我们首先在Matlab R2012a环境下构建一个深度神经网络，然后再用训练集中的5000余张图片来训练这个网络，训练时隐层数目设置为2层，每个隐层的节点数和训练次数不同(为的是力求使其尽可能的使其接近人脑)。训练完成后，再用其他的图片来检索该图像数
27、据库，检查其返回图片的准确率、查全率以及F值。本文主要研究了当前的热点技术深度学习，由于经过多次训练，可使其认知能力逐渐增强，进而能够准确识别测试集中的图片。本文的组织结构如下：第一章绪论。首先简单介绍了图像检索的两种方法：基于文本的图像检索和基于内容的图像检索。并简单分析了这两种检索方法的不同之处和其存在的优缺点。简要叙述了基于内容的图像检索目前的研究热点，最后又简单介绍了几个著名的图像检索系统。同时阐述了本文的主要工作内容，最后列出了本文的结构安排。第二章相关理论基础。简单介绍了基于内容的图像检索的相关知识，进而简要叙述了人工神经网络的相关概念，通过分析BP神经网络运行的基本原理简单介绍了
28、其存在的优点和缺点。第三章深度学习网络模型。简要介绍了深度学习的基本思想和训练过程，以及深度学习常用的方法和常用模型，进而对本文用到的受限玻尔兹曼机模型和深度神经网络进行了详细基王渥麈堂丑曲图像捡盔班豇的介绍和分析。第四章基于深度学习的图像检索。首先对训练集的图片进行预处理，构建并训练了一个BP神经网络，之后使用该网络对数据库中的图片进行检索。之后开始构建玻尔兹曼机模型，并对网络层数、隐层节点数等模型参数进行设置，并构建了一个深度信念网络，又对本文中的学习算法和分类方法进行了简要的介绍。在预训练结束后又对网络进行了调整，最后对两种网络的实验结果进行了详细的对比与分析。第五章总结与展望。对本文的
29、工作内容和方法进行了总结，并对尚未解决的问题提出后续的展望。6第二章相关理论基础21基于内容图像检索的相关知识211基于内容的图像检索系统结构基于内容的图像检索主要分为两大模块：特征提取模块和查询模块。如图21所示，特征提取模块主要包括图片的预处理、特征提取和图片入库等。查询模块是用户提交查询请求和返回检索结果的接口。具体如下所述【25】：誉多箧；鏖融震蓥圈童誉，J6甬斥甬、。，一， 一用户耨镊摄取予系统 森询予系统圈21CBIR系统结构【2习Figure 21 System Structure ofCBR25(a)预处理：一般情况下，图像有各种不同的格式和尺寸，所以在图片进入检索系统之前要先
30、对其进行规格化。(b)目标标示：通常，面对一副图片，我们关注的并不是整张图片，而是其中的某一个物体或者某一区域。如果能够对该物体或该区域进行标示，这样就可以有针对性的进行特征提取，进而减少检索的时间、提高准确率。丫塞毒一虱，、lh、基壬逯度堂召曲图像捡塞Ilf宜(c)特征提取：这是基于内容的图像检索系统的核心也是最难的部分，包括对图像纹理、颜色、形状等视觉特征和语义特征的提取。(d)数据库：由特征库、图像库和知识库组成2l。图像库是用来存放数据化、规格化后的图像信息的；从图像库里提取的各内容特征则在特征库中：有利于查询优化和匹配的专门和通用知识在知识库中，为了使其中的知识能应用于各种不同的领域
31、，其中的知识表达可以更换。(e)查询接口：是一个用户界面，用户可以使用该接口进行图片的输入和浏览返回的检索结果。(f)检索引擎：是一个可靠的相似性测量函数集，用直方图相交距、余弦距、二次距等方法来度量函数之间的相似性。212图像的特征提取图像特征提取是基于内容的图像检索系统的关键环节，它的好坏直接影响到系统的运行效率和检索效果。图像的内容特征一般包括底层视觉特征(纹理、颜色和形状)和高层语义描述【s1。高层语义与人类的认知领域相联系，有比较强烈的主观色彩。与高层语义相比，底层特征不因人的意识而改变，属于图像固有的属性，具有较强的客观性。一般情况下，提取图像的特征是指图像的纹理特征、颜色特征和形
32、状特征。而提取纹理特征常用的方法有：灰度共生矩阵、Tamura纹理和小波变换等；提取颜色特征常用的方法有：颜色直方图、颜色矩、颜色聚合矢量、颜色相关图等【5l；提取形状特征有两类方法：区域特征和轮廓特征，比较有代表性的是边界方向直方图、小波轮廓描述子、傅里叶描述子、Hu不变矩等Ii0】。将深度神经网络技术应用到图像检索中，应用其非线性映射能力、自学习能力和自适应能力等，让神经网络像人脑那样自己根据图像的内容去学习其底层视觉特征。在本文中，检索用到的特征由两部分构成：一部分是预训练时网络从图像中学习到的底层特征；另一部分是fineturning时模型输出的类别信息，这些类别信息是从人工标注的数据
33、中学习得到的，比较符合人们对图像的主观描述。这样，在我们的方法中，检索用到的特征既包括底层特征，又包含高层语义特征。关于人工神经网络的知识将在下节详细介绍。8213相似性度量不同于基于文本的图像检索技术中的精确匹配，在基于内容的图像检索中，图像之间的相似性是通过相似度进行匹配的。这就是说，我们计算的是查询图像与候选图像间在视觉或语义特征上的相似度。常用的相似性度量方法有：余弦距、Minkowski距、二次距、直方图相交距。1余弦距余弦距，是用向量空间中两个向量的夹角余弦值作为衡量个体间差异大小的度量，公式如下，必Q,T)=l-cose=l一斋 2Minkowski距Minkowski距是衡量数
34、值点之间距离的一种常见方法。如果图像中的各特征向量分量无关且同等重要，那么两个向量问的距离可以用下式计算：地加阻【f】堋门“7D(Q，乃三II【f】一以【f】|l L80 j 公式22当r=1时，是曼哈顿距离；当，=2时，是欧几里得距，既欧式距离，本文用的该方法度量图片问的相似性。3二次距对于基于颜色直方图的图像检索，该方法较好，因为二次距考虑到了不同颜色之间的相似度。其计算公式如下：D(QD2砑=(一曩)2彳(一曩) 公式23其中，彳=k J，4表示中第f个元素纠与啊中第，个元素的相似程度。4直方图相交距直方图相交距是用来度量直方图间的距离，公式如下：D(Q，T)：1-min(hqi，h,i
35、)min(hqi，堋) 瑚 间i-O 公式24214评判标准我们知道，任何一项技术都有其评价标准【s】，好的评价标准会引导该技术朝着正确的方准确率=塑弓妻喾薹巢琴鬻擀 公式，。查全率：篙瓣勰瓣学 甜“。M：N-S100 公式26N一1。K1袁善屏 公越710囱筮直太芏酉土堂焦j幺塞 一理想情况下相关图像的平均排序：砭：娶 公式28未返回的相关图像率：肛瓮 黼9代表的是理想情况，所以墨越接近恐，就表明检索算法越好。上述评价方法可以在某种程度上评价系统的检索性能，却不一定能充分反映系统的性能，因为每个人对不同的事物有不同的观点和看法。事实上，即使不考虑主观因素，图像检索准确率也与图像数据库有很大关
36、系，就算同一算法根据同一评价方法在不同的数据库中的检索效果都可能会存在比较大的差异。22人工神经网络基础22。1神经网络概念的提出1943年，美国芝加哥大学心理学家WSMcCulloch和数理逻辑学家WAPitts最先建立神经网络和数学模型，即MP神经元模型，这是人工神经网络研究的开端。人工神经网络(Artificial Neural Networks，ANNs)研究的内容相当的广泛，包括生物原型、建立模型、算法、应用等。在这些理论模型基础上构建的神经网络(计算机模拟)，相比传统的方法，具有并行、容错、可以硬件实现和自我学习等优点。神经网络为解决一些复杂度较高的问题提供了一种相对有效的简单方法
37、。一般情况下，我们把神经网络划分为输入层、输出层和隐层：输入层的每个节点对应一个预测变量：输出层的节点对应目标变量(可有多个)：在输入层和输出层之间的是隐层，目前为止，隐层层数和节点数的选取仍然没有相关的理论支持，只是靠经验来选取。222神经元模型神经元是组成神经网络的最基本的信息单位，其模型如图22所示：神经元模型可由以下元素组成：1)一组连接：输入信号由此进入神经网络，每个连接上的值都不同，可以取正也可以取1l基王遗度堂丑艘图篮捡塞班窀负。正值表示激活，负值表示抑制。2)加法器：用来求输入信号对神经元突触的加权和。3)激活函数：该函数用来限制神经元输出振幅。输入锯母编溉输出菇突触投缀圈22
38、神经元模型Figure 22 Model ofNeuron Network常用的激活函数有：(1)线性函数(purelin)，其函数表达式如下：Y=厂=x 公式210(2)Sigmoid函数，也称为S形函数。该函数严格单调递增，其函数表达式如下：y2厂G)21 公式211其中，五是Sigraoid函数的增益，该函数可微，它的取值在0到1范围内连续变化。(3)硬限值函数(hardlim)，其函数表达式如下：y=G)=2二三： 公式22或者y=，=sgn(x)=佳譬 公式213在上式中，sgn(x)为符号函数。公式212也称为单极限函数式，公式213也称为双极限函数。激活函数的不同会导致神经网络功
39、能和结构上的差异，所以我们可以根据问题的需求和输入输出特征进行相应的选择。单个神经元的功能和结构比较简单，但是组合后的神经网络却比较复杂。即便如此，它跟人类的思维模式还是相差甚远，我们能做的就是使它尽可能的内蓉直太堂亟堂位j金塞接近人脑的思维模式。人工神经网络具有学习能力，可以因学习的内容和方式不同而具有不同的功能。223神经网络的学习和类别人工神经网络的学习也称为训练，通过输入参数的刺激来调整网络参数。一般有两种学习方法：无监督学习和有监督学习。有监督的学习，就是利用提供的训练集进行模仿或分类；无监督的学习，只规定学习的方式和规则，具体的学习内容会随训练库的不同而不同，系统可以根据学习来发现
40、特征。在人工神经网络的设计与使用过程中，从互联结构来看，包括前馈网络，反馈型局部互联网络，有反馈的前馈网络，全反馈型网络(如Hopfield网络和玻尔兹曼机)，以及自组织网络等等。23 BP网络模型反向传播算法(Back Propagation，BP)是Rumel hart等学者在1986年提出的，该算法系统的解决了多层神经网络连接权值的学习问题，并且给出了较完备的推导。BP算法克服了线性感知机不能解决的一些问题，成为目前应用和研究最广泛的模型之一。其网络结构如图23所示：诶差爱南锫措掰恳珉随传疆圈23三层BP神经网络结构图Figure 23 Three-layer BP neural net
41、work structure231即网络的基本原理多层前馈神经网络通常采用误差反向传播算法训练，因此人们也常把多层前馈网络直接称做BP网络【27】。它由输入、输出和隐层组成。其学习过程分为两部分：信息正向传播和误13墨士拯厦堂盈盥图像捡显班冠差反向传播【27】。，(1)正向传播：输入数据进入网络，经过隐层单元的处理传向输出层。在输出的时候，会把输出和我们希望的输出进行比较，如果不相同就会转入误差的反向传播过程。(2)反向传播：把误差信号按原来的通路反向传回，在此过程中对隐层神经元系数进行适当的修正，目的是使误差尽可能的小。其处理流程如图24所示：232 BP网络的优劣圈24 BP算法漉程图F igure 24 BP algorithm flowchart任何一个网络都不是万能的，所以尽管BP网
