1、分类号： 密级： U D C： 编号： 学 位 论 文基于支持向量机的刀具故障预测技术的研究指导教师姓名： 教 授 河北工业大学申请学位级别：硕 士 学科、专业名称： 测试计量技术及仪器论文提交日期： 年 月 论文答辩日期 : 年 月学位授予单位： 河北工业大学答辩委员会主席：评 阅 人：年 月Thesis Submitted toHebei University of TechnologyforThe Master Degree ofMeasuring and Testing Technologies and InstrumentsRESEARCH ON TOOL WEAR PREDICTI
2、VETECHNIQUE BASED ON SVM河北工业大学硕士学位论文基于支持向量机的刀具故障预测技术的研究摘 要刀具磨损监测技术在自动化生产中具有十分重要的意义。由于实验数据有限，这是一个典型的小样本，非线性系统的故障诊断问题。前人对于刀具磨损监测已经进行了一系列的研究，提出了基于工件加工表面图像的刀具磨损监测方法，取得了很好的效果。然而，该监测方法仍存在核心问题：在提取工件表面纹理特征的基础上，多采用人工神经网络对刀具磨损状态进行识别。但是由于实验数据有限，所以训练样本的数据量较小，导致网络不够稳定。目前该方法只是实现了对刀具磨损状态的分类，若要实现刀具磨损量的监测和预报，还需要大量的研
3、究。基于统计学习理论框架下的支持向量机，是一种支持有限样本尤其是小样本情况下的机器学习方法，具有较高的泛化能力和较大的优越性，并在实践中得到了广泛地应用。本文将支持向量回归机用于刀具故障预测技术，结合纹理特征分析方法、遗传算法建立了基于支持向量回归机的刀具故障预测模型，主要完成了以下几项工作：1. 刀具加工表面纹理特征的提取本文将灰度共生矩阵和 Gabor 小波变换方法将这两种方法结合起来，提取出工件加工表面纹理特征，建立了刀具故障预测模型的属性特征。2. 基于遗传算法的支持向量机参数优化的刀具故障预测模型在讨论核函数及其参数对预测结果的影响的基础上，根据工件表面纹理图像的特点，选择适用的特征
4、提取参数。同时结合刀具故障预测的特点，提出采用遗传算法对支持向量机模型参数进行调整，建立基于改进支持向量机模型的刀具故障预测模型。3. 基于改进支持向量机的刀具故障预测模型的应用建立实验系统，将该方法用于刀具故障预测，和传统的 BP 神经网络预测结果进行比较，所提出的基于支持向量机的刀具故障预测方法能保证快的收敛速度和高的计算精度，误差较小，且解收敛于全局最优，结果更接近于真实值。关键词：支持向量机，刀具磨损，纹理分析，遗传算法i基于支持向量机的刀具故障预测技术的研究RESEARCH ON TOOL WEAR PREDICTIVE TECHNIQUE BASED ON SUPPORT VECT
5、OR MACHINEABSTRACTThe cutting tool condition monitoring technology is very important to the automated production, which is a small sample but very complicated system on account of the limited experiment data in this thesis. The method based on the workpiece surface image has been proposed and many g
6、ood results have been made. However, there are still crucial problems with the method: On the basis of the feature extraction of workpiece surface images, neural networks have been widely used in the recognition of tool wear condition. However, they are not convergent duo to the small experiment dat
7、a. The method can only recognize the condition of the tool wear condition, and a great deal of research has to be made for the prediction of the tool wear.Support Vector Machine (SVM) is a new machine learning method based on Statistic Learning Theory. SVM has been proved to be more powerful and rob
8、ust than existing method in most respects and has shown many advantage of global optimization.This thesis concentrates in implementing SVM to tool wear prediction, which is based on qualitative and quantitative analysis to the relation between characteristics of processed surface image and the tool
9、wear. This thesis consists of four works:1. Feature extraction of the workpiece surface imageGabor wavelet and Gray Level Co-Occurrence Matrix are applied to extract textural feature of the workpiece surface image, which is the feature selection of the tool wear predictive model.2. Tool wear predict
10、ive model based on genetic algorithmThis dissertation deeply analyzes the sensitivity of SVM models based on Guass kernel function, and utilized the genetic algorithm to optimally tune parameters for SVM models. This work results in a much higher forecasting performance.3. The application of the too
11、l wear predictive model based on GA-SVMSimulation results on practical tool wear predictive system show that the SVM algorithm results in both faster convergence speed and more accurate calculation compared with the conventional BP neural network regression.KEY WORDS: support vector machine, cutting
12、 tool wear, texture analysis, genetic algorithmii河北工业大学硕士学位论文目 录第一章 绪论 11-1 本文的研究背景和意义 .11-2 刀具状态监测技术概况 .11-2-1 传统刀具状态监测系统 .11-2-2 刀具状态监测技术的分类 .21-2-3 主要刀具状态监测技术及系统的特点 .21-3 基于工件表面图像的刀具状态监测技术概况 .31-3-1 基于工件表面纹理图像的刀具状态监测技术的提出 .31-3-2 系统流程 .41-4 支持向量机的发展及应用 .51-5 论文的研究思路和研究方法 .61-5-1 研究目的 .61-5-2 理论和方
13、法的研究 .61-5-3 实验仿真 .61-6 论文的结构 .6第二章 特征提取 82-1 多通道 Gabor 滤波 .82-1-1 原理 .82-1-2 Gabor 滤波的参数与性质 92-1-3 Gabor 滤波的实现 92-2 灰度共生矩阵 112-2-1 灰度共生矩阵的原理 112-2-2 灰度共生矩阵的特点 122-2-3 灰度共生矩阵的特征参数 132-3 本章小结 14第三章 统计学习理论和支持向量机 .153-1 机器学习的基本问题 153-1-1 问题的表示 153-1-2 回归问题的描述 163-1-3 回归问题的难点 163-2 统计学习理论 183-2-1 经验风险最小
14、化归纳原则 183-2-2 VC 维与一致性概念 193-2-3 ERM 的一致收敛问题 .193-2-4 结构风险最小化 203-3 支持向量机回归的基本思想 213-3-1 支持向量分类机 21iii基于支持向量机的刀具故障预测技术的研究3-3-2 不敏感损失函数 243-3-3 支持向量回归机 253-3-4 核函数 263-4 支持向量回归机的研究现状 293-4-1 支持向量回归机的分类 293-4-2 支持向量机参数的选择问题 293-4-3 支持向量回归机应用 303-5 本章小结 31第四章 基于改进支持向量机的刀具故障预测模型的研究 .324-1 现有刀具故障预测模型存在的问
15、题 324-1-1 基于模型的方法 324-1-2 人工神经网络 324-2 工件表面纹理特征提取参数的选择 334-2-1 Gabor参数选取 .334-2-2 灰度共生矩阵参数选取 344-3 基于改进 SVM的刀具故障预测模型 . 364-3-1 基于改进 SVM的刀具故障预测算法的提出 . 364-3-2 参数对 SVM预测能力的影响 . 364-3-3 遗传算法调整 SVM模型参数 . 374-3-4 基于改进 SVM的刀具故障预测步骤 . 384-4 本章小结 39第五章 基于改进支持向量机的刀具故障预测模型的应用 .405-1 样本的获取 405-2 实验方法与实验结果 425-
16、2-1 实验方法 425-2-2 实验结果 425-3 模型评估 435-3-1 BP 神经网络预测方法 435-3-2 基于试算法的支持向量回归预测方法 445-3-3 性能比较 445-4 本章小结 45第六章 结论与展望 .466-1 总结 466-2 下一步工作的展望 46参考文献 .47致谢 .50攻读学位期间所取得的相关科研成果 .51iv河北工业大学硕士学位论文第一章 绪论1-1 本文的研究背景和意义制造业是国家经济发展的支柱行业，制造业的发展离不开先进制造技术的支持。进入 21 世纪以来，随着计算机、信息等高新技术的不断发展，先进制造技术也朝着精密化、柔性化、集成化、智能化的方
17、向发展。刀具状态在线监控技术作为先进制造技术的重要组成部分，是在现代传感器技术、信号处理技术、计算机技术和制造技术基础上发展起来的新兴技术，它在推动切削加工过程自动化和无人化方向发展中发挥极其重要的作用。在切削加工过程中，刀具不可避免地会发生磨损和破损等现象。而刀具状态的变化直接会导致切削力增大、切削温度升高、工件表面粗糙度上升、工件尺寸超差、切屑颜色变化和切削振动的产生 1。在传统切削加工过程中，刀具状态的识别是通过加工人员辨别切削声音、切屑颜色、切削时间等来判断，或根据在加工工序之间拆卸刀具后实测其破损程度和磨损量来判断。由于这些方法与加工人员的工作经验密切相关，所以不可避免的存在两个问题
18、：(1)如果刀具磨损量低于磨钝标准但已经被卸下，则没有充分利用刀具的实际寿命而带来浪费，增加加工成本；(2)如果刀具磨损量高于磨钝标准，即刀具已经发生磨损或破损，则会影响工件的加工表面质量和尺寸精度，甚至会损坏机床。在制造技术逐步向自动化加工、无人化加工及自适应加工过程转变的今天，不仅要求切削加工过程中能实时获取刀具的磨损信息，还要根据刀具的磨损或破损程度相应的改变切削参数，以便优化加工质量和生产效率。然而上述传统人工判别刀具状态的方法明显不能满足要求，已经成为制约先进制造技术发展的严重瓶颈。解决这些问题的关键在于实现对刀具磨损状态的在线监控，这也是近年来刀具状态监控技术再次获得广泛关注及研究
19、的原因。研究表明，数控加工系统配置刀具状态监控装置后可减少故障停机时间 75% ，提高效率10% 60% ，提高机床利用率 50% 以上。刀具状态监控技术不仅可以有效提高了刀具本身的利用率，延长刀具寿命，还可以避免由刀具失效所导致的工件报废和机床故障，能节约制造成本达 30% 以上。正如美国学者 B.M.Kramer 在 CIRP 35 届年会上所说：在提高计算机集成制造系统生产率方面，没有一项技术比准确估计刀具磨损状态更重要 2。1-2 刀具状态监测技术概况1-2-1 传统刀具状态监测系统国外于 70 年代末就已经开发和研制出了用于刀具状态监测的传感器。传感器在刀具状态监测中的作用是，通过直
20、接或间接的方式测量出能够反映刀具磨损、破损等程度的参量，如切削力、主轴电流、扭矩、振动、声音和切削温度等，然后将这些参量转化成电信号输入计算机进行处理。70 年代末到 80 年代初，日本、德国生产的 NC 机床在配制适应性系统的同时，也设置了带传感器的刀具检测及监控系统，可实时的监测刀具的损伤情况，及时发出信息，防止因刀具失效而引起的工件报废和机床故障。80 年代中期以来，刀具状态监测所用的传感器在集成化、数字化以及智能化方面取得了新的进展，其准确1基于支持向量机的刀具故障预测技术的研究性、实用性和可靠性得到进一步提高，刀具传感器的品种、规格、用途、测试方法有新的发展。90 年代以来，TCMS
21、 技术在高性能微机等新技术的推动下，获得了进一步发展，出现了以计算机视觉技术为理论基础的刀具状态监测技术，在机械制造方面开拓了新的应用领域。1-2-2 刀具状态监测技术的分类刀具状态监测系统（TCMS）从监测策略上可分为离线监测和在线监测，离线监测就是在切削之前或切削间歇时对刀具状态进行监测，并预测其寿命是否能够完成当前切削；在线监测也称为实时监测，就是在切削的过程中实时地对刀具状态进行监测，并依据监测的结果做出相应的处理。从测量手段上分，传统上将刀具状态监测方法分为直接法和间接法。直接法是通过一定的测量手段来确定刀具材料在质量上的减少或形状上的改变，并通过一定的数学模型来确定刀具磨损或破损的
22、状态，由于直接法需要直接检测刀刃的形状、位置等参量，一般只能离线监测。常用的方法有光学扫描法、接触电阻测量法和计算机视觉法。间接法则是测量切削过程中与刀具磨损或破损有较强内在联系的某一种或几种参量，或测量某种物理现象，根据其变化并通过一定的标定关系来监测刀具磨损或破损的状态。许多测量的参数能够用于识别刀具磨损或破损。例如：切削力的突然增加或消失；切削温度的突然升高或降低；主轴功率（或扭矩）和进给驱动力的增加或降低；切削时刀具发出的异常声音；工件尺寸的突然变化；机床的突然振动；工件与刀具之间电阻值的变化等，都可以用于刀具状态的监测。间接法也可以使用以上多种监测参量的综合，但考虑到信号获取方式、灵
23、敏度、抗干扰性以及使用条件的限制，在实际使用中较常见的是基于切削力或力矩、切削功率、切削的声发射和工件表面粗糙度的监测方法。1-2-3 主要刀具状态监测技术及系统的特点因为刀具的磨损监测是无人化加工、柔性制造系统、计算机集成制造系统及其他金属切削自动化中的关键技术之一，所以引起国内外众多学者的关注，提出了许多监测刀具磨损和破损的方法，有探针法、光学法、放射性处理法、气动测量法、电阻法、图像法、电机功率电流法、切削力（扭矩）法、声发射法、振动法、切削温度法、表面粗糙度法及工件尺寸法等等。在这些方法中，有些已经在数控机床上得到应用，有些还需要进一步研究完善才能用于实际当中，根据国内外的研究结果和实
24、际使用情况分析，以下几种方法有比较好的发展前景 3-7。1 切削力监测法切削力一直是表征切削过程的最重要特征，切削力的变化是切削过程中与刀具磨损、破损状态最为密切相关的一种物理现象，采用切削力作为工况监测信号，具有拾取容易、反应迅速、灵敏度高等优点，是在线实时监控中研究较多、被认为很有希望取得突破的一种方法，已广泛应用于车、铣、钻等不同加工过程状态监控中。利用切削力监控刀具状态虽然应用较早，方法比较成熟，但受到一定限制，主要原因是切削力信号一般使用安装于工作台上的压电传感器检测，这种传感器对加工工件的尺寸有限制，价格较贵，而且或多或少地需要改动机床部件结构，不易被用户接受，因而限制了切削力信号
25、检测方法的推广使用。而且，采用切削力信号检测需要解决的另一个难题是：切削工况的改变也会引起切削力的变化，例如在刀具切入工件时，切削力由小变大，再趋于稳定。如何区分工况改变引起的切削力变化和刀具磨损引起的切削力的变化，是采取切削力信号检测的一个需要解决的难题。2 主电机功率（电流）监测法此方法是基于刀具磨损或破损时，由于切削力的增大，造成切削功率的增加，从而使机床驱动主运动的电机负载变大，一般通过测量负荷功率或电流和电压间的相位差及电流波形变化等来达到工况监测2河北工业大学硕士学位论文目的。对直流电机而言，监测功率与监测电流性质相似，对交流电机而言，监测功率与监测其他参数（电流、转差或相位）相比
26、具有灵敏度高、受电压和频率波动影响较小等优点。电机负载与刀具磨损有良好的相关性，采用功率传感器具有测量信号简便，成本低，传感器易于安装等优点，是目前研究和应用较多的一种监测方法，已大量用于车、铣、钻等适应性控制机床的过载保护中。这种方法的主要缺点是，在应用于刀具磨损、破损的实时监测时，灵敏度较低，具有延迟效应，环境适应能力差，设置监控阈值困难。在小尺寸刀具或切削用量比较小时，监控效果差，一般仅适合于粗加工重切削场合机床的过载保护。3 声发射监测技术声发射刀具监测技术是通过检测切削加工中所产生的声发射信号，在金属加工中分子晶格发生错位、裂纹扩展及塑性变形时释放出的一种超高频应力波信号，其频率范围
27、在 100KHz 以上，从而可以了解刀具材料内部的变化，以实现刀具状态的监控。声发射与塑性变形有关，有研究认为声发射源有：剪切区的塑性变形、切削齿与切屑间的刮擦、刀具齿与工件的刮擦、切削断裂和缠绕等。刀具一旦发生异常，声发射信号的特征参量将有明显变化。声发射信号具有灵敏度高、响应时间快、使用和安装方便且不干涉切削加工过程等优点。声发射技术不利之处是特征参数易受工件和刀具材料的影响，切削过程中工件材料的变形与断裂、切削之间的摩擦及切削的断裂都伴随声发射信号的产生，所以在声发射系统中，如何有效地剔除干扰信号，提取有用信号是一个难点，同时监测系统要求有高频信号处理仪器及与之相应的计算机，成本相对较高
28、，因此应用范围受到限制。目前用该方法监测刀具磨损状态还处于研究之中。4 多传感器信息融合由于传统的单一传感器监测技术只能提供局部信号源信息，所获得的信息量有限，抗干扰能力低，限制了监测系统可靠性的提高，刀具状态监测的信息采集正向多传感器方向发展。采用多传感器监测技术，综合切削力、声发射和主电机功率对切削过程中的刀具状态进行在线监测，能提供不同的信息源，较完善、精确地反应切削过程特征。它具有信息覆盖范围广、抗干扰能力强等特点。这些传感器的安装不影响机床的加工性能，具有良好的工业应用前景。多传感器信息融合与决策方法较多地利用了人工神经网络技术，近年来，基于人工神经网络技术刀具状态监测技术获得了迅速
29、发展，如有些研究采用自适用共振网络，RCE（Restricted Coulomb Energy）网络等，并且取得了一些成效。另外，也有采用多传感器数据融合技术基于专家知识的故障树推理技术对车削中心刀具破损状态进行监测，检测准确率很高。但是该方法使用传感器较多，成本较高，且多信息融合方法复杂，判别准则难于确定，使用受到限制。通过对上述几种方法的分析可以看出来，目前刀具状态监测技术主要存在以下几个问题： 传感器的安装以及抗干扰能力是各种方法普遍存在的问题，使用受到限制； 监测判别准则复杂不直观，应用面窄； 监测方法主要集中在刀具的破损监测，对于刀具逐渐磨损的监测比较困难，研究方法也比较少。所以迫切
30、需要寻找一种判别准则直观、传感器安装方便，适应工况变化能力更强的刀具磨损状态监测方法。1-3 基于工件表面图像的刀具状态监测技术概况1-3-1 基于工件表面纹理图像的刀具状态监测技术的提出近年来，图像技术受到人们广泛的关注，在人类接收的信息中有 80% 来自视觉即图像(Image) 信息，这是人类最有效和最重要的信息获取、交流方式。随着计算机的普及,人们越来越多地利用计算机帮助3基于支持向量机的刀具故障预测技术的研究人类获取与处理视觉(图像)信息，基于计算机视觉的刀具状态监测（Computer-Vision Based Tool Condition Monitoring，简称 CVTCM 法）
31、也开始逐步进入机械自动化的领域。相对于上述各种刀具状态监测方法来说，本文所研究的基于工件表面纹理的刀具状态监测系统从本质上来说是机器视觉监测系统的一个分支。机器视觉监测系统在刀具状态监测中的应用是随着计算机技术的发展而不断得到应用和完善的。它能在一定程度上克服现有刀具状态监测方法，例如基于声发射、切削力、振动、温度、电机电流功率等监测方法所存在的缺陷，因此逐步发展成为刀具状态监测领域的一类重要监测手段 8。现有的 CVTCM 方法，主要有三种类型：一是检测面在刀具磨损表面的基于刀具磨损表面图像的直接监测方法；二是检测面位于被加工工件表面的基于工件表面纹理图像的间接监测方法；三是检测面在刀具刃口
32、处切屑上的基于切屑图像的准直接监测方法。相对于其他的监控方法，基于工件表面纹理图像的刀具状态监控方法所需的设备比较少，安装方便；非接触式监控，所用时间少等优点，因此将逐步发展成为刀具状态监测领域的一类重要监测手段。1-3-2 系统流程基于工件加工表面纹理图像的刀具故障预测流程可分为三个阶段：首先是图像预处理阶段，第二是特征提取阶段，第三是回归预测阶段。基于工件加工表面纹理图像的刀具故障预测主要分为两大步骤：第一个步骤是收集大量已知类别的工件加工表面样本（训练样本），扫描进入计算机后，进行图像预处理、纹理特征提取、训练生成回归机，并将这些纹理特征存入数据库中。第二个步骤是将未知类别样本（待测样本
33、）扫描进入计算机，进行图像预处理、纹理特征提取、回归预测。通过对刀具故障预测流程的分析，可以认为刀具故障预测技术是由三个最核心的功能模块组成：图像预处理、纹理特征提取和回归机设计。1 图像预处理刀具故障预测的第一步是数据图像的采集和预处理。预处理的目的是抑制无用信息增强有用信息，得到能够进行纹理特征提取的图像。目前，图像预处理技术已经有了比较成熟的方法可以采用，主要是对图像进行图像增强、噪声滤除、图像锐化、对比度增强和边缘检测等预处理。根据应用场合的不同，工件加工表面图像预处理的方法应有所侧重，有待改进或提出新的算法。2 纹理特征提取纹理是由纹理基元按某种确定的规律或统计规律排列而形成的局部结
34、构化特征。由像素组成的具有一定形状和大小的集合，如条状、丝状、圆斑、块状等，称为纹理基元。纹理特征的提取指的是通过一定的图像处理技术检测出纹理基元，建立模型，从而获得纹理定量或定性描述的过程。目前已有许多纹理提取方法，基本上可归纳为统计法、结构法以及频谱法。统计法主要包括灰度直方图、共生矩阵法等。灰度直方图不能很好地反映像素之间的灰度级空间相关的规律，以灰度级的空间相关矩阵为基础的共生矩阵法显然优于前者。而灰度-梯度共生矩阵法把图像的梯度信息加进灰度共生矩阵，在应用中会更加有效。但共生矩阵法计算量大，缺少与人视觉的相似性。结构法只适用于纹理基元较大而有规则的物体，对自然纹理很难取得满意的效果。
35、频谱法主要包括傅里叶傅立叶变换方法、Gabor 变换方法和小波变换方法等。因为粗纹理空间能量集中在低频部分，而细纹理空间能量集中在高频部分。因此功率谱和能量可作为描述纹理的一种测度。文献9基于马尔可夫随机场理论，建立了工件表面纹理图像的马尔可夫随机场纹理模型，并对工件表面纹理图像的特点进行了分析。在实验数据的基础上，对工件表面纹理图像的特征参数进行提取，提出采用相对距离作为刀具磨损程度的评价指标。指出三阶马尔可夫随机场能比较充分地反映工件表面纹理图像的特征。实验结果表明，基于马尔可夫随机场的工件表面纹理分析方法能够较好地适用于刀具4河北工业大学硕士学位论文状态监测。文献10提出了基于小波变换的
36、过渡区提取与分割算法。复杂背景下目标的准确分割是自动目标识别中的关键技术之一。基于过渡区提取的图像分割技术应用于自然纹理场景的图像分割，克服了以往过渡区直接提取方法的不足。实验结果表明，该方法用于自然纹理场景下的目标分割具有很好的分割效果。文献11提出了用神经网络提取磨损刀具二值图像边缘的方法。用细胞神经网络（CNN）提取磨损刀具二值图像边缘通过设计细胞神经网络参数，运用细胞神经网络对二值图像边缘进行提取，通过仿真证明该方法是有效的，由于细胞神经网络易于用 VLSI 实现并且并行处理速度快，能够解决图像预处理中的瓶颈问题，因此，该方法在刀具的磨损情况的计算机视觉检测图像处理方面是很有用的。文献
37、12、13利用树型小波变换对图像进行纹理分割，将各子图像的能量作为特征矢量对神经网络进行训练，对纹理进行分割，结果显示该方法较其它方法分割效果好。文献14利用分形技术对工件表面纹理及概貌进行分形分析，能够很好地描述纹理的复杂程度。文献15利用小波包自回归谱（WP-AR）分析方法，将其应用于刀具的状态监测中，对刀具状态信号进行深层次分析，提取有效的特征量，并准确的识别了刀具的磨损状态。文献16用快速 Hough 变换提取工件图像边缘的几何特征，对不同机床类型及不同切削参数下的工件表面纹理进行区分和分类。实践证明该方法的精度比传统 Hough 变换的精度要高，所以能够更好地用于柔性加工系统以及刀具
38、状态在线监测中。3 回归预测机器学习理论创立的统计推断、人工神经网络和支持向量机都可用于解决刀具故障预测问题，它们各具优缺点： 统计推断（参数估计）：模型、参数计算相对简单，但是，需要先验知识需要知道模型结构；理论前提是训练样本趋近于无穷大，只用当抽取的样本趋于无穷大时，训练结果才趋于真实模型，实践中很难满足这一前提；超大样本时，几乎无法计算，产生的新样本将影响训练结果。 人工神经网络：非线性性能良好，不需要了解黑箱模型的先验知识，具有良好的解决黑箱问题的能力。但是，这些非线性方法缺乏统一的数学理论基础；网络结构的选择、权重处置的设定仍然需要借助经验；得到的模型通常是局部最优，而非全局最优；存
39、在维数灾难和过拟合现象。 支持向量机：非线性性能良好，不需要了解黑箱模型的先验知识，具有良好的解决黑箱问题的能力；以严格证明的统计学习理论为基础，能很好解决有限样本的高维模型的构造问题，具有良好的泛化性。1-4 支持向量机的发展及应用支持向量机（Support Vector Machine，SVM） 17是 ATi if( x) (3.9)0， 其它显然这个决策函数是很不合理的。总之，对假设集合 F 的选择体现了回归问题的一个实质上的困难。综合以上讨论，给出回归问题的数学提法：设给定训练集 T ，假设训练集是按 X Y 上的某个概率分布 P( x , y) 选取的独立分布的样本点，又设定损失函
40、数 c x , y , f x 。试寻求一个函数 f x ，使得期望风险R f c x , y , f x dF x , y (3.10)达到极小。注意，在这里概率分布 F x , y 是未知的，已知的仅仅是训练集 T 。3-2 统计学习理论早期的统计学习理论是从 60 年代发展起来的，直到 90 年代，它一直作为一种针对有限样本的函数预测问题的纯理论分析工具 24。虽然，早期的统计学习理论提出了 VC 维理论，为衡量预测模型的复杂度，提出了有效的理论框架。但是，它仍然是建立在经验风险最小化原则基础上，即：以训练的平均误差为最小的模型为期望的最终模型。所以，早期统计学习理论一直停留在抽象的理论
41、和概念的探索之中，直到 90 年代初期，VC 维理论还没有得到很好的应用 25。90 年代中期，V.Vapnik 和他的 AT&T Bell 实室小组提出了 SVM 算法，进一步丰富和发展了统计学习理论，使它不仅是一种理论分析工具，还是一种能够构造具有多维预测功能的预测学习算法的工具，使抽象的学习理论能够转化为通用的实际预测算法。结构风险最小化归纳原理是统计学习理论提出的一种应用于小样本学习问题的归纳原理，它包括了学习过程的一致性、边界的理论和结构风险最小化原理等部分。它所提出的结构风险最小化归纳学习原理克服了经验风险最小化的缺点，在实际应用中获得了更好的应用效果。3-2-1 经验风险最小化归
42、纳原则由于 x, y联合分布密度是未知的，因此期望风险往往是难以计算的。为此需要建立一个归纳原则，利用这一原则可以从有限的样本数据中学习，由 V.Vapnik 建立的统计学习理论提出了一种所谓的经验风险最小化原则（Empirical Risk Minimization, ERM），这一原则可以利用训练数据集构造一个期望风险的概率逼近，这一逼近被称作经验风险。定义 2.1 （经验风险）即根据给定的训练集 T ，其中 x i X R n , y Y 1,1 ,i 1,2, K , l ，并且给定损失函数 c 。所谓 f (x) 对于 L 的经验风险是指l1Remp ( ) c yi , f xi
43、, (3.11)li1定义 2.2 （经验风险最小化归纳原则）设任意给定训练集 T ，并适当选定由假设构成的集合18河北工业大学硕士学位论文f F : X X R n Y 1,1 。经验风险最小化归纳原则就是 F 中选择使经验风险 R emp 达到最小的假设 f 。3-2-2 VC 维与一致性概念为了研究学习过程一致收敛的速度和推广性，统计学习理论定义了一系列有关函数学习性能的指标，其中最重要的是 VC 维。模式识别方法中 VC 维的直观定义是：对一个指示函数集，如果存在 h 个样本能够被函数集中的函数按所有可能的 2 h 种形式分开，则称函数集能够把 h 个样本打散：函数集的 VC维就是它能
44、打散的最大样本数目 h 。若对任意数目的样本都有函数能将它们打散，则函数集的 VC 是无穷大。有界实函数的 VC 未可以通过一定的阈值将它转化成指示函数来定义。VC 维反映了函数集的学习能力，VC 维越大说明学习机器越复杂（容量越大）。遗憾的是，目前尚没有通用的关于任意函数集 VC 维计算的理论，只对一些特殊的函数集知道其 VC 维。比如在 n 维实数空间中线性分类器和线性实函数的 VC 维是 n 1。对于一些比较复杂的学习机器（如神经网络），其VC 维除了与函数集（神经网结构）有关外，还受学习算法等的影响，其确定更加困难。对于给定的学习函数集，如何（用理论或实验的方法）计算其 VC 维是当前
45、统计学习理论中有待研究的一个问题 26。定义 2.3 （一致性概念）设 x 1 , y1 , L , xl , yl 是按照概率分布 P x , y 得到的独立同分布的样本点集合， f l l 1, 2, K 是 F 中使经验风险 R emp f 1 l c xi , yi , f xi 最小化的假设。若对任意的 0 ，l i1有lim P R f l inf R f 0l f F lim P R f l inf R f 0l emp f F (3.12)(3.13)F P x , y R f Remp f则称经验风险最小化归纳原则对假设集 和概率分布 是一致的，即 l 和 l 都依概率收敛于
46、 inf R f 。f F3-2-3 ERM 的一致收敛问题Vapnik 给出了学习过程一致性的充分必要条件：lim P sup R f Remp f 0, 0 (3.14)lf F上述表明，对 0 ，当样本集中的点数 l 趋向于 时，上述事件出现的概率趋于 0。即当训练样本趋向于无穷大时，ERM 原则能够保证最小化经验风险的目标函数使测试错误收敛到一个可接受的值，即训练错误和测试错误应该渐进地趋于一致。已经证明，如果不对函数集做一定的限制，则不能保证 ERM 原则的一致性。VC 维理论基本思想是在函数集中最坏的情况下保证 ERM 原则的一致性。即对任意一19基于支持向量机的刀具故障预测技术的
47、研究个固定的函数，随着样本数趋于无穷，经验风险收敛于实际风险，但这并不表明最小化经验风险的函数f 能够保证实际风险也达到最小值（一致），为了能够做到这一点，要求经验风险的收敛是对所有函数集能够实现的函数是一致的。3-2-4 结构风险最小化统计学习理论系统地研究了对于各种类型的函数集，经验风险和实际风险之间的关系，即推广性的界。对于两类分类问题，结论是：对指示函数集中的所有函数（包括使经验风险最小的函数），经验风险 R emp f 和实际风险 R f 之间满足如下定理 27：定理 2.1 设 h 为 F 的 VC 维，若 l h ，h(ln 2hl 1) ln 4 14 ，则对于任意的概率分布
48、P ( x , y) 和任意的 (0,1 ， F 中的任意假设 f 都可使得下列不等式以 1 的概率成立：8 2lR f R f h ln 1empl h8 2l 4其中， h ln 1 ln 通常称为置信区间。l h 4ln (3.15)由(3.15) 式知 经验风险 依 赖 于 f 的选择，而置信区间则是 f 的 VC 维 h 的增函数。粗略地说，当集合 F 比较大时，可以选到适当的 f ，使得 R emp f 比较小；而此时由于 F 的 VC 维比较大，也会使置信区间比较大。反之，当缩小集合 F 时， F 的 VC 维会降低，置信区间变小，而 R emp f 有可能增大，所以两者之间有互相矛盾的倾向。为了能够同时控制经验风险和置信区间，给出了结构风险最小化原则，这一原则旨在对经验风险和置信范围这两项最小化实际风险。VC 维的大小取决于函数集，但是经验风险和实际风险取决于从函数集中选择的一个特定函数，如果能够从函数集的子集中选择这一特定函数，则可以大大地简化问题，结构风险最小化原则在函数集 S上定义一个结构，这一结构由一系列的函数子集 S i 组成，它们满足： S1 S 2 S i L 。定义 2.4 （结构风险最小化原则）结构风险最小化原则是寻找一个假设 f ，使得式(3.15) 的右端所示的结构风险达到
