1、西安电子科技大学硕士学位论文基于数据挖掘的网络入侵检测系统研究姓名：刘鹏飞申请学位级别：硕士专业：软件工程指导教师：郑有才;刘峰20090301摘要摘要随着网络应用的迅速发展，网络安全问题也显得越来越突出。传统的网络入侵检测技术的局限性越来越明显，已经不能适应层出不穷的网络新攻击和数据量日益增大的趋势。本文从数据处理的角度，用数据挖掘的方法根据海量审计数据建立描述入侵行为的模型。本文首先研究了当前入侵检测和数据挖掘技术，通过研究和分析传统入侵检测系统的缺陷，将数据挖掘技术与入侵检测技术结合起来，提出了一个基于数据挖掘技术的入侵检测系统模型。详细描述了模型中各个模块的功能和作用，构建了规则库并且
2、设计和实现了其中的聚类分析器和异常分析器。该模型主要依靠规则库检测已知入侵行为，依靠异常分析器和聚类分析器能够自动、快速的从海量数据中发现未知入侵形式并通过规则生成器产生入侵特征存入规则库。测试结果证明， 该网络入侵检测系统能够有效的建立网络正常行为模型，并且显著提高了入侵检测的检测率。关键词：入侵检测数据挖掘聚类分析西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科
3、技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担切的法律责任。本人签名：日期堡耻堕西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许 采用影印、缩印或其它复制手段保存论文。同时本人保证， 毕业后结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。（保密的论文在解
4、密后遵守此规定）本学位论文属于保密，在一年解密后适用本授权书。本人签名：型！煎查刷程名毕日期堡馨翌：竺至第一章绪论第一章绪论课题背景当人类社会进入世纪，以信息革命 为标志的第二次 现代化浪潮扑面而来，信息化正在成为当今世界发展的最新潮流。随着计算机和通信技术的发展，网络已成为全球信息基础设施的主要组成部分，成为一个国家最为关键的政治、经济、军事资源，成为国家 综合实力的象征。随着计算机的网络化和全球化，人们同常生活中的许多活动将逐步转移到网络上来。主要原因是由于网络交易的实时性、方便性、快捷性及低成本性。互联网最大的优点是消除了地域上的障碍，使得地球上的每一个人均可方便地与另一端的用户通讯。企
5、业用户可以通过网络进行信息发布、广告、营销、娱乐和客 户支持等，同时可以与商业伙伴直接进行合同签订和商品交易，用户通过网络可以获得各种信息资源和服务，如购物、娱乐、求职、教育、医 疗、投资等。信息技术的使用给人们生活、工作的方方面面带来了数不尽的便捷和好处。然而，计算机信息技 术也和其它科学技术一样是一把双刃剑。当大部分人们使用信息技术提高工作效率，为社会创造更多财富的同时，另外一些人利用信息技术却做着相反的事情。他们非法侵入他人的计算机系统窃取机密信息、篡改和破坏数据，给社会造成 难以估量的巨大损失。据 统计，全球约秒种就有一次计算机入侵事件发生，上的网 络防火墙约被突破，约以上的网络信息主
6、管人员报告因机密信息泄露而受到了损失。在年一次黑客大规模的攻击行动中，雅虎网站的网络停止运行， 时，这令它损 失了几百万美金的交易。而据 统计在这整个行动中美国经济共损失了十多亿美金。由于业界人心惶惶，亚马逊（），雅虎（！）、的股价均告下挫，以科技股为主的纳斯达克（）打破过去连续三天创下新高的升势，下挫了六十三点，道 琼斯工业平均指数周三收市时也跌了二百五十八点。遇袭的网站包括雅虎、亚马逊和、网上拍卖行以及新闻网站，估计这些袭击把交通拖慢了百分二十。目前，网络应 用中存在许多不安全因素主要表现为信息泄漏、信息篡改、非法使用网络资源、非法信息渗透等。普遍存在计算机网络安全隐患多，防“黑客”能力弱
7、。政府、企业 网络遭“攻击”的事件时有发生，造成了巨大的经济损失。因此，网络信息的安全与防范 显得越来越重要。基丁数据挖插旃的网络 入侵检测系统研究传统的安全保护类技术，采用认证、授 权、访问控制和加密等机制，不能有效阻止利用计算机软硬件系统的缺陷闯入未授权计算机系统的行为，对授权用户滥用计算机及其资源的情况也无能为力。而且静态防御中过于严格的安全策略是以牺牲用户的方便性为代价，与目前网络的开放、共享发展不相容，很难做到一个好的利弊权衡同 时对于安全系数非常高的加密技术、防火墙技术，很难防止密码失窃和内部人员攻击。入侵检测是种动态的安全防护手段，它能主动寻找入侵信号，给网络系统提供对外部攻击、
8、内部攻击和误操作的安全保护。入侵检测分为数据采集、数据分析和响应三个部分。 为了寻找入侵行为和痕迹，数据采集从网络系统的多个点进行，采集内容包括系统日志、网 络数据包、重要文件以及用户活动的状态与行为等。数据分析则通过模式匹配、异常检测和完整性检测三种技术手段对采集的数据进行分析。入侵检测系统一旦发现入侵行为，立即会进入响应过程，包括日志、告警和安全控制等。这是防火墙、身份识别和认证、加密解密等其他 许多安全策略所不能做到的。因此，引入可以弥补其他安全策略的不足，使得整个安全防护体系更加完善。然而，虽然得到了比较大的发展，但总的情况并不 让人满意。最大的问题是现在的人侵检测产品检测准确率比较低
9、，误报和漏报的情况比较多，而且在大数据量时系统的响应时间不理想。要从大量的审计数据和网络数据包中发现有意义的信息将变得非常困难，出现了数据丰富、信息贫乏的现象。随着网络范围的不断扩大，技术的不断进步，网络攻击也同益增多，而且危害程度也越来越大。入侵检测需要采集处理的数据很多，新的攻击手段更加狡诈。因此，传统的利用模式匹配和异常 检测技术来分析某个检测引擎所采集的数据，以发现一些 简单的入侵行为的入侵检测存在严重不足。模式匹配检测是基于己知的攻击或系统的明显漏洞识别入侵，这种方法的缺点在于所有已知的攻击必须手工编码于系统，这样， 对于一些在系统中没有记录的新的攻击无法检测。异常检测技术利用统计学
10、的方法建立常规状态库，对不满足常规条件的行为判断为异常。这种方法缺点在于，对于不同的系统有不同的计算环境特征值：一些入侵是一系列时间序列的事件，而单个事件不会引起异常。由此，产生了在 传统入侵检测技术基础上利用数据挖掘技术，通过分析多个检测引擎提交的审计数据来发现更为复杂的入侵行为。数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。数据挖掘技术是一个新兴的数据分析技术，在商业、生物、决策等方面有很多的研究，并且起到了很大的作用。数据挖掘的兴起得益于算法的发展，这些算法的领域包括：统计、模式识别、机器学 习和数据库等。第一章绪论国内外发展动态入侵检测从最初实验室里的研究课
11、题到目前的商业产品，已经具有多年的发展历史，它分 为两个阶段：安全审计 （）：审计定义为系统中发生事件的记录和分析过程。与系统日志（曲相比，审计更关注安全问题。其功能包括：记录系统被访问的过程以及系统保护机制的运行：发现试图绕过保护机制的行为：及时发现用户身份的变化：报告并阻碍绕过保护机制的行为并记录相关过程，为灾难恢复提供信息。是公认为证实自动化审计的需要、支持安全目的的第一人。于年在一个美国空军研究计划中公开的参考监视器，认为是入侵保护的基础工作。他建议计算机审计系统在攻击发生的时候应该提供给计算机安全职员使用的信息：同时他认为使用某些统计来分析用户行为，可以确定系统使用的异常模式，可以找
12、出隐藏着的黑客。 这个己被验证了的建议是另一个入侵检测的里程碑，即方案。入侵检测 系统（）的 诞生：年，在报告“计算机安全威胁的监察（）”中提出，必 须有系统审计机制，以便 为专职系统安全人员提供安全信息，此文被认为是有关的最早论述。年到年，和研究和发展了一种命名为入侵检测专家系统（，） 实时模式的入侵检测系统。它建 议研究异常行为和误用行为的相互关系。年，为检测用户对数据库的异常访问，在主机上用开 发的系统成为最早的基于主机的雏形之一。年，蠕虫事件使得约天无法正常使用，该事件导致了许多系统的开发研制晗。年，等人进一步改进了提出的入侵检测模型，并创建了（），提出了与系统无关的实时检测思赤日【】
13、！一年，等人提出基于网络的入侵检测（），可以通过局域网上主动监视网络信息流量来追踪可疑的行为。年，（）与（）提出了收集和合并处理来自多个主机基于数据挖掘的网络入侵 检测系统研究的审计信息从而用以检测针对一系列主机的协同攻击。年，和建议使用自治代理（）以便提高的可伸缩性、可维护性、效率和容错性。年，后续版本（）实现了可以检测多个主机的入侵。年（）晡的设计和实现使得对大规模自动或协同攻击的检测更为便利。等人将免疫原理运用到分布入侵检测领域。年，和将信息检索技术引入入侵检测系统。年以来，。等人将数据挖掘技术运用到入侵检测系统，提高了的精度和伸缩性。在年首先提出了入侵检测的概念，将入侵尝试 或威胁定义
14、为：潜在的有预谋未经授权访问信息、操作信息，致使系统不可靠或无法使用的企图。同时 ，还提出审计追踪可用于监视入侵威胁。年提出了入侵检测的模型，首次将入侵 检测作为一种计算机安全防御措施提出。近年来，国际 学术界对网络信息安全十分重视，已经引起了国际学术与工程界，包括计算机科学与工程、数学、控制丁程、通信工程等学科领域专家学者的极大关注。由美国电力研究院（）及国防部 资助包括哈佛大学、麻省理工学院、加州理工学院等美国所一流大学和家企业参加的研究项目关键基础设施网络系统（），的研究，于年月启 动，该项目包括个子 项目，资助总额 达三千万美元，其主要研究内容是大规模网络系统的安全问题。目前国际上采用
15、的网络入侵检测系统大体可分为两类：基于主机的入侵检测系统和基于网络的入侵检测系统。异常情况分析一般所采用的技术是从审计记录中抽取入侵检测度量进行统计分析，为用户建立描述文件。当该描述文件有变化时，则认为有 发生入侵攻击的可能性。 这种基于统计分析的入侵检测方法可以自适应地学习用户行为的模式，当用户行为发生变化时，其描述文件将会被修改。此外，许多入侵 检测系统在应用上已取得重要成果。如美国的口，的，的系统陋，规划研究组织的信息安全指挥助理（），国家实验室的教训和经验（）和网络异常检测与侵入报告（）等呻，其中最为成功的应用系统是的一系列系统叭，和 “。一直为美国的提供先进的网络安全监控系统解决方案
16、。我国在入侵检测技术方面也有一定研究，开发出了一些网络安全产品，如北第一章绪论京启明星辰科技贸易有限公司的黑客入侵检测与预警系统、北京时代先锋软件有限责任公司的行天黑客攻击检测工具等多种入侵检测产品：还有上海复旦光华在骨干网监控方面，研究了对特定地址的信息流量监控与封堵技术：中国科学院软件所在入侵检测关键技术研究上，提出了一种基于的分布式异常入侵检测系统。把数据挖掘技术应用于入侵检测系统是由哥伦比亚大学计算机系研究室于年提出的一个全新的概念。目前，此项目是美国国防部项目中的一部分。实验表明，此方法能够提高系统的检测率，而不会降低任何一种检测模型的其它效能。随着数据挖掘技术的发展，己经有大量的研
17、究计划将数据挖掘技术应用于入侵检测中。例如，中国科学院研究生院，选择层次化协作模型，使用数据挖掘算法（，简称）对安全审计数据进行分析处理，帮助系统自动生成入侵检测规则以及建立异常检测模型。清华大学，提出了一种基于数据挖掘方法的协同入侵检测系统（）框架，并采用三层实体结构，使用多种数据挖掘方法建立检测模型。还有美国大学的（）项目，用一种比人工信息工程更加系统化和自动化的方式利用数据挖掘技术来构造一个，提出了用关联规则和序列规则作为构造额外的、更具预测 性的特征的方法。美国大学的审计数据分析与挖掘（）是一个基于网络的异常检测系统。另外，也有一些系统在实际中得到了一定程度的应用。例如，数据挖掘已经被
18、用于鉴别基因和蛋白质的生物功能。在网络管理中，数据挖掘也已经被用于发现网络管理的相关规则。另外，美国一些 银行使用数据挖掘来发现新的借贷市场策略。在这些例子中，数据挖掘与预处理、后加工步 骤一起，己 经被用于发现新的有用知识。本文研究的意义和目的把数据挖掘应用于入侵检测系统的优点在于系统能够从大量的审计数据中自动产生精确的适用的检测模型，使入侵检测系统适用于任何计算环境。数据挖掘中分类、关联 、序列、聚类等分析方法已得到验证。 该方法有效地提高了入侵检测的精确性，在选择统计特征时尤其有用。 该方向已成为研究的一个热点，属于网络安全和人工智能的交叉学科。考核入侵检测系统（）数据分析能力可以从准确
19、、效率和可用性三方面进行。基于数据挖掘的仅仅在检测率方面高于传统方法是不够的，只有当 误报基丁数据挖掘的网络入侵检测系统研究率也在一个可接受的范围内时，才是可用的。因此，研究目的在于设计一个基于数据挖掘的入侵检测系统，使其正确率、效率性和可用性在一个比较理想的范围内，并在一个特定环境中实现，从而使入侵 检测系统具有更好的自学习、自适应和自我扩展的能力。相信随着研究的深入及技术的发展，数据挖掘技术将会在入侵检测系统中得到越来越深入的应用。本文的研究内容与安排主要的研究内容随着网络规模的不断发展，网络安全工作也越来越重要。作为一种新型的、积极主动的安全防护体系，入侵检测相比于防火墙等老一代的安全技
20、术有着它显著的优势。不 过，入侵 检测 技术目前在很多方面还不成熟与完善，还未形成一个完善的系统体系结构。基于数据挖掘的入侵检测系统是较新的网络安全技术，它可以从大量的网络数据以及主机的日志数据中提取出人们需要的、事先未知的知识和规律。因此如何将数据挖掘技术成功的运用到入侵检测系统中将是本文着力解决的问题。本文主要研究了入侵检测系统和数据挖掘的相关理论，探讨了数据挖掘理论在入侵检测系统中的应用，针对现有入侵检测系统存在的检测效率不高，时空开销大，自适应 能力不强的缺点，建立了使用数据挖掘技术的入侵检测系统模型。详细描述了模型中各个模块的功能和作用以及它们的工作流程，构建了规则库并且设计和实现了
21、其中的聚类分析器和异常分析器。该模型主要依靠规则库检测已知入侵行为，依靠异常分析器和聚类分析器能够自动、快速的从海量数据中发现未知入侵形式并通过规则生成器产生入侵特征存入规则库。最后使用提供的用于入侵检测的数据集进行测试，并对得到的结果进行了分析。本文的结构安排本文全文由五章和参考文献组成。全文的内容是这样安排的：第一章，是本文的绪论。本章介绍了论文提出的背景，当前的国内外研究情况和本文研究的意义、目的，以及本文的主要研究内容和论文的组织结构。第二章，本章介绍了入侵检测系统和数据挖掘的发展历史、基本概念、分类和常用方法以及数据挖掘在入侵检测的应用。第三章，本章在入侵检测的基础上，构建了基于数据
22、挖掘的入侵检测系统，详细描述了各个模块的功能和作用，构建了规则库并且设计和实现了其中第一章绪论的聚类分析器和异常分析器。第四章本章主要是实验数据介绍和结果分析。对数据进行了检测，得出试验结果，并进行了 进一步的分析。第五章结束语。本文工作的总结，并 对今后进一步的研究方向进行了展望。第二章入侵检测技术和数据挖掘简述第二章入侵检测技术和数据挖掘简述入侵检测技术入侵检测的内容概述入侵检测，就是 对入侵行为的发觉。它通 过对计算机网络或计算机系统中的若干关键点收集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。它不仅检测来自外部的入侵行为，同时也检测内部用户的未授权活
23、动。入侵 检测提供了用于发现入侵攻击与合法用户滥用特权的一种方法，它基于这样一个前提基础：入侵行为和合法行为是可区分的，也就是说可以通过提取行为的模式特征来判断该行为的性质。入侵检测与传统的安全技术不同，它并不是设法建立安全、可靠的计算机系统或网络环境，而是对网络活动和系统用户信息进行分析处理来达到对非法行为的检测、报警和预报的目的，进而由有关安全组件（如防火墙）对非法行为进行控制，来保障系统的安全。入侵检测系统（，）是执行入侵检测工作的硬件和软件产品。通过实时的分析，检查特定的攻 击模式、系统配置、系统漏洞、存在缺陷的程序版本以及系统或用户的行为模式，监控与安全有关的活动。一个基本的需要解决
24、两个问题：一是如何充分可靠地提取描述行为特征的数据：二是如何根据特征数据，高效并准确地判定行为的合法性。入侵检测系统主要分为数据收集、数据分析、 结果处理三部分，数据源来源多样，可以是主机上信息、网络上信息、其他系 统信息等。数据收集 简单处理收集到的信息，如格式标准化等。数据分析是入侵检测的关键部分，一般称为分析引擎，有多种处理方法，较复杂。结果处理的作用在于告警和策略协调。根据对入侵的反应速度，入侵检测技术分实时入侵检测和事后入侵检测两种副。实时入侵检测在网络连接过程中 进行，系 统根据用户的历史行为模型，存储在计 算机中的专家知识库系统以及智能技术模型对用户当前的操作进行判断，一旦发现
25、入侵迹象立即采取相应措施，并马上收集证据和实施数据恢复。实时检测分析使入侵检测系统对入侵的自动反应成为可能。而事后入侵检测由网络管理人员进行，他 们具有网络安全专业知识，根据计算机系统对用户操作所做的历史审计记录判断用户是否具有入侵行为，若有就断开连接，并记录入侵证据和进行数据恢复。事后入侵检测由管理员定期或不定期进行，不具有实时性，防御能力不如实时入侵检测系统，易于遭受到非法破坏。实时入侵检测系统对网络系统免遭破坏具有现实的重大意义。正是由于实时入侵检测系统的优越性，目前基于数据挖掘的网络 入侵检测系统研究的发展趋势主要是研制智能实时入侵检测系统，使其具有智能化、更准确、更高效、更易于理解。
26、入侵检测系统的分类入侵检测系统（，）就是在系统中某个位置，监控整个系统的资源和信息的使用状况以及系统的状态，来检测是否存在入侵行为的计算机软件和硬件备。它具有对非正常行为（攻击和入侵）的识别判断能力，并会做出适当的应对措施。根据入侵检测系统的位置和信息源，可以将其分为三类。基于主机的入侵检测 系统基于主机的入侵检测系统（，）位于单个主机，利用操作系统产生的日志记录作为信息源，通过对其进行审计，检测入侵行为。基于不对 网络数据包或扫描配置 进行检查，而是对系统同志提供的大量数据进行整理引。其主要优点是：信息源完备。系统产生的日志是归类有序的。它准确记录了每个用户的行为序列， 这样便可以精确监控每
27、个用户的行为。同时也使得 对信息源的处理简单、一致。其次， 对某些特定的攻击十分有效。其主要缺点是：首先信息源与操作系统密切相关。由于各个操作系统平台的日志记录形式不同，所以系统不能通用于各平台，必须为不同的操作系统开发不同的版本。其次，信息源单一，缺乏相关性。随着黑客入侵技术的不断发展，系统入侵通常 发生在整个网络范围内，涉及一系列主机。所以仅靠单一主机的信息源无法作出准确的判断。再次，对网络底层攻击检测困难。尽管日志记录了大量的网络事件信息，但是通过审计日志不能发现网络数据包内容或底层攻击。基于网络 的入侵检测 系统基于网络入侵检测系统（，）最早出现于年。它主要用于防御外部入侵攻击。它通过
28、监控出入网络的通信数据流，依据一定规则对数据流的内容进行分析，从而发现协议攻击、运行已知黑客程序的企图和可能破坏安全策略的特征，做出入侵攻击判断。为了能够捕获入侵攻击行为，基于网 络必须位于能够看到所有数据包的位置。最佳位置便是位于到内部网络的接入点。基于网络的主要优点是：首先，平台无关性。它以网络数据作为信息源，而网络传输 的数据都是形式统一的报文，与主机平台无关。其次，全局性。由于它通常位于网络的接入点，所有的通信都会通过这里。第二章入侵检测技术和数据挖掘简述其主要缺点是：首先，对经过加密的数据流进行分析存在困难。数据流经过加密后，其中的数据特征已经变形，便无法 对其进行分析、识别、匹配。
29、其次，难以精确 监控用户的行为。基于网 络只能从用户交换的报文中粗略的判断用户的行为。但是却不能判断出用户行为对目标系统造成的影响，从而忽略某些入侵攻击行为。分布式的入侵检测系 统分布式入侵检测系统（，）最早出现于年。分布式在网络中不同位置安放若干探测节点，按照制定的规则搜集、整理信息，然后统 一提交给中央主控节点，由中央主控 节点按照规则对信息进行分析判断，从而做出攻击入侵的判断。分布式将信息搜集整理功能和入侵分析判定功能分散在整个网络范围内的多个检测节点上，提高了整个系统的入侵检测效率，并具有了对多个节点同时入侵检测的能力。但由于全部检测节点依赖中央主控节点协同工作，一旦主控节点受到攻击，
30、整个系统也就瘫痪。因此，分布式的安全系数不高。随着入侵检测技术的发展和网络安全系统中新的需求的出现以及各种同其他安全产品的互操作和协同工作的迫切需要，入侵检测系统的标准化和扩展性问题是急需解决的。常用入侵检测的方法入侵检测系统根据其采用的技术，可以分为异常检测和误用检测，均可用于实时检测和事后检测。异常检测异常检测（）又称为基于行 为（）的 检测，它根据使用者的行为或资源使用状况是否偏离正常的情况来判断入侵是否发生。在异常检测中， 观察到的不是已知的入侵行为，而是通信过程中的异常现象。这种不正常行为可以分为外部闯入、内部渗透和不恰当使用资源。异常检测系统试图建立一个对应正常的活动的特征原型，然
31、后把所有与所建立的特征原型中差别很大的所有行为都标志为异常。调整和更新某些系统特征度量值的方法非常复杂，且开销巨大。大多数的异常检测方法从本质上说都是基于统计的方法。异常检测的思想是首先建立用户下常的行为轮廓，并且假定所有入侵行为都是与正常行为不同的。在每一次用户行为产生后，都将其测量值与其正常的行为轮廓进行比较，如果严重偏离正常值的范围（异常行为），则认为产生了攻击。对于异常阈值与特征的选择是异常检测技术的关键。异常检测主要有统计分析、数据挖掘和神经网络等。基于数据挖掘的网络入侵检测系统研究误用检测误用检测（）又称为基于知识的检测（ ）或特征检测（）它通过分析入侵过程的特征、条件、排列以及事
32、件间的关系来描述入侵行为的迹象。与异常入侵检测相反，误用入侵 检测主要是按预先定义好的入侵模式对用户活动行为进行模式匹配来检测入侵行为。该过程可以很简单（如通过字符串匹配以寻找一个简单的条目或指令），也可以很复杂（如利用正规的数学表达式来表示安全状态的变化）。如果入侵者攻击方式恰好匹配检测系统中的模式库，就能准确发现违背安全策略的行为。它能直接 检测不利的或不可接受的行为，而异常入侵检测则是检查出与正常行为相违背的行为。误用检测是建立在使用某种模式或者特征描述方法能够对任何已知攻击进行表达这一理论基础上的。误用检测的主要问题是如何确定所定义的攻击特征模式可以覆盖与实际攻击相关的所有要素，以及如
33、何对入侵活动的特征进行匹配。在误用检测系统中，入侵检测是由基于入侵过程模型的知识来确定的。它的优点和缺点也是很明显的，由于它是对审计数据与己知攻击的模式进行匹配来发现攻击，因而其 检测精度和效率很高，这种检测方法只能检测己知攻击及其模型的变型，不能 检测系统未知的新的攻击行为。下面是对一些具体入侵检测方法的介绍。（）模式匹配：基于模式匹配的入侵检测方法将己知的入侵特征编码成与审计记录相符合的模式，当新的审计事件产生时，这一方法将寻找与它相匹配的己知入侵模式。当前，模式匹配与协议分析相结合，大大 缩减了计算量。（）统计方法：是一种较成熟的入侵检测方法，通常用于异常检测，它使得入侵检测系统能够学习
34、主体的只常行为，将那些与下常活动之间存在较大统计偏差的活动标识为异常活动。（）专家系统：用专家系统对入侵进行检测， 经 常是针对有特征的入侵行为。入侵检测 中的专家系统是网络安全专家在对可疑行为分析后得到的一套推理规则。以网络 活动与专家系统的规则库进行匹配，发现是否存在入侵。专家系统的建立依赖于知识库的完备性，如何对入侵的特征抽取与表达，是其关键。（）状态转移分析：在状态转移分析中，入侵被表示为目标系统的状态转换图。分析审计 事件时，若根据对应的条件布尔表达式，系 统从安全状态转移到不安全的状态，则把该事件标记为入侵事件。（）模型推理：入侵者在攻击一个系统时往往采用一定的行为序列，这种行为序
35、列构成了具有一定行为特征的模型，根据这种模型所代表的攻击意图的行为特征，可以实时 地检测出恶意的攻击企图。第二章入侵检测技术和数据挖掘简述通用的入侵检测模型为了提高产品、组件及其他安全产品之间的互操作性，美国国防高 级研究计划署（）和互联网工程任务组（）的入侵检测工作组（）发起制订了一系列建议草案，从体系结构、通信机制、语言格式等方面规范标准。（）在将入侵检测系统分为四个基本组件：事件产生器、事件分析器、响 应单元和事件数据库。的基本模型架构如图所示。图通用的体系结构在模型中，事件产生器、事件分析器和响应单元通常以应用程序的形式出现，而事件数据库则往往采用文件或数据流的形式。很多厂商都以数据收
36、集组件、数据分析组件和控制台三个术语来分别代替事件产生器、事件分析器和响应单元。模型将需要分析的数据统称为事件（），它既可以是网络中的数据包，也可以是从系统日志或其他途径得到的信息。以上模型中的四个组件代表的都是逻辑实体，其中任何的一个组件可能是某台计算机上的一个进程甚至线程，也可能是多个计算机上的多个进程，它们之间采用（）统一入侵检测对象）格式进行数据交换。是对事件进行编码的标准通用格式（由描述语言定义），数据流可以是发生在系统中的审计事件，也可以是对审计事件的分析结果。基于数据挖掘的网络入侵检测系统研究事件产生器：网 络事件 产生器和主机事件产 生器。网 络事件产生器由数据包捕获单元、数据
37、 过滤单元和数据转换单元组成。（）网络数据包捕获单元用来在网路上截获并阅读位于中各个协议层上的数据包。数据包捕获的基本原理是利用 编程设置网卡为混杂模式，在该模式下能获取经过所在网段的所有数据包，这些功能通过来完成。（）数据过滤单元用来进行初步过滤，并 对数据包 进行解析， 过滤掉除需要分析的协议之外的数据包和系统已掌握的黑客地址发出的数据包过滤的目的是在不损失信息的前提下，尽量减少分析的对象。（）数据转换单元将需要进一步分析的信息转换为格式，并存入临时数据库中。响应单元响应单元是系统检测到有异常行为或遭受到攻击时做出响应的模块，具体响应根据分析器产生的分析结果而定。本系统可以做出如下响应：记
38、录异常信息、发送日志文件到指定邮箱、断开某个连接、停止非法进程运行或删除某个应用程序。事件分析器事件分析器是入侵检测系统的核心部件，它从其它组件接收，根据所采用的技术不同，有很不一样的入侵检测系统。事件分析器将分析结果传入其它组件，以确定下一步采取的操作。事件数据库事件数据库负责存储，它可以是复杂的数据库，也可以是简单的文本文件。根据不同的入侵检测系统，数据 库中的内容有所区别。有些数据库中包含了常见的攻击特征，入侵检测规则，有些包含正常用户行为模式等。入侵检测系统 的体系结构入侵检测系统体系结构的划分是根据各功能组件在位置上的不同形成的。集中式结 构入侵检测系统发展的初期，大都采用单一的体系
39、结构，即所有的工作包括的采集，分析都是单一主机上的单一程序来完成。这种框架使用单独的主机通过审计追踪或监控网络报文来收集数据，使用单独的模块分析数据，存在很多问题：（）网络流量的飙升， 对 集中式结构构成 检测速度的挑战。（）中央分析器成为单一失效点。（）可扩展性差，当系 统 需要加入新的功能时，整个系统就要修改和重新安第二章入侵检测技术和数据挖掘简述装。分布式结构分布式结构采用多个代理在网络各部分分别进行入侵检测，并且协同处理可能的入侵行为：采用组件技术将功能模块分离，增强系统的可扩展性。与传统相比，分布式具有很大的优势；（）降低自身被攻击的风险，一旦某一个代理受到攻击， 还有其他的代理仍能
40、正常工作，并在控制器的统一调配下将整个分布式入侵检测系统尽快地恢复到先前的状态；（）由于代理都是一些轻量级的程序模块， 对系 统资源的占用率很小；（）对于某些攻击，需要对来源于多处的信息的收集 综合才可断定某一攻击的发生，分布式的的相互协作正好可以做到这一点。分层结 构由于单个主机资源的限制和攻击信息的分布，在针对高层次攻击（如协同攻击）上，需要多个检测单元进行协同处理，而 检测单元通常是智能代理，因此近来入侵检测结构开始考虑分层的结构来检测越来越复杂的入侵。在树形分层体系中，最底层的代理负责收集基本信息，并完成简单的判断和处理，它只能检测某些简单的攻击。中 间层代理起承上启下作用，一方面接受
41、并处理下层节点处理后的数据，一方面可以进行较高层次的关联分析、判断和结果输出，并向高层节点进行报告。最高 层节点主要负责在整体上对各级节点进行管理和协调，实现系统的动态配置。入侵检测技术的发展趋势近年来，入侵检测技术的发展主要有以下几个方向：入侵检测 技术标准化入侵检测标准化能够改善目前的封闭、 专用、彼此不兼容、数据无法共享、无法协同等方面的缺陷。当前和两个国际组织在进行这方面的工作，他们强调 了入侵检测的不同方面，化提供了，较完备、安全的解决方案，大规 模分布式入侵 检测并从各自角度进行了标准化工作。标准是发展的一个必然趋势。随着大量高速网络技术的不断涌现，如何实现高速网络下的实时入侵检测
42、己为一个现实的问题。传统的集中式检测方式不再能适应大规模高速网络的要求，分布式技术已成为打破速度瓶颈的主要途径之一。智能入侵检测目前，己有多种智能技术被应用到入侵检测中来如数据挖掘、神经网络、遗传算法等等。智能技术应用可以大大的提高入侵检测的速度与准确性，成为入基于数据挖掘的网络入侵检测系统研究侵检测技术的另一发展趋势。入侵检测 系统的评测 方法研究用户需要对进行多方而评价， 评价指标包括检测范围、系 统资源占用状况、自身可靠性等等。但时至今日，在这方面所做的工作还很少。 设计通用的入侵检测测试与评估方法成为当前另一个重要研究领域。入侵响应 技术目前响应入侵采取的主要措施是事件告警。随着安全要
43、求的提高，更加实时的自动的入侵响应正在被研究和应用，如系统保护、动态策略和攻击对抗等。数据挖掘的概念数据挖掘技术数据挖掘技术是近几年来国内外迅速发展起来的一门交叉学科，涉及到数据库、统计学、人工智能与机器学习等多个领域。一切新事物的 产生都是由需求驱动的。在过去的年罩，计算机硬件技术的惊人发展导致了功能强大的计算机、数据收集设备、存 储介质的大量供应， 这些技术大大推动了数据库技术和信息产业技术的快速发展，并 积累了海量数据。然而目前的数据库系统只能高效地实现数据的录入、存 储、 查询 、统计等功能，却无法 发现 数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了“ 数据爆炸但知识贫乏”的现象。如何用数据库管理系统来存储数据，用机器学习的方法来分析数据，挖掘大量数据背后的信息和知识，成为日益关注的问题。为实现这些目的，一项全新的技术数据挖掘（）技术应运而生。数据挖掘扎，又被称为从数据库中发现知识（，），就是按照既定的目标，从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含其中的、人 们事先不知道、潜在有用的信息和知识的过程。它是交
