1、Web 挖掘关键技术及研究摘要：近年来，随着计算机的快速发展，利用计算机从庞大的数据中智能地、自动地抽取有价值的知识模式，以满足人们不同应用的需要。随着互联网的普及和迅猛发展、Web 上信息量的爆炸式增长, 网上的资源得到极大丰富, 但也充斥着大量的垃圾信息, 人们迫切需要能从这些纷繁芜杂的信息中找到有用知识的工具。鉴于数据挖掘工具的日益成熟完善, 人们自然而然想到了要把数据挖掘技术应用到 Web 上来。 Web 挖掘指在 WWW 上挖掘潜在的、有用的模式及隐藏的信息过程。 该文首先概述了数据挖掘的概念、挖掘算法及其主要应用领域，然后对 Web 分类以及方法进行了科学的概述，通过对 Web 内
2、容挖掘、Web结构挖掘和 Web 日志挖掘详细分析和对主要的挖掘算法及最新研究进展的综合表述，最后介绍了 Web 挖掘的研究方向和发展趋势。关键词：Web 挖掘；Web 内容挖掘；Web 结构挖掘；Web 日志挖掘；结构算法Web mining key technology and applicationAbstract ：In recent years, with the rapid development of computer Usecomputer data from a large intelligently and automatically extract valuablekno
3、wledge models to meet people of different applications. With the popularity of the Internet and rapid development, Webs explosive growth on the amount of information, online resources are extremely abundant, but also filled with a lot of spam, it is the urgent need for the information from these num
4、erous Wuza find useful knowledge Tools. In view of the increasingly sophisticated data mining tools improve, people naturally think of data mining technology should be applied to Web up. Web mining refers to the WWW on the mining potential, useful patterns and hidden information process.This paper f
5、irst outlines the concept of data mining, mining algorithm and its major application areas, and then Web classification and an overview of scientific method, through the Web content mining, Web structure mining and Web log mining detailed analysis and the main excavation algorithm and integrated pre
6、sentation of the latest research advances, finally introduced a Web mining research and development trends.Key words: Web Mining; Web content mining；Web Structure Mining；Web log mining；Structure Algorith目 录一 、引言 .1二、WEB 数据挖掘的概述 .2（一）数据挖掘的基本概念 .2（二）WEB 数据挖掘分类 .2(三) 数据挖掘的技术方法 .3(四)WEB 数据挖掘与相关技术 .41.We
7、b 挖掘与传统挖掘 .42.Web 挖掘与信息检索 .53.Web 挖掘与信息抽取 .5三、 WEB 挖掘的步骤 .6四、WEB 挖掘的分类 .6(一)WEB 内容挖掘 .71.Web 内容挖掘 .72.从资源查找的观点挖掘非结构化文档 .83.用资源查找的观点挖掘半结构化文档 .94.从数据库（Database）的观点挖掘非结构化文档 .95.目前 Web 内容挖掘的主要应用有： .10（二）.Web 结构挖掘： .111.Web 结构挖掘的对象 .122.Web 结构挖掘在一定程度上得益于社会网络和引用分析的研究 .123. Web 结构挖掘主要应用领域 .124.Web 结构挖掘领域开展
8、的研究 .13(三)WEB 用法挖掘（WEB USAGE MINING） .14五、WEB 挖掘相关技术 .16（一）统计分析方法 .16（二）关联规则挖掘技术 .16（三）序列模式挖机技术 .17(四) 分类技术 .17（五）聚类技术 .18六、 WEB 挖掘的发展方向 .18七、结束语 .19八、参考文献 .20一 、引言Web 作为一个巨大的信息源，不仅内容复杂、而且形式各异。随着 Web 站点自身信息越来越丰富和拓扑结构越来越复杂，目前信息服务中普遍存在着“信息过载”和“资源迷向”的状况。近年来，因特网的飞速发展与广泛应用，使得 Web 上的量以惊人的速度增长，未来 Web 将包含人类
9、信息的主要部分，因此，如何从 Web 中找到感兴趣的内容变得越来越重要。为数据挖掘提供了丰富的数据源和新的研究课题。面对 Web 丰富的信息内容，巨大的数据量，加之万维网分布、动态、海量、异质、复杂、开放性的特点，人们如何从海量的数据中，查找自己想要的数据和有用信息，迫切需要一种新的技术能自动地从 Web 资源上发现、抽取盒过滤信息，随之 Web 挖掘技术应运而生。Web 挖掘就是从与 WWW 相关的资源和用户浏览行为中发现、抽取感兴趣的潜在的有用模式和隐藏的信息。它以从 Web 上挖掘有用知识为目标，以数据挖掘，内容挖掘、多媒体挖掘为基础，并综合运用计算机网络、数据库、人工智能、信息检索、可
10、视化等技术，将传统的数据挖掘技术与 Web 结合起来。但是，Web 挖掘与传统挖掘的数据挖掘相比又有很多独特之处。首先，Web 挖掘的对象是大量、异质、分布的 Web 文档；其次，Web 在逻辑上是一个由文档节点和超链接构成的图，因此 Web 挖掘所得到的模式可能是关于 Web 内容的，也可能是关于 Web 结构的；此外，由于文档本身是半结构化或无结构的，且缺乏机器可理解的语义，而数据挖掘的对象局限于数据库中的结构化数据，并利用关系表格等够来发现知识，因此数据挖掘技术要应用于 Web 挖掘，应当对 Web 文档进行预处理。这样，开发新的 Web 挖掘技术，以及对 Web 文档进行预处理以得到关
11、于文档的特征表示，便成为 Web 挖掘研究的重点。Web 挖掘可在多方面发挥作用，如电子商务中销售搭配、营销策略，搜索引擎结构的挖掘，搜索引擎的的开发，改进网站结构，确定权威界面，Web 文档分类，只能查询，个性化信息服务等。二、Web 数据挖掘的概述（一）数据挖掘的基本概念 数据挖掘（Data Mining）就是从大量的、不安全的、有噪声的、模糊的、随机的实际应用数据中，提取潜在的、不为人知的有用信息、模式和趋势，是一种新兴的处理技术。（二）Web 数据挖掘分类 从挖掘对象、挖掘任务、挖掘方法等几个方面，将数据挖掘划分一下类型。根据挖掘任务分：分类或预测行知识发展、依赖关系或依赖模型发展、异
12、常和趋势发展等等。根据挖掘对象分，有如下若干种数据库或数据源：关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据库、多媒体数据库、异构数据库、遗产数据库、Web 等。根据挖掘方法可粗分为：统计方法、机器学习方法、神经网络方法和数据库方法。统计方法中可细分为：回归分析（多元回归、自回归等） 、判别分析（贝叶斯判别、费歇尔判别、非参数判别等） 、聚类分析（体统聚类、动态聚类等） 、探索性分析（主元分析法、相关分析法等）等。机器学习中可细分为：归纳学习方法（决策树、规则归纳等） 、基于范例学习、遗传学习方法等。神经网络方法可细分为：前向神经网络（BP 算法） 、自组织神经网络(自组织特征映
13、射、竞争学习等)等。(三) 数据挖掘的技术方法数据挖掘的方法通常可以分为两大类：一类是统计型，常用的技术概率分析、相关性、聚类分析和判别分析等：另一类是人工智能中的机器学习型。通过训练和学习大量的样品集得出需要的模式或参数。数据挖掘的应用中，最终的目标都是发现有价值的知识信息，有共同的思路和步骤，但是存在很大的差异和区别。由于各种方法有自身的功能特点及应用领域，数据挖掘技术的选择将影响最后结果地质量和效果。下面对数据挖掘中常用的关联分析、决策树和神经网络等几种技术方法进行讨论，包括技术的基本思想、优势与缺点和主要应用领域（见表 1）表 1技术方法 主要功能和特点 主要应用领域关联分析 分类、聚
14、类 零售业、保险业和通讯业决策树 归纳分类、直观 制造业、医药和零售业等遗传算法 聚类、优化、高效性 金融业、保险业和农业等贝叶斯网络 分类、聚类和预测；易理解 医学、制造业和电信等粗糙集方法 不去定性分类 零售业、金融业和制造业等神经网络 预测、分类和聚类；解释性差 金融业、保险业和制造业等统计分析 聚类；结果精确、易理解 金融业、制造业和医学等(四)Web 数据挖掘与相关技术1.Web 挖掘与传统挖掘Web 挖掘从传统的数据挖掘发展而来, 但是与传统的数据挖掘相比有许多不同之处。传统的数据挖掘是以数据仓库为基础, 对结构化的数据源进行信息的加工、分析和模式挖掘。而 Web 挖掘的对象是半结
15、构化或无结构的 Web 文档,Web 使用信息以及大量的动态的超链接信息, 缺乏机器可理解的语义。因此有些数据挖掘技术并不适用于 Web 挖掘, 即使可用也需要建立在对 Web 信息进行预处理的基础之上。2.Web 挖掘与信息检索信息检索与 Web 挖掘类似, 都可帮助用户选择感兴趣的文档。但是两者之间仍然有很大的差异。Web 信息检索通常只针对静止的文档集进行操作, 采用短术语表示用户的信息需求, 着重于文档中显式存储的字词和链接实现快速信息检索, 而且用户常会提出查询要求。而 Web 挖掘除了关注静止的文档集之外, 还要分析用户的访问行为, 从连续变化的文档流中识别出用户的兴趣, 并做出相应的响应。与信息检索相比,Web 挖掘更加注重的是网页内容和结构, 挖掘结构独立于用户的需求, 是用户无法预知的。3.Web 挖掘与信息抽取信息抽取是把信息检索获得的文档集合转换成利于摘要和分析的信息。它侧重的是从文档中抽取有关事实。由于 Web 庞大, 大多数信息抽取系统是针对特定的 Web 站点设计, 系统扩展性差。信息抽取是数据挖掘前的处理阶段,Web 挖掘同样采用了信息抽取中的部分技术。
