1、浩如烟海的 Internet 上，特别是其上的 Web（World Wide Web 万维网）上，不会搜索，就不会上网。网虫朋友们，你了解搜索引擎吗？它们是怎么工作的？你都使用哪些搜索引擎？今天我就和大家聊聊搜索引擎的话题。 一、搜索引擎的分类获得网站网页资料，能够建立数据库并提供查询的系统，我们都可以把它叫做搜索引擎。按照工作原理的不同，可以把它们分为两个基本类别：全文搜索引擎（FullText Search Engine）和分类目录 Directory）。全文搜索引擎的数据库是依靠一个叫“网络机器人（Spider）”或叫“ 网络蜘蛛（crawlers）” 的软件，通过网络上的各种链接自动获
2、取大量网页信息内容，并按以定的规则分析整理形成的。Google、百度都是比较典型的全文搜索引擎系统。分类目录则是通过人工的方式收集整理网站资料形成数据库的，比如雅虎中国以及国内的搜狐、新浪、网易分类目录。另外，在网上的一些导航站点，也可以归属为原始的分类目录，比如“网址之家”（http:/ ，比如 Google 的全文搜索（http:/ ”或搜索“分类网站” ，比如新浪搜索（http:/ ）。最新出的是热词搜索 HitHot（http:/www.hithot.cc）在网上，对这两类搜索引擎进行整合，还产生了其它的搜索服务，在这里，我们权且也把它们称作搜索引擎，主要有这两类：元搜索引擎(META
3、 Search Engine)。这类搜索引擎一般都没有自己网络机器人及数据库，它们的搜索结果是通过调用、控制和优化其它多个独立搜索引擎的搜索结果并以统一的格式在同一界面集中显示。元搜索引擎虽没有“网络机器人”或“ 网络蜘蛛” ，也无独立的索引数据库，但在检索请求提交、检索接口代理和检索结果显示等方面，均有自己研发的特色元搜索技术。比如“metaFisher 元搜索引擎”（http:/ Google、Yahoo、AlltheWeb、百度和OpenFind 等多家搜索引擎的数据。集成搜索引擎（AllinOne Search Page）。集成搜索引擎是通过网络技术，在一个网页上链接很多个独立搜索引擎
4、，查询时，点选或指定搜索引擎，一次输入，多个搜索引擎同时查询，搜索结果由各搜索引擎分别以不同页面显示，比如“网际瑞士军刀 ”（http:/ ”或“网络蜘蛛” 是一种网络上的软件，它遍历 Web 空间，能够扫描一定 IP 地址范围内的网站，并沿着网络上的链接从一个网页到另一个网页，从一个网站到另一个网站采集网页资料。它为保证采集的资料最新，还会回访已抓取过的网页。网络机器人或网络蜘蛛采集的网页，还要有其它程序进行分析，根据一定的相关度算法进行大量的计算建立网页索引，才能添加到索引数据库中。我们平时看到的全文搜索引擎，实际上只是一个搜索引擎系统的检索界面，当你输入关键词进行查询时，搜索引擎会从庞大
5、的数据库中找到符合该关键词的所有相关网页的索引，并按一定的排名规则呈现给我们。不同的搜索引擎，网页索引数据库不同，排名规则也不尽相同，所以，当我们以同一关键词用不同的搜索引擎查询时，搜索结果也就不尽相同。和全文搜索引擎一样，分类目录的整个工作过程也同样分为收集信息、分析信息和查询信息三部分，只不过分类目录的收集、分析信息两部分主要依靠人工完成。分类目录一般都有专门的编辑人员，负责收集网站的信息。随着收录站点的增多，现在一般都是由站点管理者递交自己的网站信息给分类目录，然后由分类目录的编辑人员审核递交的网站，以决定是否收录该站点。如果该站点审核通过，分类目录的编辑人员还需要分析该站点的内容，并将
6、该站点放在相应的类别和目录中。所有这些收录的站点同样被存放在一个“索引数据库”中。用户在查询信息时，可以选择按照关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟全文搜索引擎一样，也是根据信息关联程度排列网站。需要注意的是，分类目录的关键词查询只能在网站的名称、网址、简介等内容中进行，它的查询结果也只是被收录网站首页的 URL 地址，而不是具体的页面。分类目录就像一个电话号码薄一样，按照各个网站的性质，把其网址分门别类排在一起，大类下面套着小类，一直到各个网站的详细地址，一般还会提供各个网站的内容简介，用户不使用关键词也可进行查询，只要找到相关目录，就完全可以找到相关的网站（注意
7、：是相关的网站，而不是这个网站上某个网页的内容，某一目录中网站的排名一般是按照标题字母的先后顺序或者收录的时间顺序决定的）。三、搜索引擎的发展趋势。一个好的搜索引擎，不仅数据库容量要大，更新频率、检索速度要快，支持对多语言的搜索，而且随着数据库容量的不断膨胀，还要能从庞大的资料库中精确地找到正确的资料。提高搜索引擎对用户检索提问的理解。为了提高搜索引擎对用户检索提问的理解，就必须有一个好的检索提问语言。为了克服关键词检索和目录查询的缺点，现在已经出现了自然语言智能答询。用户可以输入简单的疑问句，比如“如何能杀死计算机中的病毒 ”，搜索引擎在对提问进行结构和内容的分析之后，或直接给出提问的答案，
8、或引导用户从几个可选择的问题中进行再选择。自然语言的优势在于，一是使网络交流更加人性化，二是使查询变得更加方便、直接、有效。就以上面的例子来讲，如果用关键词查询，多半人会用“病毒”这个词来检索，结果中必然会包括各类病毒的介绍，病毒是怎样产生的等等许多无用信息，而用“如何能杀死计算机中的病毒”检索，搜索引擎会将怎样杀死病毒的信息提供给用户，提高了检索效率。垂直主题搜索引擎有着极大的发展空间。网上的信息浩如烟海，网络资源以惊人的速度增长，一个搜索引擎很难收集全所有主题的网络信息，即使信息主题收集得比较全面，由于主题范围太宽，很难将各主题都做得精确而又专业，使得检索结果垃圾太多。这样以来，垂直主题的
9、搜索引擎以其高度的目标化和专业化在各类搜索引擎中占据了一席之地。目前，一些主要的搜索引擎，都提供了新闻、Mp3 、图片、 Flash 等的搜索，加强了检索的针对性。元搜索引擎，能够提供全面且较为准确的查询结果。现在的许多搜索引擎，其收集信息的范围、索引方法、排名规则等都各不相同，每个搜索引擎平均只能涉及到整个 Web 资源的 3050%，这样导致同一个搜索请求在不同搜索引擎中获得的查询结果的重复率不足 34%，而每一个搜索引擎的查准率不到 45%。元搜索引擎(META Search Engine)是将用户提交的检索请求发送到多个独立的搜索引擎上去搜索，并将检索结果集中统一处理，以统一的格式提供
10、给用户，因此有搜索引擎之上的搜索引擎之称。它的主要精力放在提高搜索速度、智能化处理搜索结果、个性化搜索功能的设置和用户检索界面的友好性上，查全率和查准率都比较高。4.热词搜索，当前移动互联网时代，更适合手机，平板电脑使用移动互联网时代，越来越多人用手机，平板电脑，android，ipad 横行，屏幕小，触屏操作的方式对旧的搜索使用方式带来了挑战，热词它以最简洁的形式来展现，更适合触屏年代的操作。四、主要的搜索引擎介绍这里介绍的是在国内外影响比较大的主要的一些搜索引擎和分类目录站点，由于现在的站点一般都同时提供全文搜索和分类目录两种服务，所以我们按照其自有的技术进行分类和介绍。Google（ht
11、tp:/ 成立于 1997 年，几年间迅速发展成为世界范围内规模最大的搜索引擎。Google 数据库现存有 42.8 亿个 Web 文件，每天处理的搜索请求已达 2 亿次，而且这一数字还在不断增长。Google 借用Dmoz（http:/dmoz.org/ ）的分类目录提供“ 网页目录”查询（http:/ PageRank 的分值高低排列。百度（http:/ 2003 年底推出“贴吧” 、按地域搜索等功能。中国搜索（http:/ 30 多家知名网站的基础上，2002 年 9 月 25 日，正式组建了中国搜索联盟，经过一年多的发展，联盟成员就已达 630 多家，成为中国互联网一支重要的力量。由于
12、发展迅速，慧聪集团借上市之机，将慧聪搜索更名为中国搜索，全力发展其在搜索引擎方面的业务，以打造中文搜索领域的全新品牌。4. .HitHot 热词搜索(http:/www.hithot.cc ).新兴的热词搜索服务商，它收录了当前网络上的热词，通过语义搜索来聚合，以 HTML5 的形式来展现，词与词之间的关联度也以颜色，字体大小形式来区分。热词搜索适合当前移动互联网使用习惯，触屏，手指点击热词更方便。五.站内搜索除了有影响力的搜索引擎网站外,各个网站自己也需要建立自己的站内搜索, 尤其是资讯量超大,电子商务网站竞争激烈的现在 ,站内搜索可以用 baidu,google 的免费站内搜索, 但二者无法客制化,需要开发所有页面让爬虫抓取 ,带来速度慢 ,安全的问题.另外也可以自己独立开发站内搜索,用开源的 lucen,也可以采用成熟的站内搜索产品,如 Wise 站内搜索(http:/),，该产品可以快速的导入到已有的网站里，做到安全，快速，高效。 完全独立的站内搜索技术，才能让网站面支持更大的数据量时代。未来的网络肯定会带来更多智能化的搜索技术。
