1、III 因特网信息检索网络信息检索（NIR - networked information retrieval,Information search, information seeking）1 因特网信息资源1.1 因特网信息资源1.2 因特网信息资源种类1.3 因特网信息资源评价及书目控制1.1 因特网信息资源对网络信息资源的不同认识：积极的； 消极的。网上较丰富的信息内容： 政府信息 教育信息 科研信息文化信息 商务信息消闲娱乐信息1.1 因特网信息资源（2）特点：超文本、超媒体、集成式地提供信息；信息来源分散、无序；没有统一的管理机构，没有统一的发布标准；变化、更迭、消亡等都时有发生；
2、无限、无序、优劣混杂。1.1 因特网信息资源（3）更具优越性之处：新颖、深入；广泛、直接交流；非正式、自由；价廉。1.2 因特网信息资源种类 WWWTelnetFTPUsenet/NewsgroupLISTSERV/Mailing ListGopherRSS （Really Simple Syndication）RSS，是在线共享内容的一种数据交换规范（也叫聚合内容，Really Simple Syndication） 。RSS 订阅能更快地速获取信息，网站提供 RSS 输出，有利于让用户获取网站内容的最新更新。起源于 Netscape 公司的推”Push”技术将订户订阅的内容传送给他们的通讯
3、协议格式。RSS 通常在时效性比较强的内容网站使用，如：网上新闻频道、blog、wiki。世界多数知名新闻社网站都提供 RSS 订阅支持。以橙色“XML”或“RSS”小图标为标志的 RSS，正出现在越来越多的中文网站上。博客（Blog）Web log/ Blog ，中文称“ 网络日志”。是以网页为载体，简易、迅捷地发布自己的心得，及时有效、轻松地与他人进行交流，再集丰富多彩的个性化展示于一体的综合性平台。通常是由简短且经常更新的帖子所构成，这些张贴的文章一般按发表年份和日期倒序排列。Blog 的内容和目的有很大的不同。种类：个人博客小组博客/协作式的博客：其主要特点是通过共同讨论使参与者在某些
4、方法或问题上达成一致，通常允许任何人参与、发表言论、讨论问题的博客日志。公共社区博客：公共出版商业、企业、广告型的博客知识库博客，KLOG：基于博客的知识管理日益广泛，使企业可以有效地控制和管理那些原来只是由部分工作人员拥有的、保存在文件档案或者个人电脑中的信息资料。知识库博客提供给了新闻机构、教育单位、商业企业和个人一种重要的内部管理工具。 博客服务托管商（或博客服务供应商）BSP（Blog Service Provider） ，作用：为博客提供写作的空间与相应的技术支持，大大简化 blog 的建立过程，推动平民媒体的发展。分为收费、免费及二者兼营的博客托管商。 目前国内的 BSP 市场：
5、独立运营的 BSP，比如 Blogchina、Blogcn 、Blogbus 等； 基于传统的门户网站而建立起来的 BSP，比如新浪博客、搜狐博客等； 借助关联产品建立起来的 BSP, 比如网易空间、 QQ 空间、MSN Space 等。微博客（MicroBlog） ，微博、 “围脖”是一个基于用户关系的信息分享、传播以及获取平台，用户可以通过 WEB、WAP 以及各种客户端组件个人社区，以 140字左右的文字更新信息，并实现即时分享。 （三言两语，现场记录，发发感慨，晒晒心情）最早也是最著名的微博是美国的 twitter，截至 2010 年 1 月，该产品在全球已经拥有 7500 万注册用户
6、。2009 年 8 月，中国最大的门户网站新浪网推出“新浪微博” 内测版，成为门户网站中第一家提供微博服务的网站，微博正式进入中文上网主流人群视野。 微博的特点草根性更强原创性实时性、现场感便捷性互动及传播性极快，传播速度甚至高于普通媒体； 打破了移动通信网与互联网的界限，广泛分布于桌面、浏览器、移动终端等多个平台创新交互方式：背对脸，可以一点对多点，或点对点 1.3 因特网信息资源评价及书目控制评价的必要性：网络资源的无限、无序、优劣混杂,数字化知识数据单元 DLO（类文献的电子文件 document-like-object）的随时产生,信息过载（information overloaded
7、）,缺乏质量监控导致的信息污染、检索噪音加大，用户对获取高质量信息的需求迫切。评价的对象：一般是网页（web page）或网站（website ） 。1.3 因特网信息资源评价及书目控制（2）评价标准： 目的（purpose ）范围（scope）内容（content）：准确性（accuracy ） 、权威性（authority） 、新颖性（currency ） 、独特性（ uniqueness） 、可靠性（reliability ） 、链接（links）图形和多媒体设计（graphic and multimedia design ）信息的展示与设计（information presentati
8、on and design ）可操作性（workability）: 用户友好性、检索性能、交互性、连通性等费用（cost）评论（review）1.3 因特网信息资源评价及书目控制（3）评价方法：定性评价：问卷调查、专家评议定量调查：数量分析（访问、登录次数，链接数量等）以掌握用户兴趣、网站影响力等。一般评价：查看首页描述和更新时间；阅读帮助文件，了解查找、使用方法；查看 FAQ；发现有无空链、错链等；关注各门户或相关网站的推荐站点（站点精选、热门站点、“Cool links” 等） 。1.3 因特网信息资源评价及书目控制（4）书目控制（Bibliographic control）：其目的是发展
9、能够掌握与控制文献资源的各种手段。主要指以书目方法为主要手段，从整体上对一定时期内某种文献的出版情况进行统计、报道，并揭示文献的有关内容，提供检索者查找、利用。 （书目、索引、文摘、分类等各种文献组织、管理、检索等方法均属）书目控制方法在网络信息资源组织中的应用：在广泛收集网络信息资源、并进行整理、筛选、比较、评价的基础上，开发出对用户使用网络资源有指导意义的书目控制工具。名称各异，如：Webliography、Web of webs、Meta index、subject guide 、subject index 等。学科信息门户1.3 因特网信息资源评价及书目控制（5）重要的网络信息书目控制
10、工具站点：The WWW Virtual Library, http:/vlib.org 集中组织、罗列了 280 多个由各学科专家开发的专科、专题性网络资源指南，均题名为“. WWW Virtual Library”。OCLC 之 NetFirst：是经过 OCLC 工作人员评价、筛选后编制的因特网资源目录，有分类、还著录内容提要。Librarians Index to the Internet，http:/www.lii.org/ 是 UC Berkeley 大学图书馆员建立的网络资源主题指南，每日更新。按主题字顺排列，有简短提要，链接了数千个网络资源。IPL2Infomine: Scho
11、larly Internet Resource Collections, http:/infomine.ucr.eduLouisana State University Webliography, www.lib.lsu.edu/weblio.html国家科学数字图书馆学科信息门户，国家科技图书文献中心， 其“服务导航 ”下的“网络信息导航”。2 因特网信息检索2.1 网络信息检索2.2 网络信息检索工具2.1 网络信息检索（ Networked IR, Web-based IR, Net searching, ）简述：开始于 20 世纪 90 年代中期Web 迅速成为查找网络信息的主要平台特
12、点：信息检索空间拓宽，检索范围广检索效率高交互式作业方式，用户界面友好且操作方便信息冗余大，较低的查准率是网络信息检索方面的突出问题。搜索引擎的祖先 Archie。1990 年 McGill 大学学生发明用文件名查找文件的系统FTP 服务器的管理者主动向 Archie 服务器提交注册信息，申请 Archie 服务，每个月 Archie 服务器将运行一个简单的脚本程序遍历所有注册过的 FTP 服务器的目录和文件名，形成一个可搜索的 FTP 文件名列表，用户必须输入精确的文件名搜索，然后 Archie 会告诉用户哪一个 FTP 地址可以下载该文件。Archie 虽不是真正的搜索引擎，但它的出现使得
13、人们不再依靠纸和笔来记录资源的地址，因而深受欢迎。传统信息检索与网络信息检索的比较2.1 网络信息检索（2）网络信息检索的一般方法 浏览（Browsing）基于超文本文件结构的信息浏览在较随意的顺 “链”而行中发现、搜索信息即“surfing”（冲浪） 。追踪某个网页的相关链接。 （类似传统文献检索中的“追溯检索”，可能带有某种偶然性和片面性。 ）创建书签 (Bookmark)或热链表(Hotlink,、Hotlist)等将一些常用的、优秀的站点地址记录下来，以备今后之需。借助目录型网络资源导航系统、资源指南(Resource Guide)等网络检索工具来查找信息，即通过浏览主题分类目录树发现
14、有用信息。 浏览策略（ browsing strategy）检索（Searching）-利用搜索引擎等网络检索工具常规、普及的网络信息检索方式。基于用户给出的关键词、词组或自然语言等进行检索匹配的工具。基于浏览的检索方式的特点优点：能够针对具体任务或问题找到相关信息在检索过程中，使检索思路逐步清晰有时能意外地发现新目标、扩充检索范围、获取检索结果是目前检索多媒体信息的实用方法不足：随机、偶然性检全性不足信息迷航基于关键词的检索方式的特点优点：检索简单易行，利于上手检索结果时效性高适合特性检索不足：难以准确反映词间关系检索冗余、误差较大2.2 网络信息检索工具2.2.1 网络检索工具的构成：信息
15、采集机制（Harvesting mechanism）自动程序 Robot（又名为：Spider，Crawler，Worms，Wanders) 周期性采集人工选择、采集网络用户递交标引机制（Indexing mechanism）:自动、人工组织机制：数据库检索机制(Searching facility)：检索代理软件、用户界面（Interface）2.2 网络信息检索工具（2）2.2.2 网络检索工具的工作原理搜集网络信息资源数据：通过自动索引程序 Robot(或人工) 信息加工建立索引：经过一系列的判断、选择、标引、加工、分类、组织等处理后形成供检索用的数据库，创建目录索引，并大多以 Web
16、页面的形式向用户提供有关的资源导航、目录索引及检索界面；检索界面：用户可根据自己的信息查找要求，按照该检索工具的句法要求等来通过检索界面输入想要查找的检索项、提问式。执行检索和输出结果：系统检索软件接受用户提交的检索提问后，按照本系统的句法规定对用户输入的字符串、运算符、标识符、空格等进行识别和判定后，代理用户在数据库中检索，并对检索结果进行评估比较，按与检索结果的相关程度排序后提供给用户。2.2 网络信息检索工具（3）2.2.3 各类网络信息检索工具 按检索对象分：Web 资源检索工具：主流，通用搜索引擎非 Web 资源检索工具：FTP：Archie 等Usenet： Deja News 等
17、Lists： Liszt 等Gopher：Veronica 等2.2.3 各类网络信息检索工具（2）按检索机制分：目录型(Subject directory, catalogue)索引型：搜索引擎(Search Engine)混合型（Hybrid tools）目录型检索工具和搜索引擎之间的界限越来越模糊，大多数流行的网络检索工具均同时提供两种方式的检索，担负网络资源主题指南和索引双重责任。目前这种混合型(hybrid)检索工具代表了网络检索工具的发展趋势，多被混称为搜索引擎。2.2.3 各类网络信息检索工具（3）按检索内容分：综合型学术型专题型特殊型按包含检索工具数量分：独立型网络检索工具（S
18、ingular search tools） 集合型网络检索工具（Collective search tools）：元搜索引擎(Metasearch Engine 或 Megasearch Engine)。2.2.3 各类网络信息检索工具（4）按运行环境分：Internet 检索工具网站内检索工具：站点地图（site map） 、站内搜索（site search） 、站点索引（site index） 桌面搜索工具（面向 PC 的搜索软件、检索工具硬盘搜索、元搜索、搜索代理、个性化搜索工具软件等）社交网络平台搜索第一代网络检索工具的特点：目录型与索引型分立提供基本的检索功能：- 第一阶段：布尔检索
19、（Boolean search） 、截词检索（wildcard/truncation search） 、邻近检索（proximity/adjacency search ） 、区分字母大小写（case sensitivity）- 第二阶段：字段检索（Quasi-field search） 、权重检索（weighted search） 、跨数据库检索（cross-database search）可选择输出/显示格式第二代网络检索工具的特点：目录型与索引型的融合排序输出（Ranked output）相关反馈（Relevance feedback ）更多的检索功能，如：自然语言检索（natural l
20、anguage search ）多语种检索（multilingual search）多媒体检索（multimedia search）目录型检索工具(Subject directory, catalogue)人工设计和编制的、供检索的等级结构式目录(指南、导航系统)收录资源经过鉴选和组织减少了检索中的噪音，提高了检索的准确性数据库的规模相对较小新颖性不强，(会有 “死链接”dead link)用户要熟悉其分类体系目录型检索工具比较适合于查找综合性、概括性的主题；或对检索对象不掌握特定信息而又对权威性、质量要求较高的课题。有代表性的目录型检索工具Yahoo! 之 Directory Search
21、Galaxy，BUBL LINK, Catalogue of Internet Resourceshttp:/bubl.ac.uk/linkWWW Virtual Library，www.vlib.org搜狐网址导航，http:/ http:/ Engine)收录、加工信息的范围广、速度快;检索功能强，一般可称为网络资源的关键词索引 ;检索时直接输入关键词或词组、短语，无需判断类目归属，比较方便;标引过程缺乏人工干预，准确性较差；检索误差(噪音) 较大。搜索引擎适合于检索特定的信息，及较为专、深、具体或类属不明确的课题。有代表性的中英文搜索引擎百度， 中国雅虎，搜狗， http:/ http:
22、/ (Metasearch Engine 或 Megasearch Engine)又称集合式搜索引擎。即将多个搜索引擎集成在一起，并提供一个统一的检索界面。目的：克服用户面对众多的检索工具的无从选择和为求查全而在多个搜索引擎上重复检索的繁琐。 类型：- 搜索引擎元目录：将主要的搜索引擎集中起来，按类型或按功能组织成目录，引导用户使用。集中罗列，单独检索；检索工具的检索工具。搜索门户？- 元搜索引擎， （并发式搜索引擎）将多个搜索引擎集成在一起，提供一个统一的检索界面。并行检索，结果综合。元搜索引擎（2）检索特性：可检索的引擎数量和名称支持的检索算法检索作业方式：顺序或并发检索等候时间检索结果的
23、处理：去重、合并、排序、注明来源等结构组成：检索请求提交机制：帮助用户进行“ 个性化“的检索设置要求，包括调用哪些搜索引擎、 检索时间限制、结果数量限制等。检索接口代理机制：负责将用户的检索请求“翻译“成满足不同搜索引擎“本地化“要求的格式。检索结果显示机制：负责所有源搜索引擎检索 结果的去重、合并、输出处理等。 元搜索引擎（3）主要技术：数据库选择技术文本选择技术查询分派技术检索结果综合技术等研究重点：用户界面的改进调用策略的完善返回信息的整合最终检索结果的排序 较有代表性的搜索引擎元目录All-In-One, （已关闭） iTools, Internet Sleuth, 网址之家， （
24、万纬搜索， ，综合了百度、谷歌、搜狗、必应、有道、搜搜等搜索结果。搜索软件：飓风搜索通非 Web 资源检索工具FTP 资源检索工具Archie, 1991 年加 McGill 大学研发的 FTP 资源检索工具。功能：通过文件名检索网上匿名 FTP 服务器中的文件，用以获取所需软件或文件的 FTP 地址及目录。使用方式： Telnet 、Web、Email 等形式访问 Archie 服务器。如：以 Web 为界面的 Archie 服务器网关 Archieplex。FileZ, T, （ http:/ Google search天网搜索，天网文件搜索非 Web 资源检索工具（ 2）Usenet 资
25、源检索工具相当一部分综合性网络检索工具把 Usenet 信息纳入其检索范围。DejaNews, ，1995 年该公司研发的专门用于 Usenet 网络新闻组的搜索引擎。其基本功能是对新闻组文章的全文检索。http:/ Web 资源检索工具（ 3）LISTSERV 和 Mailing List 的检索工具T 下 Email Newsletters & Ezines， T L-Soft, the official catalog of LISTSERV listsTopica , http:/ Telnet 系统的工具， Hytelnet查询 Gopher 信息的 Jughead，Veroni
26、ca随着网络的发展，许多原先只能通过Telnet、Gopher 、WAIS 才能获得的信息现都可通过 Web 获得，所以，Hytelnet、Veronica 等检索工具已渐退出。专业学科网络检索工具为帮助从事专业研究或学习的人们在网络上更准确地查找专业信息资源服务。人文、社会科学综合，如：Social Science Information Gateway - SOSIG http:/sosig.esrc.bris.ac.uk 社会科学信息网关，人工选择，高质量学术站点。既可浏览目录，也可进行关键词检索。专业学科网络检索工具（2）自然科学与工程技术综合，如：SciCentral, Gatewa
27、y to the best science news Electronic Library, Sweden）号称收集了世界上所有的工程资源，分类目录浏览结合关键词检索。无链接其他学科，如：教育：GEM-The Gateway to Education Materials（无链接）, Petersons , Education W 等。法律：LawRunner, Findlaw, Infolaw 等医学：Healthgate, OMNI-Organizing Medical Networked Information, Achoo 等等。2.2.4 网络检索工具的比较与评价数据库：收录资源类型
28、（Web、FTP、Usenet 等） 、数量、范围（地域、文种等） 、时间、更新周期；信息收选原则、标引方式、 。检索性能：提供的检索深度（简单、高级、提要、全文）检索功能检索响应时间检索结果提供方式。用户负担：界面友好性，是否提供使用指南、帮助或提示信息等。2.2.5 网络信息检索技巧建立网络信息空间的检索思维和认识：- 不要完全相信任何一个搜索引擎， （有报道称：十大网络检索工具所标引的信息量不超过网络信息总量的 15%；还有文章称：覆盖率最高的网络检索工具也只收录了所有网络信息的 20% - 30%） ，应该选用多个以查全。- 不存在完善的检索策略；选择合适的网络检索工具；提高检索的精度
29、、准确性：选专指度高的词、词组、特定概念，避免普通词、泛概念；使用带双引号的短语检索；使用限定条件；利用进阶、精炼检索。扩大检索范围：使用同义词、近义词，使用多个搜索引擎或元搜索引擎，使用自动扩检功能（More like this）加快检索速度，降低检索耗费：直接利用相关站点及特色服务等。多媒体信息检索多媒体信息检索简述多媒体信息类型：图形、图片、照片、绘画、动画、动态影像及声音等类型。应用广泛，如 CAD、 CAM、CAI、 GIS 等。多媒体信息查询方法关键字查询：要求每个对象都带有精确描述其内容的标签（或关键字） ，然后通过该标签进行快速查询。该方法简单、易实现。缺点：关键字准确性不够，
30、不足以描述多媒体本身的特性，使信息丢失。可视化查询：查询对象都有本身的相似范围，对象间的相似程度依权重而定。 非确定性查询、模糊查询；查询不仅包括数字字符表达式，还包括非数字字符表达式如图像、图标、样本帧等；查询模型与用户间的接口允许用户发出视图查询，用不完全或相似的图片来实现模糊查询。语义查询（或基于内容的查询）：采用索引、模式匹配等技术。以某种知识表达技术将对象本身的媒体性质用语义表示出来，性质的识别依赖于多媒体数据处理技术，包括图像处理、模式识别、语音识别、动态检测等。尚在发展中。基于内容的信息检索（Content-based Retrieval, CBR ）即根据媒体对象的语义及其关联
31、特征进行检索。有如下特点：从媒体内容中提取信息线索：直接对图像、视频、音频进行分析，抽取特征，利用这些内容特征建立索引，进行检索。近似匹配，逐步求精，以获得查询结果。可对大型数据库快速检索；多种检索手段：除利用多媒体内容特征检索外，还可通过样本图像进行相似性检索，或浏览检索。图像信息检索image，泛指图像信息，分静态、动态 （含影像及声音Flash 、视频） 。依据文字描述的图像信息检索技术：即对图像进行人工分析、对图像特征进行文字著录或标引，建立数据库，并通过检索该数据库以获得图像编号，进而利用编号索取图像。 标引的图像特征有：责任者、出版日期、描述图像所含对象的关键词/主题词、解说文字等
32、；图像物理特征如：拍摄方式、长度、载体规格等。 检索时与文本信息检索类似，可选择具体特征，输入相应的检索词来检索。 图像信息检索 - 依据文字描述的图像信息检索技术途径 1：对文件扩展名和超文本标识符（tag）的利用。 如：在支持 URL 字段检索的检索工具中，可输入相应的文件扩展名以检索图像信息。如：图像文件扩展名： .gif、.jpg；影像文件扩展名： .mpg、.mpeg、 .moov、.vbs 、.avi ；声音文件扩展名：.wav、.au 等。借助 HTML 文件的图像标识符检索图像然而上述方法只能使检得的是图像信息，而图像的具体内容则不易区分。图像信息检索 - 依据文字描述的图像信
33、息检索技术（2）途径 2：图像的文件名及其网址：多数作者直接通过文件名来表示图像的内容，如：panda.jpg、cat.jpg、sun.gif 等。同时，图像的网址信息也可能提供一些相关语义信息，如 就提供了图像所属的类别信息及其语义信息。 途径 3：以图像标题和文字解说（图象周围的文字）作为检索图像的线索； 途径 4：依据图象所在网页的标题；途径 5：人工标引。质量和效果应最佳，但成本高，检索量较小。图像信息检索 - 依据图像内容特征的图像检索技术图像特征：画面内容特征（颜色分布、纹理结构、轮廓等）主题对象特征（即图像的实际内容，图像所描述的人、车、建筑等）著录特征（作者、时间、地点及其它物
34、理特征）图像信息检索 - 依据图像内容特征的图像检索技术（2）基于内容的图像检索（Content-based Image Retrieval） 主要依据图像的画面内容特征和主题对象特征来标引和检索依靠计算机自动抽取图像特征和编制特征索引，检索时依据用户输入的图像某一特征（如绘制的草图、轮廓图或调用的相似图像）自动比较特征索引库中对应特征信息，将最佳匹配结果和相关信息输出。模式识别与人机交互相融合。图像信息检索 - 依据图像内容特征的图像检索技术（3）CBIR 的检索内容主要有：颜色：图像颜色分布、相互关系、组成等。纹理：图像的纹理结构、方向、组成及对称关系等。形状：图像轮廓组成、形状、大小等。
35、对象：图像中子对象的关系、数量、属性、旋转等。 图像信息检索 - 依据图像内容特征的图像检索技术（4）CBIR 的常见检索方式：选择颜色的比例、层次以及纹理图案的图样进行查询。用画图工具生成表示物体和物体间空间关系的符号图像进行查询。从检索界面所陈列的全部图像中选择接近自己意愿的图像进行查找，重复多次直至找到为止。上述方法与字符型的关键词结合进行查找。CBIR 技术的应用：数字图书馆建设中管理图像信息资源（地理、天文、生物、医药、建筑、文化艺术等） ，并帮助用户多途径检索、控制、开发和利用信息资源。图像检索工具依据文字描述进行图像检索的Google 图像搜索引擎，http:/ Yahoo Im
36、age Search，http:/ 百度图片搜索，http:/ By Image Content）,（） IBM 于 20 世纪 90 年代研制的图像和动态影象检索系统。检索方式：利用标准范图检索（系统提供，代表不同的色彩、纹理、轮廓结构等内容特征，用户选择最接近的范图作为“检索式” 检索相似的图像） ；用户绘制简图或扫描输入图像检索；用户选择色彩或结构检索；用户输入动态影像片断和前景中运动的对象检索。QBIC 应用实例：美国邮票、旧金山美术博物馆等艺术品、世界著名商标等的检索。百度识图， （测试版）百度正式上线的图片搜索新功能，基于相似图片的识别技术，是一个以图搜图的新产品。目前提供两种“以
37、图搜图”的方式：上传本地图片和输入图片URL 地址，分别对应本地图片和网络图片的相似搜索。可以在网上找到与这张图片相同的其他图片资源，同时为用户找到这张图片相关的信息。 图像信息网络检索现状以静态图像为主；以文字描述为依据的检索工具是用户使用的主要对象；以图像内容特征为依据的检索工具还处于试验和探索 阶段，可检索数量有限。目前已有多家国际巨头也在图像搜索方面发力。今年 4 月以来，Google 连续投资或收购了 Plink、Pixazza、Like 三家公司。9 月，苹果收购了人脸视觉搜索 PolarRose；微软今年也在 Bing上大力推广图像相似搜索。阿里巴巴今年 4 月曾战略投资淘淘搜网站，淘淘搜也是通过搜索相似图片，进而提供相似产品购买信息等内容。
