1、基于 ESB的异构数据整合策略乔杨（郑州轻工业学院图书馆 郑州 450002）摘要以郑州轻工业学院图书馆为例，针对在虚拟参考咨询体系构建中异构数据库整合问题，通过对传统数据整合方案对比和馆藏数据资源结构研究，设计了基于 ESB 的数据资源整合策略、详细的异构数据整合体系结构和数据流程图，给出了基于 XSLT的数据映射和转换模型。通过对数据提取、XML 格式转换、转换规则调用和输出等过程完成数据的整合过程。整合策略的实现和应用能够有效利用馆藏数据资源，为郑州轻工业学院图书馆虚拟参考咨询体系的构建提供完整、规范的后台数据支持。关键词中间件；ESB；虚拟参考；数字图书馆分类号 G258 TP399
2、ESB-based Data Heterogeneous Investigation MethodQiao Yang(Library, Zhengzhou University of Light Industry, Zhengzhou, China)AbstractTaking Library of Zhengzhou Institute of Light Industry as an example, in view of heterogeneous data integration in the building of virtual reference system, this pape
3、r analyzes and compares the different date integration strategies. With the data stored structure, an ESB-based data resources investigation method，the detailed structure of heterogeneous data integration system and the flowchart are designed. Through the process of the data extraction, XML format c
4、onversion, conversion rules invocation, and data exportation, data investigation is completed. Implementation and application of data integration strategy can effectively take advantage of the data resources, and are the complete and standardized data support for the building of virtual reference se
5、rvice system in Zhengzhou university of Light Industry library.Keywords Middleware; ESB; Virtual reference service ;Digital library1 引言计算机和网络技术的快速发展加快了传统参考咨询向虚拟参考咨询服务模式的变革。虚拟参考咨询服务（Virtual Reference Services， VRS）充分利用网络和数字资源的优势，使用户能够快捷、方便和低成本的获得图书馆的优质服务 12，构建虚拟参考咨询体系成为目前各图书馆提高服务水平的必然选择。郑州轻工业学院图书馆建于
6、1978年，虚拟参考咨询体系的构建处于初级阶段，先后已建立艺术系优秀学生作品数据库 、 民俗文化研究专题数字图书数据库 、 烟草专题数字图书数据库 、 非纸质资源数据库 、 轻院教师论文全文数据库 、 轻院硕士论文数据库等16个专题数据库。这些数据库建立的时间和使用的数据库存储技术存在着很大差异，如何整合这些异构数据库，充实专业特色数字图书的资源优势，是构建郑州轻工业学院图书馆虚拟参考咨询体系的重要组成部分，同时也是本文研究的切入点。本文从对传统数据整合方案对比和郑州轻工业学院馆藏数据资源结构研究入手，设计了基于 ESB (Enterprise Service Bus)的数据资源整合策略，给出
7、了数据整合的主要技术和方法，以期对各类异构数据库的数据整合应用提供参考和借鉴。2 数据整合技术2.1 数据整合技术数据整合指将某一范围内离散的、多元的、异构的、分布的信息，通过逻辑的或物理的方式，组织为一个整体，使之有利于管理、利用和服务 3。目前主要数据整合技术主要有：1) 以联合数据库系统（FDS）为主的多数据库系统数据整合，该方法在己存在的局部数据库(Local Database System, LDS) 之上为用户提供统一的存取数据的环境，由一组独立的LDS 组成，实现数据库系统间部分数据的共享 4。 2) 以数据仓库（Data Warehouse, DW）为主的整合方案。通过对相关数
8、据库连接，抽取数据记录，复制需要的字段，将异构或同构数据源相关数据复制到特定数据源上达到整合目的，该方案具有访问效率高的特点，但需要重复存储数据，造成数据冗余和实时更新性差等问题 5。3) 中间件（Middleware） 6是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源，处于C/S的操作系统之上，管理计算机资源和网络通讯，是连接两个独立应用程序或独立系统的软件。相连接的系统通过中间件系统相互之间交换信息，关键途径是信息传递方式。由于中间件技术可以方便的对系统进行扩展，是目前实现数据资源整合的主流方式。2.2 ESB 技术ESB架构给出了一种便利的中间件数据整
9、合解决方案，结合了中间件与 XML、Web 服务等技术，包含一系列的功能服务，实现了通信转换，跨平台和通信安全的标准接口平台，能够实现和支持 SOA（Service-oriented Architecture）的一组技术架构 78。通过面向消息的中间件协议接口和 Web Server标准，解决应用程序间的实现技术不同，达到不同应用服务器协同运行目的，通过连接异构 MOM服务接口、在传输层上通过使用 SOAP来实现服务模块间的通信与协同操作，主要有数据格式转换、路由、信息扩展、服务监听、安全传输服务等功能，其架构如图 1所示：S e r v i c e S e r v i c eS e r v
10、i c e S e r v i c eS e r v i c e C o n t a i n e rS e r v i c e C o n t a i n e r图1 简化的ESB架构该架构消除了同应用之间的技术差异，让不同的应用服务器协调运作，实现了不同服务之间的通信与调用。从功能上看，ESB 提供了事件驱动和文档导向的处理模式，以及分布式的运行管理机制，它支持基于内容的路由和过滤，具备了复杂数据的传输能力，并可以提供一系列的标准接口，如： 连接功能：消息路由、寻址模式、消息封装(SOAP)等。 整合服务：数据库接入、应用适配器选择、EAI 中间件协议接口。 服务定义：服务接口定义(WSDL
11、),服务注册和版本支持。3基于 ESB的数据整合策略3.1 需求分析郑州轻工业学院图书馆馆藏数据库资源，系统构成和采用的存储技术存在很大差异,在设计开发时并没有考虑到当前的数据集成需求，如： (1)数据存储结构不同：数据库采用了顺序存储结构和链式存储结构等不同的存储结构。(2)文件命名问题：文件名的大小写，编号等。(3)其他如属性特征、命名习惯、度量单位等方面存在较大差别。对原有异构数据库的整合，制定数据项的规范正则表达式，利用该正则表达式验证输入数据的完整性和合法性。经过数据映射、数据转换等工作，来规范化数据的表达，保证数据的质量。 3.2 数据整合体系结构设计整合体系结构设计采用基于ESB
12、的架构，采用面向服务的理念(SOA)，通过调用不同的功能服务来完成相应的功能模块，实现数据的转换、整合、交换等功能，总体架构如下图2所示。系统架构从功能层次上分为数据访问层、服务管理层、数据处理层、数据存储层。数据访问层用于提取不同馆藏专题数据库资源，数据处理层实现数据格式转换和映射等工作，提供整合和交换传输接口，数据服务管理层处理基于SOA的服务调度，数据传送策略和传输安全控制功能。服务管理层数据处理层数据访问层专题数据库数据存储层文档数据服务监听 服务调用数据格式转换 数据格式规范 数据描述服务模块 组件绑定服务注册E S B 引擎数据映射校外资源数据库数据库 数据库 数据库服务引擎运行时
13、配置接口 / 适配器 接口 / 适配器图 2：数据整合体系架构图实现ESB的服务包括、服务监听、服务调用、服务注册、数据提取和转换，数据交换标准规范、数据安全SOAP引擎等服务。服务注册中心负责服务模块的注册、查询和调用功能。通过不同服务的组合和调用来完成系统功能，下图2给出了数据整合的典型工作流程。图 3：数据交换典型流程(1)首先服务监听获取数据整合请求服务，请求信息传送到服务注册中心(2)服务注册中心在已经注册的服务模块查找所需服务，执行数据调用模块(3)服务调用服务建立与信息系统建立连接，执行数据抽取服务，完成数据获取(4)数据规范服务调用函数对抽取的数据进行规范检查，调用数据转换服务
14、对抽取数据进行XML格式转换，转换为规定数据格式。转换后描述信息发送到服务注册中心，等待服务请求者调用(5)调度服务按服务需求反馈数据交换和整合信息。 3.3 基于 XSLT 数据映射和转换模型异构数据库数据映射和转换是数据整合的主要工作，转换后的统一数据格式可以被各系统理解（本设计统一采用 XML文件格式） ，便于数据的共享和整合服务。当用户请求服务时，首先由数据抽取服务完成从异构数据源的数据抽取，然后转换，建立全局和局部的数据视图映射关系，返回标准数据给用户，下图 3给出了数据映射和转换模型。数据服务接口源数据 X S L T 数据处理X M L 数据数据转换数据源数据输出X M L 数据
15、服务接口X S L T 数据映射规则图 4 数据映射和转换模型数据映射和转换模型主要由 3部分组成：XML 数据服务接口（XML data service interface） ，数据转换规则(data conversion service)，XSLT (Extensible Style sheet Language)数据转换处理(XSLT processor)。XML 数据服务接口负责连接信息系统的源数据和转换服务，数据转换处理负责按照预先制定的 XSLT映射规则(XSLT Mapping Rules)对数据类型，字段名字和值域等进行相应的转换。3.4 异构数据源抽取数据源的抽取过程通过数据
16、库的内建连接方法进行连接，使用 SQL 命令语句建立与远程数据库的连接，通过建表语句 CREATE从源数据库抽取所需数据字段映射到放至本地空间，查找需要转换的字段，调用转换过程 XSLT Processor进行格式转换，不同数据源数的抽取和XML文件格式的转换，使用的接口和策略也不同，如，关系型数据库数据是主要的数据来源，主流的关系型数据库本身提供了良好的 XML接口，可以直接进行数据的提取。下表 1显示了不同的数据处理过程需要调用的服务组件情况。表1：不同数据源对应的服务组件数据源 连接器 分析器SOAP/web service dataWebService Connector, WebSe
17、rvice classes XUpdateResolver, WebService classes XML file XML Connector XUpdateResolverSQL/Oracle dataSQL/Oracle Connector DBMSResolver例如，Oracle 通过数据库的 XML DB组件实现了 XML的抽取操作，该组件是企业版和标准版的标准特性。Oracle 数据库引入了一个新数据类型 XML格式，它允许在 SQL 中访问数据库中的 XML文档，同时允许 XML 开发人员在文档中使用 XML标准，用户以使用 XML查询语句，创建 XML文档，提取 XML标签、
18、字段等，串联和聚合等操作 1112。除关系型数据库，还存在自定义和非主流数据库系统的数据格式等，这就需要开发相应转换过程完成 XML文件格式的转换。3.5 数据格式转换按照数据转换和映射规则，将提取的异构数据源的数据加以合并、拆分、转换、映射等处理,使得异构的数据格式得到统一。XSLT技术提供一套规则，用于将一组元素描述的数据转换为另一组数据描述的 XML文档，或者是将该数据转换为一种自定义的数据格式，包括内容结构转换和格式化输出（XSL-FO） 。XSLT应用涉及到两个数据文档：包含源数据的文档和用来转换该文档的 XSLT转换规则文档。将 XML源数据输入，XSLT Processor按照用
19、户配置的映射规则进行数据转换，将源数据转化为目标数据。在 XML 文档的转换过程中，具体需要考虑数据格式、数据类型、日期、值域等转换问题。 XSLT用模板将同样的格式应用于 XML文档的重复元素，模板可以看作要应用的规则，一个功能模块，不同的功能模块完成不同的文档格式转换。采用预先定义的数据交换标准和格式进行来交换数据，xsl: template 标记定义了用于进行转换的结点内容，其使用语法如下：（这里 match值的内容是一个正则表达式，pattern 表示为属性）1) 数据类型格式转换不同的存储环境有着不同的数据类型，但不论数据类型在各个环境中如何变化，其功能都满足用户数据处理的基本要求如
20、数值型，包括整型、实型等。在XML 中数据的类型可以用Schema 来限定数据类型。下面以时间日期格式转换为例来说明利用XSLT进行转换的过程。如把“2010-05-01”转换成“01/05/2001” ，即格式YYYY-MM-DD，利用XSLT将其转换成DD/MM/YYYY。这里模板“DateType”作为应用函数，参数Datetime作为程序调用的入口参数，调用方法如下：2) 值域转换值域转换是将一个字段的全部或部分取值映射到另一个字段的全部或部分取值。例如：某一数据库系统中，某项数据编号的取值分为五位数字，而整合后的数据库系统需要八位的数字和字符的组合，这就需要将具有原有的五位数字值域映
21、射到具有八位的数字加字符值域上去。3) 其他代码转换可以看成是一类特殊的值域转换。对于 XML 中的数据字段，必须使用统一的术语，不统一的必须转换成平台规范中定义的统一的词汇，如shumingBookName的转换，4结语ESB软件架构除不同应用系统间的技术差异，实现了不同数据库服务之间的通信与整合。采用统一的 XML文件格式也为整合后的数据提供良好的共享和交换基础。在开源的 ESB ServiceMix编码操作环境下采用该方案，数据得到有效的整合，保证了数据的有效性、完整性和一致性。方案的实施为郑州轻工业学院图书馆虚拟参考咨询体系的建设提供有效的后台数据支持。本论文的整合架构的设计和实现主要
22、针对本馆的数据资源，校外异构数据库的种类更加的复杂，如何对校外数据库数据资源的接入、交换和整合也是下步的研究重点。参考文献： 1 初景利.图书馆数字参考咨询服务研究M.北京图书馆出版社，2004(6):19-20.2 蔡红. 虚拟参考咨询及其宣传推广模式探讨J. 情报探索. 2009(08): 30-32.3 王永霞. 基于 SOA的交通信息整合系统研究J. 网络安全技术与应用. 2010(04): 70-72.4 Horsburgh J S, Tarboton D G, Piasecki M, et al. An integrated system for publishing enviro
23、nmental observations data J. Environmental Modelling & Software. 2009, 24(8): 879-888.5 潘卫明，郝平. 基于 SOA和工作流的数据仓库更新系统J. 计算机应用与软件. 2010(02): 206-208.6 Perumal T, Ramli A R, Leong C Y, et al. Middleware for heterogeneous subsystems interoperability in intelligent buildingsJ. Automation in Construction.
24、2010, 19(2): 160-168.7 Liu Y, Gorton I, Lee V K. The architecture of an event correlation service for adaptive middleware-based applications J. Journal of Systems and Software. 2008, 81(12): 2134-2145.8 张启文，徐琪. 基于 SOA和 ESB的供应链快速响应系统集成研究J. 计算机应用. 2009(09): 2523-2526.9 彭树青，陈德运. 一种基于 ESB的异构系统数据集成方法J. 东
25、北林业大学学报. 2009(02): 108-109.10 Foetsch D, Pulvermueller E. A concept and implementation of higher-level XML transformation languages J. Knowledge-Based Systems. 2009, 22(3): 186-194.11 周德军. 用 JSP实现 XML文件到 Oracle数据库的导入和导出J. 科技信息. 2010(02): 273-275.12 兰小机，任金铜. 对 Oracle XML DB的 XML存储技术的研究J. 大地测量与地球动力学. 2009(06): 139-143.作者简介：乔杨：女，本科，馆员，发表文章 5篇。联系方式：地址：河南省郑州市东风路 5号，郑州轻工业学院图书馆，450002电话：13633813916Email:
