1、ES 数据交换共享平台产品技术白皮书目 录一、 概述 3二、 技术架构 3三、 技术路线 7四、 产品功能 交换服务 13(一) 路由服务 13(二) 转换服务 14(三) 安全服务 15(四) 消息通讯服务 MQ 15(五) 发送接收传输服务 17(六) 接入服务 18五、 产品功能 管理平台 22(一) 资源管理 22(二) 共享管理 26(三) 授权管理 30(四) 运维管理 31(五) 平台管理 32六、 产品特点 33七、 主要技术指标和性能指标 35八、 环境要求 37产品技术白皮书3一、 概述为有效整合分散异构的信息资源,消除“信息孤岛”现象,提高政府和企业的信息化水平,基于易尚
2、数据交换平台,可灵活实现不同系统间的信息交换、信息共享与业务协同,加强信息资源管理,开展数据和应用整合,进一步发挥信息资源和应用系统的效能,提升信息化建设对业务和管理的支撑作用。易尚数据交换平台,遵循标准的、面向服务架构(SOA) 的方式,基于先进的企业服务总线 ESB 技术,遵循 XML 技术标准和规范,为跨地域、跨部门、跨平台不同应用系统不同数据库之间的互连互通提供包含提取、转换、传输和加载等操作的数据整合服务,实现扩展性良好的“松耦合”结构的应用和数据集成;利用易尚数据交换平台,通过分布式部署和集中式管理架构,可以有效解决各节点之间数据的及时、高效地上传下达,在安全、方便、快捷、顺畅的进
3、行信息交换的同时精准的保证数据的一致性和准确性,实现数据的一次采集、多系统共享;基于易尚数据交换平台节点服务器适配器的可视化配置功能,可以有效解决数据交换平台的“最后一公里”问题,快速实现不同机构、不同应用系统、不同数据库之间基于不同传输协议的数据交换与信息共享,为各种应用和决策支持提供良好的数据环境。二、 技术架构数据共享交换平台中包括五项关键服务:共享资源目录服务、数据交换中央服务、基于适配器的交换服务、Webservice 交换服务、前置机控制台。产品技术白皮书41、 共享资源目录服务数据共享交换平台的共享资源目录服务系统包含目录服务和目录资源两部分内容: 目录服务提供目录、元数据注册、
4、发布、审核、修改、维护以及编目服务等相关内容; 目录资源通过将现有各类资源(元数据)的合理分类,重组资源,并通过 XML Tree 以资源导航树的方式完成资源目录服务系统的开发建设工作。2、 数据交换中央服务交换中央服务器主要分为两个部分,首先是数据交换服务部分功能,包括ESB 中标准的一系列交换服务功能,如:消息接收、存储、转发、数据映像、格式转换以及消息路由的定制等功能;其次是平台集中对中心节点以及远端前置机节点的统一管理,包括运行管理、文件分发、远程配置、安全服务、状态监控等功能,通过数据交换功能服务以及平台运行维护管理服务两部分提供数据共享交换服务体系。产品技术白皮书5中央服务器是数据
5、交换平台信息控制中枢。中央服务器主要完成适配器以及各类服务组件的组合服务、远程部署、管理配置、监控管理、安全管理等功能。适配器以及各类服务组件组合服务是系统的核心。系统根据由服务组件组合成的业务流程和服务组件配置的运行节点,远程将服务组件部署运行于节点服务器上,并在节点服务器上建立若干个消息队列作为 XML 数据传输的通道,实现点对点、一点对多点的信息传递。中央服务器主要包括以下几个部分: 用户管理配置:管理连接到控制台的用户,设置访问系统用户的权限信息。 组件组合应用:连接服务组件的输入输出端,形成应用之间的数据通道。 XSL 管理配置:设置不同的 XML 格式之间转换的所用的 XSLT,所
6、生成的XSLT 数据转换服务运行于节点上,充分利用节点的计算能力。 管理服务:包括适配器组件库管理和组件(适配器)本身的配置管理、适配器之间连接的管理(创建、删除、改变等),以及系统运行管理(开启服务、应用等)。 监控管理为用户提供系统的运行状况信息,包括组件运行状态监控、数据流监控,日志等管理功能。3、 基于适配器的交换服务适配器是根据应用或者前置机节点的数据共享交换需求而定制的,为构建在数据共享交换平台之上的应用提供简单易用的数据接入服务组件。它的主要功能是实现与应用或者文件等共享内容的对接,并把抽取和接收 XML 封装的数据文件基于主题的方式以 JMS 消息发送到数据交换平台实现数据路由
7、和数据转换。适配器可重用、可配置、可管理、可维护的特性。适配器从应用场景来说主要分为文件、数据两类主流适配器,同时提供适配器模板支撑用户针对特性应用开展其它适配器的开发建设;就应用模式而言,适配器主要分为发送、接收两类适配器;通过文件适配器、数据适配器、以及其它根据适配器模板开发的特性适配器与发送、接收适配器的组合,方便支撑服务全集团的数据交换服务平台的建设。需要说明的是在文件交换过程中,针对数据库数据采集建设(即交换数据产品技术白皮书6的中心落地工作) ,将在文件发送、接收的基础上,通过触发器自动调用文件解析适配器,完成上载文件的格式解析(PDF、Excel、TXT 等) ,由文件非结构状态
8、直接转化为结构化数据(目标数据库格式:Oracle、SqlServer、MySql、DB2、Sybase 等) ,同时将数据直接插入相应专题库中,自动化的完成数据采集、交换、解析、入库的一系列流程。文件自动交换解析服务同样可应用于不同下属单位之间端对端的数据交换流程中。同时在以上适配器应用类型之外,平台还提供传统 Web 服务组件以及消息发布组件等一系列服务,满足平台在复杂、异构应用环境下的通用性和完整性。4、 WebService 交换服务以 web 服务方式将数据库交换请求信息发送到共享交换平台,共享交换平台根据交换请求完成数据库的交换。具体 WebService 组建交换流程是首先以 w
9、eb 服务方式将文件交换请求发送到共享交换平台,共享交换平台根据交换请求完成文件的交换。文件传输采用MTOM 解决方案,即 SOAP 消息传输最优化机制(SOAP Message Transmission Optimization Mechanism,MTOM) 。MTOM 是一种二进制信息附件传输标准,正在被所有的 Web Service 供应商所支持。节点应用作为 WebService 体系的 Client 端,将通过 HTTP、HTTPS 等网络标准协议,基于 SOAP 网关动态接入集团数据共享交换平台,中央服务器作为WebService 体系的的 Agent,提供请求代理中转服务,而每
10、个交换子节点控制台均将作为 WebService 体系的 Server 端存在,一旦通过 JMS 接收到中央服务器的 Web 服务请求,则将调用本地适配器服务完成资源的发送(可按 Adapter模式按消息或者主题两种方式进行) ,底层基于 JMS 框架完成内部消息的发送,最终通过 WebService 将应用请求内容反馈,基于 WebService 的交换服务框架将对于提供集团数据交换平台在自适应性、扩展性以及兼容性等各个层面的服务品质。5、 适配器控制台适配器控制台运行在各前置机节点服务器上,通过在客户端控制台容器中运行针对不同数据交换共享需求的适配器配置文件,底层调用 JMS 实现数据的产
11、品技术白皮书7交换共享服务,系统建设过程中,在各个节点控制台中将预制数据库适配器、文件适配器两类通用型适配器模板,即通过数据库适配器以接口表的方式完成本地应用系统数据库中数据的采集、封装和发送;或者通过文件适配器完成本地文件的上载以及自动发送,支撑远端节点与中央服务器之间的数据交换共享。节点前置机作为适配器服务运行的容器存在,即各节点前置机与中心平台之间一起构成分布式的服务运行环境,并提供事件管理功能如消息队列机制和数据持久层可靠事件的传输管理机制等,与各节点应用关联的接口适配器(Adapters)运行于节点前置机上。节点前置机为运行其上的服务组件提供两部分主要功能:1)容器服务和日志采集:通
12、过为适配器配置 XML 文件提供标准的运行环境容器,各适配器文件通过统一的运行环境容器(即节点适配器控制台)将Adapter 服务等组件运行其上,并将有关服务的运行状态、发送接收数据日志等发送到中央服务器,中央服务器通过节点服务器开启实时、定时或手动服务。2)数据传输持久层保护:为 Adapter 之间的数据传输提供基于事务验证机制的可靠传输保障服务,包括断点续传等功能。三、 技术路线数据交换产品遵循 J2EE、SOA、WebService、JMS、元数据等技术标准框架,应用适配器组件和数据服务总线架构,以可扩展标记语言 XML 作为消息传输的底层通用标准,平台通过消息传输的方式支撑集团内部各
13、类数据的交换共享,采用“ESB 服务总线”实现数据发送、接收和交换处理中远端应用系统和中央服务器、远端应用与中心落地数据库之间的松散耦合。1、 SOA 架构标准Web services 架构把 SOA(基于服务的架构)推到了主流市场。在 SOA 架构下,数据和业务逻辑融合成模型化的业务组件,且具有文档接口,这种明确的设计和简单和方式有助于开发和进一步扩展,一个 SOA 应用可以很简单地与异构的、外部的遗留系统、外购的应用集成。随着 Web services 的发展,SOA产品技术白皮书8的优势会更快地被认识到,新的工具会使 SOA 应用的开发更简单,在主流软件设计市场主导 40 年的集成点对点
14、的集成方式将会退出市场。Garner 预测,随着 Web services 和 SOA 工具逐步实现易用性和完成整体功能,SOA 必然会占据主流市场,所有的中间件产品和相关开发工具,包括应用服务器、门户产品、和集成套件,都会大力支持 Web services 和 SOA 部件。Copyright 203CensoftConcepts TolsDevlopDeployServic-OntdAhiu()Srvi-Oritdlm ofAicatns(D) WebSrvicAhtu()Iterfac SptionWg (Rflti)escrynamiAsemblyCpoitnDicvrOrhtaiCo
15、trMesgRpitySrvProg. MdellatfmSnsOriztWeb Srvic Pdulatfoms()207: ri rintirithBuSOA 是一种应用技术,应用的业务逻辑清楚地被组织成模型(服务) ,访问接口、服务成为一个黑盒。在 SOA 中,结构师要尝试由单个实体来提供一系列特定的任务。该实体接收服务请求并返回处理结果;或返回因尝试失败而导致的错误。这些服务,以及规定它们应如何组合来构成一个完整应用程序的指导原则,就构成了一个 SOA。SOA 有数十年系统工程的很好的实践,但是目前还缺少标准和专业工具,只在技术非常先进的项目中采用。SOA 能让应用提高灵活性、重用性,
16、但是在开发之前需要设计、洞察和协商。Web services 是 SOA 的基础标准。随着基本的 Web services 服务(HTTP, DNS, XML and SOAP) 的普遍发展,和Microsoft,IBM 及其它领先的 IT 厂商的认可,大量的中间件和工具厂商已经更新了他们的产品或提供 Web services 架构的新产品。到 2007 年,Web services 的采用将开创新的技术和商业契机。下图是 SOA 重新定义的中间件平台结构。产品技术白皮书9Copyright 203Censoft QoS =uality ofServicRequst /plyServic Pr
17、oider latfmServic Consumr Platfr Bsine RcrdLegacyPksSrvisProces StaUser ExpincChanl Port BPMServicsAlato Srvi-Oitd Ahitu RdlflwBM =uin rcs MangerAplicton ServEti QoBMItegraionOn WaySOA 平台中间件结构图至 2006 年,基于服务的开发会改变软件开发、组装、销售的方式。Garner 预测,到 2007 年 75%的企业应用服务器的新功能都会成为无客户端的平台,在其它平台上应用只需要一个用户界面。新的、大型应用系列如
18、果想有更长的生命周期,就应该开始使用 SOA。忽视 SOA 的潜势或计划在早期阶段先不考虑的企业,将会发现他们自己已被那些先进的、敏捷的服务架构所摈弃。到 2007 年,SOA 将成为市场的主流,SODA 是 SOA 的开发架构。业务平台应该重视此潮流。2、 ESB 技术ESB(Enterprise Service Bus,即企业服务总线)是传统中间件技术与XML、Web 服务等技术结合的产物。ESB 提供了网络中最基本的连接中枢,是构筑企业神经系统的必要元素。企业服务总线 ESB 就是一种可以提供可靠的、有保证的消息技术的最新方法。ESB 中间件产品利用的是 Web 服务标准和与公认的可靠消
19、息 MOM 协议接口。ESB 产品的共有特性包括:连接异构的 MOM、利用 Web 服务描述语言接口封装MOM 协议,以及在 MOM 传输层上传送简单对象应用协议(SOAP)传输流的能力。大多数 ESB 产品支持在分布式应用之间通过中间层如集成代理实现直接对等沟通。企业服务总线(Enterprise Service Bus,ESB)的概念是从面向服务体系架构(Service - Oriented Architecture,SOA)发展而来的。SOA 描述了一产品技术白皮书10种 IT 基础设施的应用集成模型,其中的软构件集是以一种定义清晰的层次化结构相互耦合,其中,一个 ESB 是一个预先组装
20、的 SOA 实现,它包含了实现 SOA分层目标所必需的基础功能部件。(1) 企业服务总线(ESB)可以有那些用处ESB 不是万能的,他不是一个应用程序框架,也不是一个企业应用的解决方案。它只是一个基于消息的调用企业服务的通信模块!你可以把它嵌入到你的应用程序框架中,例如嵌入到 spring 容器里面,或者嵌入到工作流系统中。它的作用是对企业里面的 SOA 服务的调用提供一个框架和简便的方法。(2) 企业服务总线(ESB)的应用特征大规模分布式的企业应用需要相对简单而实用的中间件技术来简化和统一越来越复杂、繁琐的企业级信息系统平台。面向服务体系架构(SOA)是能够将应用程序的不同功能单元通过服务
21、之间定义良好的接口和契约联系起来。SOA使用户可以不受限制地重复使用软件、把各种资源互连起来,只要 IT 人员选用标准接口包装旧的应用程序、把新的应用程序构建成服务,那么其它应用系统就可以很方便的使用这些功能服务。支撑 SOA 的关键是其消息传递架构企业服务总线(ESB) 。ESB 是传统中间件技术与 XML、Web 服务等技术相互结合的产物,用于实现企业应用不同消息和信息的准确、高效和安全传递。ESB 的出现改变了传统的软件架构,可以提供比传统中间件产品更为廉价的解决方案,同时它还可以消除不同应用之间的技术差异,让不同的应用服务协调运作,实现不同服务之间的通信与整合。ESB 在不同领域具有非
22、常广泛的用途:电信领域:ESB 能够在全方位支持电信行业 OSS 的应用整合概念。是理想的电信级应用软件承载平台。电力领域:ESB 能够在全方位支持电力行业 EMS 的数据整合概念,是理想的 SCADA 系统数据交换平台。金融领域:ESB 能够在全方位支持银企间业务处理平台的流程整合概念,是理想的 B2B 交易支撑平台。电子政务:ESB 能够在全方位支持电子政务应用软件业务基础平台、信息共享交换平台、决策分析支撑平台和政务门户的平台化实现。产品技术白皮书11(3) 企业服务总线(ESB)的结构和功能ESB 提供了一种开放的、基于标准的消息机制,通过简单的标准适配器和接口,来完成粗粒度应用(服务
23、)和其它组件之间的互操作,能够满足大型异构企业环境的集成需求。它可以在不改变现有基础结构的情况下让几代技术实现互操作。通过使用 ESB,可以在几乎不更改代码的情况下,以一种无缝的非侵入方式使企业已有的系统具有全新的服务接口,并能够在部署环境中支持任何标准。更重要的是,充当“缓冲器”的 ESB(负责在诸多服务之间转换业务逻辑和数据格式)与服务逻辑相分离,从而使得不同的应用程序可以同时使用同一服务,用不着在应用程序或者数据发生变化时,改动服务代码。(4) InterESB 的功能特点 多种通信技术的综合应用 高度灵活、可分布部署的信息总线 便捷、标准的企业应用集成模式 灵活的适配器技术 与 COR
24、BA、J2EE 技术的结合 广泛的平台支持(5) 企业服务总线(ESB)的应用前景企业级应用系统一直是中国软件产业发展的主要方向之一,占有至关重要的地位。同时,它也受到整个世界 IT 发展潮流的影响,当前 IT 软件领域的主要技术趋势是 SOA 和 ESB,原因是信息技术的不断发展和成熟使各个企业有机会在更大的范围内整合自己的资源,提高经营运行效率。二十一世纪信息共享与整合对企业的变革发展日趋重要,而企业对网络环境的依赖及应用创新的追求,将是我们面临的主要挑战。3、 J2EE 技术J2EE 是主流的技术体系,J2EE 已成为一个工业标准,围绕着 J2EE 有众多的厂家和产品,其中不乏优秀的软件
25、产品,合理集成以 J2EE 为标准的软件产品构建新建业务系统,可以得到较好的稳定性、高可靠性和扩展性。J2EE 技术的基础是 JAVA 语言,JAVA 语言的与平台无关性,保证了基于产品技术白皮书12J2EE 平台开发的应用系统和支撑环境可以跨平台运行。J2EE 平台包含有一整套的服务、应用编程接口(API)和协议,可用于开发基于 Web 的分布式应用。它定义了一套标准化、模块化的组件规范;并为这些组件提供了一整套完整的服务、以及自动处理应用行为的许多细节-例如安全和多线程。由于 J2EE 构建在 Java 2 平台标准版本上(J2SE) ,因此,它继承了 Java 的所有优点面向对象、跨平台
26、等。随着越来越多的第三方对 Java 2 平台企业版(J2EE)提供支持,Java 已经被广泛用来开发企业级应用。基于 J2EE 技术的应用服务器(Application Server)主要是用来支持开发基于 Web 的三层体系结构应用的支撑平台,这一类的产品包括 BEA Web Logic、IBM WebSphere 等。4、 Web services 技术Web services 是为了让地理上分布在不同区域的计算机和设备一起工作,以便为用户提供各种各样的服务。用户可以控制要获取信息的内容、时间、方式,而不必像现在这样在无数个信息孤岛中浏览,去寻找自己所需要的信息。利用 Web servi
27、ces,公司和个人能够迅速且廉价地通过互联网向全球用户提供服务,建立全球范围的联系,在广泛的范围内寻找可能的合作伙伴。随着 Web服务技术的发展和运用,我们目前所进行的开发和使用应用程序的信息处理活动将过渡到开发和使用 Web services。将来,Web services 将取代应用程序成为 Web 上的基本开发和应用实体。WebService 规范了应用程序组件的包装、接口标准,应用系统之间可以通过 SOAP 协议进行访问,通过 XML 来交换数据,这为分布式应用之间提供了简单、开放、标准的耦合新途径,已经得到越来越多业界的支持。5、 元数据及目录技术“元数据”是从英文单词“metada
28、ta”的中文意译,也有翻译为“元资料”(常见于东南亚、台湾等地的文献中) 。元数据的直译为关于数据的数据,一般属于计算机领域中的术语。我们可以用一个简单的例子来说明;有一本书政治经济学 ,我们对它的书名、作者、出版社等信息做一个简单的摘要,那么这个摘要信息就可以称作元数据。同样的,关于物质世界的和初始事物的简单(相对于源)再描述所得到信息都可以称作元数据,这就是元数据的一般定义。产品技术白皮书13元数据最基本的用途就是管理数据,从而实现查询、阅读、交换和共享。元数据的编写是有标准的,对于不同领域一般都会根据需求来定义一个标准或几个标准。标准的设定是为了实现领域中的数据信息交换和共享,为研究和生
29、产服务。元数据在不同研究领域中有不同提法,在政务信息资源管理领域主要关注以下基本问题(3WH) ,What有什么?Where位置在哪?Who谁提供?谁使用?How如何发布?如何查找?如何使用?政府信息资源目录体系就是一种信息资源的组织、整合和管理体系,解决有什么信息资源、在哪里、谁提供的问题,实现信息资源的管理、共享、查询和定位服务。四、 产品功能交换服务数据交换服务是数据共享交换平台的核心,数据交换系服统件包括六部分:路由服务、转换服务、安全服务、消息通讯服务、发送接收服务、接入服务。产品技术白皮书14(一) 路由服务路由服务可使用像业务名称这样的地址,在服务之间路由消息,控制消息的存储和分
30、发,并对每个消息启动正确的处理流程;实现数据交换路由解析功能,可实现数据的多步多级传输。 路由可以是显式的:使用输入数据提供的显式地址或映像中的显式地址; 路由服务也可以是基于内容的:分析输入数据或输出数据的内容以确定需要在哪里对输出进行路由; 基于主题的消息路由,支持发布订阅机制:主题是消息目的地的字符串描述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性。(二) 转换服务转换服务包括协议转换、格式转换、数据转换,通过转换解决交换节点间协议差别、异构、数据项差异等问题1、 协议转换在请求方和服务方之间
31、进行协议转换,解决异构系统之间由于通讯协议不同而不能互联互通的问题;2、 格式转换在请求方和服务方之间进行消息格式转换,解决异构系统之间由于数据描述方式不同而不能互联互通的问题,解决不同企业应用程序的本体和语义的异类问题。 支持各种主流关系型数据库之间的数据交换,如 Oracle、SQL Server、DB2、Sybase、Access、Excel、MySql 等。 支持数据表名称和字段名称转换,可以实现不同表名、字段名的数据表之间的数据交换3、 数据转换产品技术白皮书15指通过数据项定义功能,实现选择源数据表的全部数据接入或选择源数据表的部分字段接入;筛选数据记录或定义接入条件,实现只有符合
32、条件的数据记录才被接入数据交换平台。数据表转换的实际内容是数据记录的拆分、组合,数据交换平台通过主健定义,多转换关系表定义等环节,实现各种记录处理。(1) 一表对一表交换数据交换平台可以实现基本的一个数据表到一个数据表的交换,并且在一对一交换中支持一个源数据表的一个记录的不同字段在目标表中生成两条或多条记录。(2) 一表对多表交换数据交换平台可以支持“一对多”交换。实现一个源数据表中的一条记录的不同字段组合交换为多个目标表中的记录。(3) 多表对一表交换数据交换平台可以支持“多对一”交换。实现多个源数据表中的数据记录组合转换为一个目标表中的一条记录。(三) 安全服务能够基于产品自带的安全服务功
33、能,对敏感信息交换进行 MD5、DES、SSL加密,根据数据加密应用途径进行交换信息内容的加密(可逆或不可逆) ,保障数据交换传输过程中的安全。同时还将具有数据合法性验证功能,能够对交换平台与应用系统之间以及交换系统之间的两类合法性验证,确保数据可信交换。(四) 消息通讯服务 MQ消息通讯服务为数据共享交换平台提供强健的消息中间件基础平台,它的主要功能如下:1、 支持同步或异步通信同步处理是指每一步骤必须等待下一步骤完成后才能继续进行;异步处理建立在系统间异步、基于消息的交互上,基于“存储转发”或消息队列服务,产品技术白皮书16采用“松散耦合”的方式连接,这使得分布式系统具有更高的可用性和可伸
34、缩性。(1) 即时传输基于事件驱动,由系统运行时动态产生和控制的会话方式。对于没有网络占用时段限制或要求实时传输数据的交换可以定义为即时传输模式,即时传输模式可以将接入数据即时发送到接收节点。(2) 定时传输由系统定时器根据预设的定时策略产生和控制的会话方式。对于有网络占用时段限制或不要求实时传输数据的交换可以定义为定时传输模式,定时传输模式可以在指定时间将接入数据发送到接收节点。即时传输模式支持定点传输和指定间隔时间轮询启动传输。(3) 手工启动传输系统运行时由用户手工产生和控制的会话方式2、 支持多种传输模式数据交换平台支持多种方式的数据分发,即可实现基于交换服务器的一对一的队列传输和一对
35、多的发布订阅传输,也支持两个适配器的直接消息传输。(1) 订阅平台基于主题的消息路由,支持发布订阅机制:主题是消息目的地的字符串描述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩展性(2) 队列平台支持队列方式,方便实现一点对一点的数据传输。3、 支持多通讯模式:支持数据的发布/订阅、请求/应答通信模式;发布/订阅通信模式完全是一种“推” (Push)的技术;而请求/应答通信模式是对传统 Client/Server 通信模式的支持,即支持“拉” (Pull)技术。用户可以根据具体应用的信息处理流程来选择合
36、适的通信模式。(1) 推:点到点或点到多点的主动信息推送方式产品技术白皮书17(2) 拉:点到点或点到多点的被动信息获取方式(3) 组播:在一个域或群组范围内的多点群发方式4、 可靠传输支持断点续传、分块传输;保证消息传输一次且仅需传输一次,确保数据可靠传送。当以主题发布消息时,保证每个订阅者都可以接受到消息,而且每个订阅者只能接受一次。另外,由于发布者产生的消息是按时间顺序放在相当于队列的消息队列表中,可以保证按消息产生的时间序列依次发送,同样,也按时间序列接受和处理消息,所以,整个架构不仅可保证消息传递的可靠性而且可保证消息处理的时序性。5、 事务支持发送方只有成功地发送消息时,才删除消息
37、队列中的消息,否则回滚事务;只有在受到接收方确认消息(Point/Point 时)或所有订阅者确认消息(Publish/Subscriber 时)之后,才删除持久性存储的消息;接收适配器只有成功地将消息映像到目标数据库后,才给消息通讯服务器发送确认消息。6、 解码/编码将数据转换到与数据交换平台相同的代码页,编码服务则可将输出数据的字符集编码为系统的代码页。7、 数据压缩/加密解密支持数据传输过程中的数据压缩/加密处理,保证数据传输安全。8、 序列化/反序列化序列化服务获取输出数据结构并将其序列化到可通过网络传输的纯文本文件中,反序列化服务执行相反的操作。9、 地址转换在分配给集成服务目的地的
38、逻辑业务地址与网络协议所需要的网络地址间转换。(五) 发送接收传输服务执行数据的传输或接收,提供JMS、WebServices、FTP、HTTP/HTTPS、IIOP、RMI、File、Socket 等多种方式产品技术白皮书18数据传输。 (六) 接入服务数据共享交换平台的接入包括采集接入(相关单位到中心基础数据库)和共享接入(中心基础数据库到相关单位) ,数据接入功能提供可视化配置与管理,支持多种接入方式和接入模式,支持基于元数据的可视化数据接入。1、 接入方式数据共享交换平台支持多种接入方式,接入方式包括中间数据表接入、原始系统表接入、文件目录树接入、Web services 接入、文件解
39、析接入、数据表单接入等。可根据不同需要配置各种接入方式。(1) 中间数据表接入对于可以推送交换数据的节点,可采用中间表接入方式接入,这种方式最简单,接口界面清晰,利于排查问题,并且可以保证原始系统不受交换平台的影响,保证原始系统数据的安全。中间数据表接入方式即根据实际业务需要,定义所需交换数据的表结构,建立接口数据表,原始应用系统负责向接口表中传送需要的数据,交换平台负责将接口表中的数据交换到目标节点。中间数据表接入方式要求原始应用系统提供数据推送服务,每个接入节点的实施将有一定的工作量。(2) 原始系统表接入对于不可以推送交换数据并对数据共享交换平台信任的节点,可采用原始系统表接入方式接入,
40、这种方式比较复杂,接口界面不清晰,不利于排查问题,并且涉及到原始系统数据库会受交换平台一定影响,要靠严格的授权机制来保证原始系统数据的安全。原始系统表接入方式即根据实际业务需要,在原始应用系统数据表中选择需要的数据项,直接交换到目标节点。原始系统表接入方式不要求原始应用系统提供数据推送服务,每个接入节点的实施工作量很小,可以方便的增加、减少数据表和数据项,但是需要提供完整的原始系统表结构说明。产品技术白皮书19(3) 文件目录树接入平台提供文件目录接入功能,可实现各节点间指定目录节点中文件的传输和同步,这种方式可简单的实现两台服务器间目录文件的同步。(4) Web Service 接入平台提供
41、 Web services 接入接口,原始系统可通过调用 Web services 接口将数据推送到交换平台,同时,交换平台也提供 Web services 调用功能,通过调用原始系统的 Web services 服务获得数据。(5) 文件解析接入平台提供文件解析接入功能,将系统或者其它方式生成的Excel、TXT、PDF、DOC 等各类格式的数据文件解析入库,再以数据库的方式交换。(6) 数据表单接入为用户提供数据表单,用户直接在表单上输入数据,提交后系统直接入库并传输。(7) GIS 数据接入平台支持 gis 数据的交换,GIS 数据库中将存在 Tab 空间图像数据,平台将库中图像数据定义
42、为标准的二进制数据文件(以 Blob、Clob 等模式通过底层二进制完成存储转发) ,借助 JMS 消息完成数据的交换服务。(8) 适配器模板服务接口数据共享交换平台能在以上各类通用接口的基础上,提供数据交换服务适配器模板,用户可根据模板形成特殊数据交换服务适配器组件的开发和使用。2、 接入适配器系统通过丰富的内置适配器和组件支持上述的多种接入方式。3、 触发模式数据共享交换平台对各种接入数据的传送触发提供三种模式:数据库触发器触发模式、数据库轮询触发模式、目录监听触发模式。(1) 数据库触发器对于支持触发器的数据库,可以采用触发器触发模式,原始数据的任何变化都可以触发接入动作,实现即时的数据
43、接入。产品技术白皮书20(2) 数据库轮询对于不支持触发器、数据采集时间受限制(如:白天的上下午不能影响业务系统正常运行)并且数据量不大的数据库接入,可采用轮询触发模式,数据库轮询模式可以实现指定时间间隔的数据库数据采集动作。(3) 目录监听目录接入方式采用目录监听方式,指定目录内任何文件变化都可以触发数据交换平台的接入动作。4、 交换模式(1) 单向传送平台可实现数据库、文件目录的单向数据传输,保证数据源的任何变化都传送到目标节点。(2) 双向同步平台可实现数据库、文件目录的双向数据传输,保证数据源和目标节点数据的同步。五、 产品功能管理平台数据共享交换平台的管理功能包括五部分:资源管理、共
44、享管理、授权管理控制、运维管理、平台管理。数据共享交换平台的的管理功能部署在三个控制台上:中央管理控制台、前置机控制台、交换与传输控制台。在物理部署上,前置机控制台将随适配器部署在前置机或业务系统服务器上;交换与传输控制台部署在核心交换服务器上;中央管理控制台可以独立部署也可以部署在核心交换服务器上。数据共享交换平台提供功能强大的可视化管理控制功能,实现便捷的平台监控、配置、授权等平台管理控制工作。可监控各种数据的交换情况,统计交换数量,灵活方便的处理系统异常情况。另外,在数据交换的基础上实现对所交换数据资源的目录化管理和资源共享管理过程的管理。具体管理功能如下:产品技术白皮书21(一) 资源
45、管理平台提供共享资源目录服务管理功能,资源目录节点的内容为数据资源的元数据描述,用户可以在平台上注册、更新数据资源目录,并可通过资源目录导航查询到需要的数据资源。1、业务模型共享信息资源库均依托于各单位信息资源库建立,提供者从中提取出共享信息资源的特征信息,编目形成共享信息资源核心元数据,注册到共享信息资源元数据库中,生成共享信息资源目录。使用者通过数据共享交换平台一站式服务对共享信息资源进行目录查询。共享资源目录系统的业务模型如下图所示:管 理 平 台共 享 资 源 目 录共享资源元数据共享资源库各单位信息资源库元数据使用者提供者编目注册来源于查询数据共享交换平台从概念上存在三类角色:信息资
46、源提供者、信息资源使用者、信息资源中心。信息资源提供者负责向使用者提供资源,并向共享资源目录发布目录;信息资源使用者向共享资源目录查询资源,通过交换系统使用产品技术白皮书22提供者的资源;共享资源目录负责分类管理提供者的共享资源目录,向信息资源使用者提供查询服务。在应急情况下,信息资源使用者也可以不通过共享资源目录查询直接与信息资源提供者进行信息交换。目录系统与交换平台的关系模型如下图所示:交换服务中心目 录 系 统交 换 服 务资 源使 用 者资 源提 供 者静态查询资源注册信息交换 信息交换动态查询 动态绑定各单位对共享信息资源元数据编目,并通过元数据注册系统向管理者注册。管理者经审核后,
47、发布已注册的目录内容。信息资源使用者(以下简称使用者)通过共享信息资源目录一站式查询信息资源。共享信息资源目录服务业务流程如下图所示:提供者 使用者管理者部门信息资源库共享资源库 元数据目 录 服 务元数据元 数 据 注 册管理平台提取特征注册发布 维护1 、 查询目录4 、 目录信息2 、 查询目录3 、 检索多个实例产品技术白皮书232、功能模块1) 资源注册系统提供数据资源目录服务及数据资源元数据注册功能,用户可以注册全部数据资源在一棵目录树上2) 分类查询目录建设为了便于用户查询资源,平台除提供资源目录之外,还提供分类查询目录服务,用户可以按照不同的查询习惯建成不同的分类查询目录3)
48、资源挂接基于资源目录和分类查询目录,将资源目录节点挂接到分类查询目录,用户便可通过不同的分类查询目录查询到需要的资源信息。4) 资源浏览用户可以通过分类查询目录浏览数据资源的元数据信息。(二) 共享管理数据共享交换平台提供流程管理功能,支持各单位共享需求的申请、审核、批准、反馈等审批流程,实现共享需求审批的无纸化办公。1、业务流程各部门各单位申请资源共享的流程为:需求方首先通过共享交换平台目录服务查找所需资源,如果没有找到所需信息资源,可以向信息中心提出需求申请,信息中心根据需求进行相关协调工作,扩大共享范围;如果有,则向平台(信息中心)提出共享申请,申请的审查为三级管理,及信息中心、相关处室
49、和单位领导,先由信息中心根据信息共享的对象及范围等情况,反馈通过、提交相关处室或不通过的结果,相关处室根据申请的情况反馈通过、提交单位领导或不通过的结果,最终由单位领导作出决定,通过或不通过。得到任何一级通过的申请均可以获得数据共享的权限,平台管理员进行相应的配置后即可实现共享。详细共享工作业务路程见下图:产品技术白皮书24通过目录服务查找所需资源有相关资源向信息中心提出共享申请信息中心审查平台管理员赋予权限 , 实现共享有通过向信息中心提出需求 , 由信息中心根据情况协调相关信息无信息中心给出审查结果及未通过说明未通过各单位单位其他单位提交相关处室审查处室审查反馈信息中心 , 由平台管理员赋予权限 , 实现共享通过给出审查结果及未通过说明未通过领导审查提交领导审查反馈信息中心 , 由平台管理员赋予权限 , 实现共享通过给出审查结果及未通过说明未通过2、数据流程设计信息资源交换体系由一系列交换节点组成,依托广域网和信息安全基础设施,通过采用信息资源交换标准,实现跨跨部门应用系统之间的信息资源交换。交换体系的概念模型如下图所示。产品技术白皮书25业务信息:是由各部门、各单位产生和管理的信息资源。交换节点:是交换体系中信息资源交换的起点或终点,完成业务信息与交换信息之间的转换,并通过交换服务实现信息