1、IBM ：地方政府信息整合解决方案概述省市两级分布的纵向系统之间数据共享与交换困难，这是很多政府机构或面临的难题。重要数据无法共享或交换，进而导致数据不一致或重复，造成缺乏可比数据，缺乏分析、缺乏管理，影响管理决策的效率和准确性。由于现有系统数据多、复杂性大，以上的挑战很难通过推倒重来、简单地建立新系统的传统思路进行解决。必须从整体架构平台的角度出发，一方面最大限度地利用现有的数据资源，另一方面应避免未来新的系统面临类似的问题。本文讨论和分析了信息整合的数据分布模式，在介绍纵向信息整合中采用的 IBM 信息整合关键技术基础上，提出了分阶段实施的省市两级纵向信息整合方案。数据分布模式数据是否集中
2、，怎样做数据集中，也就是按照什么样的数据分布来进行信息整合，往往是省市两级信息整合中用户最先关注的问题。采用 IBM 信息整合技术，提供三种数据分布模式供用户选择，分别为数据物理集中、逻辑集中而数据物理分布，以及逻辑集中与数据物理集中相结合。这三种模式各有所长，有着各自的适用范围和实施特点，需要根据整合所服务的具体的业务和业务的分布情况来判断和选择。如下图所示：数据分布模式的选择数据物理集中将全部数据放在一起，由一个统一的数据库服务器来管理，实现数据统一访问，访问效率最优，适合大数据量查询访问的决策分析等。缺陷是如果新数据产生在别的业务系统（如决策分析业务数据物理集中，而新数据产生在生产系统中
3、），则可访问数据的实时性差。另外，若通过实施数据物理集中来整合现有业务，往往风险大、时间长。逻辑集中而数据物理分布适用于业务系统分布在多个地方，由统一的整合平台实现各物理分布之间的数据共享，可实时访问分布在各处的数据。缺陷是访问效率受到网络传输能力的局限，不适合长事务。实施速度快，从数据层整合对原有业务系统影响小，能够降低实施风险。逻辑集中与数据物理集中相结合这种模式结合了逻辑集中与物理集中的优势，可以在实施初期采用逻辑整合，快速实现统一访问和数据共享，对访问量大、实时性要求不高的数据逐步实现物理集中，从而提高访问效率。从实施角度来看，可以从逻辑集中模式平滑过渡到这种综合模式，实施风险小；建议
4、在物理集中的数据整合项目中，采用这种综合模式作为过渡阶段，实现渐进式的物理集中，降低实施风险。若不能明确判断信息整合后的业务特点，建议首先采用逻辑集中的模式，根据需求的逐步发展，顺次过渡到综合模式、及物理集中模式，降低选择成本。分阶段实施的省市两级纵向信息整合方案信息整合平台的基础架构如下图所示。在省市两级纵向信息整合的过程中，第一阶段旨在利用数据映射层，实现统一查询访问，使全省数据可共享。第二阶段，结合数据整合层的各项功能，进行省市两级数据标准的规范化，提高共享的质量和数据复用，并为数据交换做准备。这两个阶段是信息整合所不可或缺的必要环节。第三阶段，将部分被频繁访问、且实时性要求有限的数据物
5、理集中，提高数据查询的质量，便于决策分析等业务应用。第四阶段，在第二阶段数据标准规范化的基础上，实现全省数据交换。这两个阶段可根据实际业务需求取舍，也可更换先后次序。以下分述各个整合阶段中的主要工作、常见问题及解决方法。省市级逻辑集中与数据访问安全 第一阶段的主要任务为构建信息整合平台，实现数据的逻辑集中、全省数据共享，而从物理上看，数据仍存储在省市各地原有的数据库中。第一阶段整合后的效果如下图所示，省级数据逻辑集中成为一个统一的视图。逻辑映射由数据源包装器、服务器、用户映射和昵称表四个层次的定义组成，其配置十分简便。在连通网络、数据库客户端可访问相应远程数据库服务器的前提下，平均每建立一个数
6、据库的逻辑映射表的工作量可以按分钟计。凭借信息整合平台的可配置、可扩展和易用性，这一阶段的工作重点可集中在确定哪些业务数据需要共享和规划数据共享安全体系上。后者可借鉴双层认证授权机制。数据整合：数据标准规范化信息化建设过程中，由于分期建设、或各地业务系统同时开发、或选用了不同的开发商等诸多客观因素，各地数据标准不一致的现象十分普遍。业务系统中各地的“方言“和“俗语“造成彼此数据的共享和交换都十分困难。这一阶段整合的关键就在于数据标准规范的设计和推广。在第一阶段构建信息整合平台的基础上，统一视图可便于对各地数据标准的分析和比较。数据标准规范往往以某地的标准为蓝本，经整理和扩充作为“普通话“，其他
7、各地再向其看齐，它的设计应遵循以下基本原则：保护原有投资：对于仍满足需求的业务系统，避免影响运营； 低风险：标准的规范影响较大，风险最低方案最优； 前瞻性、可扩充性和可维护性：标准的质量控制和更新维护机； 以业务需求为主导； 全局化开放性：顾及省市各地，兼顾对外界其他系统的开放。 规范一旦设计完成，其推广可分“转换“和“统一“两个阶段，渐进式的实施。“转换“，则业务系统和历史数据都不改动，将各地数据的“方言“解释为“普通话“，再共享或交换。一种解决方法是通过视图或存储过程，使用 SQL 将各地数据转换为规范的数据类型或逻辑。另一种解决方法是建立转换对映表，好比建立“方言“与“普通话“的对照字典
8、，使“方言“描述的远程的昵称表与转换对映表关联建立视图，查询该视图就得到转换为规范标准?quot;普通话“的数据。统一数据标准，则意味业务系统的更改或更替，需要对历史数据清洗、转换和存储。可以按照上述转换方法，同时结合数据复制技术，整理历史数据。参见第 3.2.2 小节源数据与目标数据间的数据转换。逻辑集中与物理集中相结合这一阶段的任务在于优化查询访问的效率，可以作为全面物理大集中的过渡。关键技术在于数据复制。根据业务需求，选择被访问频繁的数据作物理集中；再根据这些业务数据对实时性的要求和系统负载情况配置复制间隔。整合平台先进的数据复制技术，支持准实时的秒级数据同步，也支持按分钟、小时或天的数
9、据间隔同步。复制控制服务器会以同步间隔为周期，定期轮询是否产生了需要复制的新的数据、并将这些数据落实到本地。因此，同步间隔越短，对系统性能影响越大。实施过程中，应结合具体的运行环境，优化这些配置参数，使整体性能达到最优。这一阶段的实施效果下图：逻辑集中与物理集中相结合数据交换的实现在上述数据整合基础上，实现省市两级数据库间的数据交换。这些交换以省级 DB2 数据库为中心形成星形或树状的结构。整个数据共享和交换的底层实现和存储机制对各应用节点是透明的。该结构属于松耦合，如同星形网络一样，很容易进行层次化的结构扩展。数据交换采用的关键技术是复制。以 WebSphere II 为基础平台，实施数据交
10、换的主要工作可集中在与业务相关的交换标准定义、交换双方的映射关系定义和交换流程规划上。交换标准定义与 2.2 节中数据标准规范化类同，这里不在赘述。交换双方的映射关系的定义方法请参见 3.2.2 源数据与目标数据间的复制转换。数据交换中的交换流程可分为单向和双向两种模式。单向交换也即单向数据复制，与一般复制方法无异。对于需要双向交换的情况，则需采用带流程标示定义的双向复制。如市级的申请需要省级审批，审批结果返回市级的情况，其流程简单图示如下：A 市向省中心发送数据，其市级 ID 编号为 SJZ0001，刚发送到的状态设置为 N，采用单向复制。省中心对上报数据作处理，处理后将状态改为 A，表示已处理。从省中心到 A 市的复制，首先对状态和市级编号作判断，设置 Where 子句“Where ID= SJZ0001 And STATUS=A“ ，当满足 Where 子句条件时，再将数据增量下发。发送到 A 市后，将状态改为 R，表示双向交换完毕。在省级向不同市级站点下发送数据时，根据全局唯一列市级 ID 编号进行判断，决定该数据应该复制到哪个市级数据库。
