1、毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统基于 UNIX 平台 DCC 数据转换系统(新疆区分行 DCC 数据转换系统)Transform System For DCC Based On UNIX论文作者: 厦门大学软件学院软件工程专业公司指导人员: 职称:学院指导老师: 职称: 摘要本文从项目概述、数据转换总体设计、数据转换技术实现三个方面论述了中国建设银行新疆区分行 DCC 数据转换系统的开发流程。以本人所从事的主要模块贷款模块的开发经历为主要线索，将这三个部分统一为一个有机整体，并尽量化繁为简，将原先设计文档中较为繁复和艰深的文字内容以简洁和多样的图片形
2、式展现出来，力求做到言简意赅,一目了然。关键词数据转换 DCC 贷款模块毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统目 录引 言 .4第 1 章 项 目 概 述 .51.1 项 目 背 景 51.2 项 目 目 标 51.3 项 目 内 容 51.4 项 目 计 划 61.5 参 考 资 料 8第 2 章 数 据 转 换 总 体 设 计 92.1 数 据 转 换 范 围 .92.2 数 据 转 换 内 容 分 析 92.2.1 数 据 流 分 析 92.2.2 数 据 差 异 分 析 102.2.3 分 系 统 差 异 分 析 .112.2.4 分 系 统 差
3、异 分 析 举 例 贷 款 业 务 .112.2.5 Mapping 分 析 .122.2.5.1 mapping 分 析 方 法 .122.2.5.2 mapping 文 档 格 式 .122.2.5.3 mapping 文 档 举 例 贷 款 主 档 .122.2.6 数 据 清 理 142.2.7 数 据 补 录 142.2.7.1 数 据 补 录 举 例 1 贷 款 已 补 录 查 询 模 块 142.2.7.2 数 据 补 录 举 例 2 贷 款 帐 户 关 联 .152.2.8 数 据 提 取 192.2.8.1 数 据 集 定 义 .192.2.8.2 数 据 集 采 集 流 程
4、 举 例 .192.2.9 数 据 转 换 202.2.9.1 数 据 转 换 的 流 程 202.2.9.2 数 据 转 换 的 处 理 模 式 .202.2.9.3 数 据 转 换 举 例 贷 款 转 换 .202.2.10 参 数 转 换 212.3 数 据 转 换 逻 辑 架 构 21毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统2.3.1 逻 辑 架 构 举 例 帐 户 信 息 转 换 系 统 .222.4 数 据 转 换 的 功 能 构 成 232.5 部 分 模 块 设 计 .242.5.1 数 据 清 理 子 系 统 .242.5.2 数 据 补
5、录 子 系 统 .242.5.3 数 据 导 入 子 系 统 .242.5.4 转 换 数 据 中 心 子 系 统 .252.5.5 整 体 数 据 检 核 子 系 统 .25第 3 章 数 据 转 换 技 术 实 现 263.1 设 计 目 标 263.2 系 统 架 构 263.3 开 发 、 测 试 、 转 换 环 境 263.4 数 据 库 设 计 .273.4.1 中 间 数 据 库 分 类 .273.4.2 中 间 数 据 库 表 的 设 计 和 说 明 273.4.3 部 分 中 间 数 据 库 .283.4.4 中 间 数 据 库 举 例 1 贷 款 主 档 293.4.5 中
6、 间 数 据 库 举 例 2 客 户 额 度 资 料 主 档 .293.5 关 键 技 术 303.5.1 采 用 交 易 驱 动 设 计 .303.5.2 共 享 内 存 技 术 303.5.3 数 据 迭 代 技 术 303.6 性 能 控 制 303.7 库 表 间 检 查 举 例 贷 款 主 档 横 向 检 核 31第 4 章 结 论 34致 谢 辞 35毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统4引 言今年四月初，我进入厦门东南融通系统工程有限公司完成本科毕业设计。按照公司安排，我加入了新疆区分行 DCC 数据转换项目组，半日之间,从祖国东南端的厦门
7、飞到了西北角的乌鲁木齐，行程数千公里，进行中国建设银行新疆自治区区分行的 DCC 数据转换项目的开发。毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统5第 1 章 项 目 概 述1.1 项 目 背 景2002 年 3 月总行组织进行“加快科技创新和产品开发”的专题调研工作，结合建行的实际情况，对包括数据集中在内的科技发展策略进行了研究和论证。调研报告认为“应继续坚持总行科技规划中关于全行数据集中的规划方向，同时鉴于形势的严峻性和时间的紧迫性，建议适度调整数据集中实施步骤，加快数据集中建设步伐” ，建议“建立区域中心，分两个阶段完成全行数据集中工作”。四大国有商业银行
8、目前均在进行数据集中的规划和实施。其中，工商走在了其他银行的前面，基于没有数据集中就没有风险的集中控制，核心竞争力的形成就没有基础的认识，工商银行坚定不移地走数据集中的道路，虽然集中才刚刚完成，但市场竞争方面的优势已经显现出来。 “数据集中”已经成为中国银行业发展的大趋势。随着加入 WTO，我国金融业面临的竞争形势更加严峻。一级法人治理结构和我们面临的竞争形势要求建行进一步提高风险控制能力、客户服务水平、产品开发和市场响应速度，进一步提高盈利和降低成本，从而提高我行的核心竞争力，所有这些都需要改善目前的技术支撑环境。此时加快数据集中建设步伐，尽快启动“中国建设银行数据集中工程项目” ，对建行的
9、发展而言有着重要的战略意义。1.2 项 目 目 标在 DCC 系统中按要求建立完整和准确的各类业务和帐务数据，以满足新疆建行业务在 DCC 系统中的正常运营，其主要工作是实现新疆区分行现行业务处理系统涵盖业务数据向 DCC 业务处理系统平稳的过渡，同时确保周边系统正常运行。1.3 项 目 内 容 根据 DCC 系统所涵盖的业务范围及 DCC 数据字典确定新疆建行数据转换范围毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统6 根据 DCC 系统关于业务数据完整性、真实性、一致性的要求，对新疆建行现有系统的数据进行相应的清理 对新疆建行现有系统数据结构与 DCC 数据字
10、典进行对比分析，确定数据转换规则及方案 编写数据清理、补录、转换程序并进行测试 利用新疆建行现有系统真实业务数据进行多轮数据转换测试及数据转换演练，并确定数据切换方案及切换流程 在系统上线日实施数据切换1.4 项 目 计 划实际工作中每个阶段并不是完全串行的，许多工作是可以并行交叉的。1) 差异分析和 Mapping 整理：毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统7通过新旧系统数据结构、数据类型、参数定义的对比分析，形成一系列描述新旧系统联系与差异的对照表，完成新旧系统差异分析和数据迁移工作的总体方案设计。2) 数据转换概要设计、详细设计：完成数据迁移概要设
11、计、各子模块的详细设计。根据业务的需求、前一阶段整理的MAPPING对照表，确定转换规则及方法，确定各部分数据的转移处理程序，制定数据的迁移方案。此阶段需完成：清理、数据补录、数据转换详细设计、数据转换、数据返还处理、数据检核的详细设计。在进行设计和开发之前，除了正确性和安全性之外，需要兼顾效率。3) 数据清理和补录：数据的技术清理和补录的程序开发测试必须先于数据转换程序，尽早地为数据转换作准备。数据转换程序是基于清理过的现有业务数据汇总补录数据进行转换。4) 开发与测试：根据数据转换详细设计方案，完成数据转换、清理、补录、检核、迁移、返还处理等各子模块的代码编写及测试工作。组成如下：5) 数
12、据转换和检核：毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统8DCC项目组对业务数据进行转换，并用检核软件对转换后数据进行检查，在总行北中心的支持下，进行Loading测试，并与周边系统(外围系统)进行联合测试，为下一阶段的整体测试作好数据准备工作。并根据转换、检核的情况编制系统数据转换切换方案。数据检核的内容主要如下：数据常规检查：通查所有栏位，进行字段级的检查。如判断开户日是否大于转换日，利率是否在理论范围等等。数据横向检查：根据已知的DCC数据之间的关联关系，检查同一数据表内不同字段之间以及不同数据表内字段之间的关联关系是否正确，条件检查关联栏数据是否有缺失
13、，关联关系错误等。如判断定期存款的开户日、到期日与存器是否一致等等。6) 整体测试：在总行DCC项目组的配合下，按照总行既定的时间要求，进行系统整体测试。整体测试的主要内容如下： 正确性验证 关键字段的校验 样本数据核对 帐务数据核对 T1、T2 报表核对 转换问题的跟踪和解决7) 模拟演练：在总行DCC项目组的配合下，按照总行既定的时间要求，进行系统模拟演练。8) 切换上线：在总行DCC项目组的配合下，按照总行既定的时间要求，进行系统切换上线。9) 运行阶段：在系统切换上线后，DCC数据转换项目组在总行DCC项目组的配合下关注DCC系统上线后的运行情况，跟踪、分析、并解决所出现的问题。进行数
14、据转换文档整理，将数据转换的一些转换规则和转换方法进行全面的回顾和整理，这将为日后的故障处理、运行维护和二次开发奠定良好的基础，也为了今后更好地开展工作。1.5 参 考 资 料数据集中系统应用推广基础原理_技术总体架构毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统9数据集中系统应用推广基础原理_业务总体架构数据集中系统应用推广基础原理_业务概揽及分布数据集中系统应用推广实施参考_数据转换业务指导数据集中系统应用推广实施参考_数据转换技术实践毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统10第 2 章 数 据 转 换 总 体 设 计2.
15、1 数 据 转 换 范 围DCC系统是一个集中国建设银行所有柜面核心业务，包括对公会计，储蓄，公积金，信用卡，外汇会计和储蓄等一体的本外币一体化的综合柜员制下的庞大复杂系统。根据DCC的业务分布，分析现有系统的帐务组织、数据信息，确定工作范围如下：业 务 范 围 转 换 内 容 备 注人民币对公 对 公 活 期 存 款 、 对 公 定 期 存 款 、 贷 款人民币储蓄 公用信息、储蓄活期存款、储蓄定期存款、零整存款银行卡卡信息、活期存款（卡帐） 、定 期 存 款 （ 保 证 金 ）综合柜员系统 会计、结算、参数结算票据、内部帐、总帐、参数（机构、操作员等分行级参数）对公客户信息 对公客户信息、
16、客户额度CIF 集中签约库 储蓄客户信息、银行卡客户信息国债系统 客户信息、国债定期、债券信息 单 机 版外币储蓄(FENS) 公用信息、客户信息、活期存款、定期存款、零整存款，总帐（内部帐）总 行 统 一 组织 转 换外汇会计(FENS) 公用信息、客户信息、活期存款、定期存款、贷款、结算、总帐（内部帐）总 行 统 一 组织 转 换毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统112.2 数 据 转 换 内 容 分 析2.2.1 数 据 流 分 析数据转换的整体流程可分为差异分析、Mapping比对、数据清理、数据补录、数据转换、数据检核、数据合并、业务测试。流
17、程图如下所示。毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统122.2.2 数 据 差 异 分 析差异性分析是一项复杂而细致的工作，要求熟悉区分行现有各业务系统和总行DCC数据字典，由业务人员和科技部各业务分管技术人员参加，项目组在此阶段的主要工作是配合业务人员进行业务差异性分析，同时在建行科技、业务人员的协助下了解原有旧系统，与建行DCC数据转换组成员共同完成差异性分析。2.2.3 分 系 统 差 异 分 析分系统差异分析客户信息库系统CIF 集中签约系统综合柜员系统国债系统核算架构存款业务贷款业务银行卡单证管理毕 业 设 计 基 于 UNIX 平 台 的 DC
18、C 数 据 转 换 系 统132.2.4 分 系 统 差 异 分 析 举 例 贷 款 业 务综合柜面系统对于一笔贷款，分别开立贷款正常本金、贷款逾期本金、贷款呆滞本金、贷款呆帐本金、贷款核销本金、应收利息、催收利息、核销利息、待收委贷利息帐户进行核算。DCC系统对于一笔贷款，开立一个贷款帐户，将贷款正常本金、贷款逾期本金、贷款呆滞本金、贷款呆帐本金、贷款核销本金、应收利息、催收利息、核销利息、待收委贷利息等内容统一进行反映。2.2.5 Mapping 分 析在数据转换前期，必须对新疆建行现有业务系统和总行 DCC 系统之间的差异性分析，大体集中在技术差异和业务差异两大方面，分析的内容主要有：业
19、务处理差异分析、业务数据差异分析、处理设备差异分析、网络配置差异分析等方面。根据转换档制作的mapping文档是数据清理、数据补录、数据转换的依据，是整个数据转换流程的基础。在此基础上，可编写数据补录方案和数据转换方案。2.2.5.1 mapping 分 析 方 法1. 以需要转换的 DCC 的数据档为基础，以总行提供的数据字典文档为标准，提取总行对该栏位的定义及其数据类型，数据定义以及取值范围。2. 根据现有系统对应的表的结构、数据字典，分析 DCC 数据档中该栏位是否需要转换，是否直接来自于原系统或通过补录，转换规则如何等。3. 根据 DCC 系统的常规检核、横向检核标准、确定各栏位的转换
20、映射关系。4. 根据转换映射关系，确定转换后在 DCC 系统中的取值范围。2.2.5.2 mapping 文 档 格 式DCC数据转换组根据已上线行的经验，需求Mapping文档采取如下格式：DCC 旧系统编号 栏位名称 长度 DCC 栏位定义 初值 库表名称栏位名称长度栏位定义迁移方法 修改日期 样本数据毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统142.2.5.3 mapping 文 档 举 例 贷 款 主 档转换档所对应的原系统的数据源若是不同系统和数据表，需要制作相应的mapping文档，以贷款主档(LNLNSLNS)为例，需要以下各相关档:对公贷款_贷
21、款主档-LNLNSLNS.doc对公贷款_放款利息明细档-LNLNSUPY.doc对公贷款_分期放款计划档-LNLNSPLN.doc对公贷款_本金变动异动档-LNLNSPMT.doc 对公贷款_分期还款计划档-LNLNSDUE.doc 其中的对公贷款_贷款主档-LNLNSLNS.doc 中的部分列表如下：新系统 旧系统编号 栏位名称 长度 栏位定义 初值 档案名称 栏位名称长度 栏位定义迁移方法修改日期样本数据1 LNLNS-LL 9(4) COMP1558 1558 04072 贷款帐号LN-LN-ACCT-NOX(28) 键值/若原系统中对应有多个本金帐户和利息帐户，建议选正常本金帐号为贷
22、款帐号/sb fb2zh char(30)帐号 根据账号转换方案模版转换成 DCC 系统账号后赋值04073 LNLNS-DB-TIMESTAMP9(15) COMP-3CYYDDDHHMMSSNNNC等于1表示20YY具体年份HH小时MM分钟SS秒NNN千分秒转换的时间由移植程序赋值04074 帐务版次LN-FINL-VRSN9(2) 修改LNLNSLNS时，版次加1 /转换时转01/01 1 0407毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统15编号新系统 旧系统 迁移方法修改日期样本数据栏位名称 长度 栏位定义 初值 档案名称 栏位名称 长度 栏位定义5
23、 主档维护版次LN-DB-MNTN-NO9(2) 修改同帐务版次/转换时转01/01 1 04076 客户编号LN-CUST-NOX(20) 贷款帐号对应客户的客户编号必须存在于CICIFCIF 中sb21 fb21khbm int 客户编号移植程序根据客户编号转赋值0407 2.2.6 数 据 清 理针对新疆建行现有人民币综合(包含城网、CIF 集中签约系统、客户信息系统)系统与 DCC 系统存在数据字典、科目字典上的差异，从而导致信息上的不对称进行清理。对资料性质或管理性质的数据进行完整性及真实性两方面的整理；对于帐务性数据进行准确性及平衡关系的整理。数据清理是一项本地化的过程，需要针对不
24、同的业务系统进行设计。所要清理的数据根据型态划分，可分为静态数据和动态数据。数据清理程序设计分为两部分，一部分架构在生产系统之上，周期性运行，直至上线前；另一部分架构在数据转换系统之上，主要是在转换的各阶段之前运行，目的是尽早发现错误数据，以提高数据转换的准确率。2.2.7 数 据 补 录数据补录是对DCC系统需要的，而原生产系统无法提供或者需要确认的信息进行的补录。补录的要素来源于Mapping文档以及数据清理产生的清单，并依赖于DCC的数据字典以及检核标准，补录系统必须面向DCC，但由于原业务系统的数据源不同，因此补录仍需要按照不同应用系统的分别设计。数据补录在特定情况下可做为数据转换过程
25、中应急措施的一种。毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统162.2.7.1 数 据 补 录 举 例 1 贷 款 已 补 录 查 询 模 块该功能用于补录, 贷款已补录查询-客户端和服务端。 前台输入画面柜组： 柜员： 日期： 流水号 终端 打印机 贷款账号： 机构代号： 币别： 贷款种类： 系统提示: 前台输出画面柜组： 柜员： 日期： 流水号 终端 打印机 贷款帐号： 业务别： 还款方式: 起贷日期: 止贷日期: 转呆滞日期: 转呆帐日期: 总期数: 已还期数: 贷款资金来源: 系统提示: 处理流程毕 业 设 计 基 于 UNIX 平 台 的 DCC 数
26、 据 转 换 系 统172.2.7.2 数 据 补 录 举 例 2 贷 款 帐 户 关 联该功能用于补录, 贷款帐户关联。 前台输入/输出画面柜组： 柜员： 日期： 流水号 终端 打印机 贷款账号(正常本金帐号): 逾期账号: 呆滞账号: 呆帐账号: 系统提示: 数据来源及屏幕栏目说明 数据来源：CLIENT 端 柜员手动输入SERVER 端 贷款帐户关联-Client 端提交 栏位说明贷款账号 输入贷款帐号, 这里指正常本金帐号。帐号的前缀由系统补全;逾期账号 输入逾期账号。帐号的前缀处理方式同上;呆滞账号 输入呆滞账号。帐号的前缀处理方式同上;呆帐账号 输入呆帐账号。帐号的前缀处理方式同上
27、; 处理流程 后台处理流程 根据输入屏幕的栏位进行域后动作处理 涉及主要库表SB2 贷款用态表YZ_DKZLB 贷款种类表 处理流程毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统18CLIENT 端1 按照预定格式输出画面如图按格式在屏幕上打印出贷款账号, 逾期账号, 呆滞账号, 呆帐账号的输入画面.2 接收柜员的输入,提交服务端程序会检查每一个栏位的输入格式要求,在域后操作中定义,每输入一个栏位,程序将检查输入格式是否正确,错误将给出提示,否则将所有输入栏位信息封装后提交服务端.3 接收服务端处理信息,显示处理结果,有以下几种情况:A 若只输入一个帐号并提交:若
28、该帐号确实存在于数据库中,服.并自动补全该链表上的各个字段提交给客户端,显示在屏幕上,柜员若要修改已经存在的信息,将给出提示信息,以确认修改,此时客户端向服务端提交”强制修改附加码”请求.若某帐号不存在于服务端所在的数据库中,服务端将返回没有找到该帐户的信息,显示在客户端的屏幕上,等待柜员重新输入B 若输入一组帐号并提交:若这组帐号间有间隔(如输入 ”贷款帐号”,”呆滞帐号”和”呆帐帐号”,那么”间隔”就是”逾期帐号”),客户端检查器将提示需要补全所有输入项目.若输入完整信息(没有”间隔”存在)并提交,服务端将按顺序判断这组帐号的存在性,如有不存在的则返回客户端要求输入正确的帐号,如果都存在则
29、顺序判断每个帐号的附加码,当且仅当所有的附加码符合要求时才能在数据库中添加一条新的记录(双向链表 ).记录添加完成后,将给出添加成功的信息.C 关于帐号关联的数据结构的具体描述,见服务端的详细设计.SERVER 端4 刷新服务端数据库,以双向链表结构储存贷款帐户关联信息表,建立内存映射,准备接收客户端信息毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统19A 帐号关联的数据结构的具体描述: 以双向链表结构添加帐号属性信息.附上附加码用以存储链表信息.由于帐号状态 LN-ACCT-STS 和帐号具体编号有着对应关系且帐号间(贷款账号, 逾期账号, 呆滞账号, 呆帐账号
30、) 只有业务上的对应关系 ,各帐号间是相对独立的实体,故不能只凭原有状态信息建立关联,需要添加额外信息辅助.该辅助信息就是附加码.附加码由两部分组成:一个是有效位 ,另一个是链表位; 有效位主要是用来表示某帐号是否存在,是否生效的标志,0 表示不存在或无效,1 表示存在或生效;链表位表示该帐号是否被 ”继承”,即是否有”前缀”,比如“ 逾期帐号”的”前缀”就是” 正常帐号”,0 表示非继承,1 表示继承;附加码的组合有以下四种,定义如下:00 无效或不存在01 (保留) 强制修改标志,当且仅当收到客户端的强制修改附加码要求,服务端发出”同意修改”指令后,将所要修改的帐号的附加码设为 01,按顺
31、序连接所要修改帐号后,修改附加码为 1110 有效非继承11 有效且继承附加码可以用作判断帐号关联修改标志,若某个用户提交的帐号的附加码为 10,则表示可以直接更改它的后继,若为 11,则表示该帐号已经存在于某个记录(双向链表)中,必须给出相应的处理提示.5 接收客户端信息,判断输入帐号类型和存在性,返回处理信息A 若客户端只输入一个帐号且该帐号确实存在于数据库中,服务端返回的信息将给出一个以双向链表为基础的数据结构, 根据双向列表中的帐号情况返回一系列数据结构信息,并自动补全该链表上的各个字段送交给客户端,显示在客户端的屏幕上,柜员若要修改已经存在的信息,将给出提示信息,以确认修改.B 若客
32、户端输入的是一组帐号,服务端将先按顺序判断这组帐号的存在性,如有不存在的则返回客户端要求输入正确的帐号,如果都存在则顺序判断每个帐号的附加码,当且仅当所有的附加码符合要求时才能在数据库中添加一条新的记录(双向链表).C 附加码符合添加要求的必要条件及处理方式:1,所有的帐号的附加码均为 10 或者 01, 将各帐号按贷款账号, 逾期账号, 呆滞账号, 呆帐账号的顺序链接起来,并修改各个帐号的附加码;2,除了相对位置为”第一个” 帐号的附加码为 11 外其它的都为 10 或者 01时, 按顺序修改后面各帐号的附加码,并补全前面的索引号,将这完整的一条链表当作一个新的整体存入数据库,并返回客户端添
33、加/修改成功的消息.D 若客户端提交的帐号不存在于贷款信息库中,返回未找到对应帐号信息,并要毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统20求客户端重新输入该帐号.6 接收添加请求,添加记录,更新数据列表A 在经过一系列的记录合法性唯一性检查之后,将记录(双向链表) 添加到数据库中,更新数据列表. B 处理过程如果一切正常,则返回客户端”添加/ 修改成功”信息,否则返回出错提示. I/0 接口 输入/输出接口1LNLNSLNS.LN_ACCT_NO_1 贷款帐号2LNLNSLNS.LN_ACCT_NO_2 逾期帐号3LNLNSLNS.LN_ACCT_NO_3 呆
34、滞帐号4LNLNSLNS.LN_ACCT_NO_4 呆帐帐号 联动交易 交易代码 pm1404 功能描述 用于控制贷款帐户关联客户端栏位的域后动作程式。2.2.8 数 据 提 取2.2.8.1 数 据 集 定 义对增、存量数据采集方式，可以对客户信息进行预处理，在随后的信息累积过程中，采用增量的方式进行，此方式可以提前进行客户信息的转换，极大的缩短了数据转换总体时间流程，但需要进行相关基础和变化的数据的采集工作；而对非增、存量数据采集方式，只能在所有系统停止后才可以进行数据采集，转换基础数据较为准确，但是延长了整体数据转换的时间；2.2.8.2 数 据 集 采 集 流 程 举 例以 CI 数据
35、采集为例:毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统21存量数据表( 1 . ) 客户信息( 2 . ) 客户信息与帐号关联数据处理基础信息数据对照( 1 . ) 新开客户信息( 2 . ) 新开客户与帐号关联注 : 客户 、 帐号关联信息存放于共享内存增量数据表( 1 . ) 新开客户信息( 2 . ) 新开客户与帐号关联数据处理增量原始数据( 1 . ) 新开客户信息( 2 . ) 新开客户与帐号关联增量数据导入频率视增量周期共享信息提取帐号客户号对照提取帐号密码对照提取卡号二磁道对照提取各种对照关系输出注 ： 数据处理动作包含客户信息转换 、 客户号加工
36、等 , 且需将处理过的增量数据表转移至存量数据表存量原始数据( 1 . ) 客户信息( 2 . ) 客户信息与帐号关联存量数据导入客户信息系统 C I F 客户签约系统增 、 存量数据提取对照关系文件表特色业务平台对照关系提取2.2.9 数 据 转 换数据转换是数据集中系统应用推广工作的重要环节，对分行原有业务数据通过映射和变换，转换形成符合DCC系统标准的数据型态。转换后的数据结构、表示以及数据实体应当满足数据集中系统核心业务处理逻辑的要求；支持分行原有系统的业务功能目标；保持帐务的准确性和正确性。数据转换程序的设计要充分考虑大数据量，提高转换程序的效率，同时要注意做好版本控制。版本控制包括
37、程序、参数、文档的版本控制，版本控制可以巩固已经完成的成果，并在其基础上不断完善转换系统。2.2.9.1 数 据 转 换 的 流 程此模块的设计是面向 DCC 的，故转换前，原系统数据经过清理、补录后导入到毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统22转换中间数据库中，其处理流程如下：1) 将现有各系统中经过清理、补录、检核后的数据以及最新的 DCC 参数、新旧系统参数对照表等导入转换中间数据库中；2) 确定各档数据转换的顺序。2.2.9.2 数 据 转 换 的 处 理 模 式基于原系统的数据量和业务分布情况，系统提供两种处理模式：集中式、分布式。 集中式：对
38、原系统的数据进行统一的数据转换，可确保数据转换的系统性、完整性、一致性。但存在并发性差的缺点。 分布式：根据原有系统的数据分布，或者根据原有系统的数据量，将数据转换分布到不同的物理主机上处理，可提高并发性和处理速度。但对转换后数据需要进行合并、以及必要的检核。2.2.9.3 数 据 转 换 举 例 贷 款 转 换 本币对公贷款转换：1. 从原系统中的取数：从贷款动态表 SB2 中取出有贷款余额的帐户信息，根据贷款的动态表的帐号关联贷款静态表 SB21 的相关的开户信息，如果是分期还款则从借记卡片 SB22 中取出相关帐号的分期还款记录；如果计息贷款还需根据动态表 SB2 中的计息方式组号从利率
39、表中取出真正的正常/逾期利率值；2. 计算贷款至转换日的当期利息：动态档中的积数+余额*（结转日-最后发生日期）然后再乘上贷款目前的利率值；3. 如果有补录信息，则取出补录的信息，合并入贷款主档 LNLNSLNS；如果部分逾期还要从帐户关系表中取出正常本金帐户与逾期/呆滞本金帐号，建立它们之间的关系，以便从借记卡片 SB22 中取出相关的记录；4. 产生贷款主档：按照贷款 MAPPING 关系转换贷款主档信息；5. 产生贷款相关子档：从贷款主档信息中生产一条以转换日为最后本金变动日的本金变动档 LNLNSPMT 的记录；如果贷款利息帐户上存在余额，则必须取出动态表中的余额生产贷款利息明细档 L
40、NLNSUPY；如果借记卡片表 SB22 在同一组帐号中存有多条有效的记录，则为必须转分期还款计划档 LNLNSDUE；毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统236. 产生贷款额度的相关档：按贷款主档 LNLNSLNS 的客户编号与贷款额度，生成客户额度档 CICILCIL，如果同一客户多笔贷款帐，只生成一条；按贷款帐号取贷款主档信息生成客户额度资料档 CICILCRF；按客户额度资料档生成客户额度科目资料档 CICILLTY 以及一条贷款额度使用档CIUTLUTL；7. 相关的信用卡的额度由信用卡转换流程产生；8. 生成贷款当期利息明细清单：用表单方式列
41、出转入贷款主档的当期利息明细清单，包括使的利率，天数，帐号等信息； 外汇对公贷款转换：除含有上述本币对公贷款转换需要注意的事项外，外汇对公贷款转换的难点还在于 DCC 不支持利率市场化，即分期放款（每期贷款利率不同） 。分期放款的贷款在转换时需要根据放款计划进行拆分，相关的和计息有关的栏位则需要进行补录。2.2.10 参 数 转 换业务参数采用数据转换的方式转入数据集中系统，业务参数的转换是数据转换的重要内容之一。业务参数转换有两种方式，一是单纯将业务参数转换至数据集中系统，二是业务参数随同相应的数据一并转换至数据集中系统。毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换
42、系 统242.3 数 据 转 换 逻 辑 架 构2.3.1 逻 辑 架 构 举 例 帐 户 信 息 转 换 系 统 处 理 结 果 报 告和 报 表 常 规 检 核 报 告 T1报 表 和 横 向 检 核 报 告 其 他 T0 储 蓄 、 银 行 卡 T0 储 蓄 定 活 期 存 款 Sb3 清 理 现 有 系 统 客 户 信 息 中间 文 件 转 换 数 据中 心 系 统 直 接 转 码 DC 各 数 据 档 内 部 帐对 公 存款 贷 款 ,额度 结 算 银 行 卡 Sb1 清 理 Sb2 7 清 理 Sn2 6 清 理 银 行 卡 清 理 资 金参 数 贷 款参 数 现 金汇 票参 数
43、储 蓄 Maping 内 部公 存 Maping 贷 款 Maping 结 算 Maping 银 行卡 Maping 整 体数 据检 核 生 成机 构总 帐 图 例 说 明 ： 原 业 务 处 理 系 统 ： 转 换 系 统 功 能 模 块 ： 融 于 转 换 系 统 异 常 处 理 机 制 和报 表 机 制 ： 数 据 链 流 及 其 流 向 ： 异 常 信 息 和 报 表 回 馈 流 向 外 币帐 户导 入 国 债帐 户导 入 业 务 清 理 技 术 清 理 综 合 柜 员 系 统 毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统252.4 数 据 转 换 的
44、功 能 构 成从上面的逻辑框图中可以看出： 方案将转换系统分为Map和Tran两大子系统Map模块的数据源是原生产系统的数据，其数据是与生产数据相关联的。针对原先各自不同的相应的生产子系统进行处理，将平台特异性消除于map子系统，为Tran子系统直接面向DCC提供了保证；同时，又实现了mapping 在系统开发层次上的并发，从设计上提高了数据转换的效率。数据来源在Map 子系统中进行逐步整合，最后通过转换数据导入子系统向转换数据中心子系统输入的数据来源已经唯一，到达了整体加工检核的目的毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统26Tran模块的数据源是经过数据
45、清理、补录后的数据。Tran模块是一个较稳定的模块，它是独立于生产系统之外的，其设计是面向DCC的，在数据导入子系统和数据中心的协作下，经过mapping的数据直接导入，在避免了原先不同的子系统的数据在检核后合并的时间浪费的同时，也可以在加工检核时对不同生产之系统的关联数据进行直接处理，从最大限度上保证上传北方数据与中心数据的一致性。所有数据在转换数据中心子系统中完成汇总，实现单向数据链流动，以充分保证在整体数据在开始加工时即可不受外界因素干扰。控制模块包含数据中心子系统和差错报告子系统。数据中心子系统是Map、Tran模块的控制台，它提供对数据转换的流程监控、流程控制，权限控制、版本控制等功
46、能。差错报告子系统对转换数据流的每处异常进行有效管理，提供详细的错误日志记录，并能够自动回馈到异常始点。2.5 部 分 模 块 设 计2.5.1 数 据 清 理 子 系 统清理子系统是依照移植数据中心系统和DCC的数据规范，根据参数的Mapping数据，对原生产系统数据进行检查、整理、清理。所有清理过程只产生错误清单而不修改任何数据。检查清理子系统的清理内容作为配置文件，高度参数化，并可重复执行。2.5.2 数 据 补 录 子 系 统网点数据补录子系统有以下功能：1、 补录卸数子系统无法提供的 DCC 必须的数据；2、 修改原生产系统中不符合 DCC 标准但在原生产系统中又不能修改的数据；3、
47、 查询打印所有已经补录的数据；4、 检查补录数据的合法性；5、 查询打印转换所必须的核对报表。网点数据补录子系统采用C/M/S架构，借用原生产系统的中间件，完成在网点补录数据的同时将数据集中到服务器端。毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统272.5.3 数 据 导 入 子 系 统以转换数据中心子系统的数据结构为接口标准，接收来自Mapping清理子系统清理后的数据，结合DCC的业务参数，对卸出的文本数据按数据进行第一层次合法性检查，其主要功能是一次性合并原系统中各子系统的数据，为加工检核提供统一完整的数据。2.5.4 转 换 数 据 中 心 子 系 统转
48、换数据中心子系统有以下功能：1、 接收来自转换数据导入子系统生成合法数据。2、 提供对整个转换系统特有的控制参数的维护功能。3、 提供对其他子系统的过程控制。4、 提供对转换全过程的控制。5、 提供对本子系统内数据的删除、更新和合并等维护功能。转换数据中心子系统以DCC数据结构为基础、添加转换必要元素建立面向DCC的数据存储结构，并以此作为数据导入子系统和网点数据补录子系统的接口标准。2.5.5 整 体 数 据 检 核 子 系 统整体数据检核子系统不再针对机构或数据来源，对转换数据中心子系统全部转换数据进行整体检核，以避免整体检核过程中的外界干扰。在整体检核过程中实行无断点强行检核，但对无法检核的断点以报表形式给出相应报告。如成功则按DCC上传数据标准卸载数据。毕 业 设 计 基 于 UNIX 平 台 的 DCC 数 据 转 换 系 统28第 3 章 数 据 转 换 技 术 实 现3.1 设 计 目 标 整体的数据转换、加工、检核、导入的数据转换方案 实现核心业务数据准确、完整导入DCC系统； 支持集中式、分布式的处理模式； 支持海量数据、多进程并发处理机制； 完备可靠的异常处理机制； 完善的、可视化的数据流
