1、摘要随着计算机技术、网络技术和数据库技术的飞速发展,邮政信息化建设发展很快,近年来很多金融类系统顺利上线运行,由于邮政金融系统信息化水平的不断提高,各种利用计算机技术作案的事情越来越多,为了维护邮政金融信息化的安全和用户的利益,提出了建设邮政金融电子稽查系统,而如何实现业务数据进行同步实时复制的就成了一个必须解决的问题。论文首先从系统的研究背景、发展现状和关键技术进行论述,介绍了系统的逻辑结构和物理架构。然后重点介绍了采集数据用到的数据库快照技术,介绍了数据库快照技术的原理和在电子稽查系统中的设计与实现;功能设计部分分别介绍了系统的运维功能和业务功能,并对这两部分系统的功能设计做了详细的论述实
2、现部分介绍了系统模块的实现方法和结果。最后,论文通过对系统进行测试,验证了系统的功能性、可用性,并对系统的实现进行了客观的评估。该邮政电子稽查系统已经在陕西邮政得到了实际的应用,实现了金融数据的实施预警功能,达到了预期的效果。关键词:电子稽查 数据库 快照 数据备份 数据采集AbstractWith the rapid develepment of computer technology, network technology and database technology, the construction of postal informationization is developed
3、rapidly, and in recent years, a lot of financial systems have successfully run on-line. Because of the continuously rising level of the informationization of the postal financial system, all kinds of crime committed by using computer technology become more and more common. In order to safeguard the
4、informationization of the postal financial system and the interests of the users.We propose a electronic inspecting system,and investigate the problem about how to copy the date to database at the same time.This thesis starts from the research background, current condition and key technology of the
5、electronic inspecting system, and during the first part, the introduction of the systems logical structure and physical structure is included. Then the thesis focuses on analyzing the database snapshot technology utilized in data collection. The analysis includes the principles of the database snaps
6、hot technology as well as its design and implementation in the electronic inspecting system. In the function design part, the thesis introduces the systems operation and maintenance function as well as service function, and both functions design were detailedly explained. On the other hand, in the i
7、mplementation part, it introduces the implementation methods and results for the system module. Finally, by testing the electronic inspecting system, the thesis verified its functionality and the availability and gave a objective assessment for the systems implementation The postal e-inspection syst
8、em has been practically applied in Shaanxi Post. During the application, the real-time early warning function for financial datas security was realized and the desired results were achieved.Keyword: Inspection Database Snapshot Data backup Data collection 目录第一章 绪论 11.1 课题背景及来源 11.2 课题研究现状 11.3 课题研究的
9、目的和完成的工作 21.4 论文章节安排 2第二章 数据库基本概念及快照复制技术研究 52.1 数据库基本概念 52.1.1 数据库相关术语 52.1.2 数据库体系结构 62.1.3 数据库的组成 462.2 数据库快照复制技术研究 72.2.1 数据库快照技术简介 672.2.2 数据快照常用术语 92.2.3 数据快照技术分类 992.2.4 不同快照技术的优缺点 .102.2.5 数据库快照技术原理 10 102.3 本章小结 .12第三章 需求分析 .133.1 任务概述 .133.1.1 系统目标 .133.1.2 主要解决的关键技术 .133.1.3 项目范围 .133.1.4
10、用户特点 .143.2 系统需求分析 .143.2.1 业务流程设计 .143.2.2 业务功能分析 .153.2.3 数据库需求分析 .173.2.4 系统结构分析 .193.3 现有系统分析 .213.3.1 现有系统的软、硬环境 .213.3.2 现有系统的局限性 .213.4 本章小结 .22第四章 电子稽查系统总体设计 .234.1 总体设计原则 .234.2 系统设计原则 .234.3 电子稽查总体逻辑结构 .244.4 系统网络结构设计 .264.5 系统软件结构 .274.6 系统平台设计 .294.6.1 服务器端平台设计 .294.6.2 客户端平台设计 .314.7 电子
11、稽查系统数据库设计方案分析 .314.7.1 数据库设计的规范化 20 314.7.2 数据库设计的基本过程 .324.8 本章小结 .32第五章 电子稽查系统数据库的设计与实现 .335.1 电子稽查系统数据库快照复制技术的设计与实现 .335.1.1 设计思路 .335.1.2 快照安装环境准备 .335.1.3 数据快照方案设计与实现 .335.2 数据库表空间规划 23 355.2.1 表空间划分 .355.2.2 电子稽查系统中的主要表 .365.2.3 建表实例 .375.3 系统及数据库安全性策略 .385.3.1 系统安全性策略 24 385.3.2 数据库安全性策略 .395
12、.4 数据库备份恢复策略 .405.4.1 备份方式说明 .415.4.2 备份实例 .415.4.3 恢复方式说明 .455.5 本章小结 .46第六章 电子稽查系统功能详细设计与实现 .476.1 系统管理模块的设计与实现 .476.1.1 签到/签退子模块 476.1.2 机构管理子模块 .506.1.3 操作员管理子模块 .526.1.4 权限级管理子模块 .536.1.5 参数管理子模块 .556.1.6 消息管理子模块 .566.2 风险评估模块的设计与实现 .576.2.1 风险联动模块 .576.2.2 模型结果查询模块 .596.2.3 内控指标维护模块 .616.2.4 内
13、控指标分类管理模块 .636.3 本章小结 .64第七章 电子稽查系统功能与性能测试 .657.1 功能测试 .657.1.1 功能性测试目标 .657.1.2 功能测试 .667.2 性能测试 .667.2.1 测试内容步骤 .677.2.3 测试结果 .677.3 本章小结 .68第八章 结束语 .69致谢 71参考文献 73附录 1.75附录 2.77第一章 绪论 1第一章 绪论1.1 课题背景及来源近年来,邮政信息化建设发展迅速,金融类和邮务类等多项系统顺利上线,金融类包括邮政储蓄、电子汇兑全国集中、代理保险、中间业务平台等一批具有深远影响的系统先后顺利上线。随着邮政储蓄电子化水平的不
14、断提高,计算机应用水平的不断提高、各种利用计算机系统作案,特别是内部人员串通外部人员犯罪的案件时有发生,其突发性、隐蔽性和破坏性都非常强,并且不易发现和侦破。原有的事后监督和现场检查的风险控制手段已经很难适应目前形势的要求,传统的邮政储蓄稽查检查手段和方法已明显不适应风险防范的需要 1。为了加强对邮政储蓄、全国电子汇兑、代理保险等系统的监控检查,为了适应邮政金融业务的发展,确保邮政金融资金安全,维护国家、企业、用户利益,增强对邮政金融业务的事中、事后风险防抗能力、加强储汇稽查工作的针对性、有效性,迫切需要对现有的手工稽查手段和现场稽查模式进行稽查检查业务改革;需要利用计算机工具和网络技术,建立
15、一套覆盖全国,能对邮政储蓄和电子汇兑等金融业务系统的运行进行检查的邮政金融稽查系统。因此,建设全国范围的邮政金融稽查业务计算机应用系统是十分必要和迫切的。电子稽查系统是在业务处理系统的原始数据基础上,通过风险指标、风险评估模型对稽查主体进行量化的风险监测和评估。此系统的建立可以实施预警各类金融风险交易、通过终端、手机短信的方式第一时间通知稽查员进行风险监控、使用户的账户数据安全大大加强。1.2 课题研究现状目前在我国工行、农行、中行、建行等国有银行在早期都已经开发了各自的电子稽查系统,主要功能是将业务系统生成的数据库数据转换成一般稽查人员能分析使用的数据、并提供排序、关联、筛选等工具供稽查人员
16、开展非现场检查;稽查人员可以通过非现场检查结果有针对性的开展现场检查。同时在现场检查时,可以在检查现场通过电子稽查系统获取上级机构业务部门存贮的数据核实被检查单位的数据,确保检查数据的真实性。目前,各大银行均在尝试建立实时的电子监控系统。邮政储蓄自营业以来,一直都采用手工监管、事后监督的手段来防范金融风险、这些老旧的监控手段已经非常不适应当今的计算机技术、随着业务量的飞速提高,手工方法已经更不上需要监管的数据量,事后监督系统也只能在当天日终的时候做简单的账户交易风险评估,无法实时的监控交易,所以开发一套基于实时监管的电子稽查系统已经非常迫切了。1.3 课题研究的目的和完成的工作通过对邮政储蓄、
17、电子汇兑等业务的稽查需求研究,在对业务数据指标分析的方式、方法、特点的基础上,继承原有金融事后监督系统的功能,结合当今邮政金融系统统术的具体特点,综合运用计算机系统技术、数据库存储技术、计算机安全等技术,建立邮政电子稽查系统。在业务管理结构上,电子稽查系统采用邮政统一的“全国稽查中心、省稽查中心、市稽查中心、县稽查中心”四层管理结构,各级稽查机构通过各自的终端实现对所辖范围内业务的稽查管理、账务检测、风险评估和系统管理 2。电子稽查系统通过对数据采集实现把金融业务系统的数据实时、安全的复制到电子稽查数据库中进行分析和处理。系统将根据业务需求分析做整体功能模块划分及模块数据库方案设计,包括数据库
18、的架构设计、方案设计、备份设计以及数据表空间和表的设计。电子稽查系统的开发上线,将显著提高邮政稽查部门对业务处理的风险监控、风险评估和风险管理的水平,为邮政金融在全国范围内对防范金融风险、管理金融风险、预测和规避风险提供自动化处理,系统将通过对储汇业务的风险数据,以手机短信、滚动屏幕的显示方式进行实时预警,实现对储汇业务处理风险的事中控制。1.4 论文章节安排本课题的中心内容是基于数据库技术的电子稽查系统的设计与实现,深入研究了数据库的设计原理及数据快照复制技术的存储过程的设计流程。论文主要章节安排如下。第一章 绪论部分,主要介绍了课题的背景和课题的研究目的以及各章节内容的安排。第二章 基于数
19、据库快照技术的原理,主要介绍数据库快照技术的理论和技术研究。第一章 绪论 3第三章 介绍系统的需求分析,对系统的业务需求、系统模块设计及数据库设计进行分析,引出本系统的设计必要性,介绍系统的目标和设计优越性。第四章 电子稽查系统的总体设计,包括系统的逻辑结构设计、物理结构设计、软件结构设计和系统的数据库方案设计。第五章 全面介绍电子稽查系统数据库方案设计,包括数据库的空间划分和备份策略等,重点介绍了数据库快照复制技术的实现。第六章 介绍了系统的详细设计,主要对系统管理模块和风险评估模块进行详细的分析设计。第七章介绍了系统的功能测试和性能测试,以及通过测试改进系统的性能指标。第八章 结束语,为整
20、篇论文的总结。提出了目前系统存在的不足和对未来的发展建议。参考文献。致谢。第二章 数据库基本概念及快照复制技术研究 5第二章 数据库基本概念及快照复制技术研究2.1 数据库基本概念2.1.1 数据库相关术语DB数据库(Database)的缩写,是存储在某种存储介质上的相互有联系的数据的集合。数据库中的数据实现数据的集成、共享。DBMS数据库管理系统(Database Management System)的缩写,数据库管理系统是为数据库存取、维护和管理而配置的软件。DBMS主要包括数据定义功能、数据操纵功能、数据库运行和控制功能、数据库建立和维护功能、数据通信功能等。DBS数据库系统(Datab
21、ase System)的缩写,由数据库、硬件、软件和用户四部分构成的一个整体称为数据库系统。Data Model数据模型是数据库系统中用以提供信息表示和操作手段的形式框架。在数据库中数据模型是用户和数据库之间相互交流的工具。DDL数据定义语言(Data Definition Language)的缩写。用来定义数据的结构,如创建、修改或者删除数据库对象,常用的数据定义语言有CREATE、ALTER 、DROP等。DML数据操纵语言(Data Manipulation Language)的缩写。数据操纵语言命令使用户能够查询数据库及操作已有数据库中的数据,常用的数据操纵语言有(insert、del
22、ete、update、 select)等。B/S浏览器和服务器结构(Browser/Server)的缩写。C/S客户机和服务器结构(Client/Server )的缩写。RMAN恢复管理器(Recovery Manager)的缩写。是用于备份(backup) 、还原(restore)和恢复( recover)数据库的Oracle 内置工具。EXP/IMP数据库导出/导入(EXPORT/IMPORT )的缩写。数据库逻辑备份方式。基于 Oracle 数据库技术的邮政电子稽查系统设计与实现62.1.2 数据库体系结构数据库体系结构 3分为三级:内部级(Internal) 、概念级(Conceptu
23、al) 、外部级(External)。外部级最接近用户,是单个用户所能看到的数据特征。单个用户使用的数据视图称为“外模型”。概念级是涉及到所有用户的数据的定义,也就是全局的数据视图,称为“概念模型”。内部级最接近于物理存储设备,涉及到实际数据存储的方式。物理存储的数据视图称为“内模型”。这些模型有两种表达方式,一种是用图示形式,即数据结构图;另一种是用数据定义语言DDL描述。这三种、模型用数据定义语言描述分别得到外模式、概念模式和内模式。(1)概念模式(Conceptual schema )数据库的全局逻辑视图称为视图,由若干个概念记录类型组成。概念视图用DDL 描述后得到概念模式。概念模式是
24、所有概念记录类型的定义,因此它是数据库中全部数据逻辑结构的描述,即数据库中所有记录类型的整体描述。(2)外模式(External schema)外模式是用户与数据库系统的接口。单个用户的视图称为外部视图。外部视图由若干外部记录类型组成,每个外部视图用DDL 描述后得到外模式。外模式是外部视图中每个外部记录类型的定义,因此它是面向一个或多个用户需要的那部分数据的描述。(3)内模式(Internal schema )内部视图是数据库结构中最低一级的逻辑表达,它由若干内部记录类型组成。内部记录也称为存储记录。内部视图用DDL 描述后得到的是内模式,内模式要定义所有的内部记录类型,定义一些索引、数据在
25、存储器的安排以及安全性、恢复和其它管理方面的细节。所以内模式是数据在物理存储结构方面的描述。2.1.3 数据库的组成 4数据库最基本的组成包括表(Table)和视图(View )、索引(Index)、同义词(Synonym )、序列( Sequence)、函数(Function)、存储过程(Procedure)、触发器(Trigger)等部分。1. 表和视图在Oracle数据库中,表是数据存储的基本结构。视图是一个或多个表中数据的逻辑表达式,用户可以将视图看成一个存储查询(Stored query )或一个虚拟表(Virtual table )。视图还可以隐藏复杂的查询,比如多表连接查询。2.
26、 索引第二章 数据库基本概念及快照复制技术研究 7索引是一种可以提高查询性能的数据结构。Oracle中提供了多种索引类型,例如:主索引、唯一索引等。3. 同义词同义词是其它数据库对象的别名,其本质是指向其它数据库对象的指针。同义词有私有(Private )和公有( Public)两种类型。4. 序列Oracle 的序列是一个连续的数字生成器。序列只存在于数据字典中,序列号可以被设置为上升或下降,可以没有限制或重复使用直到一个限制值。5. 过程和函数过程和函数都以编译后的形式存放在数据库中,函数可以没有参数也可以有多个参数并有一个返回值。过程有零或多个参数,没有返回值。函数和过程都可以通过参数列
27、表接收或返回零个或多个值,函数和过程的主要区别不在于返回值,而在于它们的调用方式。过程是作为一个独立执行语句被调用的而函数是以合法的表达式的方式被调用。6. 触发器触发器是一种自动执行响应数据库变化的程序,可以被设置为在触发器事件之前或之后被激发。能够激发触发器的事件有 DML 事件、DDL 事件和数据库事件。2.2 数据库快照复制技术研究数据库复制就是通过将源数据库中指定的数据复制到目标数据库中,以保持源数据库和目标数据库中数据的同步。数据库复制 5方法有很多种,但目前基本都是通过对源数据库数据进行备份,然后将备份数据导入目的数据库来实现,比如常用的物理备份(RMAN)及逻辑备份(EXP/I
28、MP)等方法,因为这些方法都是在一个固定的时间点上进行数据复制,所以目的数据库得到的数据就是在这个时间点上源数据库的所有数据,并不能完全做到源数据库和目的数据的同步性,其数据的实时同步性并不满足系统的设计要求。2.2.1 数据库快照技术简介 6随着计算机技术的不断发展,数据安全管理在一个企业中的作用越来越重要,越来越多的企业开始关注数据的重要性,存储产品以及备份方案的选择的要求也基于 Oracle 数据库技术的邮政电子稽查系统设计与实现8越来越高。目前应用这些存储产品存在以下四个问题。a) 备份速度随着业务的不断发展,数据库里面存储的数据每天都在增长,数据越来越多,更新越来越快,很多系统白天备
29、份会影响系统性能,夜晚备份又需要耗费更多的精力,往往时间还不够。b) 操作简单化现在很多数据库备份方式都需要配置脚本,进行数据备份的操作人员的水平也不尽相同。备份操作的简单与否直接影响到了操作的效果和数据的安全。c) 保护数据一致性目前很多企业的系统是 24 小时不能停止的,所以在备份的时候系统的数据也存在变化,备份的数据不能保证同步一致性。d) 容错数据备份损坏了,由于备份的数据量很大,恢复所需要的时间将会很长。为了提高数据库数据的安全性和存储的高效性,保护企业的数据,数据库快照技术(Snapshot)就应运而生了,数据库快照的真实含义是:用最短的时间和最低的消耗实现数据的复制,建立一个数据
30、的“影子”图像,可以像操作原始数据一样对其进行读取或者写入。因此,采用数据库快照技术给数据拍照,可以在数据正在进行备份、转移或者读写操作的时候进行,这就保证了应用可以不用暂停而继续进行。数据库快照是数据库的只读静态视图。在创建时,每个数据库快照在事务上都与源数据库保持一致。在创建数据库快照时,源数据库通常会有打开的事务。在快照可以使用之前,打开事务的回滚来使数据库快照在事务上取得一致。Oracle 数据库的快照是一个表,它包含有对一个本地或远程数据库上一个或多个表或视图的查询的结果。正因为快照是一个主表的查询子集,使用快照可以加快数据的查询速度;在保持不同数据库中的两个表的同步中,利用快照刷新
31、,数据的更新性能也会有很大的改善。快照在 Oracle8i 和 9i 版本又称实体视图;以下简称快照。快照使用有以下九个关键技术点 7。1. 快照存放有物理数据。2. 快照背后的查询只在快照建立或刷新时执行,即如果创建后不进行刷新则只得到创建时的数据。3. 快照使用 DBMS_MVIEW 程序包中含有刷新和管理快照的过程来进行管理。第二章 数据库基本概念及快照复制技术研究 94. 在导出和导入(EXP/IMP)中使用 MVDATA 参数来实现快照数据的导出和导入。5. 使用 Create materialized view 语句创建快照。6. 快照中的查询表叫主表(Master tables)
32、 (复制项)或详细表(数据仓库项)。为一致起见,这些主表叫主数据库(Master databases) 。7. 为了复制目的,快照允许你在本地管理远程拷贝。所复制的数据可以使用高级复制特性进行更新,可以在多个数据库中复制和维护数据库对象,允许应用程序更新数据库的任何副本,并自动传递到其他数据库的同时确保全局事务处理的一致性和数据完整性。8. 在复制环境下,通常创建的快照都是主键、ROWID 和子查询快照。快照的刷新有两种方式即快速刷新和完全刷新。快速刷新需要快照的主表先有快照日志存在;完全刷新时 Oracle 执行快照查询,将结果放入快照。快速刷新比完全刷新快,因为快速刷新将主数据库的数据经网
33、络发送到快照的数据少,仅需传送主表中修改过的数据,而完全刷新要传送快照查询的全部结果。2.2.2 数据快照常用术语主卷:磁盘的一个逻辑分区,存储特殊程序和成套程序的原始信息。影响卷:也称为快照卷,磁盘的一个逻辑分区,存储已经改变的时点数据或原始数据的完全映像。卷对:由主卷和与其对应的影像卷组成,每一个卷对由一个位图支持。三重镜像:在已有的被保护的数据实现镜像后连接第三镜像卷,这是用以实现数据快照的方法之一。位图:文件或磁盘的物理分区,用以保存主卷和影卷之间的数据的当前状态。同步化:在影像卷上创建与主卷完全相同的复件或映像的过程。完全的再同步:完全的磁盘复制,这是同步化操作中耗时最长的过程。大多
34、数情况下,影像卷按照主卷同步化,但有时主卷也可以按照主卷同步化。快速再同步化:仅复制与数据日志相关的磁盘块从而降低了同步化时间。2.2.3 数据快照技术分类 9数据库快照技术是对在特殊点(Point in time) “复制”的数据的映像。创建数据库快照主要有三种技术。基于 Oracle 数据库技术的邮政电子稽查系统设计与实现101、中断镜像:时点到达之前对数据创建并存储完全的物理复制。2、按需复制:时点到达之后对数据进行完全的物理复制。3、虚拟映像:时点到达的同时,对数据进行虚拟的,非物理的复制。以上三种技术伴有响应更新的选择能使之充分的利用时间实现后来的时点。一般说来,主数据和时点映像会有
35、软件跟踪以实现有选择的刷新而不会执行费时又费力的完全磁盘到磁盘的复制。2.2.4 不同快照技术的优缺点1、中断镜像中断镜像的优点在于它能立即得到时点镜像,并且因为创建了一个独立的数据复件,主程序不会因辅助程序存取、使用时点映像而受到影响,独立的数据附件通常还支持复合时点映像和存储于其它子系统存储器的时点映像。中断镜像的不足之处在于它耗费存储资源,并且在生成镜像时因为要保持附加镜像的同步性,系统开销将会随之增加。 2、按需复制 9按需复制的优点在于它不会引起有关维持镜像的软件开销,与中断镜像技术一样,主程序不会因辅助程序使用时点镜像而受影响另外,它也支持复合时点映像和位于其它子系统存储器的映像。
36、按需复制的不足之处在于在复制过程中,会发生某些难以察觉的错误,从而导致复制的复件可能不完整,之所以有这种可能性是因为复制过程在时点创建之后,原数据的变化造成的。但是,这种情况极少发生并且事先都有所准备;一旦确定有出错条件,将会有新的时点创建出来。3、虚拟映像虚拟映像的优点在于它运动时通常只需要比其它方法少很多的存储。另外它还具有快速抓取的能力,不会产生与镜像有关的资源开销,并且能过复合快速的抓取映像;虚拟映像的不足之处原程序会因副程序使用快速抓取映像而造成影响。2.2.5 数据库快照技术原理 10数据库快照作用是数据实时进行在线数据复制,当数据存储设备发生应用故障或者文件损坏时可以进行及时数据
37、恢复,将数据恢复成快照产生时间点的状态。第二章 数据库基本概念及快照复制技术研究 11快照的另一个作用是为存储用户提供了另外一个数据访问通道,当原数据进行在线应用处理时,用户可以访问快照数据,还可以利用快照进行测试、恢复数据等工作。数据库快照在初始化时读的数据文件是来自源数据库的数据。源数据库的数据发生变化时,数据引擎就会将原始数据从源数据库拷贝到快照数据库中。数据正常存储如图 2.1 所示,文件系统的数据在三个活动的逻辑卷中存储,文件系统描述的就是一系列对逻辑卷的指针,记录着磁盘上的数据块的逻辑关系。应用程序通过文件系统对三个逻辑卷中的数据进行调用。没有快照发起的时候,文件系统的变化不会改变
38、对三个逻辑卷的指针指向。图 2.1 正常存储示意图应用提交 SNAPSHOT 请求就是快照本身实时复制建立一份快照副本,如图 2.2所示,在 T 时刻生成一份快照副本,那么就在这个时刻,快照主要完成三部分任务,首先是将文件系统复制一份,其次在磁盘空间创建一个缓冲逻辑卷,最后在文件系统写操作中增加一个判断,判断应用是否有些入数据块的操作。图 2.2 快照复制示意图基于 Oracle 数据库技术的邮政电子稽查系统设计与实现12在 T 时刻之后,当有应用要修改数据块时,系统就将把原来的数据块保留入缓冲区,同时把数据快照的访问入口转而指向缓冲区。如图 2.3 所示,当应用对逻辑卷 B 进行改写的同时,
39、系统将未改动时刻的逻辑卷 B 的内容同步复制到缓冲逻辑卷 D 中,同步复制的同时,将文件系统的快照复制副本断开与逻辑卷 B 的指针指向,并将指针指向缓冲逻辑卷 D。 图 2.3 快照刷新示意图这样系统就完整的生成了一个数据快照,应用通过快照入口访问到的就是 T时刻的数据。而同时,应用程序仍然可以在文件系统上读写,也就是说,在应用并不停止的情况下,得到 T 时刻的静态数据。2.3 本章小结数据库快照技术实现了在线实时复制数据,学习数据库快照技术需要了解数据库相关的技术原理。本章主要介绍了数据库的相关知识和数据库快照的技术原理,希望通过本章的阅读能够大体的了解数据库快照技术,并为后面内容的阅读做好
40、准备。第三章 需求分析 13第三章 需求分析本章将具体描述电子稽查系统的业务流程、需求分析、模块划分、数据库设计及系统组成进行分析,体现设计方案的技术优越性。3.1 任务概述针对目前邮政系统对业务数据监督手段比较落后、效率低下且不能实时的对用户的账户交易进行风险评估、预警来通知稽查员及时地处理风险交易,设想能够开发一套金融电子稽查系统,能够方便的、高效的处理实时的风险交易。并且通过手机短信的预警方式通知稽查员来防范。3.1.1 系统目标本系统是对邮政储蓄、汇兑等金融系统交易进行实时数据刷新并及时对刷新数据进行处理,对问题交易数据进行预警的稽查系统,主要是为业务稽查人员提供一个对数据完全实时监控
41、的平台,通过Web 方式反映给稽查员,此系统的建立和完整的数据库方案设计可以实时、效率的处理大量的数据采集、数据分析等功能要求,有效的防范金融系统的风险交易。3.1.2 主要解决的关键技术本系统将采用数据库快照方式对多业务数据库进行实时同步刷新至稽查数据库。本文主要针对系统数据库进行设计,其中数据库快照技术将是本系统研究的关键技术。3.1.3 项目范围项目开发范围包括整个电子稽查系统功能的实现,主要包括系统的架构、数据库设计和各模块的功能设计实现,具体包括以下三个部分内容:第一部分,本文从数据库的空间规划、数据库的安全性及备份恢复等方面设计完整的数据库实现方案。第二部分,数据库快照复制技术是本
42、文的关键技术,数据库设计部分将利用基于 Oracle 数据库技术的邮政电子稽查系统设计与实现14数据库快照技术详细设计系统的数据同步刷新。第三部分,根据业务需求说明,系统将在功能设计部分针对部分业务功能模块进行详细的功能设计实现。3.1.4 用户特点本系统面向的用户是邮政前台业务稽查员和后台对系统进行维护的系统管理员。这些业务和技术人员都具有一定的计算机操作和维护能力。能够较好的利用计算机系统进行维护和管理。3.2 系统需求分析3.2.1 业务流程设计电子稽查系统业务其主要数据流程分四部分完成,分别是数据采集、数据加工、数据分析和数据处理,如图3.1所示。下面分别介绍四个步骤所要完成的主要功能
43、。图 3.1 业务流程图第三章 需求分析 15(1) 数据采集稽查系统根据预警风险指标、风险评估和业务信息查询的要求确定相应的数据采集范围,以实时采集、日终批量采集及手工数据录入(倒入)的方式,实现业务数据和稽查数据的采集。(2) 数据加工对稽查系统采集的业务系统的原始数据通过设定条件(即风险参数)的过滤,形成风险数据保存在稽查系统中。对于手工录入(倒入)的数据,判断数据合法后予以保存。(3) 数据分析对于需实时报警的指标,将风险数据与相关的参数进行比对,达到手机报警和屏显报警的,形成报警信息。对于日终报警的指标,将风险数据与相关的参数进行比对,形成风险查询数据和相关报表,供稽查人员使用。(4
44、) 数据处理每日日终对业务数据进行数据分析、汇总,定期对数据进行清理。3.2.2 业务功能分析目前邮政各金融部门的金融数据都存在业务交易风险,不同的业务系统的系统环境和数据量都比较大,由于各部门的数据采用系统的技术与规范不一致,都需要相应的权限来管理,所以就需要电子稽查系统对不同的业务系统数据查询权限做出规范。稽查系统需要实时的业务数据进行抽取查询,并可以提供稽查数据报表的查询、统计功能。通过对业务需求的分析,该系统主要完成以下六个方面的功能。(1)稽查系统需要具有对机构和稽查员的身份和角色权限进行管理的功能,即可以注册、撤销、设置不同级别访问权限的功能。(2)稽查系统需要具有对抽取的业务风险
45、数据进行实时和定时评估的功能,评估标准可以自己制定模型并且定义为标准内嵌在模块中。(3)因为各个业务的数据规范定义不同、所以需要对不同业务系统的业务机构、人员进行分类设置,不同业务之间的数据联合查询采取发送协查任务服务请求的方式实现。基于 Oracle 数据库技术的邮政电子稽查系统设计与实现16(4)对稽查风险数据的可以由业务设置固定或者动态查询的功能模块。(6)对稽查预警信息具备查询、核销等处理的功能模块。(6)需要对所查询的数据按照不同业务种类进行报表查询和打印的功功能模块。具体功能模块划分如图 3.2。图 3.2 系统模块划分以下对各六大功能模块做简要论述。(1)系统管理模块 11该模块
46、主要包括签到/签退、机构管理、操作员管理、权限集管理、参数管理、消息管理等子模块。(2)风险评估模块 12该模块主要包括风险联动评估、模型结果查询、内控指标维护、内控指标分类管理、动态建模等子模块。第三章 需求分析 17(3)稽查管理模块 13该模块主要包括业务机构管理、业务人员管理、协查任务书管理、整改任务书管理、案件管理、现场稽查管理等子模块;(4)综合查询模块 14该模块主要包括固定查询和动态查询子模块;(5)风险预警模块 15该模块主要包括预警指标查询、预警信息核销、预警汇总查询、预警报表查询等子模块;(6)报表管理模块 16该模块主要提供按照机构、人员和业务种类进行数据的查询和打印功
47、能。提供业务数据报表的下载和保存。各个模块都在稽查系统服务器上集中部署,所有模块之间的数据交换都在稽查服务器上进行处理。各业务系统与稽查数据之间通过内部局域网络与稽查数据库进行连接,这样可以确保数据的实时性复制刷新,各模块能实时的对刷新数据进行分析处理。稽查数据库采用双机热备的方式,保证数据的安全性。在该系统中,风险评估模块为核心部分。风险评估就是按照不同的风险等级和指标分类对数据进行评估、生成各个业务交易的风险数据供用户查询。本文第六章将对系统管理模块和风险评估模块进行详细设计实现。3.2.3 数据库需求分析电子稽查系统是把所有邮政业务包括储蓄、汇兑等系统数据库的数据进行数据刷新并处理的,储
48、蓄、汇兑等系统数据库都是单独部署的,所以电子稽查系统可以看成是核心数据库对需要的数据进行复制。把所有的系统都看成一个整体,就形成了分布式数据库体系,所有的稽查数据存储在稽查系统中担当核心数据库。这样的好处是某个业务系统出现问题并不影响其它系统的数据复制和稽查业务的办理。稽查系统可以通过数据库快照的存取手段来复制这些业务系统的数据库,把所有外围系统储蓄、汇兑等数据库可以单独看成一个节点,它们只是在通讯网络中联接到一起,每个节点都是一个独立基于 Oracle 数据库技术的邮政电子稽查系统设计与实现18的数据库系统,它们拥有各自的数据库、中央处理器等。这样设计的数据库体系具有以下优点:(1)它可以解
49、决不同数据库之间的数据复制问题,也可以解决不同系统数据需要相互联系的问题,使业务在各个不同系统间数据也可以彼此进行交换和处理,达到互相预警、互相监督的功能。(2)以后更多的业务系统数据库要增加到稽查系统中,稽查数据库可以很方便的通过增加新系统数据库的接口来达到扩充的目的。(3)各个节点数据库如果需要增加新的业务系统和数据需求,可以自主增加来扩充,不会影响到其它系统数据,稽查核心数据库也可以在影响最小的情况下进行改造扩充。(4)均衡负载的需要。每个节点数据库运行自己的数据、有自己的数据复制的快照表空间,自行可以控制与稽查主机的数据复制关系,这使得每个系统之间的相互干扰降到最低,稽查系统也更方便控制不同系统之间的数据复制。(5)当整个数据库体系中的某一个业务节点数据库出现故障,其故障的影响只限于本身局部数据库的数据应用,不会影响到别的数据库的正常使用,因此可靠性是比较高的。当然,这样的数据库体系也具有一定的问题,这些都需要在做数据库规划的时候加以考虑。(1)资源使用率高:电子稽查核心数据库直接连接所有稽查业务终端,所有来自终端的请求处理都要在核心系统上完成,而用户的请求需要不同的业务数据库,这就需要稽查数据库实时的刷新所有外围系统数据,因为每个用户的应用程序和资源都是单独设