1、数据仓库系统,专注金融领域、专业IT服务、助力银行信息化,职业化服务 专业化技术,讲标团队,翟力军 金融行业高级销售经理 覃 思 商业智能部西南平台经理 本项目总监 郭文胜 商业智能部 资深解决方案专家,公司介绍,高阶设计,实施方案,方案小结,最佳实践,公司介绍,总体架构,主题,Q & A,我们的公司,4,目前国内最大的金融IT服务提供商，和全球领先的综合IT服务供应商,我们的愿景,全面的客户化和标准化软件解决方案 渠道，业务，管理相关解决方案与商业智能解决方案 其它服务，包括ATM 维护、咨询和系统集成服务,我们的解决方案及服务,由6个交付中心、3个研发中心和94个 ATM 服务中心构成的全
2、国性网络，覆盖中国大陆31个省、直辖市的27个，全球拥有7000+多名员工，商业智能团队有1300+人，其中成都有100+人。,交付和服务平台,20多年IT服务经验的管理团队 各副总裁平均具有近20年行业经验 全球7000多名员工,管理团队 和人员,四大国有银行 主要全国性股份制商业银行、交行、邮储银行、城商行、农信社、保险机构 大型国有企业（资金管理、内容管理、BI）,我们的关键客户,1996年成立于厦门，注册资本13.82亿人民币 专注于金融IT服务领域,历史,我们的关键里程碑,5,2010年的IT两会，东南融通荣获“2010年中国软件服务冠军奖”、“30周年特别贡献奖”，东南融通是金融I
3、T综合软件服务领域唯一获奖公司,我们的客户,6,客户分类,客户名称,要点,4大国有银行及 政策性银行 (从1996年),其他银行 (陆续从 1996年),证券和保险 (从 2006年),其他企业 (从 2006年),根据IDC报告，这个行业在未来几年内将出现快速增长 利用出售给四大银行的产品实现向全国性和城市商业银行的交叉销售 14家股份制银行都是我们的客户 向城市商业银行推广标准化产品,纵向相关产业，我们能够通过现有行业知识有效满足市场需求,今后通过提供支持财务和其他相关职能的各种解决方案和服务满足市场需求,与4大国有银行及政策性银行有多年的合作关系 持续获得IT服务合同,我们的外部评价,7
4、,中国领先的面向金融行业的IT综合服务提供商,东南融通在中国银行业IT解决方案提供商综合排名第一位(连续3年),2010.7,东南融通在中国银行业IT解决方案提供商综合排名第一位,2009.6,入选2009年度“全球金融技术公司100强（FinTech 100）”榜单，并位列入选的3家中国公司首位（全球前三位：Fiserv, Sungard, Fidelity） 2006年及2007年两次入选美国权威杂志 Global Services和全球服务外包的咨询公司NeoIT共同评选的“全球服务100强”（Global Services 100）,我们的外部评价,8,我们的行业地位 银行,9,资料来
5、源：IDC,2010.07,2009年度中国银行业 IT解决方案市场份额,2.6%,高伟达,3.8%,神州数码,4.3%,YTEC,8.2%,东南融通,5.6%,IBM,市场份额,品牌形象,本地知识,获取资本,综合服务,行业知识,国际供商,中国本地供应商,东南融通,弱,强,其它,75.5%,合计,100%,1996年成立，当时是一家银行系统集成提供商 在银行IT服务业拥有10多年经验 自2001年开始专注于软件业务 2003年推出标准化软件产品,持续专注,了解中国金融服务IT行业未来的走向 了解金融机构的IT支出历史 了解监管环境 熟悉金融机构的业务和IT架构,对行业的充分了解,专注于存在大量
6、交叉销售的金融服务IT解决方案，同时具备进入相关市场的能力 定制产品专家 开发标准化软件的能力 一贯优秀的售后服务 通过提供广泛的产品线，建立客户忠诚度,全面的解决方案和服务,供应商,东南融通BI的市场地位 IDC 2010.7银行业统计,商业智能,客户关系管理,风险,我们的知识产权、资质和荣誉,11,知识产权,拥有著作权证书的软件产品共215项拥有软件产品登记的软件产品共209项,个人资质,200多人拥有300种资质认证,国家规划布局内重点软件企业（连续6年）国家火炬计划重点高新技术企业国家级软件产业基地骨干企业通过CMMI5级认证通过ISO9001质量体系认证信息安全服务安全工程类一级证书
7、信息产业部系统集成壹级资质福建省软件及系统集成“双十强”企业中国建设银行信息四大技术供应商之一中国农业银行合作伙伴,中国最大千家高新技术企业福建省信息产业系统先进集体中国第一届技术市场金桥奖集体奖福建省省级企业技术中心19972009福建省守合同重信用单位19972009厦门市守合同重信用单位2003年中国1000家守合同重信用单位2004年全国守合同重信用企业厦门特区2005、2008年度最佳雇主（连续两次） 国家保密局核准系统集成资质国家质检总局系统集成资质金亿宏信获微软“解决方案合作伙伴最佳销售业绩奖”及“最佳EA贡献奖”,公司资质,公司荣誉,承担国家、省市级科技项目,1个国家863计划
8、引导项目2个国家创新基金项目7个国家火炬计划项目10个福建省、厦门市/区科技计划项目4个省名牌软件产品,东南融通商业智能业务线 银行业主要客户,12,4大国有银行及政策性银行,股份制银行,城市商业银行,Longtop BI 数据线客户案例（1）,中国建设银行总行数据平台(2006-今) 数据线整体规划 ODS EDW/MIS 数据标准管理 数据质量管理 元数据管理 ETL自动化平台 调度监控平台 SUP 实施工艺 中国建设银行总行应用项目(2006-09年) BASEL II 零售PD-EAD-LGD计量 零售分池 风险模型实验室平台 ECIF OCRM ACRM S-MIS 集团客户关系管理
9、系统 贷记卡管理信息系统（CCMIS） 反洗钱联合国黑名单检索系统,中国建设银行吉林分行(2008年) ODSB数据移植 中国建设银行新疆分行(2008年) ODSB数据移植 对公/对私客户分析 中国建设银行辽宁省分行(2007-2008年) ODSB数据移植 对公CRM，对私CRM，产品管理 中国建设银行厦门分行(2007-2008年) ODSB数据移植 对公/对私客户分析、产品管理、绩效考核 中国建设银行山东省分行(2005-2007年) 对公客户营销服务支持系统（对公CRM） 对私客户营销服务支持系统（对私CRM） 绩效考核，产品管理 中国建设银行大连分行(2003年) 业绩考评管理（A
10、BC/EVA/贡献度） 中国建设银行海南省分行(2000年) 零售业务分析,Longtop BI 数据线客户案例（2）,光大银行 EDW 信用卡决策支持系统（一期、二期） 对公业务分析 对公客户经理管理系统 客户经理绩效考核系统 电子渠道业务分析 风险管理I期（对公业务，基于BASEL II） 风险管理II期（同业业务，基于BASEL II） 个贷风险管理（基于BASEL II） 资产负债管理系统 新会计准则披露子系统 1104报表，人行金融统计报送系统 反洗钱监测分析，人行征信，国际收支 民生银行 EDW (Teradata) 客户信息管理系统（ECIF） CRM 贡献度分析系统 零售业务信
11、息系统 贷款五级分类系统 金融统计集中系统 反洗钱监控系统 华夏银行 信用卡中心数据分析平台 中国农业银行 资产负债管理 操作风险管理系统 基础数据平台咨询项目,国家开发银行 管理驾驶舱二期 数据平台二期数据治理 数据标准、数据质量 元数据管理、数据综合信息服务 中国进出口银行 数据标准咨询 中信银行 数据中心ODS 风险资产计量系统 广东发展银行 ODS 信用卡数据集市 深圳发展银行 信用卡数据集市 资产负债管理系统 兴业银行 对公/对私客户营销服务系统 管理会计 ECIF 全行统一报表系统 企业数据整合平台EDIP 渤海银行 报表平台/评级数据录入平台 综合经营指标 操作风险 招商银行 操
12、作风险项目,Longtop BI 数据线客户案例（3）,北京银行 对公CRM （一期、二期） 对私CRM（一期、二期） 绩效考核统计系统 零售产品管理咨询 基础数据平台ODS 大连银行 基础数据平台ODS ECIF（对公、对私） 统一报表平台 管理驾驶舱 数据质量管理平台 南京银行 基础数据平台（一、二、三、四其） 南昌银行 对公CRM、对私CRM 数据仓库项目 厦门银行 EDW （BI.Bank DWM） 全行统计报表/1104工程 ECIF 河北银行 基础数据平台,平安银行 EDW （BI.Bank DWM） 全行统计报表/1104工程 EIS行长信息系统上海农村商业银行 信贷数据集市 信
13、贷风险统计分析系统 重庆农信 EDW （BI.Bank DWM） 全行统计报表 1104工程 天津农信 信贷管理分析 非现场监管稽核辅助分析 河南农信 个人征信 企业征信 东莞农信 EDW （BI.Bank DWM） 全行统计报表 卡风险监控,16,Longtop BI 基础数据平台行业背景,数据交换 数据交换体系,数据加工 数据处理环境+数据整合模型,数据服务 综合应用平台+多层次数据服务,系统剧增；网状交换,数据化经营对数据的需求 数据加工资源重复投入,业务系统减负；T+1数据需求业务创新带来应用的多样化,解决,问题,数据配套 数据治理+数据安全,数据质量、数据标准、数据安全问题,Long
14、top BI 基础数据平台典型案例分析,本项目的相关经验,数据分发经验 工总行大型数据调度系统 建总行数据分发平台8人 兴业银行EDIP数据分发-3人 调度监控平台（ETL PLUS） 吴江农村商业银行基础数据平台 无锡农商行数据中心 河北银行数据平台 北京银行ODS 南昌银行数据仓库 南京银行管理数据平台项目（14期 天津农村商业银行数据仓库 国家开发银行数据仓库 平安银行ODS系统二期 大连银行基础数据平台 中信银行ODS系统 广发银行ODS系统 数据模型 吴江农村商业银行基础数据平台 无锡农商行数据中心 河北银行数据平台 北京银行ODS 南昌银行数据仓库 南京银行管理数据平台 北京银行数
15、据模型 国家开发银行数据仓库 天津农商数据仓库模型 平安银行ODS系统二期 建总行ODSB数据模型 大连银行基础数据模型 兴业银行基础数据模型,元数据管理 建总行元数据管理平台10人 中信银行元数据管理平台8人 国家开发银行元数据管理平台10人 数据质量管理 建总行数据质量管理平台15人 中信银行数据质量管理平台8人 国家开发银行元数据管理平台10人 数据标准 广发银行数据标准化及数据仓库规划咨询 建总行数据标准管理平台7人 国家开发银行数据标准管理平台8人 中国进出口银行数据标准咨询7人 数据系统建设典型案例 吴江农村商业银行基础数据平台 无锡农商行数据中心 河北银行数据平台 北京银行ODS
16、 南昌银行数据仓库 南京银行管理数据平台项目（14期 北京银行数据模型 国家开发银行数据仓库 天津农商数据仓库模型 平安银行ODS系统二期 建总行ODSB数据模型 大连银行基础数据模型 兴业银行基础数据模型,公司介绍,高阶设计,实施方案,方案小结,最佳实践,公司介绍,总体架构,主题,Q & A,主题,21,背景与需求,背景：整合所有的业务系统源数据，准确完整地分析南充市商业银行现有的数据及其流向，建设一套强大的基础数据平台 整合系统： 一阶段：核心、外汇、财务管理、信贷管理、卡平台、综合前置；六个系统 二阶段：网上银行、人行支付、电话银行三个系统 建设范围： 基础数据平台建设 KPI仪表盘 业
17、务报表应用 绩效考核系统,数据源接口设计 公共数据标准化 仓库模型设计 指标库设计 应用模型设计 总体框架设计 ETL作业设计 ETL调度平台建设 BI门户建设,KPI指标梳理 KPI仪表盘框架设计 KPI仪表盘开发及测试,业务报表梳理 报表平台设计 报表设计 报表开发及测试,客户经理绩效考核系统调研及需求整理 应用功能开发及测试 数据应用开发及测试,公司介绍,公司介绍,主题,背景与需求,23,原则与目标,设计原则： 实用性和适用性 开放性、兼容性和连通性 先进性 高可靠性和可用性 灵活性和可扩充性 易维护性 标准化 总体目标： 业务目标： 基础数据平台初步建设 180张核心系统报表 200业
18、务报表,技术目标： 系统搭建基础数据平台 标准化数据进行处理，建立业务数据模型。 支持主流厂商ETL、报表和展现工具。 基于J2EE框架设计。 采用平台化设计，支持功能性拓展。 通过系统设计，保持统计结果的一致性。 支持多用户并发查询报表和海量数据处理。 提供报表管理功能。 提供调度控制功能。 包含元数据的管理功能。 提供监控管理功能。 支持水平扩展和垂直扩展。 有效的数据质量提升策略和方法。 具有数据分发和报表分发功能。 支持集中式和分布式部署模式。 扩充方便，修改灵活，操作简单。 提供相关接口功能 具有开放性，做到标准化、通用化。 系统安全、可靠。 按照软件工程要求提供各类文档。,系统规划
19、蓝图,24,系统规划线路图,25,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,数据架构,ETL架构,物理架构,数据质量管理,运营管理,技术架构,27,本期逻辑架构,28,逻辑架构：系模块间关联,28,29,逻辑架构：系统间数据流向,29,技术架构,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,数据架构,ETL架构,物理架构,数据质量管理,运营管理,31,技术架构,31,数据架构,技术架构,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,ETL架构,物理架构,数据质量管理,运营管理,33,数据架构,33,34,数据模型：总体设计,34,35,数据模型：源数据缓
20、冲层,35,层次设计 源的统一数据采集区，主要存放增量数据 数据结构接近于源，进行数据的临时保存 可作为全行历史归档数据的提供者 数据获取的两种方式 源卸数后主送 直接抽取 源系统增量获取的关键点 确认增量数据的识别规则 确认增量卸出的时间 增量文件的接口规范定义,36,数据模型：数据标准层,36,层次设计 对数据缓冲层的增量数据进行标准化处理 消除不同源在信息表达上的差异 为后续的数据整合流程提供标准化基础 标准化范围 公共代码标准化 数据类型标准化 数据格式标准化,37,数据模型：基础数据层,37,层次设计 按主题对全行各业务系统的关键基础数据进行归类、整合和存储 数据来源于数据标准层 数
21、据结构采用近源结构，可剪裁非关键数据 制定数据保存策略，保存全量快照或者明细表，保存关键数据的历史拉链 维护稳定的主体模型，需求变更时通过辅表的方式关联，避免主体模型受到变更影响。 主题划分 对数据进行归类 提高数据的使用便利性 分为：团体、协议、事件、渠道、产品、总账、公用,模型设计概述基础数据层,模型设计概述基础数据层（团体）,模型设计概述基础数据层（产品）,模型设计概述基础数据层（渠道）,模型设计概述基础数据层（协议）,模型设计概述基础数据层（事件）,模型设计概述基础数据层（总账）,45,数据模型： 建总ODS模型示例,数据模型：加工汇总层,46,层次设计 应用上共享的原子共性汇总，一次
22、计算，多次共享 源于应用需求，统一分析、统一提炼 汇总主题划分 交易汇总 账户汇总 客户汇总 渠道汇总 机构汇总,47,数据模型：物理化,47,接口设计 源是数据库时，从源直抽并直接加载到目标的直接用DataStage实现，无需接口。 源是文本时，采用DataStage直接加载。 文件直传由交换层直接实现，无需接口 目标需要文本的，使用目标文本接口标准 针对多个目标的一致性应用，无需复杂处理的可以建立统一的数据视图，需要复杂处理的可以编制统一数据发布接口，为多个目标提供统一应用 统一对外的XML报文接口标准 存储优化设计 确定索引策略 确定数据存放位置 确定存储分配 稳定性设计 不使用“sel
23、ect *” 数据标准层SDM中尽量不删除和修改字段，只是新增字段 使用辅表方式 屏蔽源系统设计 模型标准层入库设计 数据筛选设计,48,数据模型：模型设计工艺,48,划定数据范围,49,数据模型：模型设计工艺（示例）,49,ETL架构,数据架构,技术架构,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,物理架构,数据质量管理,运营管理,51,ETL架构,51,52,ETL组件化,52,53,ETL并发调度,53,54,ETL处理集群,54,55,ETL最佳实践,55,工具、组件积累 Datastage开发规范,常见的Datastage错误处理、经典的场景案例、DatastageAP
24、I开发等,物理架构,ETL架构,数据架构,技术架构,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,数据质量管理,运营管理,总体物理架构,58,软硬件配置：软件配置建议,58,59,软硬件配置：硬件配置建议,59,数据质量管理,物理架构,ETL架构,数据架构,技术架构,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,运营管理,数据质量：度量标准,61,非功能性 及时性：指数据刷新、修改和提取等的及时和快速性 安全性：主要包括数据在传输、使用过程中的安全性 扩展性：该系统数据体系在不满足业务需求时进行扩展的可能性与复杂度,功能性 完整性：主要包括实体缺失、属性缺失、 记录缺失
25、和字段值缺失四个方面 唯一性：指主键唯一和候选键唯一两个方面 一致性：指统一数据来源、冗余存储和统一口径的一致性 准确性：指计量误差、度量单位等方面的精确度 合法性：主要包括格式、类型、值域和业务规则的有效性,数据质量：问题根源,62,缺乏明确、一致的数据需求定义 数据不正确 数据不完整 数据不一致 缺乏统一的数据规范 规范不完整 规范不一致 缺乏数据质量问题解决的组织和既定的流程 缺少合适的组织来解决质量问题 缺少制定合适的解决流程,数据质量：解决框架,63,成立专门的数据质量管理团队 高层管理人员把控，协调不同部门，不同系统间关系。 制定数据质量规则 不定期发现质量问题及解决 建立统一的数
26、据质量规则 统一术语规范 统一通用代码 禁止对数据的直接修改，以新记录方式修改数据。 建立并完善数据质量问题处理流程 质量问题报告 协调相关部门 形成数据问题处理建议和方案 执行方案，反馈结果 质量问题持续跟踪 数据质量长期治理 在治理的规范，流程支持下，建立数据质量管理平台,数据质量管理,物理架构,ETL架构,数据架构,技术架构,逻辑架构,公司介绍,公司介绍,主题,背景与需求,总体规划,运营管理,65,系统运营管理：实施工艺,65,66,运营管理：系统运行管理,66,系统运维管理 定制日常标准操作流程和特殊标准操作流程 对系统资源的监控、对系统性能的分析 数据服务情况监控和干预（到数、作业加
27、工和供数） 数据服务基线管理 源系统简称、目标系统简称、源最早来数时间、源最晚来数时间 文件就绪时间、数据处理结束时间、传输结束时间 供数基线时间、目标系统要求数据时间、数据平台服务时间 系统运行分析 制定分析的指标，系统定时收集运行信息 阶段分析运行指标，持续调整和优化应用,67,运营管理：安全管理,67,安全策略 机密性：确保信息不暴露给未授权的实体或进程。 完整性：只有得到允许的使用者才能修改数据，并且能够判别出数据是否已被篡改。 可用性：得到授权的实体在需要时可访问数据，即攻击者不能占用所有的资源而阻碍授权者的工作。 可控性：可以控制授权范围内的信息流向及行为方式。 可审查性：对出现的
28、网络安全问题提供调查的依据和手段。 系统安全设计 应用与数据安全设计 身份验证 权限控制 验证登录客户机 数据传输安全 数据存储安全,68,运营管理：备份与恢复,68,制定数据备份策略 全备份：备份系统中所有的数据； 增量备份：只备份上次备份以后有变化的数据； 差异备份：只备份上次完全备份以后有变化的数据； 按需备份：根据临时需要有选择地进行数据备份。,制定数据恢复策略 全崩溃恢复机制 服务器崩溃恢复机制 磁盘阵列崩溃恢复机制 系统软件全崩溃恢复机制 操作系统崩溃恢复机制 数据库系统崩溃恢复机制 部分数据丢失恢复机制 单磁盘崩溃恢复机制,公司介绍,高阶设计,实施方案,方案小结,最佳实践,公司介
29、绍,总体架构,主题,Q & A,高阶设计,公司介绍,公司介绍,总体架构,主题,数据交换,ETLPLUS调度监控,综合报表应用,实施工艺促进,非功能性,BIOFFICE报表平台,数据加工,71,数据交换：整体架构,71,72,数据交换：组件部署,72,数据传输客户端 查询某个节点上某个数据文件是否存在。 将本地数据文件安全，完整，快速的传输到指定的节点。 将指定节点上的数据文件安全，完整，快速的下载到本地。 数据接收服务端 提供安全认证。 提供数据传输服务 相关管理功能,73,数据交换：数据采集,73,定向推送 源系统自行判断数据可以卸载的时刻，使用通用的卸载程序卸载文本。 卸载后处理调用传输客
30、户端的传输命令 传输程序完成文件接收操作,记录数据的状态信息； 文件名称标准化 事件通知文件到达 传输程序结束文件传输操作。 触发调度流程、加工作业调起 主动抽取 系统扫描约定信号（数据库状态）或约定时间 触发就绪事件通知，进一步触发ETL抽取作业调度进行抽取,74,数据交换：数据发布,74,数据发布触发方式 ETL加工作业成功完毕 通过管控系统进行补发等干预 数据发布方式 直传 ETL加工后传输 直接加载 直接下载（不建议）,数据发布接口 双文件发布 控制文件接口规范（file-name,file-size,file-row） 数据文件接口规范 文件名规范 $SOURCE_SYSTEM_$T
31、ARGET_SYSTEM_$TABLE$DATE_$BATCH.dat 文件内容规范 定长，分隔符，换行符 填充符(补空格方式) 码制(GBK,ASCII),75,数据交换：全行数据交换通道,75,数据加工,数据源,EDW,ADM,FDM,ODS,分行数据平台,分行管理信息系统,分行 特色 系统,总行,分行,目标数据缓冲层,公 共 加 工 层,基 础 数 据 层,数 据 标 准 层,源 数 据 缓 冲 层,目标系统,分析型应用,BI类应用,近实时类应用,操作数据服务,分行数据下发服务,业务快报服务,历史数据应用,总行批量数据服务,数据交换,数据采集,数据发布,数据管控,安全管理,数据治理,数据
32、标准管理,元数据管理,数据质量管理,调度引擎,监控管理,工具集（ETL|SP|SCR）,自动化工程,76,76,数据交换：配置示例（1）,77,77,数据交换：配置示例（2）,基本选项：传输任务名 输入端信息 目标信息 传输执行计划 传输日历 是否就绪文件 前置传输任务,高级选项：分发模式：自动方式、手工方式 传输方式：cp拷贝/ln连接/文件传输程序/其他 压缩参数：0:不压缩，1:gzip压缩 拆分参数：按拆分参数的值对文件进行拆分，并生成拆分后的文件列表如：填1073741824表示把文件拆分成的若干个1073741824字节的小文件再传给目标。 优先级：按规范分为级：80（最低）、55
33、、40、20、1（最高）,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,数据交换,ETLPLUS调度监控,综合报表应用,实施工艺促进,非功能性,BIOFFICE报表平台,正常处理流程ETL过程框架,79,80,异常处理流程,80,错误数据处理,81,ETL加工组件示例常用组件,81,全量求增量清洗检核,标准代码转换,ETL加工组件示例-通用检核规则,82,83,ETL加工组件示例-成熟组件支持,ETLPLUS调度监控,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,数据交换,综合报表应用,实施工艺促进,非功能性,BIOFFICE报表平台,85,ETL PLUS平台架构,85,
34、86,ETL PLUS调度逻辑架构,86,87,ETL PLUS调度技术架构,87,88,ETL PLUS调度功能,88,外部事件通知 主服务程序 事件接收进程池 事件处理进程池 作业调度进程池 定时事件处理进程 监控进程 资源管理模块 作业调度代理 JSI作业调度接口,89,ETL PLUS调度模式,89,作业调度时机 外部事件就绪：比如源系统文件到达，源系统库表就绪。 时间到：某个时刻到达。 作业完成：需要其依赖的作业完成。 作业调度通道 一般通道：大部分作业将在一般通道运行。 专用通道：指运行某一类作业的通道。比如大作业，运行在专用通道上，可使其不影响一般作业的处理。 VIP通道：对于结
35、息，年结这些特殊场景的处理，运用VIP通道，确保这些作业得到最优的资源进行处理。 异常处理 自动修复类：调度管理器会间隔一定的时间，自动尝试恢复。比如事件到达，但文件还没到（网络存储系统的延迟造成）。 人工干预类：则需要运维人员，根据具体的异常类型，进行手工处理，此信息登记到全局异常表，通过管控平台展示。,90,ETL PLUS调度示例：配置作业,90,加入一个新作业加入作业来源,加入依赖作业,91,ETL PLUS调度示例：并发调度配置,91,92,ETL PLUS资源监控,92,资源监控运行概况监控,到数、供数监控作业监控,93,ETL PLUS故障干预与运维报表,93,故障干预运维报表,
36、BIOFFICE报表平台,ETLPLUS调度监控,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,数据交换,综合报表应用,实施工艺促进,非功能性,95,BI.Office报表平台逻辑架构,95,96,BI.Office报表平台功能架构,96,97,BI.Office报表平台功能,97,选择报表模板浏览报表 切换报表参数 获取报表原始数据刷新； 获取报表存档数据刷新； 数据回写（到用户指定的数据源） 实现报表存档及其回退（在中间数据库中保存报表数据） 实现审核及其回退 权限许可条件下自由汇总 数据转换（舍位问题的） 表内校验 表间校验 全局校验规则执行 表内取数 表间取数 全局取数规则执
37、行 展示汇总下级数据 打印 导出excel等格式,98,BI.Office报表平台报表开发,98,99,BI.Office报表平台灵活查询定制,99,100,BI.Office报表平台仪表盘,100,BI.Office报表平台表内/表间校验,BI.Office报表平台补录回写,BI.Office报表平台汇总,汇总定义汇总结果,BI.Office报表平台SQL查询定制,BI.Office报表平台存储过程查询定制,BI.Office报表平台跳转查询,综合报表应用,BIOFFICE报表平台,ETLPLUS调度监控,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,数据交换,实施工艺促进,非功能
38、性,统一报表平台,综合报表应用需求行长报表,综合报表应用需求部门报表,示例：行长报表,112,示例：某银行计财部报表,计财部表样,113,示例某国有银行计财部报表需求,114,计财部需求示例商业银行计财部报表需求,实施工艺促进,综合报表应用,BIOFFICE报表平台,ETLPLUS调度监控,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,数据交换,非功能性,116,实施工艺促进工具,117,自动化开发工具支持,DATASTAGE自动化定制开发 DATASTAGE自动化批量生成 存储过程自动化 模型客户化辅助工具,非功能性,实施工艺促进,综合报表应用,BIOFFICE报表平台,ETLPL
39、US调度监控,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,数据交换,119,非功能性设计：概述,119,高性能 系统需要作为企业级的数据整合系统，需要具备高性能，以满足服务基线时间窗口的需求。 可扩展性 保证项目根据业务要求合理配置，稳步发展，从业务架构、数据架构、技术架构、物理架构等四个方面考虑系统的可扩展性。 可管理性 具备高可管理能力，保证系统的生产运行，在出现异常的情况，可以快速定位并恢复。 高可用性 ETL架构主要通过集群和负载均衡的角度充分考虑系统的健壮性，其它的核心服务模块，例如数据交换和调度服务，可通过HA双机热备的方式来保障高可用。,安全性 系统作为数据线的心脏，
40、需要保证系统、数据安全加工，安全接入和分发。 可集成性 避免数据应用架构的重复投入，包括物理设备、系统软件、框架组件、规范方法等。,120,非功能性设计：高性能设计,120,高性能设计关键因素： 数据库性能 ETL处理集群 调度性能保障 事件触发避免轮询等待 资源通道管理 优先级设置,ETL过程高性能最佳实践： 减少落地 ETL产品调优 ETL作业调优 工具选型（DataStage、脚本） 开发流程规范 自动化开发工具 数据交换、分发性能保障 压缩传输 并行控制 基线时间窗口保障 非基线时间窗口划分,121,非功能性设计：可扩展性,121,硬件可扩展 Oracle 10g的RAC集群 ETL集
41、群-DataStage集群 调度集群 数据交换集群 软件可扩展 调度层：可以扩展为IT架构体系中的调度中心，也可能用产品化的组件来期待调度层 交换层：组件化设计，既可以逐步扩充通讯协议；也可以整体作为今后南京银行EAI/ESB的一个批量传输组件。 加工层：通过JSI封装作业执行模块，提供统一的调度接口，可以方面扩展更多类型的ETL作业。 监控管理层：既可以作为本系统独立的监控平台，也可以和南京银行现有或将来更新的IT整体监控平台进行接口级甚至是事件级的交互。,122,非功能性设计：可管理性,122,统一调度监控 全服务过程监控 可视化的管理功能 灵活的作业执行过程干预 作业执行过程动态调整 统
42、一日志体系 系统运行日志 用户操作日志 备份管理日志 有效的运行管理办法 流程化运维 标准操作方法 培训和文档 系统原理 日常工作流程 问题知识库,123,非功能性设计：高可用性,123,硬件配置容错 关键节点双机热备 Oracle10g的RAC集群容错 ETL集群 应用容错 可干预和重复执行 提供人工干预的机制和重复执行的功能，来保障系统发生故障时也能够继续稳定的运行。 JSI实现ETL作业的ABC功能 JSI包含完整的审计（audit）、平衡（balance）和控制（Control）组件，实现ETL作业的ABC功能，保障系统的稳定运行。 Reject、Warning机制 统一的Reject
43、和Warning机制，对无法处理的数据以Reject方式提交出来，对字段赋缺省值等系统自动修改的数据以Warning的方式提交出来，保证数据在处理过程中有完整的可回朔性。,124,非功能性设计：安全性,124,数据传输安全性 向各目标系统系统进行数据分发前，需向各目标系统进行身份认证，确保数据接收对象的合法性。数据传输过程中，应根据南京银行银行安全等级要求，对有保密需求的数据进行加密传输。 系统权限控制 提供访问控制，可参数化配置多层次安全控制，可按照用户组定义安全策略。 数据备份清理机制 对于源系统供过来的数据设计适合的容错周期和存储策略。,公司介绍,高阶设计,实施方案,方案小结,最佳实践,
44、公司介绍,总体架构,主题,Q & A,高阶设计,实施方案,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,组织架构,实施计划,项目管理,售后服务,Q & A,实施关键点,127,组织架构,127,技术实现,规划管理,决策控制,128,核心人员,128,高阶设计,实施方案,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,组织架构,实施计划,项目管理,售后服务,Q & A,实施关键点,130,阶段及里程碑,阶段划分一阶段里程碑二阶段里程碑测试阶段,项目管理,高阶设计,实施方案,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,组织架构,实施计划,售后服务,Q & A,实施关键
45、点,132,公司管理体系,132,项目管理体系 规范的项目管理流程:基于CMM I5打的规范的项目管理流程，遵从行业的最佳实践作法。 严格的项目经理资格认证：公司制定了严格的项目经理选拔、培养、任用管理办法， 专门的集团项目管理部，对项目实施提供质量保证服务， 科学的项目绩效考核：使用了业内标准的评估方法，全面客观地对项目进行评价。 丰富的项目管理培训：提供了丰富的项目管理培训，包括年度培训和单项培训 组织级项目管理软件：采用领先的项目管理软件产品VisualProject作为项目管理工具。 质量管理体系 项目QA计划 项目QA审计 项目QA辅导 项目QA监控 项目QA报告 项目流程定制 项目
46、文档收集,133,过程管理,133,项目启动准备 项目启动的前提条件： 项目启动前的准备工作 项目启动会议的召开。 成功关键因素 双方高层领导的支持，特别是用户方高层领导的支持； 项目经理和项目组成员良好的沟通和协调； 项目经理能进行良好地风险管理和控制； 项目经理能重视项目日报、周报和月报，并对项目进程进行监控； 项目经理对项目组成员进行成功地激励，让项目组成员了解本项目的重要性； 项目经理为保证项目完成能成功协调资源； 通过项目变更管理对项目的方向进行成功控制； 通过项目前期的计划和需求工作，尽量准确地评估工作； 尽量利用类似项目经验，完成该项目，对项目成功实施至关重要。 项目进程控制和管
47、理 对项目各阶段完成时间的控制 对项目各阶段完成质量的控制 对项目各阶段文档的管理 对项目组人员的管理 其他方面的管理,134,项目成果（包括阶段性成果）的交付与验收,134,135,其他项目管理(1),135,项目沟通管理 项目周例会制度 项目状态周报制度 项目成员工作日报制度 不定期会议制度 问题的汇报登记制度,人力资源管理 人员入场登记 人员离场登记 项目作息制度 请假及工作移交流程 人员调整,136,其他项目管理（2）,136,项目配置管理 文档、代码统一配置管理 开发库、受控库和产品库区分管理 完善的配置提交和管理流程,项目风险管理 风险及问题跟踪矩阵 风险暴露登记和风险解决登记,项
48、目质量管理 项目质量计划 文档规范和编码规范 实施工艺流程规范 评审及代码走查 版本管理,项目变更管理 发起变更 评估变更 审批变更 执行变更 变更执行评估,培训对象： 银行各级主管、业务人员：系统使用操作培训 系统管理员：系统日常维护培训 系统开发人员：系统二次开发培训、BIOFFICE等产品工具培训培训教材： 系统安装手册 系统运行维护手册 系统详细设计说明书 系统数据库设计说明书 系统需求分析规格书 系统操作手册等,项目培训,138,项目测试,138,测试范围 测试内容 数据处理层测试路径：源数据区源数据缓冲层数据标准层基础数据层公共加工层目标数据缓冲层。 测试整个数据处理过程的每个环节数据逻辑处理正确性，作业处理和调度正确性，过程传输完整。 主要工作内容 进行集成测试，检查数据转换、清洗、加载后数据的正确性，以及业务逻辑的正确性；测试前端系统展现功能的正确性，报表数据、报表格式、操作权限的正确性； 参与并指导开发人员进行单元测试，对单元测试结果进行抽样检查； 进行数据加载的性能测试； 进行数据接口产生的性能测试； 协助用户接收测试； 协助上线演练测试。 准入条件；准出条件 测试方案 测试数据管理；ETL测试；前端测试；性能测试；UAT测试；模拟演练,
