1、目录1、概述.161.1、中信银行ODS 项目建设背景及思路. 161.1.1、背景. 161.1.2、建设思路. 161.2、中信银行ODS 项目架构方法论. 181.3、逻辑架构. 201.4、数据架构. 211.4.1、数据架构. 211.4.2、指标. 221.5、技术架构. 251.5.1、ETL . 251.5.2、指标服务. 251.5.3、数据展示. 261.6、物理架构. 261.6.1、ODS 总行物理架构. 261.6.2、ODS 分行物理架构. 272、数据模型设计.282.1、数据模型的设计目标. 282.1.1、满足OLAP 分析. 282.1.2、统一业务数据视图
2、，保证数据的一致性. 292.2、数据模型设计方法论. 292.2.1、源系统调研方法论. 292.2.2、源系统调研工作模板. 312.2.3、数据模型设计方法论. 332.3、相关概念. 35中信银行ODS 项目技术方案 第3 页，共281 页2.4、核心逻辑数据模型. 362.4.1、主题域描述. 362.4.2、主题域关系图. 372.4.3、主题域业务规则. 382.5、数据分析模型 客户、产品和绩效主题应用. 432.5.1、统一客户视图 客户关系管理. 432.5.2、统一产品视图 产品管理. 512.5.3、统一渠道视图-渠道分析. 532.5.4、绩效考核框架. 542.6、
3、数据模型的层次化设计. 582.6.1、管道层数据模型（CDM）. 582.6.2、清洗和转换层数据模型（TDM） . 592.6.3、原始层数据模型（ODM）. 592.6.4、逻辑数据模型（LDM）. 592.6.5、应用数据模型（ADM）. 603、数据库设计.613.1、数据量估算方法. 613.2、数据库、表分区设计方法. 613.2.1、面临的问题. 613.2.2、解决方法. 623.2.3、分区及标准. 633.3、表索引设计方法. 663.3.1、索引的存储. 663.3.2、使用索引的时机. 663.3.3、索引列和表达式的选择. 663.3.4、复合索引. 673.3.5
4、、避免对大表的全表扫描. 673.4、代理键设计方法. 683.5、表空间和日志空间规划方法. 69中信银行ODS 项目技术方案3.6、SQL 优化方法. 713.6.1、一般原则. 713.6.2、表连接原则. 713.6.3、有效使用索引. 723.7、如何避免表级锁. 724、ETL 设计.734.1、ETL 总体方案. 734.1.1、设计原则. 734.1.2、总体架构. 734.1.3、ETL 任务. 744.1.4、ETL 过程. 764.1.5、ETL 安全. 774.1.6、方案特点. 774.2、ETL 编程规则. 784.3、ETL 流程设计原则. 804.4、ETL 作
5、业调度设计. 834.5、ETL 作业监控设计. 864.6、ETL 作业开发原则. 874.7、ETL 作业设计原则. 884.8、文件落地处理. 884.9、特殊字符处理. 895、前端展现.915.1、前端展现概述. 915.2、报表制作方案. 925.2.1、查询. 935.2.2、报表. 945.2.3、分析. 955.3、报表开发过程. 96中信银行ODS 项目技术方案 第5 页，共281 页5.4、报表管理平台功能模块设计. 975.5、跨系统报表管理. 985.6、二次开发. 1005.7、报表工具开发经验. 1016、统一权限管理.1026.1、概述. 1026.2、权限管理
6、内容. 1026.2.1、用户信息. 1026.2.2、认证方式. 1036.2.3、资源权限. 1036.2.4、数据权限. 1046.3、权限管理方案. 1076.3.1、逻辑架构. 1086.3.2、物理架构. 1096.4、技术实现. 1106.4.1、建立统一的权限管理平台. 1106.4.2、应用系统. 1146.4.3、报表管理系统. 1146.4.4、报表工具. 1186.5、技术难点. 1236.5.1、单点登录. 1236.5.2、报表管理系统向报表工具的权限同步. 1236.6、实施案例介绍. 1236.6.1、交通银行报表综合管理平台. 1236.6.2、建设银行J2E
7、E_报表管理系统应用集成方案. 1251、概述1.1、中信银行ODS 项目建设背景及思路1.1.1、背景随着银行业务系统的不断发展和变化，不断对管理信息和数据服务的建设和发展提出要求，业务推动数据服务的发展是不变的发展规律，中信银行走过了从分布式业务系统到数据集中；从没有数据交换到网状交换再到未来以ODS 数据交换为核心的数据服务，随着科技规划，中信银行的数据服务可能继续发展成以ODS 为核心的架构，再发展到以总行数据计算引擎ODS（H）和分行计算引擎ODS（B）组成的数据服务。总之，数据服务的建设过程是一个不断的因乱而治、逐步演进的过程。1.1.2、建设思路ODS 项目作为中信银行数据服务的
8、重要组成部分，我们在ODS 项目的建设过程中，需要逐步形成由ETL+指标计算+数据展现作为ODS 项目根本技术手段的建设模式，从而连接源系统和目标系统，再统计汇总并最终以适当的方式展现给数据的使用者，这些都是由业务的抽象特性决定的。因此，中信银行ODS 项目的建设从业务需求上主要满足三类需求：n 面向目标系统或分行提供基础数据的供数需求，这类需求可能为对外供数（如外部监管、外部交换和对帐等）做准备，也可能为计算指标和展现做准备；n 面向业务管理而计算指标数据的统计需求，包含指标的计算和派生，这类需求可能是用来满足为某些系统提供重要参数（如平均市场利率或定价转移参数）或满足外部监管和内部管理需要
9、，也可能是为进一步以合适的方式进行展现做准备；n 面向最终用户的形成报表/图的展现需求，多数情况下都是基于对基础数据、指标数据的基础上通过展现工具将数据变为信息的过程。中信银行ODS 项目技术方案 第17 页，共281 页采集补录转换/标准化集成加工查询/展现指标数据统计需求基础数据供数需求报表/图展现需求图表1、中信银行ODS 项目面对的三类业务需求根据以上抽象的三类应用需求，中信银行ODS 项目架构设计和实现应从六个方面来平衡三大需求的实现，使得有限的资源以较有效的协作方式共同发挥效用：n 可扩展性：保证中信银行ODS 项目根据业务发展合理配置稳步发展，应从业务架构、数据架构、技术架构、物
10、理架构等四个方面考虑中信银行ODS 项目的可扩展性。如业务架构上，应考虑业务应用的扩展性，举个例子，将分行特色应用作为全行共性应用的有益补充，旧时一个典型的应用扩展。数据架构的扩展能力，主要体现在数据分布和数据模型的扩展上。技术架构的扩展能力，主要体现在并行计算、大数据量传输处理和集群展现等扩展能力。物理架构的扩展能力，主要体现在硬件设备的低成本扩展能力；n 高性能：保证中信银行ODS 项目事半功倍，在硬件资源有限的情况下，应尽可能的承载尽量多的应用，又能承受用户峰值时间段压力，使得中信银行ODS 项目能够满足全行范围内的使用者；n 可管理性：保证数据多而不乱，在复杂的总分且网状交互的中信银行
11、ODS 项目体系结构下，能够清除得知晓系统每一个应用的转换逻辑和数据含义，在中信银行ODS 项目任何环节有变动时，能迅速的反馈变动产生的影响，准确的帮助技术管理层判断相应的响应者和负责人，从而保证中信银行ODS 项目的可持续发展；n 高可用性：保证中信银行ODS 项目坚不可摧，主要从集群和负载均衡的角度充分考虑中信银中信银行ODS 项目技术方案 第18 页，共281 页行ODS 项目的健壮性；n 安全性：保护中信银行ODS 项目信息不被恶意盗取，基于UAAP、CSSP 等平台的应用安全保证，另外还包括测试数据的安全保障；n 可重用性：尽可能避免中信银行ODS 项目的重复投入，包括物理设备、系统
12、软件、框架组件、规范方法以及业务应用等多个层面上的复用。n 作为一个完整的中信银行ODS 项目，应综合考虑各种非功能性要求，避免出现“木桶短板”效应。高性能Performance可重用性Reusability可扩展性Extensibility可管理性Manageability安全性Security高可用性Availability设计原则图表2、中信银行ODS 项目设计的考虑因素1.2、中信银行ODS 项目架构方法论在中信银行ODS 项目建设方面依据可重用性、安全性、高可用性、可管理性、可扩展性、高性能的设计原则采取总体规划，分层实现的方式。纵向层面自上而下看，中信银行ODS 项目的架构由逻辑（应用）架构、数据架构、技术架构和物理架构四个层次组成，每个层次内部又根据设计需要进行抽象分层，从而形成立体的中信银行ODS 项目架构方法。n 逻辑（应用）架构：是中信银行ODS 项目承载的应用体系，它描述了总行内部、分行内部以及总分行之间所要实现的应用需求，以及支撑这些应用需求所必须的公共模块，如调度、监控和元数据管理等非应用组件。n 数据架构承载了支撑应用架构所必须的业务实体关系的分布，它通过数据模型的方式进行组织，主要分为管道层数据模型、清洗和转换层数据模型、原始层数据模型、逻辑数据模型和中
