1、Data Warehouse overview,2,数据仓库管理的历史时期,人工管理方式：这一时期是在20世纪50年代中期以前，这一阶段的计算机应用主要用于科学计算，外存只有纸带、磁带、卡片等，数据处理的方式基本上是批处理。这一时期数据管理的特点是：数据不保存；没有专用的数据管理软件，每个应用都必须自己完成存储结构、存取方法、输入输入输出等数据管理功能；一组数据对应一个应用，这使得程序之间可能有重复的数据。文件系统管理这一阶段在20世纪50年代后期至60年代中后期，计算机应用开始用于信息管理，由于数据存储、检索和维护等需求，使得相应的研究开展起来了，在硬件和软件方面都得到了发展，磁盘磁鼓出现，
2、操作系统也产生。这一时期数据管理的特点主要是：数据保存，数据可以长期保存在磁盘上；有操作系统的文件管理系统，文件结构化，数据的物理结构和逻辑结构有了区别；有了存储文件后，数据可以不再仅仅属于某一个应用，而能进行一定程度的复用。但文件系统在数据管理方面存在缺陷，表现在数据冗余度大，数据和程序之间缺乏独立性，容易造成数据的不一致性。数据库系统（60年代末开始）,3,数据仓库的发展的动力,业务需求驱动 主要是详细的分析 科学的经营 市场活动的细化和实施等 数据驱动 数据量不断扩大 没有数据仓库等相关技术很难全面了解企业 项目驱动,4,数据仓库定义,Inmon的定义： DataWarehouse is
3、 a subject-oriented,integrated,time-variant, and nonvolatile collection of data in support of managements decision making process 数据仓库的特点 数据仓库的数据是面向主题的 数据仓库的数据是集成的 数据仓库的数据是与时间相关的 数据仓库的数据是稳定的,5,简单的数据仓库架构,6,数据仓库实际应用例子,7,数据集成,企业全面的经营数据 OLTP分散在各个不同系统中（事件独立） 银行：卡、储蓄、信贷、会计、中间业务等等系统 BOSS增值业务财务 集成数据 建立关联 事件
4、关联（业务之间是相互关联） 客户数据统一 历史数据 大量历史数据的保存问题 中国建设银行一个中等规模的省产生每天的交易详细记录大约200M 通常在业务系统中只保存当日数据 历史数据查询困难,8,数据仓库数据处理流程,DW数据抽取、转换,装载数据到ODS,9,ETL简述,10,ETL定义,ETL:Extract-Transform-Load 数据抽取（Extract）、转换（Transform）、装载（Load）的过程。 ETL是BI/DW的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤,11,ETL应用过程,数据抽取抽取
5、主要是针对各个业务系统及不同网点的分散数据，充分理解数据定义后，规划需要的数据源及数据定义，制定可操作的数据源，制定增量抽取的定义。 (数据源和文件等多种形式) 数据传输数据传输是通过网络负责把远程的数据到本地目录下。,12,ETL应用过程,数据的清洗和转换转换主要是针对数据仓库建立的模型，通过一系列的转换来实现将数据从业务模型 到分析模型，通过内建的库函数、自定义脚本或其他的扩展方式，实现了各种复杂的 转换，并且支持调试环境，清楚的监控数据转换的状态。数据转换是真正将源数据变为目标数据的关键环节，它包括数据格式转，换数据类型转换、数据汇总计算、数据拼接等等。清洗主要是针对系统的各个环节可能出
6、现的数据二义性、重复、不完整、违反业务 规则等问题，允许通过试抽取，将有问题的纪录先剔除出来，根据实际情况调整相应 的清洗操作。,13,ETL应用过程,数据加载入库数据加载主要是将经过转换和清洗的数据加载到数据仓库里面，即入库，可以通过数据文件直接装载或直连数据库的方式来进行数据装载，可以充分体现高效性 ETL调度ETL的调度控制方式有两种： 自动方式 由系统每天定时或准实时启动后台程序，自动完成数据仓库ETL处理流程。 手动方式 用户可以通过前台监控平台，对单个目标或批量目标进行手工调度。,14,ETL应用过程,监控主要是监控ETL的整个过程，通过扫描ETL各模块的日志中的关键值，如记录时间
7、等信息与当前的状态作比较，如果超过某一个值，则认为该模块运行可能出现问提，应告警。,15,ETL工具框架,16,OLAP简述,17,OLAP&OLTP(on-line transaction processing),18,什么是OLAP,定义1 ：OLAP(联机分析处理)是针对特定问题的联机数据访问和分析。通过对信息(维数据)的多种可能的观察形式进行快速、稳定一致和交互性的存取，允许管理决策人员对数据进行深入观察。 定义2 ：OLAP(联机分析处理) 是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地
8、存取，从而获得对数据的更深入了解的一类软件技术。(OLAP委员会的定义) OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。,19,相关基本概念,1.维：是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合构成一个维(时间维、地理维等)。 2.维的层次：人们观察数据的某个特定角度(即某个维)还可以存在细节程度不同的各个描述方面(时间维：日期、月份、季度、年)。 3.维的成员：维的一个取值。是数据项在某维中位置的描述。(“某年某月某日”是在时间维上位置的描述) 4.多维数组：维和变量的组合表示。一个多维数
9、组可以表示为：(维1，维2，维n，变量)。(时间，地区，产品，销售额) 5.数据单元(单元格)：多维数组的取值。(2000年1月，上海，笔记本电脑，$100000),20,OLAP特性,(1)快速性:用户对OLAP的快速反应能力有很高的要求。系统应能在5秒内对用户的大部分分析要求做出反应。 (2)可分析性:OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。 (3)多维性:多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持。 (4)信息性:不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且管理大容量信息。,21,OLA
10、P表现方式,钻取 改变维的层次，变换分析的粒度 向上钻取（roll up）和向下钻取（drill down） 切片和切块 在一部分维上选定值后，关心度量数据在剩余维上的分布 如果剩余的维只有两个，则是切片；如果有三个，则是切块 旋转（pivot） 旋转是变换维的方向，即在表格中重新安排维的放置（例如行列互换）,22,OLAP的分析方法(一)切片、切块,23,OLAP的分析方法(二)钻取,按时间维向下钻取,按时间维向上钻取,60,24,OLAP的分析方法(三)旋转,25,OLAP分类,26,OLAP实现方法,ROLAP 数据存储：基于关系数据库 结构分类 事实表：用来存储数据和维关键字 维度表：
11、每个维至少使用一个表来存放维的层次、成员类别等维的描述信息 数据模型 星型模式 雪花模式 MOLAP（Multidimensional OLAP） 数据存储：使用多维数组存储数据 基于多维数据组织的OLAP实现 以多维数据组织方式为核心 结构分类： 立方块（Cube） HOLAP（Hybrid OLAP） 数据存储：基于混合数据组织的OLAP实现 其他实现方法,27,OLTP、ROLAP与MOLAP模式,28,ROLAP的星型模式(Star Schema),事实表：用来存储事实的度量值和各个维的码值。 维 表：用来存放维的元数据（维的层次、成员类别等描述信息）。,29,MOLAP的多维立方体(
12、Multicube),30,ROLAP与MOLAP比较,ROLAP优势 没有大小限制 现有的关系数据库的技术可以沿用. 可以通过SQL实现详细数据与概要数据的存储 现有关系型数据库已经对OLAP做了很多优化，包括并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、SQL 的OLAP扩展(cube,rollup)等大大提高ROALP的速度,MOLAP优势 性能好、响应速度快 专为OLAP所设计 支持高性能的决策支持计算 复杂的跨维计算 多用户的读写操作 行级的计算,31,ROLAP与MOLAP比较(续),ROLAP缺点 一般比MDD响应速度慢 不支持有关预计算的读写操作 SQL无法完
13、成部分计算 无法完成多行的计算 无法完成维之间的计算,MOLAP缺点 增加系统复杂度，增加系统培训与维护费用 受操作系统平台中文件大小的限制，难以达到TB 级(只能1020G) 需要进行预计算，可能导致数据爆炸 无法支持维的动态变化 缺乏数据模型和数据访问的标准,32,OLAP体系结构,ROLAP Architecture MOLAP Architecture,33,OLAP体系结构(续),HOLAP Architecture,34,流行的OLAP工具介绍,OLAP产品 Hyperion Essbase Oracle Express IBM DB2 OLAP Server Sybase Pow
14、er dimension Informix Metacube CA OLAP SERVER Microsoft analysis services Brio Cognos Business Object MicroStrategy,OLAP产品涉及的业务操作 由外部或内部数据源批量装入数据 由业务系统增量装入数据 沿数据层次汇总数据 对基于业务模型的新数据进行计算 时间序列分析 高复杂的查询 沿数据层次细化分析 随机查询 多个联机会话(多用户同时访问),35,OLAP展望,面向对象的联机分析处理 O3LAP(Object-Oriented OLAP) 对象关系的联机分析处理 OROLAP (O
15、bject Relational OLAP) 分布式联机分析处理 DOLAP (Distributed OLAP) 时态联机分析处理 TOLAP (Temporal OLAP),36,Hyperion OLAP系统设计框架,ETL,DW data,EssBase Data,Ess App Mgr &EssCmd,Internet/Intrnat,其它数据,文本,Batch EssCMD,Excel Plug-in,Excel 报表,EssBase OLAP Server,Web Server,Web OLAP 报表,Essbase API,SQL Interface,HAB或Analyzer,数据仓库,OLAP分析,
