1、朱 旻高级技术咨询顾问Oracle 上海分公司Oracle 的数据仓库解决方案议程q Oracle 公司简介q Oracle 数据仓库系统整体解决方案 数据的管理 数据的获取 数据的展现q 问题与讨论Oracle - 全球卓越的 IT巨人qOracle 是全球第二大独立软件公司qOracle 是全球第一大数据库软件公司qOracle 是全球领先的电子商务公司qOracle 是北美制造业第一大 ERP公司q全球 145+個国家及地区设有分支机构qOracle 全球超过 42,700名员工q全球超过 200,000客户qOracle 总部位于加州硅谷，亚太地区总部设于新加坡q2003财政年度营业额
2、近 100亿美元 , 研发经费超 10亿美元Oracle-中国营运概况q 1989年 进 入中国， 1991年正式成立 “北京甲骨文 软 件系 统有限公司 ”，是中国最大的国外 软 件公司之一 ， 技 术 及咨询 人 员 占 员 工 总 数 62%以上q 提供全方位服 务 技 术 支持：技 术 人 员 提供 专线 与到 场 支持服 务 教育培 训 ： 专业讲师 提供丰富 课 程， 并利用互联网提供一致的，全球化的学习 咨 询顾问 ： 专业顾问 提供 专业 咨 询 服 务q 在上海、广州、成都等地 设 有 办 事 处q 3大培 训 中心，分 别 在北京 , 广州和上海q 于深圳、北京设立两个全球
3、级研发中心顾问咨询顾问咨询产品支持产品支持教育培训教育培训电子商务套件电子商务套件信息协同套件信息协同套件商业智能商业智能数据库数据库应用服务器应用服务器数据仓库数据仓库 工具工具Internet 平台平台基于基于 Internet的的应用产品应用产品服务体系服务体系Oracle 完整的企业、政府机构信息化解决方案体系合作伙伴2019/1/10技术发展80年代早期 80年代后期 90年代早期 90年代后期早期关系型客户 /服务器方式的关系型企业级关系型Internet数据库简单的OLTP,特殊的 SQL查询客户 /服务器方式的OLTP数据仓库和高端的OLTP扩展的关系型Web方式的应用集中数据
4、的集中数据的应用平台应用平台2000Oracle9iInternet商务平台商务平台2003Grid网格计算网格计算Oracle10g下一代 Internet计算技术(Source: DM Review, May 2001)Oracle: 最大的数据仓库平台厂商全球数据仓库工具市场份额IBM16%Microsoft9%NCR 3%Sybase 1%Others37%SAS9%Cognos 4%Oracle21%(Source: IDC, Aug 2001)议程q Oracle 公司简介q Oracle 数据仓库系统整体解决方案 数据的管理 数据的获取 数据的展现q 问题与讨论数据数据 仓库 是
5、一个建 设过 程，而不是一个 产 品。数据仓库 是通过对来自不同的数据源进行统一处理及管理，通过灵活的展现方法来帮助决策支持。数据仓库最新理解数据 信息 知识 决策获取管理使用Oracle 数据仓库的完整架构数据转换 中央数据仓库 信息展现 业务用户源数据数据获取 数据管理 数据使用项目管理 数据仓库实施指导方法论业务规划 信息评估 逻辑数据 模型设计 物理数据模型设计数据库管理 元数据管理 应用开发 顾问咨询 知识转移 TMIS系统客运系统外部信息MIS 系统抽取转化过滤加载随即查询报表多维分析数据挖掘Portal集成RelationalTransformationOLAPData Mini
6、ng数据集市Oracle 9i直接用户 (客户端 )Olap用户Web 用户应用服务器决策者分析员研究员查询人员OWB项目管理、数据仓库方法论 OPM DWM业务规划 信息评估 模型设计 Oracle Warehouse Builder管理、开发 OEM OWB Oracle9iDS 顾问咨询 知识转移 DiscovererReportBI BeanPortalTMIS系统客运系统外部信息RelationalTransformationOLAPData MiningOracle 9iMIS系统 9i AS随即查询报表多维分析 /数据挖掘应用服务器门户集成ETL工具Oracle提供先进的、完善的
7、数据仓库技术平台数据转换 中央数据仓库 信息展现 应用系统源数据数据获取 数据管理 数据使用议程q Oracle 公司简介q Oracle 数据仓库系统整体解决方案 数据的管理 数据的获取 数据的展现q 问题与讨论数据集中处理需求q 数据量大，并不断增 长Jan 1, 2002Dec 31, 2002 记录数量大 汇总全局各业务系统 : ERP 系统 MIS 系统业务数据 Date, Time, Number, Name, Addr., Amount ?.数据内容复杂 详细记录货运信息、 客运信息等内容数据集中处理需求q 数据访问性能 要求高查询统计数据集中处理需求q 对 安全，可靠，高可用性
8、的要求高q 建立集中各业务系统重要数据的 备份中心STOP24x7高效访问大量数据 - 数据分区技术q 可管理性 将大的表分割 为 若干分区， “分而治之 ”q 性能 “分区忽略 ”机制提高 查询 性能 基于分区的 join 操作q 可用性 将故障局限在分区中 缩 短恢复 时间q 多种分区方式 范 围 (Range)分区、散列 (Hash)分区、列表 (List)分区 混合分区Partitioned Tables with Local IndexesOCT2002SEP2002AUG2002NOV2001OCT2001Load and index new monthNOV2002NOV2002
9、NOV2002NOV2002NOV2002NOV2002NOV2002NOV2002.“滚动窗口 ”操作 - 大量数据高速装载and add new month to tableOCT2002SEP2002NOV2002 NOV 2001 NOV 2001 OCT2001OCT2002SEP2002NOV2002 DEC 2001 NOV 2001 OCT2001OCT2002SEP2002NOV2002 DEC 2001 NOV 2001 OCT2001OCT2002SEP2002NOV2002 DEC 2001 NOV 2001 OCT2001OCT2002SEP2002NOV2002 D
10、EC 2001 NOV 2001 OCT2001OCT2002SEP2002NOV2002 DEC 2001 NOV 2001 OCT2001OCT SEP2002NOV2002“滚动窗口 ”操作 - 大量数据高速装载Then remove and archive oldest monthOCT2001Load and index new month .Partitioned Tables with Local Indexes保证系统高可用性 综合信息库系统ComputerCComputerDComputerAComputerBOne databaseaccessible by all nod
11、esOracle Real Application Cluster(Oracle并行服务器， OPS) 在 Cluster、 MPP体系结构中，实现一个共享数据库， 支持并行处理， 均分负载，保证故障时数据库的不间断运行 支持 Share Disk 和 Share Nothing类型的体系结构 多个节点同时工作 节点均分负载DLM透明的应用失效转移 -利用 热失效转移 进行恢复q 透明的 应 用失效 转 移 补 全了可用性等 级 的所有 层 次 将 应 用和用 户 自 动 而透明地重新 连 接到另一个系 统 登 录 的上下文可被保持 应 用 查询 不会中断节点节点A节点节点B节点节点A节点节点
12、 B当集群内节点 A 失败, 用户被转移数据库数据库节点 A数据库缓冲器节点 B数据库缓冲器请求请求数据传输数据传输q Oracle9i 的完全 缓 存融合技 术 提高了性能和可 扩 展性 通 过 高速互 连 直接 传输 数据 昂 贵 的磁 盘 I/O被最小化Cache FusionTM 体系结构q 面向 查询 的 读 共享 查询 操作需要 读 某数据 块 ，而 该块 正好在另一个 实 例的 缓 存中q 面向更改的写共享 更改操作需要修改某数据 块 ，而 该块 正好在另一个 实 例的 缓 存中。q 使用 Cache Fusion, 仅 当 该 数据 块 不在全局共享的 缓存中，才会 执 行磁
13、盘读 操作数据共享问题DataA-Z应用DataA-Z应用Oracle9i Real Application Clusters - 可伸缩性 增加系统扩充能力q 增加机器 时 ，系 统 性能的最佳响 应q 快速增 长 的集群 结 构 Clusters 快速增加 节 点和硬 盘q 当扩展节点时数据仓库系统无须重新组织和分布数据# Users1,0261,9003,648Oracle E-Business Suite 11iOracle9i RAC 可伸缩性数据库服务器数据库服务器 : HP N-Class 6x440MHz CPUs89%Scalability93%生产数据库 延迟和零数据丢失模
14、式(Both)物理后备数据库建立综合信息库高效的备份中心 - Oracle9i Data Guard (Oracle Standby database)q 零数据 丢 失的灾 难 保 护 通 过 同步 /异步的日志 log传输 控制q 排除人 为错误 通 过 延 迟 提交 q 灵活的切 换 操作 主数据 库 和 备 份数据 库 可以灵活的互 换 角色q Data Guard Manager 在 OEM图 形界面管理工具内，配置、 监 控和管理灾 难 保 护系 统物理备份数据库生产系统逻辑备份数据库主备系统双向切换管理员控制台和统一管理平台(Both)延迟和零数据丢失模式(Both)保持数据库打
15、开状态 SQL提交附加的索引和物化视图建立综合信息库高效的备份中心 - Oracle9i Data Guard (Oracle Standby database)按固定字段的范围分区、哈希分区、混合分区、列表分区灵活应用、 SQL语句自动重写、自优化能力高效、灵活、易于使用的 OLAP分析、数据挖掘和数据抽取、转换、传输、存储服务提高索引效率、增强的外连接索引能力Oracle9i, 数据仓库的增强技术数据分区数据分区 物化视图物化视图集成的集成的 OLAP、 DataMining和和 ETL服务服务位图连接索引位图连接索引数据分区位图索引 真正仓库物化视图其他汇总数据其他汇总数据按月汇总的不同种类货运数据按地区汇总的每月货运数据查询详细详细货运记录货运记录查询自动重写汇总数据管理 - 物化视图Materialized View蚌埠和上海分局在过去三个月的货运总量是多少？表压缩 (Oracle9i, 版本 2)q 表能被压缩 在分区级别上压缩也能具体指定q 典型压缩比率从 3:1到 5:1 压缩由实际数据决定 压缩规则基于数据冗余q 主要好处是节省开销 节省 TB级的存储而不影响性能或功能数据分区位图索引 真正仓库物化视图
