1、谭怀远 alantany 2012.4 海量数据环境下的分布式 Oracle数据库系统架构设 计和优化思路 DTCC2012内容大纲 分布式数据库系统的架构设计 2 分布式数据库的优化思路 3 大数据时代的到来 3 1其他替代产品和技术展望 3 4DTCC2012大数据时代 -无法回避的趋势 1 社会信息化进程的继续深入 2 数据对企业业务决策日渐增加的影响 3 移动及互联网业务的高速发展 DTCC2012大数据时代 -企业面临新的课题 数据的存储 系统的性能 系统的扩展 数据的冗余 海量数据 数据的分析 DTCC2012内容大纲 分布式数据库的架构设计 2 分布式数据库的优化思路 3 大数据
2、时代的到来 3 1其他替代产品和技术展望 3 4DTCC2012我的案例 海量的数据 -300T 2 3 OLAP系统 1 3 多层的分布式数据库 3 4 关系型数据库 -Oracle 5 Linux操作系统 5 DTCC2012分布式数据库架构设计 。 分布式数据库架构 分布式数据库 中间件 DTCC2012分布式数据库架构 -优势 D-DB I/O通道的扩展 数据的并行计算和访问 主机资源的整合 对应用透明 灵活的扩展性 数据的冗余 DTCC2012分布式数据库架构设计 3 6 D-DB 主机数量 数据冗余 系统监控 水平扩展 备份及恢复 容灾 DTCC2012分布式数据库架构设计 -影响
3、分布数据库数量的因素 系统容量 加载性能 查询 性能 恢复时间 DTCC2012分布式数据库架构设计 -监控 Oracle OEM grid control DTCC2012分布式数据库架构设计 -备份与恢复 待加载数据 SQL*Lloader 待加载数据 数据备份 数据恢复业务数据 数据库 数据库 介质 DTCC2012分布式数据库架构设计 -扩展性 容量 当业务的数据接近系统设计的上限值时 性能 当数据处理的速度无法满足业务的需求时 突发 事件 为了防止突发的事件使数据库崩溃 DTCC2012分布式数据库架构设计 -容灾 异地灾备 中心数据库 调度服务 应用 DTCC2012分布式系统中间
4、件架构设计 -优势 统一对外的 API 负载均衡 高效的查询 和加载性能 灵活的扩展性 DTCC2012分布式系统中间件架构设计 服务监控 服务容错和扩展 6 分布式系统 中间件架构 统一 API 负载均衡 数据查询 数据加载 服务监控 容错和扩展 DTCC2012分布式系统中间件架构设计 -负载均衡 图 查询服务 查询服务 查询服务 负 载 均 衡 对象定位器 对象状态 负载分析器 负载获取器 请求 请求 请求 请求 负载获取 轻载对象选取 DTCC2012分布式系统中间件架构设计 -数据查询 DB1 DBn 并行查询服务 用户 用户 用户 子查询 1 子查询 n 查询 结果合并 分组 排序
5、 聚集操作 数据访问引擎 数据访问引擎 DTCC2012分布式系统中间件架构设计 -服务容错和扩展 查询服务 查询服务 查询服务 负 载 均 衡 SQL 请求请求 服务失效 请求重定位 DTCC2012分布式系统中间件架构设计 -服务容错和扩展 查询服务 查询服务 查询服务 主负载均衡 注 册 从负载均衡 请求 请求 DTCC2012内容大纲 分布式数据库的架构设计 2 分布式数据库的优化思路 3 大数据时代的到来 3 1其他替代产品和技术展望 3 4DTCC2012Oracle数据库的设计及优化 分区 索引 只读表空间 数据压缩 dblink 并行 RAC DTCC2012Oracle数据库
6、的设计及优化 -分区 数据管理 1.数据导入导出 2.备份和恢复 3.数据的加载 1.分区索引 2.数据压缩 3.只读表空间 4.分区交换 性能改善 DTCC2012Oracle数据库的设计及优化 -索引 B树索引 全文索引 位图索引 DTCC2012Oracle数据库的设计及优化 -只读表空间 只读表空间 避免数据块头的更新 减少数据库的启动和关闭时间 有效的减少数据文件的故障 DTCC2012Oracle数据库的设计及优化 -数据压缩 数据压缩 提高数据查询速度 减少数据的 I/O次数 提高备份和恢复速度 DTCC2012Oracle数据库的设计及优化 -dblink 数据库 n 数据库
7、3 数据库 2 数据库 1 查询服务 SQL 汇总数据库 dblink dblink dblink dblink SQL SQL SQL DTCC2012Oracle数据库的设计及优化 -dblink 数据库访问引擎 临时数据库 局部数据库 局部数据库 局部数据库 RESULT RESULT RESULT 查询服务 执行器 RESULT RESULT DTCC2012Oracle数据库的设计及优化 -并行 并行 使用并行查询 配置并行在 RAC上的分布 不要过度打开并行度 DTCC2012Oracle数据库的设计及优化 -RAC RAC 适当减少 RAC的节点 避免 cache fusion DTCC2012
