1、传输: 装载仓库数据,概述,目标,在完成此课以后, 你应该能够做到以下要求:解释将数据传输到仓库中的关键概念 概述在第一次装载时怎样构建传输过程 识别传输技术 识别在数据装载后所进行的任务 解释在设计传输、装载以及安排进程中所涉及到的问题,将数据传输到仓库中,装载将数据移入仓库 装载可能耗时 : 考虑装载窗口 安排任务;全部过程自动化 初始装载移动大量数据 随后的更新移动小量数据 业务决定装载周期,提取,转换,传输 (装载),仓库,提取过程环境,每一段时间间隔后, 建立一个新的数据库 执行查询,仓库过程环境,建立一个新的数据库 每一段时间间隔后, 对数据库进行变更 归档或清除历史数据 执行查询
2、,T1,T2,T3,可操作 数据库,初始装载,单一事件将历史数据移入数据库 涉及大量数据 采用不同的 ETL作业 装载后涉及大量的数据加工,T1,T2,T3,可操作 数据库,刷 新,根据事务周期执行 较简单的任务 数据装载比初始化装载量少 较低 的ETL复杂度 少量的装载后处理任务,T1,T2,T3,可操作 数据库,建立传输过程,详细的计划书 技术和工具 文件变换方法 装载窗口 其它作业的时间窗口 初始装载以及之后的刷新量 刷新周期的频率 连通带宽,建立传输过程,测试被推荐的技术 文档化被推荐的装载技术 取得一致的过程 监测 复审 修正,粒度,重要的设计和可操作问题 所需空间 存储 备份 恢复
3、 分区 装载,低级别粒度 昂贵,高级别处理、多磁盘,细节高级别粒度 便宜,少处理,少磁盘,少细节,传输技术,工具 Utilities and 3GL 网关 定制复制程序 回复 FTP 手册,传输技术需考虑的问题,工具是综合的，但费用昂贵 数据移动设施很快而且功能强大 网关并不总是最快的方法: 访问其它数据库 提供依赖的数据集市 支持分布式环境 如果需要将提供实时访问,利用 SQL*Loader 装载数据,SQL*Loader,控制文件,坏文件,日志文件,丢弃文件,最快装载机制 直接路径 并行而且不可回收 直接-装载 INSERT (Oracle8) 直接-路径 装载 API (Oracle8i
4、),直接-路径 装载 API in Oracle8i,Load utility,允许 ETTL和其它工具有效的装载 Oracle 数据库 允许装载行为被定制化 授予 直接-路径 装载行为 对所有使用OCI 的直接-装载功能提供完全访问权限,传输技术需考虑的其它问题,使用定制程序作为最后手段复制受限于数据传输率,装载数据的后期加工,提取,转换,传输,装载 数据,装载数据的后期加工,生成 索引,产生 关键字,概括（综合）,筛选,索引数据,装载前: 快速索引 装载期间: 为装载窗口添加时间 装载后:为装载窗口添加时间,索引,唯一索引,使装载时的约束失效 使生成索引时有约束,生成人工键,利用无特点或源
5、键 保证每行记录的唯一性 利用一个管理进程去分配键 用数字连接可操作键: 容易维护 冗余的键 对于检索无干纯净的数值,109908,10990801,为档案创建唯一键,从列表中分配一个数字: 没有语义意义 提取操作必须参考表去分配数字 更新元数据 裁决,109908,1,生成概要表,CTAS pCTAS,概要表,过滤数据,从仓库到数据集市 CTAS pCTAS,概要数据,仓库,数据集市,检验数据完整性,将数据装载到中间文件 比较装载前的总量与目标 总量,装载,文件 1,文件 2,总量,数和量,中间 文件,=,!=,文件 2,文件 1,装载,仓库,保存, 检查, 整理, 装载,检验数据完整性的步骤,控制,提取,SQL*Loader,.bad,1,2,3,4,5,6,7,.log,标准质量担保检查,装载状态 处理完成 数据完成 数据调整 违反 再处理 比较数和量,1,总 结,这一课讨论了以下主题: 初始装载时需考虑的事项传输数据的技术装载后，处理阶段所包含的任务,12-1实践概况,这一练习包括以下主题 : 对一系列阐述判断是真是假 回答一系列问题,
