1、Oracle Data Integrator产品介绍,Eric Nie, 聂 健ESenior Sales ConsultantOracle, GuangZhou,什么是Oracle Data Integrator功能介绍ODI应用场景架构介绍总结,议程,为什么需要数据集成?,Data Warehouse,传统的集成架构,ODS,DW,Datamart,Analytic ApplicationsMaster Data Management,Application Servers,ESBs,EII,Datamart,Cube,Cube,Virtual DB,MOM,Service,Service
2、,Service,多种集成工具和方案非集成的“集成解决方案”,ETL/ELT or Manual Coding,EII Tool,EAI/ESB or Manual Coding,Integration Effort,Applications,Business Intelligence,Corporate Performance Management,Business Activity Monitoring,Business Process Management,传统方式带来的问题,复杂数据量大的状况下,往往出现性能瓶颈难以管理(逻辑分散在各种技术和应用中)无法重用,Data Warehous
3、e,Oracle Data Integrator定位,ODS,DW,Datamart,Analytic ApplicationsMaster Data Management,Application Servers,ESBs,Datamart,Cube,Cube,MOM,Service,Service,Service,单一集成平台,Integration Effort,Applications,Oracle Data Integrator,Service Conductor,Data Conductor,Event Conductor,EII,Virtual DB,Business Intell
4、igence,Corporate Performance Management,Business Activity Monitoring,Business Process Management,Oracle Data Integrator 是一个完整的数据集成平台，能够满足所有数据集成的需求。,什么是Oracle Data Integrator？,信息共享,信息发现与管理,数据整合,抽取管理,作业调度,数据库管理,元数据管理,安全访问控制,业务系统,业务系统,业务系统,业务系统,ODI是一个ETL工具,用户,数据源,ETL,数据存储管理,信息模型,数据展现,Standardization &
5、Transform,Reconciliation,ETL解决方案,抽取转换,Weeklysnapshot,Daily changes,DailyMonth,DailyPeriodic,Oracle Data Integrator,什么是Oracle Data Integrator功能介绍ODI应用场景架构介绍总结,议程,数据集成(数据抽取,转换和装载),数据完整性防火墙(Data Quality)审计，清洗和回收定义表级约束设计映射和检查流程完整性审计、清洗或者回收被拒绝的记录,变化数据捕获,发布和订阅的CDC框架数据库日志触发器第三方解决方案设计和生成映射选择增量数据开始捕获,CDC,基于消
6、息的交互,与发布和订阅JMS消息的软件集成保证消息传递的事务完整性大数据量的批量转换设计复杂的批量转换，混合了队列、数据库和应用使用JMS queue和topic作为源或者目标,CDC,SOA功能：数据访问服务,生成和共享数据访问服务生成和部署数据服务测试数据服务让数据服务在SOA架构中发挥作用,SOA Infrastructure,Services,Data Access,Transform,Business,Business Processes,ESB,SOA功能：数据流程服务,使得数据转换变成为一个Web Service编排数据流程以Web Service形式发布数据流程到你的SOA架构
7、中,SOA Infrastructure,Services,Data Access,Transform,Business,Business Processes,ESB,扩展性：知识模块,120多个知识模块（非黑盒的）开发和利用最佳实践简化管理工作减少拥有成本可定制和扩展性,KMInterpreter,KM的源代码,Metadata,可执行代码,扩展性：脚本的架构,通过脚本过程扩展数据流程利用到所有的数据库语言SQL, PL/SQL, Transact SQL, etc.使用操作系统脚本Win32 DOS, sh, ksh, csh, OS400 commands, JCL, etc.可选兼容的
8、Bean Scripting Framework语言Java, JavaScript, Jython (Java Python), Perl, etc.,扩展性：开放的工具,扩展ODI工具可以增加你自己的工具到设计面板中继承 OdiOpenToolAbstract Java接口在ODI中注册开放的工具在你的设计环境下使用开放的工具,什么是Oracle Data Integrator功能介绍ODI应用场景架构介绍总结,议程,数据中心使用ODI执行高效数据抽取加载,异构的源和目标增量加载变化数据捕获,数据仓库使用ODI执行高效数据抽取加载和转换,异构的源和目标批量数据加载批量数据转换数据完整性和一
9、致性端到端的数据血缘分析,ODI增强了Oracle BI结合ODI来推广高性能数据仓库,Oracle Business Intelligence Suite EE:简单的业务模型视图高级计算和计算引擎智能需求生成优化的数据访问Oracle Data Integrator:推广数据仓库优化的加载和转换性能可扩展的预打包的E-LT上下文,系统升级改造使用ODI一次性搬移数据并保持同步,批量加载历史数据到新的应用中转换到新的应用格式在新旧应用并行运行期间同步数据使用变化数据捕获(CDC)双向同步数据,SOA交互为数据集成建立消息架构，在ODI中合并了数据批处理功能,调用外部服务做数据集成部署数据访问
10、服务部署数据转换服务集成数据访问和转换服务到你的SOA架构中,ODI增强了Oracle SOA套件给BPEL增加了批量处理转换数据的能力,Oracle SOA套件:BPEL过程管理能力来管理商业流程Oracle 数据集成器:有效的批量数据作为商业流程的一个步骤通过数据服务和转换服务交互,什么是Oracle Data Integrator功能介绍ODI应用场景架构介绍总结,议程,纯Java的设计环境可以在任何平台上运行通过瘦客户端浏览元数据纯Java的运行环境可以在任何平台上运行协调执行数据流元数据库可以装在任何关系数据库上便于开发组件化的、可扩展的元数据,架构,组件,运行时组件,全球超过500
11、家企业级客户; 30+ TB级以上的客户,优异的性能,Case #1SourceOracle 9iTargetOracle 9iVolume (records)1.8 billion records in 15 tablesProcessLoading a data warehouseDuration4h 30Performance111,100 lines/secondCase #2SourceFlat filesTarget MS SQL Server 2000Volume (records)4 million records with 20 columnsProcessData load
12、ingDuration1 minute 45 secondsPerformance38,100 lines/secondCase #3Source AS/400 V4R4 FileTargetMS SQL Server 7Volume (records)5.5 million records from 115 tablesProcessTransformations and loadingDuration6 minutesPerformance15,300 lines/second,什么是Oracle Data Integrator功能介绍ODI应用场景架构介绍总结,议程,完整的信息集成方案,批量：定时执行事件触发变化数据捕获准实时的数据采集面向服务作为Web服务嵌入到SOA应用,ODI的特点和优势,将多个数据源中的数据迁移、转换到不同种类的目标中高性能 高效的“E-LT”系统架构实时性 基于事件驱动的整合平台热插拔知识模块-转变为专家经验驱动的开发方式高效性 从手工编码转变为声明式设计开放性 100%JAVA和SOA无缝集成,优势,关键的特性,总结,Productivity实时的集成平台高效的声明式设计知识模块，热插拔PerformanceE-LT 高性能架构Price无中间服务器，TCO低,3 Ps,A,Q,&,
