1、企业大数据技术平台介绍,元数据管理,运行/监控/管理,企业大数据平台整体定位,应用分析层,模型构建层,数据处理层,业务主题分析,财务，供应链人力资源、CRM,大数据应用,行业数据云,舆情分析企业对标管理诊断,OLAP模型,数据挖掘模型,模型配置工具,财务、供应链,回归、决策树,因子、维度配置,数据集成管理平台,企业AE数据处理平台,分布式存储、实时、并行计算,企业UDH（Hadoop）,企业大数据平台,精准营销需求预测智能生产,行业数据云,大数据应用方案,BQ8应用套件,企业大数据平台能力,云数据服务能力,提供企业外部数据的获取通道，以及分析的云服务能力提供私有、公有以及混合数据部署,1、全面
2、数据集成能力,实时增量式数据集成,海量异构数据集成,支持海量结构化数据（10T以上）集成支持海量半结构化数据抽取和加载支持非结构化文件抽取和上传，例如：（音频，视频，图片）,AE-DI 数据集成,支持6种以上数据库源作为数据集成：Oracle、SQL Server、DB2、GBASE、 MySQL、.,6+,5000,CDC实时数据集成,PB级,AE（Acceleration Engine）DI （Data Integration）,CDC（Change Data Capture）,1PB=1024TB,1、全面数据集成能力（1）AE-DI数据集成,统一模型元数据,丰富转换器,调度策略，任务监
3、控、启停服务，日志等,数据集成可视化设计拖拽设计模式支持多源、异构数据集成可集成模型元数据，提高数据集成规则设计效率支持丰富转换器支持数据校验和错误数据处理支持任务统一调度、监控管理数据集成产品AE-DI,1、全面数据集成能力（2）实时数据集成,实时数据集成集成实时集成组件具备实时数据采集、处理，整合能力具备实时分析能力实时数据集成产品CDC,1、全面数据集成能力（3）海量异构数据集成,UDH集成,UDH集成,企业UDH平台，基于Hadoop进行了优化；可进行Hadoop和关系数据库的集成转换，数量级达到PB级；对于结构化、半结构化和非结构化的数据，按照统一的数据规范进行整合；,2、海量数据存
4、储能力,实时增量式数据集成,PB级结构化数据和非结构化数据存储：通过UDH平台Hadoop分布式架构实现海量结构化数据，半结构化数据、非结构化数据存储。,PB级,海量数据分布式存储,2、 海量数据存储能力（1）结构化数据列式存储,与传统数据处理方式的比较,存储空间对比（M）,响应时间对比（S）,基于智能聚合提供大规模数据的多维分析能力结合列存数据库的技术能力可实现最高50倍的分析场景性能提升,采用列存、自适应压缩、水平分区、智能索引、并行处理等技术，存储空间比传统存储压缩10倍以上,2、 海量数据存储能力（2）海量数据分布式存储,数据加载,FS,AE-DI(大于5T),查询引擎,OLAP引擎,
5、挖掘引擎,BQ,BO,其它工具,视屏,音频,AE-DI(小于5T),或 半结构化数据,或 非结构化数据,3、 全面的数据计算能力,实时增量式数据集成,分布式计算,基于Hadoop平台的UDH产品对海量结构化数据和非结构化数据进行分布式计算，同时配合Hadoop平台Impala组件，这样能使性能提升30倍；,多维分析,业务数据5TB，事实表：10亿条记录、客户维50万、时间维6000 1048410080* 515026 *5572=3.00865E+18 即时分析响应时间小于3秒。,3,6+,数据挖掘,30,3、 全面的数据计算能力,多维分析工具交叉、上卷、下钻APIXMLA、JOLAP,上传
6、数据到HDFSMapReduce程序,准备数据启用（应用）拓扑,问题定义数据预处理,连接管理,MDX解析校验,MDX执行器,多维立方体单元处理层,立方体单元执行返回,模型解析、维度解析,聚合处理,数据装载,molap,Rolap结合实时集成可实时分析,(应用)拓扑,消息处理任务1任务2任务3,元组,元组,元组,流,消息源任务1任务2,消息处理任务1,消息处理任务1,一个应用拓扑启动后会源源不断的执行，直到停止它,学习建模,模型发布,挖掘处理,传统算法引擎,数据预处理,分布式算法引擎,数据块1,数据块2,数据块3,数据块4,数据块5,Map(),Map(),Map(),Map(),Map(),R
7、educe(),Reduce(),Reduce(),结果,结果,结果,先装载数据基于磁盘高吞吐量低延时基于内存实时处理数据,多维分析大规模结构化数据即时分析,数据挖掘传统数据挖掘分布式数据挖掘,分布式计算大规模非结构化数据高吞吐量非实时基于磁盘,流计算信息流处理连续计算实时处理低延时基于内存,平台即可满足企业传统在线分析和数据挖掘需求，也满足企业大规模批处理和流数据处理等新的数据处理需求。 良好的层次化、组件化设计架构不仅可满足企业端到端的数据处理场景，也可满足涵盖各种模式的统一的数据计算能力。 支持全面数据计算能力产品包括AE处理平台，UDH大数据处理平台。,3、 全面的数据计算能力（1）多
8、维分析,多维分析引擎，提供了大规模数据和高并发用户分析能力。基于内存分析、智能聚合技术，在提供高扩展性的同时提供高性能,内存分析：提高分析效率，降低分析操作响应时间。平滑数据库访问，减小数据库压力，提高处理效率，缩短响应时间。智能聚合：最大化降低数据访问运算处理，提高聚合运算效率,业务数据5TB，事实表：10亿条记录、客户维50万、时间维60001048410080* 515026 * 5572=3.00865E+18。即时分析响应时间小于3秒,3、 全面的数据计算能力（2）数据挖掘,数据挖掘架构基于开源R平台，有非常丰富的算法支持，算法的更新推出速度快预置丰富的算法和模型，降低客户实施数据挖
9、掘的难度高性价比，大幅降低数据挖掘项目的实施成本，使大多数企业都用上数据挖掘,3、 全面的数据计算能力（3）分布式计算,4、统一数据管理能力,实时增量式数据集成,统一数据质量管理,统一数据质量管理体系分为5步聚：监控，检查，报告，处理，总结；企业数据质量，是企业进行一切数据处理、使用以及分析的基础，没有高质量的数据作为企业信息建设基础，企业一切的信息建设成果都将成为泡影。,统一元数据管理,统一元数据管理，覆盖业务元数据，分析元数据；其中分析元数据主要包括：源系统表元数据，DI过程元数据，数据仓库模型元数据，语义模型元数据，多维模型元数据，分析报表元数据；,统一主数据管理,4、企业级的统一数据管
10、理能力,基于元数据技术，结合元数据管理、主数据管理产品，平台可提供以企业数据标准为准则，在数据管理分析的各个阶段进行质量和安全控制的系统解决方案，从而使企业和组织实现从数据管理到数据治理的跨跃。,企业数据管理体系,数据标准规范,信息资源目录,元数据管理,数据存储,数据计算,数据服务,数据应用,数据建模,数据质量管理,数据安全管理,数据整合,主数据管理,4、统一数据管理能力统一元数据管理,ERP系统元数据,CRM系统元数据,业务元数据,分析元数据,统一元数据管理,统一元数据统一元数据管理，为企业/组织数据治理提供技术基础数据可追溯，数据处理更透明、可靠、可信标准规范的元数据存取、血缘分析、影响分
11、析服务简化IT运维复杂性，提高效率：升级改造、问题分析定位简化应用开发：复杂业务处理支撑，系统架构优化为产业链机制提供基础支持,4、统一数据管理能力统一主数据管理,企业主数据是用来描述企业核心业务实体的数据，它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。,5、丰富数据可视化展现能力,实时增量式数据集成,门户集成,一键认证嵌入企业门户和系统配置开发、无需编码动态交互、即时变化支持条件推送、周期性订阅,桌面分析,仪表板： 支持灵活的分析布局和交互式分析；支持43个可视化分析部件；,43,移动分析,多维分析： 预制22个组件，丰富的上下文分析、格式支持 ；丰富的分析预警格式；多分析区域、区域联动支持；,22,5、丰富数据可视化能力（1）桌面分析,5、丰富数据可视化能力（2）移动分析,移动分析支持手机和Pad终端设备支持基于表格、图形的灵活数据展现和交互分析支持分析缓存、离线分析支持分析评论、分享良好的可视化移动操作和高效的性能体验,5、丰富数据可视化能力（3）门户集成,门户集成一键认证嵌入企业门户和系统配置开发、无需编码动态交互、即时变化支持条件推送、周期性订阅,6、云数据服务能力,6、云数据服务能力,6、云数据服务能力企业舆情监控报告,企业大数据平台关键特性,
