1、英特尔助力大数据分析与人工智能,内容提纲, 大数据市场和技术趋势分析 英特尔大数据端到端解决方案 英特尔助力大数据案例分享,大数据分析生态圈复杂度,2012,动 紧跟大数据产业趋势 保持好奇心 2017,五年 的变化,变化中的数据库版图,NoSQL 数据库抓住“兴趣”，PostgreSQL 上升趋势 Spark 持续繁荣的同时对Hadoop的兴趣开 始回落 大型传统数据库(SQL/Oracle) 在数据库社区 的关注减少，有些关注转移到其他新数据库 技术 (比如 MySQL)One thing is clear: data storage and processing are once aga
2、in in the public eye. Today, the endless possibilities one has with data storage and processing are becoming not only necessary but also “fashionable” (jaxenter 2017 survey),分析/大数据: 从BI到AI,传统企业级数据仓库,数据湖,SQL on Hadoop,BDaaS+DBaaS,AI+BigData+Cloud+Device,6,机器学习,大数据处理,混合云架构,传统数据库的演变,High Speed/Low Late
3、ncy network（10/25/40Ge/IB),Storage node,Storage node,Storage node,Storage node,Storage node,computing node,computing node,computing node,computing node,大型主机,Oracle/SAP+小机+磁盘阵列,超融合Database,MyCat+MySQL分片,Google Spanner/TiDB,内存数据网格,国内主流数据分析解决方案,传统数据仓库系统,Oracle Exadata,IBM Netezza,Teradata,实时数据分析,数据量增加，
4、非结构， 半结构化数据,Big data:Cloudera MPP DB ,RISC2IA,大数据一体机,企业应用重构 Scale Up,应用重构 Scale Out,关键业务/SMB Sale-up/Sale-more,内存数据库:SAP HANA、MonetDB,国内大数据生态圈,开源 No SQL /SQL 产品 水平扩展架构 行业：IPDC/Telco/FSI/SOE,数据库一体机 Oracle Exadata/IBM Netezza/EMC DCA/Teradata传统BI数据库 行业：Telco/FSI/SOE水平扩展架构(NewSQL) SQL 92 接口 行业：Telco/Fs
5、i/SOE large enterprise,面向行业的集成方案是大数据落地的最后一公里,开放,Open,source,Mpp,db,RDB,database,machine,专有,内容提纲, 大数据市场和技术趋势分析 英特尔大数据端到端解决方案 英特尔助力大数据案例分享,Note: Intel Data Analytics Acceleration Library, Intel Math Kernel Library, Intel Math Kernel Library for Deep Neural Networks, BigDL: Distributed Deep Learning on
6、 Apache Spark*, MLib: Apache Sparks Scalable Machine Learning Library *Other names and brands may be claimed as the property of others.,从边缘-云到企业的整体策略 解决方案 应用优化 开源贡献,英特尔加速大数据分析&AI,优化函数库,Intel MKL Intel MKL-DNN,Intel DAAL,Intel Distribution for Python*,Intel Nervana Graph,Movidius MvTensor Library,MLi
7、b* BigDL,硬件/软件,Lake CrestCompute Memory & Storage Networking Artificial Intelligence,Intel Xeon 可扩展处理器 为最广泛的分析&AI工作负载提供可扩展的性能,垂直扩展,水平扩展,Predictive,In-memory,Scalable Streaming,Prescriptive,Cognitive,Up to 1.79X,Up to 2x 比上一代产品更快的访问复杂的大数据集 Intel Xeon processor E5-2699 v4,Up to 1.59X 比上一代产品更高的TPS Inte
8、l Xeon processor E7-8890 v4,比上一代产品提供更多的每分钟分析查询 Intel Xeon processor E5-2699 v4,TPCx- BigBench*,TRAINING THROUGHPUT,Up to 123x Intel Xeon Platinum 8180 Processor higher Intel Optimized Caffe AlexNet with Intel MKL training throughput compared to Intel Xeon Processor E5-2699 v3 with BVLC-Caffe,Intel 数
9、据中心AI主流芯片,灵活的加速器 加速最广范围的AI&其他 工作负载&配置 INFERENCE THROUGHPUT,为深度学习而设计 专门为加速最精细的深度学 习定制的处理器,AI的基础 从这里开始AI的旅程,Intel Xeon 可扩展处理器家族,Intel Nervana 神经网络处理器,Intel Stratix 10 FPGA,Up to 187x Intel Xeon Platinum 8180 Processor higher Intel optimized Caffe GoogleNet v1 with Intel MKL inference throughput compar
10、ed to Intel Xeon Processor E5-2699 v3 with BVLC-Caffe,Inference and training throughput measured with FP32 instructions. Inference performance with INT8 is expected to be higher,Intel 技术创新填补内存及存储差距,成本,延迟,MORE,LESS,HIGHER,LOWER,I,ntel Optane,Technology,高性能 低延迟,Intel 3D NAND Technology,低成本 高密度,根据不同的企业
11、应用需求匹配合适的存储介质,英特尔建议的云上大数据架构,RDS & Big Data on the SDI,按需分配, 自服务, 弹性伸缩的大数 据基础设施和服务,典型解决方案Intel推荐最佳配置,大数据平台实施过程中的问题,人员 技能Source: Gartner Survey Analysis, Sep 2014英特尔从硬件，软件产品，项目多个层面为合作伙伴和用户提供端到端技术支持,投资 回报率,产品 选择,英特尔对开源社区的贡献,为客户和合作伙伴提供创新平台,为用户和合作伙伴提供最先进的软硬件环境进行产品和解决方案孵化,内容提纲, 大数据市场和技术趋势分析 英特尔大数据端到端解决方案
12、英特尔助力大数据案例分享,案例1:企业数据湖架构,Storage pool,云资源池 X86 server pool,Deep dive data (data mining),数据 分享平台,Data warehouse(MPP DB),应用层 Personalized app,Standard app,BI tools,数据探索,BI Tools,工单,Mobile Dial testing testing,n,Mc,S,MR,Network optimization,Gn,CS,PS,SHD,ni,EOMS,t,t,er,user EDW,count,frequ ency,param et
13、er,cdr,Lte,termi nal,Terminal,LTE,数据架构 （hadoop 大数据平台 ）,log,案例2:银行数据湖架构,传统系统： SAP IQ 12.7+IBM P595+SAN(EMC&HDS) 水平扩展能力弱 高投资/运维成本, Gbase 8a+56 2s(E5V2)x86服务器集群 支持每个数据库500TB,每个表最大 100B行 70% Capex/Opex成本节省,SAN,RISC2IA,提升速度，降低成本, SAP IQ 15.x +E7 4S 服务器集群+SAN 40% Capex/Opex成本节省SAN,架构创新：本地化,Share nothing/scale-out,架构创新,Scale-out architecture,企业数据中心和计算资源池,E5 X86 服务器+Hadoop 存储海量交易数据，支持异步数据批处 理(ETL). 水平扩展计算和存储,案例3:金融反欺诈人工神经网络,背景: 欺诈检测时金融公司的关键应用，实时欺诈检测非常必要，可以最大限度地减少欺诈的损失。挑战: 传统基于规则的欺诈检测并不适合不断演进的欺诈行为解决方案: Intel实施人工神经网络算法基于Spark和整个机器学习流程来支持在spark上的欺诈检测,THANKS,
