1、第六批大数据产品能力评测介绍,大数据产品能力评测发展历程,截止第六批评测，已经有41家企业的55产品通过评测，完成88个测试。,第一批评测,华为、移动、星环、中 兴、Ucloud的5个产品 通过了大数据基准测试,第二、三批评测,8个产品通过了Hadoop 基础能力评测，5个产品 通过了性能专项评测,第四批评测,14个产品通过了基础 能力评测,第五批评测,10个产品通过了基础能力 评测，10个产品通过了性 能专项评测，总共完成20 次测试,第六批评测,29款产品通过了第六批 大数据产品能力测评， 总共完成36次测试,2015 6-8,2016 5-8月,2017 3月,2017 6-10月,20
2、18 3月,大数据产品能力评测体系,大数据产品能力评测,基础能力 指标导向,Hadoop平台 MPP数据库 数据集成工具 数据管理平台 数据挖掘平台 商业智能（BI）分析平 台,性能 场景导向,Hadoop平台 MPP数据库,从2014年6月到现在，数据中心联盟大数据产品能力评测形成了基础能力和性能专项两类评测，基 础能力覆盖6大类产品，性能覆盖2类产品，形成评测标准15项。,第六批大数据产品能力评测数据,测试数量 6大类测试,36个测试项目,36,最大基础能力集群,华为评测了大规模Hadoop平台 基础能力评测，1000物理机节点 集群规模达到5001个,5001节点,性能测试规模,华为通过
3、了300节点物理机性能评测 新华三通过了200节点物理机性能评测,300节点,在2017年11月到2018年3月底，21家企业的29款产品通过了第六批大数据产品能 力测评，共完成36个测试项目。,性能最大数据规模 大规模性能测试的测试规模为 100TB,100TB,第六批大数据产品能力评测项目分布,Hadoop基础能力测试方法,MPP数据库基础能力,数据集成工具测试用例,数据管理平台测试用例,商务智能（BI）分析工具,数据源,分析功能,展示功能,报告功能,集成能力,安全性,关系型数据库,可视化模型设计,一般图表,报表设计器,第三方应用整合,系统传输安全,大数据平台,数据处理分析（可选）,特殊图
4、表,类Excel设计（可选）页面嵌入到宿主应用页,通过URL将图表/图集,面,登录攻击防护,文本文件,度量函数表达式（可选）,图表属性设置,报表函数运算（可选）动态数据权限过滤参数,系统操作日志,批处理、流处 理 （可选）,算法建模（可选）,GIS组件,超级链接（可选）,资源访问安全,统一模型设置功能（可选）,多种图形组合,模型自动化更新刷新,实时、可联动的数据 监控与预警,评测流程,评测流程：,认证报名，提交材 料,企业准备测试环境， 测试专家现场审核， 给出测试结论,企业互评，客户专 家与学术专家评审,颁发通过证书,评审流程：,邀请评审专家 用户方专家+学术专 家+企业专家,测试专家通报本
5、次 测试综述,企业答辩,企业互评，评审专 家给出评审结论,审核流程,检查软件版本, 检查组件版本 是否使用测试工具 组件列表 明。,数据检查, 数据大小 对于表检查行数、 列数 数据内容 建表语句 副本数 执行脚本,。,执行过程, 清除缓存 任务正常执行 集群的资源使用情况,结果检查 记录测试时间, 检查结果是否执行正确 。,文件留存,关键jar包 执行脚本 执行日志 。,Hadoop和MPP数据库基础能力评测情况,Hadoop基础能力详细情况,MPP数据库详细测试情况,数据挖掘工具和商务智能完成情况,数据集成和数据管理完成情况,性能用例分布,Hadoop平台性能专项认证包括SQL任务、NoS
6、QL任务、机器学习和批处理四类任务，总共15 个测试用例 SQL测试覆盖30TB数据规模 NoSQL测试有20亿条数据的读写,测试环境,性能评测情况,性能测试综述, 中位值与平均值有较大差距，说明 部分企业与其他企业差距较大 Hbase测试项方差最大，说明参评 企业在此项浮动较大,观察1：大数据基础平台技术路线, 平台产品已经成熟稳定,总体来看68%的产品基于HDP和CDH的开源版本进行二次开发，其他基于开源社区版， 容器化、多租户和对大规模集群的支持是Hadoop平台的主要趋势。 MPP数据库的架构和功能差别较大，一种是在开源数据库的基础上进行封装和二次开发；一种是将SQL引擎嫁 接到某种存
7、储库之上；还有就是完全的自研。差异点主要在SQL的兼容、运维管理、扩展性等方面。,观察2: 性能,单位是秒，数值越小性能越好 相比17年,18的机器内存从64GB扩展到128GB SQL的数据规模是30TB,10条测试语句，HBase的并发量是20亿条 数据,3个负载, Hadoop平台性能相较去年有所提升，原因之一是机器性能的提升。 性能测试是综合性的考量，涉及现场人员前期准备、积累和临场发 挥，也与企业能够投入的人力资源和物理资源相关，考察现场人员 时间进度安全，调优的策略等。,单位是吞吐量，数值越大性能越好,观察3：数据管理类产品, 数据集成和数据管理都从项目式的工具逐渐沉淀成为相对稳定
8、和通用的产品。 从评测的产品来看，数据管理类产品并没有形成统一的认识，企业产品的侧重点不同，元数据管理、数据质 量管理是最重要的内容，有些产品侧重于数据建模和模型管理，有些产品侧重于数据安全管理。 数据源的管理和支持差异较大，集成主要采用开源框架比较多。,基础类产 品,数据管理 类产品,分析工具 产品,行业解决方案,Hadoop,MPP数据库,数据集成,数据管理,数据挖掘,BI工具库,大数据产品能力评测未来计划,基础类产 品,数据管理 类产品,分析工具 产品,Hadoop,MPP数据库,数据集成,数据管理,数据挖掘,BI工具库,时序数据 库,数据安全,OLAP引 擎,工业,政务,金融,解决方案,通用应用,用户行为,风险控制,精准营销,以技术的产业化为目标，持续梳理底层技术的变化，不断加强大数据产品和解决方案的质检工作， 提升产品的质量，为用户选型提供支持。,THANKS,
