1、,用户行为分析大数据平台的选型,使用AVRO序列化数据,Hadoop的子项目基于二进制传输高性能中间件支持数据密集型应用,依赖模式实现数据结构定义 支持二进制编码和JSON编码 支持压缩功能 支持数据排序功能 序列化时速度快且结果内容少,AVRO特点,使用Parquet列式存储,Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月升级为Apache顶级项目。,Parquet列式存储特点,可以跳过不符合条件的数据，只读取需要 的数据，降低I/O吞吐量 压缩编码可以降低磁盘存储空间 支持向量运算，能够获取更好的扫描性能 查询性能提升30倍，存储空
2、间节约75%,列式存储 VS 行式存储,传统的RDBMS提供ACID原子操作和事务， 在大多数列式存储数据库上是不具备的，而大 多数列式存储数据库对分布式架构支持的更好。需要了解的是列式存储以及行式存储在查询 和存储上的本质，在技术选型上可以多点筹码。,使用 Apache Sqoop,ETL转换工具RDBMS HDFS对某些NoSQL数据库亦提供支持,使用Apache Kafka,Kafka是一种高吞吐量分布式发布订 阅消息系统，它可以处理消费级规 模网站中的所有动作流数据。,实时数据流（real-time data streaming） 水平可扩展（horizontally scalable
3、） 容错机制（fault tolerance） 支持分区（partition） 出奇的快（wicked fast）,Kafka特点,使用Apache Spark,高性能，执行速度100倍于Hadoop 支持Java、Scala、Python、R语言 支持SQL、机器学习、图运算、流 支持Hadoop、CAssandra、HBase 支持独立部署运行,LOREM IPSUM,Spark基于这样的理念：当数据 庞大时，把计算过程传递给数据 要比把数据传递给计算过程要更 有效率。每个节点存储它的数据 集，然后任务被提交给节点。,使用Druid,Druid是一个面向列式存储 的高性能分布式数据仓库。,
4、高速聚合，亚秒级OLAP查询流数据注入，实时多维度查询集群动态扩展，PB级数据量，每秒百万 级事件注入低成本部署，与现有数据系统无缝集成,Druid特点,使用Impala进行离线查询,Impala是Cloudera公司 主导开发的新型查询系 统，它提供SQL语义， 能查询存储在Hadoop的 HDFS和HBase中的PB 级大数据。,中间结果放在内存中，节约大量I/O开销 省掉了MapReduce作业启动的开销 采用数据仓库MPP设计思想 C+实现，做了很多有针对性的硬件优化 支持Data locality的I/O调度机制,Impala的特点,Hive是基于Hadoop的一个数据仓库工具， 可
5、以将结构化的数据文件映射为一张数据 库表，并提供简单的sql查询功能，可以将 sql语句转换为MapReduce任务进行运行。,HIVE特点,支持索引，加快数据查询 不同的存储类型 将元数据保存在关系数据库中，大大减少 了在查询过程中执行语义检查的时间。 可以直接使用存储在Hadoop 文件系统中 的数据。 支持UDF函数来完成内置函数无法实现的 操作。 类SQL 的查询方式，将SQL 查询转换为 MapReduce 的job 在Hadoop集群上执行。,Hadoop分布式文件系统(HDFS)被设 计成适合运行在廉价硬件上的分布式 文件系统。 HDFS在最开始是作为Apache Nutch 搜索引擎项目的基础架构而开发的， 目前是Apache Hadoop Core项目的 一部分。,高容错性（fault-tolerant）形式访问（streaming access）支持千万级别文件（tens of millions）异构平台可移植性（heteron portablity）,HDFS特点,典型大数据平台架构,
