1、 多种架构支持 多类应用 大数据引发数据处理架构 变革 事务处理 Diagram 2 Diagram 3 Diagram 2 Diagram 3 互联网 应用 分析挖掘 Old SQL Old SQL 事务处理 互联网 应用 NoSQL 分析挖掘 NewSQL 一种架构支持多类应用 (One Size Fits All） 架构多元化 大数据激发技术创新 NewSQL 列存储 关系型 MPP GBase 8a Greenplum Vertica AsterData SAP HANA F1/Spanner NoSQL Key-Value MapReduce MPP OldSQL 行存储 关系型 M
2、PP Hadoop HBase Cassandra Danimo Dremel Impala TimesTen Altibase SolidDB Exadata Netezza Teradata 分布式计算，分布式文件系统 内存计算（ In Memory Computing) 新的硬件： Flash Card， SSD， Infiniband（ 40G/s) NewSQL/OldSQL/NoSQL 公司 产品 技术特点 产品来源 Sybase IQ 列存 + 共享磁盘 纯软 收购（ 2010） HANA 行列混合 +内存计算 纯软 or 软硬一体 收购（ 2009） Vertica 列存 +
3、MPP集群 纯软 收购（ 2011） Greenplum 行存 + 列存 +MPP集群 纯软 收购（ 2010） Netezza 采用 FPGA数据过滤代替索引 软硬一体机 收购（ 2010） Teradata 行列混合存储， Hash算法 软硬一体机 2007年 10月 从 NCR拆分 HBase 列存 + Key Value 纯软 开源社区（ 2006年） Exadata 内存 +分析 软硬一体机 推出（ 2010） GBase 8a 列存 + MPP集群 纯软 国内唯一 (2008年 ) 市场知名分析型数据库 ExaData Sybase IQ架构 IQ配置由多个 SMP节点构成，每个节
4、点访问整个 IQ的共享数据存储区，存储没有“水平分区” 每个节点有自己的内存和CPU资源，节点之间没有冲突，节点之间只有少量的通讯 多处理器的 SMP设备， IQ采用的是用户并行模式，而传统的数据库为并行表扫描。 IQ针对用户进行CPU分配，目的在于最大限度的增加多个同时进行查询的吞吐量。 比较早的列存数据库 Sybase IQ的索引 数据即索引，索引即 数据，无处不索引 BitWise索引技术专利 任何一个列可建多个索引 Sybase IQ的特点 查询效果 减少磁盘的 I/O 并 行列处理：支持列向量的并行处理 智能优化：每个列多个索引，支持不同的应用 IQ并行结构支持多用户并发 Cache
5、命中率：避免表扫描 存储 效率 智能压缩 +索引结构 +列存储 数据 加载 加载时建索引消耗性能， IQ的列存储 +列并行处理 +索引技术使得索引消耗降低 支持大并发、复杂查询、快速响应 Sybase IQ产品介绍 产品简介 Sybase IQ是基于列存储的关系型数据库产品， 用以支持大量并发用户的即时查询 。 大 数据特点 数据压缩 ：大于 1:2的压缩比 列存储 ：完全基于列存储架构 集群架构 ： Shared Disk，非 MPP架构。 新型索引： 多种专用新型细粒度索引，全 手工维护 ，大小为数据 的几十分之一到几分 之一。 多数据类型支持： 只支持结构化数据。 其它 特点 支持常见的
6、数据类型。 支持常用的开发接口。 支持 SQL标准。 线性扩展能力差。 应用场景 支持 TB级别 的传统数据仓库应用。 Sharing Nothing MPP 各节点 100%对等 无需专有节点 可以 在读取 /查询任何 节点 Vertica架构 Vertica架构 支持成熟开放的商业硬件环境 支持现有的 ETL和BI展现工具 低成本硬件：X86+内置硬盘 +高效压缩 基于列的存储架构 读取相关列、存储为查询优化：大大 降低 磁 I/O 列式 SQL解析、优化和执行 支持 UPDATE和 DELETE（效率不高） 主动压缩 自动 12+中压缩算法；支持直接访问压缩的数据值；压缩率 1： 10
7、多映射 Projections Vertica物理存储一个表的多个 views，每个 Projections支持不用的应用 Projections有不同的压缩、排序、 Pre-join等，分布在不同节点上提升并行效率 取代索引和物化视图，提供高效查询 Vertica特点 基于 K-safe的高可用性 K-safe技术：每个库的每个表的每个列都被存储在至少 K+1台机器上 避免写 日志 高可用性 物理数据库的自动设计， DB Designer 数据库的 logical schema 样例数据集 典型查询 混合存储模型 实现高速连续加载而不影响查询 ROS完成查询 WOS完成更新 BULK：低延时
8、、少量快速插入 Vertica特点 Vertica产品介绍 产品简介 Vertica是基于列存储的数据库产品，适用于构建面向数据分析场景的数据管理平台 。 大数据特点 数据压缩 ： 压缩比 1:10 列存储 ：完全基于列存储架构 集群架构 ： Shared nothing+MPP架构。 新型索引： 采用多映射 Projections存储技术优化，会产生大量冗余，不支持索引。 多数据类型支持： 结构化数据，但可以和 MapReduce产品集成。 其它 特点 支持常见的数据类型。 支持常用的开发接口。 支持 SQL标准。 批量 UPDATE和 DELETE效率低。 K-Safe技术：集群内，每一个
9、数据库的每一个表的每一列被存储在至少 K+1台机器 上 。 适用 场景 适合 PB级别的固定查询的分析型场景。 GreenPlum架构 Sharing Nothing + MPP + Master 一切皆可商用 解决 I/O瓶颈，提高吞吐能力 采用 distribute列 进行 hash分布， 把 一 个表的数据尽可能均匀的 分布 所有的segment 并行处理能力 核心是表的 JOIN redistribute仅仅只针对需要的数据，而且全部在节点 cache中 完成 在一个主机上同时启动多个 PgSQL数据库 ，充分发挥 CPU的作用 行列混合存储 模式 Heap 或 Append-Only
10、存储 列存储 和行存储 组合存储：按照应用类型，随需定制 Partition存储方式 数据加载能力 所有 节点同时读取数据 ， 不要经过 Master 并行数据流 引擎：计算尽可能的靠近数据 GreenPlum特点 GreenPlum产品介绍 产品简介 GreenPlum 数据库产品是用于建造下一代数据仓库和大规模分析系统的软件解决方案，支持 SQL 和 MapReduce 并行处理，更适合管理 TB-PB级的海量数据，并以低成本代价提供计算性能。 大数据特点 数据压缩 ： 1： 3至 1： 10压缩比 列存储 ：行列 混合 存储架构 集群架构 ： Shared nothing+MPP架构。
11、新型索引： 多种专用新型细粒度索引，全手工维护，大小为数据的几十分之一到几分之一。 多数据类型支持： 支持 结构化数据 ，可以 和 MapReduce产品集成。 其它 特点 支持常见的数据类型。 支持常用的开发接口。 支持 SQL标准。 列存储不支持 UPDATE操作。 存在主 Master节点瓶颈问题。 应用场景 适合 PB级别的分析型应用场景。 Exadata Cell InfiniBand 交换网络 RAC 多节点数据库 Exadata Cell Exadata Cell 智能存储 层 (Share Nothing) 数据库处理 层 (Share Disk) 超高速并发网络层 数据密集型
12、处理 智能存储池 计算密集型处理 数据库服务池 Infiniband高速互联 的数据交换 ExaData架构 数据库服务器 InfiniBand网络 智能存储服务器 智能扫描（ Smart Scan） 数据 查询过程被下移到智能存储层，传送到服务器中的数据只包括最相关的结果数据，显著的减少了发送到服务器的数据，从而减轻了服务器 CPUs负荷 混合列压缩（ HCC） OLTP模式： 3.3；查询模式： 14.6；归档模式： 22.6 存储索引（ Storage Index） 存储索引 为 表数据的 相关 信息 ，如 MAX、 MIN、 SUM等， 在 存储服务 内存中 可以 将无关 数据块 忽略
13、掉 ，减少 I/O， 类似分区修剪的功能 。 智能缓存（ Smart Flash Cache） 缓存 热点数据， 提供随机 I/O的超级 性能 基于 数据库数据使用 逻辑 基于 应用表进行指定 优化 在智能存储服务器中部署 Flash cards（ 高带宽 , 低延时 ） 内存中并行计算 ExaData特点 智能 I/O资源管理 多库环境下确保 不同的数据库可以分配到正确的 IO带宽 统一数据库中 ,确保不同的用户和任务可以分配到正确的 IO Infiniband超高速 互联 通过 交换网格的并行化连接，提供与存储容量等比增加的 带宽 ExaData特点 1 TB （压缩） 10 TB 的用户
14、数据 需要 10 TB 的 IO 100 GB （分区修剪） 20 GB （存储索引） 5 GB （智能扫描） 在 Database Machine 上实现亚秒级 其它 介绍 支持常见的数据类型。 支持常用的开发接口。 支持 SQL标准。 软硬一体，造价非常昂贵，满配 3000多万。 智能缓存：热点数据透明地缓存在 4个 Flash Cards。 ExaData产品介绍 产品简介 Oracle Exadata 是核心由 Database Machine（数据库服务器） 与 Exadata Storage Server （存储服务器） 组成的一体机硬件平台 。 大数据特点 数据压缩 ： 1： 1
15、0到 1： 15。 列存储 ：行列混存储架构。 集群架构 ：共享文件系统，非 MPP架构。 新型索引： 不支持索引，可通过 Smart Scan技术提升过滤速度。 多数据类型支持： 只支持结构化数据，但可以和 Oracle大数据机产品 (Mapreduce)集成。 应用场景 支持 TB级别的 OLTP和 OLAP应用场景。 内存技术，软件 +硬件的一体化。 (HP, IBM, Fujitsu, Cisco, Dell) 数据建模和数据管理 Sybase Replication Server提供实时的数据复制 SAP BusinessObjects Data Services提供基于 ETL的数
16、据抽取，支持 SAP商务套件 /SAP数据仓库 /以及第三方应用系统。 实时的信息分析能力， 应用于从未聚合的大数据量快速分析。 创建灵活分析模型的能力， 基于实时和历史性的业务数据。 各种新类别的应用， 例如计划 、 预测、分析等，明显快于当前的应用。 最小化的数据复制 SQL MDX BICS SQL SAP In-Memory Computing studio Sybase Replication Server SAP Business Objects Data Services SAP HANA Other Applications SAP BusinessObjects BI Sol
17、utions SAP NetWeaver BW SAP Business Suite 3rd Party SAP In-Memory Database Calculation and Planning Engine Row & Column Storage HANA技术架构 HANA技术概览 计算模型 极致的性能和灵活的建模方法 Calculation Engine Calculation Model Distributed Execution Engine Row Store Column Store SQL MDX SQL Script Plan Model other Compile &
18、 Optimize Physical Execution Plan Logical Exection Plan Parse SAP In-Memory Database 计算模型 域特定语言 (SQL, MDX, 等 )被转换成一个公共表示层 (计算模型 )。 计算模型是一个有向导的图形来表示数据流的输入和输出的各种操作。 计算模型可以基于客户端 (例如， Excel中提供的 MDX)的表达式灵活生成。 计算模型可以定义为高度优化，可重用的参数计算模式。 计算模型支持脚本操作方式。 硬件技术创新 64 位地址空间 单台 服务器容量为 2 TB 100 GB / 秒 数据吞吐量 价格迅速下降，性
19、能迅速提升 多核架构（ 每个刀片 8 x 8 核心 CPU） 多刀片大规模并行扩展 刀片服务器价格低廉 行和列存储 压缩 分区 无汇总表 仅增量插入 软件技术创新 HANA内存计算 加速数据访问 数据 分而治之 内存本地化：把大数据量和计算量分散到不同 处理器 并行处理：不同的服务器之间也共享同一组 数据 容灾性：单一的服务器的 DOWN机将不影响任何计算 最小 化数据 传输 演进步骤 BI和基于 SAP内存技术的数据 仓库 BI和基于 SAP HANA的 BW数据 仓库 基于内存技术的企业 应用 集成 OLAP和 OLTP应用 HANA三大特点 SAP HANA产品介绍 产品简介 HANA是
20、一个软硬件结合体，提供高性能的数据查询功能，用户可以直接对大量实时业务数据进行查询和分析，而不需要对业务数据进行建模、聚合等 。 大数据特点 数据压缩 ： 压缩比 1： 10至 1： 20。 列存储 ：行列混合存储架构。 集群架构 ： Shared nothing+MPP架构 。 新型索引： 支持传统 B+ Tree索引。 多数据类型支持： 支持结构化数据和半结构化数据。 应用场景 支持作为磁盘列存储数据的实时计算的补充，也可用于 OLTP实时交易系统。 其它 介绍 支持常见的数据类型。 支持常用的开发接口。 支持 SQL标准。 对内存需求量高， 1TB内存与 1TB硬盘价格？ BYNET D
21、AC DAC DAC DAC DAC DAC DAC DAC SMP SMP SMP SMP Notes: Multiple nodes may be configured to provide a Massively Parallel Processing (MPP) system. A physical message passing layer called the BYNET is needed to interconnect multiple nodes. Teradata is a linearly expandable RDBMS - as your database grows
22、, additional nodes may be added. Teradata MPP架构 CHANNEL LAN PC W/S Channel-Attached Systems TDP Applications/ Utilities Channel Drivers Gateway Software PE vproc AMP vproc Vdisk PE vproc AMP vproc Vdisk AMP vproc Vdisk AMP vproc Vdisk AMP vproc Vdisk AMP vproc Vdisk AMP vproc Vdisk AMP vproc Vdisk A
23、MP vproc Vdisk AMP vproc Vdisk PDE and BYNET S/W (Message Passing Layer) Operating System (UNIX MP-RAS or Windows 2000) Notes: Applications, channel drivers, and the LAN gateway software run as Operating System processes. AMPs and PEs are virtual processors (Vprocs) which run under the Parallel Data
24、base Extensions (PDE). AMPs are associated with virtual disks (Vdisks) within a disk array subsystem. Teradata is called a Trusted Parallel Application of PDE. Teradata SMP结构 Teradata Records From Client (in random sequence) 2 32 67 12 90 6 54 75 18 25 80 41 From Host Converted and Hashed Distribute
25、d Formatted Stored AMP 4 AMP 3 AMP 1 AMP 2 Parsing Engine(s) Parsing Engine(s) EBCDIC ASCII ASCII Message Passing Layer 18 2 54 41 12 90 75 80 32 6 67 25 Data distribution is dependent on the hash value of the primary index. Teradata数据分布与处理 Teradata产品介绍 产品简介 Teradata是基于列存储的关系型数据库管理系统，是面向企业提供的数据仓库解决方案 。 大数据特点 数据压缩 ：压缩比低， 1： 4。 列存储 ：行列混合存储架构。 集群架构 ：共享磁盘阵列 +MPP架构 。 新型索引： 支持传统索引。 多数据类型支持： 支持结构化数据，可以和 其 Aster(MapReduce)产品 集成。 应用场景 适用于 PB级分析型数据库场景。 其它 介绍 支持常见的数据类型。 支持常用的开发接口。 支持 SQL标准。 软硬一体，价格昂贵。 Netezza架构
