1、数据仓库产品优缺点分析简介本文主要对目前国内市场上几种主流的数据仓库数据库产品，通过网络资料以及个人经验做一个简单的分析，从中可以较客观地得出各数据仓库产品的优势和不足，以及未来技术发展方向，为企业的数据仓库选型提供参考。类别l 一： Teradata数据库Teradata天睿公司，专注大数据分析、数据仓库和整合营销管理解决方案的供应商。l 二： GreenPlum数据库Greenplum是一家为全球大型企业用户提供新型企业级数据仓库 (EDW)企业级数据云 (EDC)和商务智能 (BI)提供解决方案和咨询服务的公司。l 三： Netezza数据库IBM（国际商业机器公司） 2010年 9月收
2、购的专门的数据仓库数据库，为使大数据高级分析更简单、更迅捷和更易用而设计。l 四： Exadata数据库Oracle的新一代数据库云服务器。第一种： Teradata数据库Teradata近几年一直处于数据仓库领导者地位，Teradata数据仓库产品线丰富，能够适应各种规模的数据仓库。产品主要是集成的专用数据库设备（集成了服务器、存储、操作系统和数据库）。 Teradata的数据仓库解决方案齐全，以前一直走 “高端策略 ”，在大规模企业级数据仓库客户中占有绝对优势。不过，在其他产品的竞争下，逐渐向中端客户领域扩展。第一种： teradata数据库系列l 单节点系列（面向开发和测试）。l 1系列
3、（面向大规模数据存储分析）。l 2系列（面向部门级数据仓库）l 4系列（采用固态硬盘，面向高速分析）l 5系列（面向企业级数据仓库）第一种： teradata架构第一种： Teradata优势l 大数据量处理性能较强。l 可线性扩展，实现投资保护。l 数据库易于管理和维护。l 第三方软件产品丰富。l 有一套完整的 ETL方案、配置灵活l 采集异构数据时，数据会落地成 .txt文件，并保留一定的天数，方便查错。l 通过 perl采集数据时，向 teradata插入数据时速度快，只受限于网络和链接接口。第一种： Teradata不足l 专用设备，环境搭建复杂，扩展时停机时间较长l 混合负载控制存在
4、问题l 各系列产品互联困难l 价格较高l etl过程和 td的工具绑定紧密，对数据库本身的性能依赖强l etl环境搭建复杂、非图形化l 自定义函数过程复杂，需要用 c编写并导入l 数据库在做线性扩展时，数据需要重分布，消耗资源大，时间长第二种： GreenPlumGreenPlum2010年被 EMC收购后，产品线进一步完善，提供独立的数据库软件和集成的数据仓库设备两种解决方案。将 SQL和 MapReduce功能整合到统一的数据处理框架中，利用 MPP架构的并行计算能力满足大规模数据存储和处理需求。产品的一大特色是可与任何基于 MapReduce的外部产品协同工作，容易实现当下流行的 “云计
5、算 ”架构；另一大特色是用户可以自行选择开放平台 PC服务器搭建海量数据处理环境，降低数据仓库的 TCO。第二种： GreenPlum架构第二种 :GP无共享架构的特点l 最易于扩展的架构l 内部处理自动化并行，无需人工分区或优化l 数据分布在所有的并行节点上、每个节点只处理其中一部分数据l 最优化的 I/O处理、所有的节点同时进行并行处理、节点之间完全无共享，无 I/O冲突l 增加节点实现线性扩展、增加存储、查询和加载性能第二种： GreenPlum优势l 支持行列混合存储，消除了单独行存储和列存储的缺陷l 在线扩容和维护，无需停机l 数据加载速度快，可实现实时分析l 基于 PosgreSQ
6、L开发，语法简单，工具和应用资源丰富l 符合 “云计算 ”发展方向第二种： GreenPlum不足l 使用开放平台实现，稳定性相对较差l 大数据量在节点间重分布时，其非专用网络设计易导致性能瓶颈l 开发客户端功能不完善，功能灵活性不足。l 函数运算性能不足，在过程中动态 sql比静态 sql运行效率高，使得开发、迁移、测试更复杂。l 创建表空间和文件空间不方便。l 对其他操作系统支持差。第三种： Netezza数据库IBM最初使用 DB2提出数据仓库解决方案，并提供独立数据库软件和数据库机的解决方案，但产品技术优势不明显，且未给予足够重视，市场逐渐萎缩。为弥补不足， 2010年 IBM收购了专
7、业的数据仓库厂商 Netezza，希望利用 Netezza的技术来与 Teradata、 Oracle等产品抗衡。 Netezza提供集成的数据库设备 Twinfin解决方案，利用专利 “流式数据处理架构 FPGAs”技术（硬件芯片），在数据通过磁盘时可以将无关数据快速过滤，解决了传统数据仓库产品的服务器和存储间数 据流瓶颈问题，实现高性能数据处理。第三课 ： IBM Netezza 架构第三种： Netezza架构特点Netezza系统性能的主要优势来自其独特 AMPP处理架构，该架构将 SMP前端与一个无共享的 MPP后端相结合完成查询处理。该架构将经过精心挑选的各个组件集成在一起组成了平
8、衡的整体系统。通过每个处理组件对多个数据流进行操作，并尽早过滤掉多余的数据。最多可有多达一千多个 MPP处理组件共同工作。Netezza的硬件架构和 gp有些类似，由主机和 S刀片和磁盘阵列和网络架构组成， gp的硬件是由 master主机和 segment主机和磁盘阵列和网络架构组成。和 td的硬件架构有不同之处， td数据仓库是由 Bynet和 SMP主机和磁盘阵列组成第三种： Netezza优势l 针对数据分析设计，性价比高l 兼容 Oracle语句及主流 BI工具l 系统易于管理和维护l 刀片式架构，扩展简单l 数据库备份方便 ，可全量、增量、累计备份，恢复时可以全部恢复，也可以单表，
9、部分表恢复。l Zone Map技术，在数据最小存储块里优化数据，提高查询效率。l 表数据删除更改记录功能，数据误操作时可以方便找回。l Sql语法相交其他数据库更简单。第三种： Netezza不足l 混合负载控制存在不足l 流技术主要适用于趋势分析，对于精确分析略显不足l 当表的数据发生大的变化时，性能会下降，需手动对表进行 groom(清理备份数据 )和重做表数据统计操作。l 磁盘数据是两两互备份，一旦互备份磁盘同时损坏，数据很难恢复。第四种： Exadata数据库Oracle是数据库产品的领军人物，占据全球关系型数据库市场的 48%。 Exadata是其推出的数据仓库产品，通过专用的集成
10、设备、大容量并行网格结构及Exadata Smart Flash Cache技术实现了处理高并发工作负荷的能力，产品中还增加了分区管理功能、列存储压缩等技术，大幅提高了数据处理性能，能够支持各种规模的数据仓库应用。第四种： Exadata架构第四种： Exadata优势l 事务类任务处理性能较好l 混合负载控制较好l 兼容 Oracle产品和工具，易于使用第四种： Exadata不足l 大数量处理性能上存在不足l 部署和管理复杂，且扩展能力差l 价格和维护成本较高数据仓库产品技术发展趋势l 集成的数据仓库设备（一体机）将成为主流 ,一体机集成了服务器、存储和软件，具有安装、配置、管理简单，软硬件协同、高可用性及性能可以最大限度得到同一厂商的保证。l 行列混合存储技术将会数据仓库的趋势，单纯的行存储或列存储在使用上均不能很好的满足数据仓库分析的要求，混合存储技术可以根据数据仓库的访问特点有针对性的改变数据存储结构，在应用不做任何调整的情况下大幅提升系统运行效率，减少空间占用，对于大型数据仓库有重要意义。l 云计算在数据仓库和 BI会有更多应用。
