1、数据管理系统评测基准:从传统数据库到新兴大数据 金澈清 钱卫宁 周敏奇 周傲英 华东师范大学软件学院数据科学与工程研究院 摘 要： 大数据时代的到来意味着新技术、新系统和新产品的出现.如何客观地比较和评价不同系统之间的优劣自然成为一个热门研究课题,这种情形与三十多年前数据库系统蓬勃发展时期甚为相似.众所周知,在数据库系统取得辉煌成就的发展道路上,基准评测研究一直扮演着重要角色,极大推进了数据库技术和系统的长足发展.数据管理系统评测基准是指一套可用于评测、比较不同数据库系统性能的规范,以客观、全面反映具有类似功能的数据库系统之间的性能差距,从而推动技术进步、引导行业健康发展.数据管理系统评测基准
2、与应用息息相关:应用发展产生新的数据管理需求,继而引发数据管理技术革新,再催生多个数据管理系统/平台,进而产生新的数据管理系统评测基准.数据管理系统评测基准种类多样,不仅包括面向关系型数据的基准评测,还包括面向半结构化数据、对象数据、流数据、空间数据等非关系型数据的评测基准.在当今新的数据系统发展中,面向大数据管理系统的评测基准的研究热潮也如期而至.大数据评测基准研究与应用密切相关.总体而言,尽管已有的数据管理系统评测基准未能充分体现大数据的特征,但是从方法学层面而言,三十多年来数据管理系统评测基准的发展经验是开展大数据系统研发最值得借鉴和参考的,这也是该文的主要动机.该文系统地回顾了数据管理
3、系统评测基准的发展历程,分析了取得的成就,并展望了未来的发展方向.关键词： 评测基准; 大数据; 数据生成器; 度量; 工作负载; 作者简介：金澈清,男,1977 年生,博士,教授,博士生导师,主要研究领域为基于位置的服务、不确定数据管理、数据流管理、数据质量分析和数据管理系统评测基准.E-mail:.作者简介：钱卫宁,男,1976 年生,教授,博士生导师,主要研究领域为 Web 数据管理、社交媒体分析.作者简介：周敏奇(通信作者),男,1980 年生,博士,副教授,主要研究方向为计算广告学、内存数据库.E-mail:.作者简介：周傲英,男,1965 年生,博士,教授,博士生导师,主要从事数据
4、管理及应用研究,研究兴趣主要包括 Web 数据管理、数据密集型计算、内存集群计算、大数据基准测试和性能优化.收稿日期：2013-12-27基金：国家“九七三”重点基础研究发展规划项目基金(2012CB316203)Benchmarking Data Management Systems:From Traditional Database to Emergent Big DataJIN Che-Qing QIAN Wei-Ning ZHOU Min-Qi ZHOU Ao-Ying Institute for Data Science and Engineering,Software Engine
5、ering Institute,East China Normal University; Abstract： The arrival of big data era means the emergence of novel techniques,systems and products.How to compare and evaluate different database systems objectively becomes a hot research area,which is similar to the age when database systems were just
6、flourishing thirty years ago.As well as we know,database benchmarking plays an important role in the development of database systems,and greatly promotes the development of database technology and systems.The database benchmark refers to a set of specifications to evaluate and compare different data
7、base systems,which is capable of reflecting the performance gap between various database systems objectively and comprehensively,so as to promote technological progress and guide the positive development of the industry.Database benchmark is closely related to the application developments:it describ
8、es new data management needs,sparks innovative data management theory,gives birth to new data management systems,and ultimately needs to develop appropriatebenchmarks for evaluation.There exist various kinds of database benchmarks,including that for relational databases,for non-relational databases(
9、semi-structured data,object-oriented data,streaming data,and spatial data),and for big data most recently.Nowadays,the tide of the research on big data benchmarking is also coming.The research on big data is strongly related to application requirements.So far,existing work cannot fully reflects the
10、distinctive characteristics of big data applications.From a technical point of view,the developments of database benchmarks in the past thirty years are of great help to develop big data benchmarks,which is the main motivation of this paper.This paper reviews the progress of database benchmarks syst
11、ematically,and points out future directions.Keyword： benchmark; big data; data generator; metric; workload; Received： 2013-12-271 引 言四十多年来,数据库技术和系统有了长足发展,从早期的层次与网状数据库技术,到主流的关系型数据库技术,再到各类非关系型数据管理技术,一直到新近的大数据管理技术,造就了一个高达数千亿美元的市场.究其原因,是由于数据库是个充满机遇、充分竞争的领域.对于竞争局面的形成,数据管理系统评测基准(Database Benchmark)的研究和发展功
12、不可没.数据管理系统评测基准是指一套用于评测、比较不同数据库系统性能的规范,使用基准所生成的性能指标值能够客观、全面地评测各个数据库系统的性能差距1.各公司可以根据评测报告来挑选符合自身需求的系统方案.例如,表 1 列举了根据某个基准评测出来的 4 个数据库管理系统的吞吐率、售价、性价比和能耗比等指标.其中,吞吐率表示每秒处理事务数(transactions per second,tps),售价表示系统的价格,性价比描述单位吞吐率的价格成本,能耗比描述单位吞吐率的能量消耗.可以看出,这 4 个数据库系统的各项指标差异显著.假设某客户以降低购买成本为主要考量因素,则当其性能需求小于 1tps 时
13、会选择系统 A;若需求介于 1 和 10tps 之间选择系统 B;若性能需求大于 10tps 则选择系统 D(其性能与价格均优于系统 C).在实际情况下,售价接近时,能耗问题又会浮出来.例如,系统 C 的售价略高于 D,但能耗比远低于 D,因而总体运营成本更低.对于性能需求介于 10 和 50tps 之间的应用来说,选购 C 会更加经济一些.表 1 由某基准评测出来的针对 4 个数据库系统的性能报告 下载原表 鉴于数据管理系统评测基准能够有效引领市场走向、争夺市场份额,各数据库厂商均期望自家产品能够在各个基准评测榜单中占据靠前的位置,这使得数据管理系统评测基准的话语权之争非常关键,尤其是在 2
14、0 世纪 80 年代那段时期.在图灵奖得主 Codd2于 20 世纪 70 年代提出基于集合论和一阶逻辑的关系模型理论之后,多家企业和科研机构投入巨资研发关系型数据库管理系统(RDBMS).到了80 年代初期,多款 RDBMS 产品同时 出现在市 面上,且各厂商均宣称自家产品的性能优于其他产品.很快,这场争论就脱离技术本身,演变成为争夺市场份额的口水战,一度使得数据库行业出现混乱局面.1983 年,威斯康星大学的Bitton、DeWitt 和 Turbyfil 等人3联合制定了一个数据管理系统评测基准(也被称为威斯康星基准),设计了一组常用 SQL 语句,以在相同硬件平台上执行全部查询的总时长
15、来评测指定数据库性能.威斯康星基准简洁明 了、影响力大.各数据库厂商可以通过该基准找出自家产品的性能瓶颈,以进行优化.最终,主流RDBMS 产品的典型功能经过优化之后已经非常接近4.数据管理系统评测基准并非孤立发展,而是与应用发展息息相关.首先,应用是各类数据管理系统评测基准产生的根源.应用发展产生新的数据管理需求,继而引发新的数据管理理论,再而催生多款新的数据管理系统,最终需要新型数据管理系统评测基准来评测此类系统.近三十年来,应用不断深入发展,新型数据模式不断涌现,该规律一再上演.其次,应用多样性是数据管理系统评测基准多样性的基础.许多数据管理系统评测基准往往基于某个具体应用,仿真其数据源
16、和工作负载,使其在评测相应应用时更具实 际意义.例如,事务性能 管理委员 会(TPC)已发布一系列数据管理系统评测基准,分别针对 OLTP 应用和 OLAP 应用.针对 OLTP应用的包括 TPC-A、TPC-C 和 TPC-E;针对 OLAP 应用的基准包括 TPC-H 和 TPC-DS.其中,TPC-A 面向银行事 务管理、TPC-C 面向仓库 订单管理、TPC-E 面向证券交易和市场研究、TPC-H 针对商务采购应用、TPC-DS 针对零售产品供应商应用.图 1 列举了代表性的数据管理系统评测基准,读者可以清晰地看到基准在三十年间的发展轨迹.在 20 世纪 80 年代,关系型数据库管理技
17、术大步从理论研究阶段发展到产品开发和市场应用阶段,因此在这一时期的数据管理系统评测基准主要评测关系型数据库.事实上,鉴于关系型数据库直到今日仍然在企业级应用领域占据统治地位,此类基准现在还在不断发展之中.进入 90 年代以来,非关系型数据模式(例如对象数据、半结构化数据、流数据和空间数据等)广泛出现在许多应用之中,迫切需要发展非关系型数据管理技术.因此,面向非关系型数据的评测基准也在随后的十多年间不断涌现.最近五年以来,大数据管理技术成为研究热点.一般来说,大数据具有 3V 特性,即海量(Volume)、高速(Velocity)、多样(Variety)5.传统数据管理系统评测基准无法有效评测大
18、数据管理系统,因此需要构建新型的数据管理系统评测基准.图 1 数据管理系统评测基准发展概览数据管理系统评测基准在过去三十年间的持续发展主要因为它能在 5 个方面推动数据库产业的发展.(1)基准不仅能够突出数据库系统的性能优势,还能够反映出数据库系统的不足之处,以利于厂商不断提升系统的性能;(2)能够模拟技术进展,提升相关技术的可用性;(3)数据管理系统评测基准是一项科学方法;(4)通过比较不同数据库产品的性能,深刻折射出数据库系统的发展历程,以及具体技术方面的提升过程;(5)提供了一个公平、客观的依据来比较相互竞争的产品.但是,针对数据管理系统评测基准的综述性工作仍然不多见.文献1收录了数据管
19、理系统评测的早期工作,但这些工作主要面向关系型数据库,而非其他数据模式.本文尝试全面回顾数据管理系统评测基准在最近三十年间的研究进展,并展望未来的发展方向.本文第 2 节描述数据管理系统评测基准的基本要素;第 3 节和第 4 节分别描述针对关系模型和非关系模型的数据管理系统评测基准;由于大数据管理成为近期热点,第 5 节介绍大数据基准的现状;第 6 节总结海量数据生成方法;第 7 节展望数据系统基准的未来发展;最后,第 8 节总结全文.2 数据管理系统评测基准的基本要素一套行之有效的数据管理系统评测基准包含度量选取、模拟数据生成器、工作负载设定、审计等要素.Gray1认为,领域相关的数据管理系
20、统 评测基准需要具备可迁移性、可扩展性、可理解性和关联性等性质.可迁移性描述是否可在不同数据库系统和架构上实现指定的评测基准;可扩展性描述该评测基准是否适用于不同规模的计算机系统,例如并行系统等;可理解性衡量该评测基准是否易于为用户理解,不易为用户理解的基准的可信程度也较低;相关性指在该问题领域中执行典型操作时必须记录峰值性能指标和性价比.2.1 度量选取数据管理系统评测基准通过一组度量参数来评测目标数据库系统的性能.度量的种类繁多,常用度量包括表 1 中提到的吞吐量、价格、性价比和能耗比等.值得注意的是,计算机系统与数据库系统所使用的度量并非完全一致.例如,尽管“每秒百万指令数”(MIPS)
21、在高性能计算领域中被广泛使用,但鉴于不同的编译系统会将数据库系统编译成不同的可执行程序,该度量并不适合评测数据库系统1.此外,可核实性和公正性也非常重要.可核实性表示多次测量能够获得相同度量值;公正性表示能够公平地对待所有目标数据库系统.为了强调评测结果的全面性,一些基准会报告多项度量指标来描述目标数据库系统的性能.但是过多的指标项有时并不易于非常清晰地对目标数据库系统群进行排序.因此,有些数据管理系统评测基准索性就采用单一度量来描述目标数据库的性能.这个单一指标可以是综合多项度量值之后所得出来.例如,威斯康星基准以总执行时间描述基准的优劣;ASAP 基准以 Qph 来衡量系统的性能6.单一指
22、标易于为大众所理解,而多度量方式则更加全面.2.2 工作负载工作负载是数据管理系统评测基准的核心内容.数据库系统服务于具体应用,工作负载设计既要考虑数据库系统自身特点,也要联系实际应用需求.从与真实应用关联性的角度来看,现有数据管理系统评测基准大致可以分为两类.第 1 类偏重于评测数据库系统的某些具体特性,因此所构造的工作负载并不与某个具体应用挂钩.例如,威斯康星基准的工作负载包括 32 条 SQL 语句(基于一个含 3 张表的微型数据库 模式),以测试 RDBMS 的典型操 作;YCSB 基准构造 5 类负载(频繁更新、频繁读、只读、读最新和小范围)以评测分布式数据管理系统的性能7.第 2
23、类基准则尝试从真实应用中抽象出数据库模式和工作负载.如前所述,TPC-C面向仓库订单应用,TPC-H 面向商务采购应用,BigBench 基准从 TPC-DS 扩展而来.此类基准更贴近真实应用场景,也更具实际意义8.2.3 模拟数据生成器模拟数据生成器是数据管理系统评测基准的重要组成部分.为了仿真真实应用场景,所产生的模拟数据与真实数据高度相似,包括数据规模、数据类型、数据分布和相关性等.有些数据管理系统评测基准会使用标度因子(Scalable Factor,SF)来决定模拟数据的规模.SF 值越大,数据规模也越大;反之,则数据规模越小.常见的数据类型包括字符串、数字和时间等.数据分布可以有多
24、种形式,包括均匀分布和偏斜分布(skewed data)等.在偏斜数据中,不同元素的频数相差悬殊.数据相关性重要却较难仿真.在关系型数据库中,相关性表现为函数依赖、外键依赖和主键依赖等;在图数据中,相关性表示为相邻节点间的关联性.模拟数据生成器还需考虑并行生成方法,以提高效率.例如,文献9考虑如何针对大型、复杂的关系型数据库并行地生成模拟数据.2.4 审 计第三方机构的审计结果可以保证评测结果的客观性与公正性.在数据管 理系统评 测基准发 布之后,各数据库厂商均可依据该基准进行评测,公示自家产品的评测结果.但是,此类评测报告不具备权威性经过各个数据库厂商独自“解读”之后,基准的内涵未必一致,从
25、而难以确保评测结果的客观性与公正性.因此,必须由独立的审计机构发布评测结果.这些审计机构与各数据库厂商之间互不隶属,以保证客观性与公平性.TPC 已在这方面做了有益的尝试,专门指定两家公司进行审计,审计员与数据库厂商之间独立.整个审计步骤共分为 4 个阶段.(1)审计机构验收数据库厂商递交的材料(例如:软件程序、硬件配置、购置和维护价格等);(2)审计机构计算所提及的评测方法的置信级别,以评判所产生的文档结果的合规性;(3)通过检查执行过程中所产生的结果来验证各个基准执行的合规性;(4)依据技术指导委员会(Technical Advisory Board,TAB)和总理事会规范来给出评测结果的
26、合规性.评测结果发布之后,TPC 也允许成员组织在规定时间内质询评测结果,以维护 TPC评测基准的严肃性和权威性.3 关系型数据管理系统评测基准关系型数据库管理系统(RDBMS)是主流的商用数据库系统.针对 RDBMS 基准的研究工作起步早、范围广.一些主流 的 IT 厂商还共 同组建了 非盈利组织事务处理委 员会 (TPC)来共同评 测 RDBMS10-11.根据应用领域不同,现有基准大致可以划分为 3 类:OLTP、OLAP 和 OLAP+OLTP.第 1 类基准包 括威斯康 星基准、DebitCredit12、ASAP、TPC-C、TPC-E 和 OLTP-Bench13等;第 2 类基
27、准包括 SetQuery14、TPC-H、TPC-DS 和 SSB15等.能同时应对 OLAP 与 OLTP的产品比较少见,传统的处理方案一般会构造两个独立模块,分别处理 OLAP 和OLTP 需求.但是,近期有些数据库产品通过将海量数据预先装载在内存之中,使得在单一平台上同时处理 OLAP 和 OLTP 成为可能.有鉴于此,出现了新的基准来应对此类场景,例如 CH-benchmark16.此外,内存数据库与传统关系型数据库的差异比较明显,也出现了针对内存数据库的评测基准17.3.1 针对 OLTP 的基准3.1.1 威斯康星基准3-4威斯康星基准由威斯康星大学的 Bitton、DeWitt
28、和 Turbyfil 等人共同完成.该基准的数据库模式仅含 3 张表:ONEKTUP、TENKTUP1 和 TENKTUP2.第一张表含1000 个元组,另两张表各含 10000 个元组.每张表各包含 13 个整数属性和 3 个字符串属性;各个元组的总长为 208 字节;数据均匀分布.其工作负载共包括 32条 SQL 语句,涵盖了常用的基本关系操作,包括:(1)不同选择率情况下的选择操作;(2)不同重复率情况下的投影操作;(3)连接操作;(4)简单聚集操作和聚集函数;(5)插入、删除、更新等操作.该基准将执行全部工作负载的总时长作为唯一度量.3.1.2 ASAP6ANSI SQL Standa
29、rd Scalable and Portable benchmark(ASAP 基准)由Turbyfil、Orji 和 Bitton 等人提出.Bitton 和 Turbyfil 是威斯康星基准的主要设计者,非常了解该基准的局限性:仅针对单用户平台、缺乏批量更新、数据类型比较少、缺乏对并发控制等.因此,ASAP 基准在多个方面做 了改进.(1)数据库表的数目由 3 增加到 5;(2)支持的数据类型从 2 增加到 11;(3)支持的索引类型从 1 种增加到 3 种;(4)支持的数据分布除了均匀分布外,还包括正态分布、指数分布和 Zipfian 分布等;(5)支持最多可达 400GB 的数据规模;
30、(6)支持单用户和多用户模式.ASAP 基准的工作负载显著增大.以单用户模式为例,包括数据载入、索引构建、访问方法评测和查询优化等,共有 60 条 SQL 语句.ASAP 基准的一个典型特点是其数据库的规模可以根据需求从 4MB 扩展到 400GB,可较好地符合当时的应用需求.ASAP 基准采用等价数据库规模(equivalent database size)作为度量,描述单个或者多个用户可在 12h 内完成的最大测试数据库规模.3.1.3 DebitCredit12DebitCredit 是由 Gray 带领 Tandem 公司的团队完成,该基准仿真银行的借贷应用,其数据库模式包含 4 张表
31、:银行分行表(branch)、取款机表(teller)、用户账号表 (account)和取款记 录表 (history).此外,基于该数据模式设计一个名为 DebitCredit 的事务,如下:DebitCredit 事务先从终端界面读取信息(100 字节),接着重写 account 表,并往history 表以顺序方式写数据;再分别重写 teller 和 branch 表;最后,将信息输出到终端.DebitCredit 基准仿真了真实应用场景,因此受到用户的青睐.在 20世纪 80 年代末期,该基准被扩展为 TPC-A 基准.3.1.4 TPC-CTPC-C 是由 TPC 组织提出并维护,它
32、模拟仓库订单管 理应用.1992 年 8 月 13 日提出 TPC-C1.0 版本,之后不断被修改,最新版本是 2010 年 2 月 11 日发布的5.11 版.该基准所采用的数据库模式比前述 3 个基准更加复杂,共包含有 9 张表,各表所含的记录条数具有比例关系.例如,仓库(warehouse)、销售区域(district)和顾客(customer)是其中的 3 张表.假设该公司有 W 个仓库,则共有 10W 个销售区域和 30 000W 位顾客.在工作负载方面,TPC-C 设计了 5 种事务,包括创建新订单(new-order)、支付(payment)、订单状态 查询 (order-sta
33、tus)、发货(deliver)和库存状态查询(stock-level).这些事务比较全面地涵盖了仓库订单管理的主要业务.TPC-C 基准主要采用 tpmC 作为度量,描述每分钟处理的事务数;鉴于能耗 越来越受 到重视,也引入瓦 特/tpmC(即每个 tpm 的能量消耗),能量消耗由 TPC-Energy 规范所描述.TPC-C 目前仍在使用.3.1.5 TPC-E随着 B2B、B2C 等新型应用的发展,依托于仓储管理应用的 TPC-C 基准逐渐无法准确反应时代需求,因此 TPC 组织又于 2007 年 2 月推出了以证券交易应用为核心的 TPC-E 基准(1.0.0 版本),目前最新版本是
34、2010 年 6 月发布的 1.12.0 版.该基准模拟证券经纪公司的典型行为,包括管理客户账号、执行客户交易订单、为客户与金融市场之间的交互行为负责等.TPC-E 远比 TPC-C 复杂,共含有 33 个表,可分为 4 类:与客户(customer)相关的 9 张表,与经纪公司(broker)相关的 9张表,与市场(market)相关的 11 张表,以及与维度(dimension)相关的 4 张表.工作负载共有 12 个事务.TPC-E 的主要评测指标仍然是吞吐率:每秒处理的事务数 (transactions per second E,tpsE).OLTP-Bench 新近由 Difalla
35、h 等人13所提出.Difallah 等人意识到 尽管现在 已经存在 多款面向 OLTP 应用的基准,但由于这些基准的特点各不相同,单一基准无法全面衡量系统的性能.因此,尝试集成 15 个现有基准,从而可以根据评测目标自由选择工作负载进行评测,以获得比较全面的评测结果.3.2 针对 OLAP 的基准3.2.1 SetQuery14OLAP 应用需要产生针对大 量数据的 聚集信息.SetQuery 基准从多个典型应用场景中提炼出典型任务,并且以 PRICE/QPS 作为唯一的度量标准,即每秒运行查询数的价格支出(以美元为单位).这个基准的 数据库模 式非常简 单,只有一张 名为 bench 的表
36、,该表含 13 个字段.在工作负载方面,该基准考虑了 6 种包含count 和 sum 等聚集函数的查询,作用于单表或者多表(实际上是针对 bench 的自连接)之上,并具有多种选择条件.由于 SetQuery 基准的提出者 ONeil 教授也是 位图索引 (bitmap index)的提出者,因此 SetQuery 基准也评测位图索引对相关查询任务的性能影响.3.2.2 TPC-HSetQuery 在数据库模式和工作负载设计上都较小,而 TPC-H 则相对来 说规模更 大.TPC-H 基准模拟商务采购应用,其数据库模式包含 8 张表,分别代表参与商业领域中采购和订购的对象或行为.性能评测基准
37、定义了 22 个复杂查询(SELECT)语句和 2 个更新数据语句(包括 INSERT 和 DELETE 操作).数据库的规模由标度因子(Scale Factor)决定,从 1GB 到 100TB 不等.TPC-H 基准以每小时内执行的查询数(QphHsize)做为度量标准.3.2.3 SSB 基准15SSB(Star Schema Benchmark)基准面向 数据仓库应用.该基准在 TPC-H 的数据库模式基础上做了修改,以符合多维模型;新的数据库模式包括 1 张事实表 (LINEORDER)和 4 张维度表 (CUS-TOMER,DATE,SUPPLIER,PART).在负载设计上兼顾了
38、几个典型 OLAP 操作.3.2.4 TPC-DSTPC-DS 也是由 TPC 组织提出来的、面向决策支持应用的评测基准.尽管这个基准在多年之前就被提及,但是直到 2012 年才正式发布 1.0.0 版本18.TPC-H 基准的数据库模式遵循第三范式,但许多真实应用需要星型、雪花型等多维数据模式.与 SSB 相比,TPC-DS 更加全面、功能更加丰富;与 TPC-H 相比,TPC-DS 在以下四个方面进行改进.首先,数据库模式使用共享的多雪花模式,包含 24 张表,平均每张表含有 18 列.其次,工作负载包含 99 个随机可替换的 SQL 查询,具有更强的代表性.最后,还包括数据抽取、转换与加
39、载(ETL)功能.TPC-DS 基准定义了 3 个主要度量和 4 个辅助度量.主要度量包括 (1)每小时内 执行完毕 的查询数QphDSSF(SF 是标度因子),以描述查询吞吐率;(2)每小时内执行的查询数的性价比/QphDSSF;(3) 系统生效日期,即所有在测组件全部生效的日期.3.3 针对 OLAP+OLTP由于 OLAP 应用与 OLTP 应用差异显著,因此一般分别搭建系统进行管理.当需要执行数据分析任务时,则首先从日常运行事务数据库中将数据导入到 OLAP 系统之中,再做分析.但是,随着硬件技术的发展,部分数据库系统支持同时执行 OLAP和 OLTP 任务.因此,有必要构建数据管理系
40、统评测基准来评测此类数据库架构.CH-Benchmark 是针对此种架构的数据管理系统评测基准16.它融合了 TPC-C和 TPC-H 两种基准.尽管 TPC-C 和 TPC-H 分别面向 OLTP 和 OLAP 领域,但二者的应用领域相近,都是商品销售领域.因此,可以整合两种数据模式,再选取典型的OLAP 和 OLTP 操作,来创建新基准.3.4 针对内存数据库的基准:InMemBench17内存技术的发展使得在一个计算机系统中配置几百 GB 甚至 TB 级内存容量变得可行,这也促进了内存数据库 (In-memory database)的发展:预先将数据加载到内存之中,以避免在查询执行过程中
41、产生过多的 I/O 开销.MemTest 基准可用以评测内存数 据库17.该基准以银行间转 账应用为 背景,使用了一 个包含 6 张表的数据库模式,同时使用了 5 个针对内存数据库的度量标准,包括响应时间、CPU 使用率、高速缓存缺失率、数据压缩率和最小内存空间.工作负载可分为两类:第 1 类负载主要包括读操作,一共包括 4 个查询集,每个查询集有 3 个查询;第 2 类负载主要包括插入和删除等操作.4 非关系型数据管理系统评测基准非关系型数据包括半结构化数据、空间和移动数据、面向对象数据、流数据等.其管理系统广泛应用在诸多领域之中,与此同时,也出现相应的基准来评测这些系统.4.1 面向半结构
42、化数据的基准现有面向半结构化数据的基准大致可分为两类:功能型基准和应用型基准.功能型基准不与具体应用结合,旨在评测数据库系统的某项特定功能,例如密歇根基准(Michigan Benchmark)19.它采用单一的合成文档,工作负载包括:属性值匹配、按名称选择元素的准确度、依据祖先后代的谓词选择节点、聚集函数以及更新 操作等.应用型基 准与某个 应用紧密相关,以评测数据库的整体性能,典型代表包括 XBench20、XMach-121、XMark22、XOO723和 TPOX24等.以 TPOX 为例,它仿真多用户的金融应用,构建一个基于 Web 的电子商务系统.其中,实体包括用户、账户等 5 个
43、;关系并未事先指定,而是封装在 41 个外部 XSD文件中.这样,在测试过程中可以从 XSD 文件中灵活地选择搭配,来组合出符合测试者关注点的测试场景.4.2 面向空间与移动数据的基准随着 GPS 和其他定位设备的普及,移动对象数据库发展迅猛,需要构建评测此类数据的基准,包括 Sequoia 2000Storage25、DynaMark26、COST27和BerlinMOD28等.Sequoia 2000Storage 主要针对空间数据,度量标准为产生测试数据和处理复杂查询的响应时间;工作负载涵盖多项复杂查询,包括空间连接、递归查询、点查询和范围查询等.该基准的局限性在于并未处理移动对象数据.DynaMark 是为 LBS 提供性能测试度量的一个基准,其度量指标包括位置更新、
