1、 分类号 学号 D200877508密级学校代码 10487博士学位论文面向云数据中心的存储服务质量技术研究学位申请人：张泉学科专业：计算机系统结构指导教师：冯丹教授答辩日期： 2014年5月14日AThesisSubmittedinPartialFulllmentoftheRequirementsfortheDegreeofDoctorofPhilosophyinEngineeringResearchonStorageQualityofServiceforCloudDataCentersPh.D.Candidate : Zhang QuanMajor : ComputerArchitectu
2、re: Prof. Feng DanSupervisorHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaMay, 2014独创性声明本人声明所呈交的学位论文是我个人在导师的指导下进行的研究工作及取得的研究成果。尽我所知，除文中已标明引用的内容外，本论文不包含任何其他人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权
3、保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本论文属于保密，在不保密。年解密后适用本授权书。（请在以上方框内打“”）学位论文作者签名： 指导教师签名：日期： 年 月 日 日期： 年 月 日华中科技大学博士学位论文摘 要互联网应用的蓬勃发展和数据量的爆炸式增长驱使着企业和政府机构构建面向公共服务的数据中心。数据服务中心的核心设计理念为资源服务化，即通过整合各种计算机系统资源向大量的并发应用提供资源共享服务。用户根据其存储容量和访问性能的
4、需求直接使用存储服务，从而降低了企业的设备采购成本和数据中心的运营维护成本，并有力地推动了中小企业的信息化建设和社会生产力的发展。然而，存储服务化不可避免地引入了资源竞争及相互干扰，从而给应用的存储服务质量保证和存储系统的性能优化带来了巨大挑战。特别是在复杂的应用环境下，企业应用呈现多样性和突发性，存储平台具有异构性和复杂性，如何根据应用的需求合理地分配系统资源以保证应用的服务质量并提高数据中心的IT绩效已经成为了当前数据服务中心的关注重点。针对应用需求的多样性和应用负载的突发性，提出了一种支持多维服务质量保证的I/O 调度机制(Courier)。在面向服务的数据中心 环境下，大量应用并发访问
5、存储系统，且不同的应用有着不同的服务质量需求，尤其是延迟和带宽需求。针对此问题，Courier调度算法通过动态切换于基于反馈的延迟控制器和基于信誉分配的带宽分配算法之间以适应应用负载的动态变化。延迟控制器通过采用反馈的方式实时监控存储系统的请求服务时间及应用请求的最后期限，并判断请求的紧急性，优先处理应用中的紧急请求，从而向应用提供请求级别的优先级以应对应用负载中的突发请求。当所有请求的延迟期望得到保证时，调度器则采用基于信誉激励机制的带宽分配算法，允许应用透支限定额度的信誉以优先处理紧急请求，并奖励负载特征良好的应用更多的信誉额度以提高存储系统资源利用效率。测试结果表明，Courier不仅可
6、同时支持应用对延迟和带宽的需求，存储系统的性能也提升了约20%。针对日益普及的固态盘设备，提出了一种面向固态盘的 I/O调度器（FBCQ）以保证应用的性能隔离并提高固态盘设备的访问性能。不同于传统的 I/O调度算法，FBCQ调度算法采用二层调 度框架，其中上层负责为应 用提供性能隔离保证，而底层则采用灰盒子方法以挖掘固态盘的内部并行性。由于固态盘存在读写不平衡的问题，上层调度器通过管理应用的服务时间片，并区分对待应用中的读写请求以保证I华中科技大学博士学位论文该应用的性能不受其它应用负载特征变化的影响。在 FBCQ调度器底层，根据固态盘的数据页组织方式将固态盘的逻辑地址空间映射到不同的逻辑通道
7、队列中，并为每个逻辑通道队列建立一个子调度器。每个到达的请求根据其物理位置和大小拆分小请求并放置到对应的通道队列中，多个逻辑通道队列并发地处理其内部等待的请求。在每个基于通道队列的调度器中，调度器优先处理读请求以避免读请求被阻塞，且对写请求进行排序和合并以进一步提高写性能。实验表明， FBCQ调度器可以有效地实现应用之间的性能隔离，并提高固态盘存储设备的整体性能。鉴于由固态盘和机械磁盘组成的混合存储系统在性能、容量、成本等方面的优势及发展趋势，本文提出了一种固态盘缓存动态分配策略（ QoS-FCA）。在混合存储系统中，固态盘可以作为磁盘的缓存，用于加速应用访问，然而，由于大量并发应用共享和竞争
8、缓存资源，不合理的固态盘缓存资源分配必然会导致应用的性能无法得到保证。因此，本文详细讨论了固态盘缓存的访问流程并建立了应用的性能模型，通过模型分析发现，应用在固态盘缓存上的访问性能不仅依赖于缓存命中率，同时，与其自身的负载特征相关。因此，QoS-FCA实时监控每个应用的读写缓存大小及缓存命中率，通过曲线拟合的方式建立应用性能与固态盘缓存空间大小的关系模型。根据应用的性能模型及负载特征，采用了非线性规划的方法动态地计算出满足应用性能需求所需要的最小固态盘缓存空间大小，并将空闲固态盘缓存按照缓存边际效应分配给应用以提高存储系统的整体性能。测试结果显示，QoS-FCA可以在保证应用性能需求的基础上，
9、提升固态盘缓存命中率约10%左右。最后，针对互联网应用和科学计算中存在的海量小文件，提出了一种基于委托的元数据服务机制以优化并行文件系统的小文件访问性能。针对数据密集型应用的需求，设计和实现了具有高性能和高可靠性的分布式并行文件系统 Cappella。通过分析分布式文件系统中文件访问流程发现，元数据操作开销占据着小文件访问开销的绝大部分。因此本文提出了基于委托的元数据服务机制，允许客户端在不影响语义一致性的情况下访问和修改客户端缓存中的元数据，并设计和实现了元数据后台刷新机制(mdush )。测试结果表明，当文件小于64KB时，Cappella文件系统的性能相对于原始系统提高了35%以上。关键
10、词：存储服务质量 性能隔离 数据服务中心 I/O调度器 固态盘混合存储 小文件访问性能优化II华中科技大学博士学位论文AbstractNowadays the rapid growth of internet applications and data volumes is pressuringstoragesystemstowardaservice-orientedparadigm, inwhichnumerouscustomerssharestorageresourcestobringdownthecostofmanaginganddeployingstoragesystems.Withs
11、uchaconsolidationofstorageresources,customerspurchasestorageservicebasedontheamountofstoragespaceandperformanceofaccessingtheirdata. However, applicationssharingthisstorageinfrastructureusuallycompeteforstorageresourceandinterferewitheachother,whichmayleadtogreatchallengesofQualityofService(QoS)guar
12、anteesandstorageperformanceoptimization,especiallyincomplicatedapplicationenvironments. Insuchenvironment,applicationsexhibitdiversicationandhighbursty,andstoragesystemsget more complexity and heterogeneity. Therefore, how to allocate storage resource forprovidingQualityofServiceguaranteeswhileenhan
13、cingmeritofdatacentershasattractedsignicantattention.In service-oriented environment, concurrent applications running on shared storagesystemusuallyhasdifferentperformancerequirementandexhibithighbursty. Foradapt-ingsuchenvironment,anovelschedulingframework(Courier)isdesignedtoprovideper-application
14、 performance guarantees and enhance storage performance. Courier logicallyinterleavesafeedback-basedlatencycontrollerandrewardcredit-basedschedulerinne-grainedmanner. ThelatencycontrollerrestrictsI/Oresponsetimeofeachrequestthroughafeedback-basedmechanismandhandlingurgentrequestpreferentially.Whenal
15、lrequestsareexpectedtomeettheirlatencyrequirement,Courierinvoketherewardbudget-basedal-gorithm,whichallowsapplicationsoverdrawtheirfuturecreditsforbursturgentrequestsandrewardswell-behaviorapplicationswithmoresparestorageresourcetoachievehighstorageutilization. Benettingfromcooperationoffeedback-bas
16、edlatencycontrollerandrewardcredit-basedmechanism, Couriercanmeetper-applicationperformancetargetsintermsofboththroughputandlatency,whileyieldabout20%performanceimprovement.ToprovideperformanceisolationwhilemaintaininghighI/Oefciencyforapplica-III华中科技大学博士学位论文tions on Solid State Drive(SSD), a 2-leve
17、l I/O scheduler (FBCQ) is proposed to exploitinternalarchitectureandperformancecharacteristicsofSSD.ThehigherlevelschedulerofFBCQmanagesperformanceofconcurrentapplicationsintermsofservicetimes,anddis-tinguishreadandwriterequestsbasedontheperformancecharacteristicsofSSD.Atthelowerlevel,channel-basedq
18、ueuesaredesignedtoexploittheinherentchannel-levelparal-lelismofSSD.Eachrequestisplacedintocorrespondingchannel-basedqueuebasedonitsphysicaladdress,andthen,channel-basedqueuesdispatchtheiroutstandingrequestssimul-taneously.Withineachchannel-basedqueue,schedulergiveshigherprioritytoreadrequeststhanwri
19、testomitigateread-blocked-by-writeinterferenceandimproveswriteperformancethroughsortingandbundlingwriterequests.Experimentresultsshowthe2-levelscheduleroutperformsotherschedulersatbothaspectsofperformanceisolationandI/Oefciency.State-of-the-artSSDandconventionalharddiskhasbothstrengthsandlimitations
20、inaspectsoflatency,costandcapability. Therefore,thehybridstoragesystemsthatcombineharddiskandSSDcanalleviatelimitationsandexploittheiradvantages. Insuchenviron-ment,concurrentapplicationscompeteforashcacheandinterferewitheachother.Toover-comethisproblem,theQoS-awareashcacheallocation(QoS-FCA)schemei
21、sproposedtomeetlatencytargetsforapplicationswhileimproveperformanceofhybridstoragesystems.Basedontheanalysisofaccessprotocolinashcache,pre-applicationperformancemodelisbuilttodescribetherelationshipbetweenpre-applicationlatencyanditsashcachesize.Thus, the QoS-FCA can allocate ash cache to applicatio
22、ns based on their performancemodelandworkloadcharacteristicdynamically. TheresultsshowthatQoS-FCAisabletoprovidelatencyrequirementforapplicationswhileimprovinghitrateasmuchasabout10%.The popularity of internet applications and scientic computation strongly urgesunderlyingstoragesystemstobecapableofm
23、anagingbillionsofsmalllesandprovidinghigh metadata performance. The analysis of le access protocol has shown that com-munications for metadata access consumes the overwhelming majority of one individualle access. Based on this observation, a delegable metadata service (DMS) is built inclient-sidemem
24、orytoabsorbmetadatarequests.TocooperatewithDMS,mlockisdesignedIV华中科技大学博士学位论文to maintain consistency for le system. In addition, mdush is implemented in DMS togroup multiple metadata updates into a single message and perform metadata updates atbackgroundforhidingmetadataaccesslatency. Whencomparedtoo
25、riginalCappellalesystem,theDMSschemecanyieldmorethan35%performanceimprovementforsmall-leaccesses.Keywords:Storage Quality of Service,I/O Scheduler,Small-leaccessoptimizationPerformance Isolation,Solid State Drive,Data ServiceCenters, Hybrid Storage,V华中科技大学博士学位论文目 录摘要. IAbstract. III1绪论1.1研究背景 (1)1.2
26、面向服务的存储系统. (3)1.3存储服务质量技术研究. (9)1.4论文主要研究内容及组织 (15)2基于信誉激励的多维服务质量保障机制2.1多维服务质量保障的挑战 (19)2.2存储服务质量的相关研究 (21)2.3 Courier调度模型与目标. (26)2.4 Courier调度算法设计. (28)2.5性能测试 (35)2.6本章小结 (41)3面向固态盘的性能隔离研究3.1面向固态盘的性能隔离研究动机 (44)3.2相关调度算法分析. (50)3.3基于性能隔离的固态盘I/O调度设计. (52)3.4实验结果及分析. (57)3.5本章小结 (63)4混合存储系统中固态盘缓存动态分
27、区策略4.1混合存储系统的研究背景与动机 (64)4.2混合存储系统及缓存管理的相关工作. (67)4.3服务质量感知的FlashCache管理策略 (71)4.4系统性能测试及分析. (77)4.5本章小结 (84)VI华中科技大学博士学位论文5面向小文件的存储性能优化方法5.1并行文件系统应用背景. (85)5.2小文件性能优化的相关研究 (87)5.3并行文件系统架构及文件访问协议分析. (89)5.4基于委托的元数据服务策略 (94)5.5性能测试与结果分析.(100)5.6本章小结(106)6全文总结与展望致 谢.(113)参考文献.(115)附录1攻读博士学位期间发表的学术论文目录
28、.(128)附录2攻读博士学位期间申请的发明专利和著作权(130)附录3攻读博士学位期间参与的科研项目.(131)VII华中科技大学博士学位论文1绪论随着信息技术的迅猛发展和日益成熟，基于计算机的应用已经遍及到社会的各行各业，在大力推动了社会生产力发展的同时，也极大地丰富了公众的精神生活并提高了人们的生活质量。与此同时，日新月异的信息技术和与日俱增的互联网应用带来了前所末有的数据量，给存储系统带来了巨大的挑战。据国际数据公司 IDC 的统计数据显示，全球仅在2011年就产生了1.8ZB数据，到 2020年，全球数据总量将预计增长50倍。尽管其中约75%的数据是由个人用户创建的，而数据中心却承担
29、着数据总量中80%的数据存储与管理责任。因此，构建高性能、大容量和低成本的数据中心成为了企业所追求的目标。在经济效益等需求的驱动下，面向服务的数据中心应运而生。数据服务中心将计算机系统资源整合成为统一的存储平台，从而向大量的应用提供泛在的存储服务。在这种存储服务环境下，并发应用因竞争系统资源而相互干扰，因此，如何保证应用的存储服务质量并努力提高存储系统的整体性能将成为一个非常具有挑战性的任务。本章首先介绍了存储服务质量的研究背景与意义，然后概述了面向服务的数据存储技术解决方案的兴起与关键技术、存储服务质量的研究现状，并分析了在复杂应用环境下存储服务质量研究所面临的新挑战，最后总结了本文的主要研
30、究内容及组织结构。1.1研究背景信息技术的深度发展和广泛应用不断地推动计算机系统结构的变革。在数据处理方面，处理器按照摩尔定律，其性能以每十八个月翻一番的速度在迅速发展；在数据传输方面，主干网络的传输速度也按照吉尔德定律以每6个月增加1倍的速度得以提高。处理器和网络的迅猛发展极大地推动了计算机的普及和互联网应用的发展，加速了信息存储数字化的进程，并导致了数据的爆炸式增长。据IDC 对2005年1至2009年全世界产生数据量进行分析，全球数据量以每年 60%的速度在增长，仅在2011年全球就产生了1.8ZB数据，相当于全球每个人每分 钟写1条Twitter 信息，总共写四千多年，到2020年，全
31、世界数据总量将预计增长到40ZB 。数据量的爆炸式增1华中科技大学博士学位论文长促使了数据存储与计算分离，并进而推动了数据中心的发展。在传统的数据存储模式下，企业需要为应用建立专门的数据中心。而部署数据中心，不仅需要采购大量的硬件设备和软件许可证，并安排专门的管理人员维护数据中心，而且需要消耗大量的电力能源以保证数据中心能够提供7*24小时不间断的服务。同时，由于计算机技术的飞速发展，数据中心不得不重新购买大量的新型设备以满足日益增长的用户需求，并升级软件。这也将大大增加数据中心管理员的负担，同时这些新型高性能IT设备通常价格比较昂贵，增加了数据中心的维护成本。特别是对于中小企业而言，维护高性
32、能的数据中心，不仅需要承担着难以忍受的成本，同时也容易导致计算机资源浪费。根据世界著名的咨询机构 GartnerGroup调研分析，存储系统的管理维护成本远远超过系统设备的购置成本。因此，数据中心也面临着从为每个应用部署专用的数据中心开始向面向公共服务的数据中心发展。特别是在互联网应用蓬勃发展的今天，社区网站、搜索引擎、视频游戏和电子商务等应用吸引着大量的用户，并产生了海量的数据，从而进一步促进并加速了存储服务化。谷歌公司利用其技术优势，用多达数万台廉价的服务器构建了大规模的数据中心以向用户提供了GoogleMaps、GoogleDocs、Gmail等服务，这些应用共享底层计算机系统资源。谷歌
33、根据其积累的技术和业务的需求，将上述思想发展为云计算和云存储技术。这种全新的技术和思维为中小企业带来的福音，中小企业可以通过向云存储提供商支付一定费用，就能获得所需的软件和基础设施服务，消除了购买、搭建和维护IT 基础设 施的需要，也无需建立机房和配置系统管理人员，从而有效地减少了企业成本和降低了企业信息化的门槛。美国市场研究公司Gartner在2010年到来之际，根据近些来的 统计数据进行了推测，20% 以上的公司到2012年将不部署自己的数据中心，雇员在工作中更多的使用个人电脑，而公务数据的存储和访问则依赖于租用的存储资源。特别是随着云存储和虚拟化技术的发展，越来越多的企业将依赖于云数据中
34、心以降低企业成本。Gartner调查的数据表明，预计在2016年，全球数据内容的 1/3将被存储在云端，这也意味着有超过3ZB的数据依赖于云存储。云存储的核心思想是存储资源虚拟化，存储平台服务化，使得存储服务成为一项公共的基础设施，允许大量用户和不同的应用共享底层存储设备和资源。通过这种存储资源复用的方式，企业不再需要为每个应用部署专门的存储系统或建立独立2华中科技大学博士学位论文的数据中心，也避免了软硬件维护升级和能源消耗等开销。然而，资源共享是一把双刃剑，在为用户带来巨大的经济效益同时，也导致了应用之间的相互干扰。用户或应用的行为具有自私性，盲目的资源竞争不仅会导致整个存储系统的利用效率低
35、下，同时，也难以保障用户的服务质量需求。因此，在面向服务的环境中，如何为用户提供区分的存储服务质量保障并提高存储系统的资源利用效率是云存储时代中一个至关重要的研究方向。1.2面向服务的存储系统1.2.1数据中心的演变在过去的半个多世纪里，计算机技术的迅猛发展推动着存储系统从服务器的附属设备发展成为支撑信息系统运行的核心设备，数据中心也历经了数据存储中心、数据处理中心、数据应用中心和数据服务中心四大发展阶段，如图1-1所示。图1-1数据中心变革示意图1.2.1.1数据存储中心在1946年，世界第一台电子计算机 “埃尼阿克” 诞 生了，从此开启了人类计算自动化的新时代，与此同时，也顺带开启了与之相
36、适应的数据存储中心。它采用了计数电子管作为存储媒介，电子管的体积庞大，而容量非常低，每个电子管容量为512字节，长达10英寸。“埃尼阿克” 总共采用了 18000只电子管，另外使用3华中科技大学博士学位论文了10000只电容和7000只电阻，体积高达3000立方英尺，占地170平方米。为了应对如此庞大的体积和非常高的成本，第一代数据中心应运而生。第一代数据中心主要是通过集中管理大体积的存储设备，方便电子文档的集中存放和管理。在数据存储中心阶段，也出现了大量的存储介质。比如， IBM在1950年代首次把磁带用作数据存储介质，以替代1万张打孔纸卡。早期用于UNIVAC型计算机上的磁带是金属的，长达
37、365米，非常重，而传输速率约7KB/s。但相对于传统的打孔纸卡和电子管，已经取得了非常大的进步，并且成为了80年代之前最普及的存储设备。在1960年代左右，还发明了LD光盘和软盘，相对于前面的电子管和磁带存储介质，光盘和软盘在体积上取得了巨大的进步，光盘的直径为11.81英寸，而软盘为8英寸。在计算机发展早期，这些存储媒介不仅体积庞大，且只可读，因此，当时数据中心仅仅承担着数据存储和管理功能，属于数据存储中心。1.2.1.2数据处理中心自1971年Intel公司发明了第一 块微处理器，处理器得到了迅速的发展，其性能按照摩尔定律以每十八个月翻一番。与此同时，计算机开始在国防、资源卫星和航空航天
38、等关系国家安全战略和核心部门得到了广泛应用。迫于核武器模拟和弹道轨迹的计算需求，数据中心已由数据存储中心向数据计算中心发展。此时数据中心主要承担着核心计算任务，由专门的人员进行集中维护。由于数据处理和存储能力的有限，且计算机资源比较昂贵，数据处理中心主要是面向单项的应用，且基本上都是面向国防和航空航天等核心应用。在此期间，存储设备也得了非常快速的发展，包括软盘和光盘，体积进一步缩小，只有3.5英寸，且发展成为可读可写的存储介质，可以用于存储大规模计算的中间结果。存储容量也得了显著的提升，3.5英寸的软盘容量高达250MB，约为计算电子管容量的50万倍。1956年诞生的巨型硬盘机在1980年缩小
39、到5.25英寸，在1990年代，IBM利用巨磁阻技术使得磁盘的密度提升了数十倍，并推出了首款 1GB硬盘。1.2.1.3数据应用中心数据应用中心是伴随着互联网应用的发展而诞生的。尽管网络雏形可以追溯到1960年代，但快速发展阶段却在上世纪八九十年代。特别是在九十年代，局域网技术日趋成熟，出现了光纤高速网络和以Internet为代表的互联网。互联网的出现逐4华中科技大学博士学位论文渐改变了人们的工作和生活方式，产生了电子邮件、搜索引擎和电子商务等应用，从而推动了大型企业构建以数据应用为中心的平台以满足人们日益增长的精神生活需求并提高了人们的工作效率。数据中心承担着核心计算和核心业务运营支撑，并提
40、供单向的信息资源服务，此阶段的数据中心也称为“信息中心” 。数据应用中心的兴起也开启了存储与计算分离的新时代。其中，最明显的特征当属存储系统结构的演变，数据存储由原来的以服务器为中心的直接附属存储（DAS）发展成为了附网存储（NAS）和存储区域网（SAN）。DAS 是以服务器为中心，并通过总线（SCSI、 ATA/IDE等）将存储设备连接到服务器上，体系结构比较简单，易于安装管理，但可扩展性差，无法满足日益增长的数据量和访问速度需求。为了弥补DAS的缺陷，以NAS和SAN 为代表的网络存储系统应运而生。NAS 的可扩展性好、价格便宜，但协议开销高、性能差；而SAN采用块访问接口，减少了数据访问
41、开销，但其共享能力有限、价格昂贵。为了利用SAN和NAS 的各自优势并弥补彼此的不足，GarthGibson在1990年代中期提出了对象存储的概念，将文件系统的2数据存储与管理的部分功能移到底层存储设备上，并利用对象存储设备的智能性进行自我管理与优化。因此，对象存储系统同时具有了NAS和SAN 的优点，并广泛应用于科研和企业中。1.2.1.4数据服务中心近年来，数据量的爆炸式增长和互联网应用的蓬勃发展对数据中心的性能、容量、可管理性和成本等方面提出了更高的要求，从而进一步促进并加速了存储服务化，数据中心则相应的演进为数据服务中心。数据服务中心的核心思想在于软件服务化、平台服务化和基础设施服务化
42、，它主要是通过采用集群应用、网格技术或分布式文件系统等技术，将网络中大量各种不同类型的异构存储设备通过系统软件集合起来协同工作，共同为用户提供数据存储和业务访问。相对于传统的数据中心而言，数据服务中心可以减少企业和用户存储设备和软件许可证的采购成本、及数据中心运营和维护成本，通过存储设备复用方式，有效地提高资源利用率。而且，数据服务中心采用虚拟化技术将分布于不同地域的计算机资源进行集中管理和分配，从而可以根据用户的需求合理分配存储资源，并通过这种异地存储方式提高了系统的容灾能力。因此，数据服务中心将不仅仅需要像传统的数据中心一样管理和维护系统资源，5华中科技大学博士学位论文同时需要为应用提供按
43、需服务，并合理运营系统资源确保系统资源价值最大化。数据服务中心不再像传统数据中心一样不计成本地为应用提供其所需要的访问性能和存储容量，而是致力于提高数据中心的IT绩效并保证用户的存储服务质量需求。1.2.2面向服务的存储架构及关键技术面向服务的存储系统主要是通过应用软件方式整合大量系统资源，向用户提供相应的数据存储和访问功能。其系统结构模型可以划分为四层：存储设备层、基3础管理层、应用接口层和应用访问层，如图1-2所示。图1-2云存 储系 统结构模型存储设备层包含着大量的不同类型不同性能存储设备，并通过虚拟化技术屏蔽了设备间差异性。同时，根据应用的访问特征合理地分配存储设备以实现资源价值最大化
44、并为应用提供按需服务。基础管理层通过文件系统管理多个存储设备，并采用副本和容灾技术提高数据的可用性。而应用接口层则负责向种类繁多的应用提供访问接口。从系统模型中可以看到，实现存储服务化的关键技术主要包括如下几个方面：（1）分布式文件系统和集群技术分布式文件系统和集群技术是云存储系统核心的核心，因为存储系统需要采用分布式文件系统和集群技术，将多个设备聚合成一个统一的体系结构，从而为用户提供强大的数据存储和访问能力。因此，文件系统和集群的性能直接影响着用户的最终访问性能和用户体验。（2）存储虚拟化6华中科技大学博士学位论文云存储系统中的存储设备分布在世界不同的地方且数量巨大，这些存储设备来自不同的
45、厂商，有着不同的性能，甚至存储介质也不同。因此，云存储系统采用了存储虚拟化技术，通过对存储设备或存储服务的内部功能进行抽象、隐藏或隔离，使数据存储管理与应用、网络资源的管理相分离，从而实现应用和数据的独立管理。尽管这种虚拟化技术可以实现异构存储设备的统一管理，但是随着存储系统复杂性的不断提高，不同类型的存储资源必将体现出越来越显著的差异性，为降低管理成本而屏蔽这些差异性的传统虚拟化技术反而成为了复杂应用与存储系统之间的一堵墙，应用无法根据资源的特性使用存储，存储也难以结合应用的需要发挥特长。因此云存储系统中虚拟化技术需要根据应用的需求分配合适的存储设备，充分发挥各类型设备的优势，以确保设备资源
46、价值最大化。（3）按需服务存储服务最具代表性的范例就是云存储，根据网络存储工业协会（SNIA）的定义，云存储即“ 按需提供虚 拟化的存储服务” 。在云存 储服务平台上，整合后的存储资源为多个并发应用所共享，不同的应用相互竞争存储资源，从而导致每个应用的性能具有不可预测性，无法保证应用的服务质量。同时，不同的应用具有不同的负载特征和性能需求，企业或用户也为各自应用支付了不同的费用，云存储提供商则应根据用户支付的费用提供按需服务。1.2.3云存储产品及收费谷歌是云计算的先驱者和强有力的实践者，除了拥有庞大的搜索引擎业务，还向用户提供了地图、邮箱种类繁多的应用。它采用了GoogleFileSyste
47、m构建了海量存储平台，向众多应用提供海量数据存储与处理服务。GFS通过分布式文件系统4技术将数据存储分布在多达数百万台廉价的服务器上以满足应用对存储容量、性能和可靠性的需求。上述经验和技术被谷歌进一步发展为云计算和云存储技术。为了满足个人用户对空间租赁的需求，Google于2012年4月推出了GoogleDrive云存储服务。Google利用其自身技术优势，在Google Drive中集成了GoogleDocs，允 许用户进行创建、分享和协作各种类型的文件，方便用户实时处理文档和演示，同时用户可以与任何人共享文件或文件夹，并决定分享对象是否有权对相关文件进行查看、编辑或评论。同时，Google
48、Drive整合了强大的搜索和Gmail等功能以方便用户搜索文件中的文字信息。 GoogleDrive向用户提供15GB 的免费7华中科技大学博士学位论文存储空间，当用户需要将存储空间升级到 100GB 时，每月需要支付4.99美元。为了应对Google 的挑战，微 软和苹果公司也相继结合自己产品的优势，推出了 SkyDrive和iCloud云存储产品，这二款产品也同样按照租 赁空间进行收费。亚马逊（Amazon）是最早提供云存 储服务的公司，其在 2006年推出了简单存储服务（S3,SimpleStorageService）。AmazonS3 是基于软件即服务（ SoftwareaServic
49、e,SaaS）的云存 储服务，主要面向于开发人员，只提供存储服务，而不提供计算服务。应用程序开发人员可以使用它存储数据资产，并在任何地点任何时间都可以访问和存储数据资源；而 Amazon 负责对 IT基础设施的维护和管理。相对于Google，亚马逊 采用了更灵活的 计费方式，采用了存储数据量和云上的输入 /输出数据流量相结合的方式，存储空间按 0.15美元/GB/月计费，上传和下载流量分别按0.1美元/GB和0.17美元/GB进行收费。相对于单纯依靠存储空间收费，这种付费方式更好的反映了用户对存储设备的使用情况及云存储服务提供商的设备维护成本。目前，包括微软、Google在内的云存储提供商，主要是按照存储空间进行收费。然而，这种过于简单的付费方式不能有效的反映服务成本，因为云存储基
