1、网络存储和虚拟化技术技术交流会,Alvin Kho | 许良谋2009年2月,为什么在这里讨论存储问题?,2,业务需求更多的数据!,烦恼的IT 经理人,数据量总在不断的增长如何提高存储效率减少管理和系统的复杂程度“太多的存储管理工作需要非正常工作时间进行没有时间完成更重要的项目”,CEO/CFO“减少费用!,企业IT部门面临的挑战,IT部门的最佳解决方法,“整合策略”整合 = 改善操作更有效的利用资源减少licensing/硬件/电力消耗的费用支出更少的管理点物理空间占用的减少环保减排整合 = 资源虚拟化的必要前奏,3,二十一世纪业务 ROI 推动能力：两大节约开流的妙计,4,存储大整合SAN
2、 ROI,主机大整合VIRTUALIZATION ROI,Cost per megabyte of user data, based on a 3-Year total cost of ownershipSource: McKinsey & Company, Merrill Lynch June 19, 2001,“Virtualization will save us $60M in OpEx and CapEx through 2010.”A large VMware enterprise customer,$ cost per megabyte of user data,Source:
3、Market Research Survey, 2006 and 2007,90% run in production,43% are standardizing on VMware,66% are using VM management products,$0.84,$0.38,5,两大妙计加在一起：真的节省吗？现实上对IT 经理人的影响,Application,网络存储管理,I/O Driver,Virtualizer,NIC/HBA,Path Management,Virtualizer,Network,Zone Management,LUN Management,Port,LUN Ma
4、sking,Network,极端的高维护费 (耗费中心),需要简化IT,网络存储赋予主机虚拟化基础SAN + Virtualization = ?,两妙计在一起：设计和现实应用的极大区别,原来无瓶颈设计,动态虚拟机的流动性(VMOTION)造成固态存储IO失去平衡，延伸出性能瓶颈问题!,物理主机: 4:1整合,物理主机: 4:1整合,物理主机,虚拟机,存储端口,初衷SAN的设计,#1,#2,#3,#4,#5,#6,#7,#8,虚拟机用的卷,SAN,2,2,2,2,6,动态的前端新体制,静态的后端固化结构(传统的存储系统),执行新技术前的考虑不要忽略所有新技术在解决旧问题时。它也带来新的问题。,
5、7,对等技术，动态思维自动优化带领成熟技术发展,当前IT技术宏观发展趋势,8,80s,90s,21st世纪,网络技术,数据库技术,主机技术,存储技术,并行技术, 动态网格计算节点(横向扩展)有限网络地址扩展,集群发展,平行联系(自动优化性能)简单查询固态性能,对等主机虚拟化发展(动态配置)单一操作系统,网络存储(SAN)直联存储(DAS),滞留于固态的主从式技术,未来发展方向探索新存储技术?,未来发展方向返回主机内置?,现今网络存储SAN技术的解析,SAN的优点 ,能接受任何数据容量(大型，中型，小型)IO带宽的不断提升(1G, 2G, 4G, 8G)稳定的存储解决方案广泛的应用,SAN的困扰
6、 ,固态容量增大, 性能没有提升 (垂直扩展模式,有限扩展能力)带宽增加, 但IOPS没有相对的增加 (固态性能表现)容错和负载均要通过复杂管理一切仍然以硬性磁盘结构为中心 (主机绝对控制权, 存储为随从, 静态配置),9,典型的刚性系统当今SAN 1.0技术,RAID 条带 (仅一单元),RAID 条带 (仅一单元),网络通信,虚拟主机,操作系统,文件系统统,SAN1.0当前的困局技术规范以硬性设备为导向，无法动态地去优化,10,应用软件,高速网络,主机,存储阵列,缓存块,缓存条带,缓存页,缓存块,缓存片,RAID 条带 (仅一单元),I/O层需要额外设置来配合应用的优化使用 选择RAID类
7、型 决定RAID条带大小,各自独立控制的缓冲区,如何选择正确RAID大小来匹配?! 选择无从根据，仅可希望不要选择太错的RAID条带配置。,或 用多类型RAID设置来达到多参数优化效果，但产生隔离的RAID孤岛，孤岛之间不能动态分配 (有悖于存储整合的初衷),RAID 类型,RAID 类型,RAID 类型,带宽快慢解决不了问题,传统的阵列和存储网络同属静态体系结构，无法轻松自动匹配前端日新月异的动态虚拟主机的流动性，固定路径和静态配置导致IO失去平衡，延伸出性能瓶颈问题。,11,SAN1.0存储规范的局限性数据资源固定在所属磁盘组合阵列，狮头石身!,带宽快慢解决不了问题,“独立阵列” 管理模型
8、,“独立阵列” 管理模型,“独立阵列” 管理模型,SAN1.0的困局自身技术素质缺乏灵活性，任何存储协议都受影响,12,SAN1.0的困局 鱼与熊掌不能兼得?,13,用户要求无法得到平衡, 被迫二选一!伤害的总是企业的敏捷性和业务持续能力,虽有很强保护能力 但却. 降低IO性能表现,虽有很快恢复能力 代价往往是. 停应用下才可使用,没有高管理水平就不要空想. 使用高级存储系统,唯有放大应用实际存储空间需求不然会导致. 扩容的痛苦,1,探索新一代SAN存储技术需求及发展空间,14,2,.0,参考（一）基础通用网络战争(FABRIC WARS) 物理层和协议层最终胜利者,15,IBM Token
9、RingInitially (1985) ran at 4 Mbit/s, in 1989 introduced 16 Mbit/s,FDDIThe primary ring offers up to 100 Mbit/s capacity,Ethernet,10 Mbits/s,100 Mbits/s,TCP/IP,Novells IPX/SPX,OSI,DHCP, HTTP, VPN, IPSec, IPv6,1,000 Mbits/s,参考（一）应用网络竞争和趋势,16,存储应用网络,基础通用网络,服务器联系网络,光纤通道 (1G, 2G, 4G, 8G),InfiniBand,Ethe
10、rnet1G, 10G 未来的100G,FCoE,2010,Unified Fabric,以Ethernet为统一网络目标,参考（二） 中国 - 大型规模的铁路工业发展,刚性系统：传统火车,柔性系统：动车组,17,把动力装置分散安装在每节车厢上，使其既具有牵引力，又可以载客，这样的客车车辆便叫做动车。动车组就是几节自带动力的车辆加几节不带动力的车辆编成一组,单一动力车头装置，车厢节数量增加，速度减缓放慢,参考（三）工业技术发展的实例：语音系统,刚性系统(50年代人工电话交换系统),柔性系统(现代程控电话交换系统),18,彻底自动化高韧性(避免人为错误),类似现今SAN 1.0的硬性配置(高度依
11、赖手工配置),参考（四）虚拟化技术的发展趋势,19,趋势: 使用标准内嵌虚拟化来减少对应用性能的开销和冲击,减低维修时间带来的影响,增加动态的负载平衡和巩固数据保护能力,虚拟技术深度越大，越能提供更完整的自动化效果,参考（五） 传统存储的价值观点,20,外挂式存储阵列,第一价值,容量,第二价值,高性能,高带宽,1,2,但是，万一数据丢失! 无论原来存储容量/性能有多好多强，一切都意味不大了。,贯彻到底的方便性和在线性高ROI/TCO业务持续性数据保护平台,超强的数据保护能力而不影响性能硬实力保证磁盘和RAID正常使用,SAN 2.0推荐的存储价值观,21,容量,高性能,高带宽,1,2,容量虚拟
12、化,（动态自动追加, 全掌控空间分配）,云存储,（动态横向扩展, , 多变一基制）,（存储大整合, 一变多基制）,（静态, 限制型追加/缩减空间分配）,3,4,什么技术可以称之为SAN2.0?采用Unified Fabric为存储发展方向对等存储结构，网络和存储具有相等的控制权，可相互动态调配多IO引擎高灵活性，自我学习来提高适应性导入虚拟化技术来实现自我优化效果,新一代的存储技术发展,22,SAN 2.0规范的核心技术要点以客户实际应用为导向,23,SAN 1.0 和 SAN 2.0 的对照,24,SAN 1.0 技术只有强调容量,SAN 2.0 技术容量和动态性能兼有,SAN2.0存储技术
13、存在吗?,T11的FCOE标准,FC与以太网 “混血”的FCoE 是答案吗?(还在初步制定)仍然依赖于FC 的零路由协议构思(静态路径)仍然依赖于固定配置存储设备之间主从式技术,IEFT的ISCSI标准,iSCSI是答案吗?不一定传统的主控盘柜+扩展盘柜iSCSI框架仍然是不合适的需要脱胎换骨的新实施,25,DELL 2008年的存储发展投资重点,26,戴尔存储发展,以存储领先地位引导SAN2.0理念发展趋势,以成熟开放的Ethernet技术推进Unified Fabric目标，继续化繁为简 - Simplify IT,收购EqualLogic对等存储技术配合SAN2.0指标,以全面虚拟化技术
14、为客户提供完整的解决方案,DELL #1,27,根据Gartner的报告:Dell captured a leading 20.4 percent of the open systems (Windows/Linux) external worldwide disk array storage marketDell gained share in iSCSI-based SANs to take the number one position with more than twice the revenue of the next leading vendor(Gartner, Inc. Qu
15、arterly Statistics: Disk Array Storage, All Regions, All Countries by Robin Burke et al., June 6, 2008),开放系统外部存储全球第一,2,Dell EqualLogic 将显著改善用户的存储体验,通过提供动态虚拟存储解决方案，帮助IT组织以合理的成本实时应对不断变化的业务需求,TM,28,美国中级存储阵列获得“最优品质大奖,英国存储大奖评选中荣获年度最佳SAN产品奖,网络计算iSCSI阵列获胜者,年度技术奖,年度技术奖,荣获存储管道编辑选择最佳奖,编辑最佳选择奖,优秀奖获得者,颁发的产品突破创新
16、奖,产品优秀奖获得者,2008年度IP SAN技术领先品牌,2008年初，Dell对存储方案提供商EqualLogic的收购，使得其真正站在了存储的领头羊位置上。Equallogic在存储方面的能力为Dell带来了很多实惠。PS5000的集群扩展模式可以使得其在扩充容量的同时大大提高性能。同时，控制器端自动负载均衡的功能有效解决了前端和后端数据加载不平衡的问题。此外，多样化的应用支持也使得PS5000的性价比非常突出。尽管Dell在存储的积累上没有其它厂商那样深厚，不过其在性能和价格上的冲击力显然已经对这个市场上其它的制造商产生了威胁。Dell在存储市场上已经取得了巨大的成功，实际上暗流汹涌的
17、市场平添了一抹亮色。,中国媒体对DELL的评论,30,(2009年2月),31,Dell EqualLogic中国案例分享,32,Dell EqualLogic全球案例分享,金融政府xSP教育制造业医疗法律媒体零售建筑业HPCC,绝对不平凡的客户满意度,“Would you recommend an EqualLogic product to others?”,Source: Yankee Group, “EqualLogic Customer Satisfaction Survey”, July 2008, * Average of Surveys 1-4,Yes*,接近98%的Dell E
18、qualLogic客户顾意推荐PS5000给于其它客户和再购买!,“当我们需要建立网络存储给虚拟主机，我们选择了EqualLogic方案因为它是一个强健的和简单的平台。它的I/O 性能强大得难以置信的，我们有61个虚拟机同时上线！并且仍然非常流畅的！”-Don Plowman, 高级网络管理员,33,自我学习自我管理自我优化（绝对灵活，高性能的数据保护平台),Dell EqualLogic 新一代存储技术,34,34,一个全动态存储架构,35,传统的存储InteroperabilityOperating system to driver/FW revision matrixOperating
19、system to management SW revision matrixHost Software purchase and installationDetails, Details, DetailsDisk SpeedsController DetailsInternal controller balancing, LUN maskingSpindle balancingFeatures availability and license countsRAID levelsPerformance vs. availability implicationsSparing rulesNetw
20、orkZoning, Port loadingSwitch management and monitoringWorkload NeedsCapacity needsAvailability & backup needsIO sizes & patternsWhat part of workload is on which type of RAIDInteraction with other workloads (sharing) on SANWorkload mapping to network links on storage arraysWorkloads across array co
21、ntrollers,PS SERIES 的亮点: 简化IT, 简化存储,简化存储任何IT管理员,复杂，需要巨大的人力物力类似管理大型机的熟练专业管理者技能,Dell EqualLogic PS Series智能虚拟化存储 网络安装 安排工作量和容量,需要的知识和技能,DELL Equallogic PS Series:组合最佳的向上扩展和向外扩展,36,逻辑层,物理层,虚拟层,统一的企业级 IP SAN单一“组”单个 TCP/IP 地址相同的管理,动态扩展： 存储容量 内存/缓冲 网络带宽 处理能力,向外扩展无需担心基于框架的存储扩展的瓶颈,对服务器全透明的虚拟存储 (不需要安装任何额外软件)
22、,全自动 自优化 自我监控,卷,成员,组 = IP SAN,具有高可用性和可靠性的 SAN 组件（受保护的 RAID）,Dell EqualLogic PS SERIES存储虚拟化- 强化了前方的主机虚拟技术,当主机虚拟技术解决了前端四大单元(CPU, 内存，网卡，硬盘) 的资源共享， Dell EqualLogic 引进了四个后端虚拟技术来加强效率，以前端+后端来达到全面IT虚拟环境,IP SAN,Path Virtualization(路径虚拟化),Port Virtualization(端口虚拟化),CapacityVirtualization(容量虚拟化),ConsolidationV
23、irtualization(整合虚拟化),37,容量虚拟化的优点：精明的空间使用,38,传统容量,容量虚拟化,3 TB 可用空间,1TB,1TB,1TB,静态配置 =分配后没有空间留下,3 TB 可用空间,系统动态自动追加空间,还有充分空间给其它主机使用,(3 1 1 1 = 0),信用卡概念,39,交换式千兆以太网,数据库主机,Email服务器,NAS服务器,Web/App 服务器,路径虚拟化的优点: 自动网络负载平衡,第一次IO路径安排，自动基于当前的负载，连接在“最符合”的端口当应用在执行中，自动察觉IO超过平衡情况而再一次基于当前的负载，连接在“最合适流量”的端口对主机和应用没有任何影
24、响下做在线端口替换当一台阵列已经无法做端口优化。自动飘移所需数据到另一台阵列， IO路径在对主机和应用没有任何影响下再一次优化到另一台阵列主机连接一直活用的IO路径和数据在线飘移对主机和应用没有任何影响自动匹配当前的网络流量和IO类型来做负载平衡,VIRTUAL SERVERS MEETSVIRTUAL STORAGE,Physical Infrastructure,Virtualized Assets,An Extendable, Scalable, and Resilient Infrastructure for both Servers and Storage,NetworkFabric
25、,41,High availability and Planned downtime,Online expansion of resources,Automatic workloadbalancing,Virtualization Features,VMware,EqualLogic,SERVER VIRTUALIZATION MEETS STORAGE VIRTUALIZATION,Virtual Machines,ESXServer,Virtual Machines,ESXServer,Virtual Machines,ESXServer,Virtual Machines,ESXServe
26、r,iSCSI SAN,SERVERS3 x servers6 x processors48GB RAM,STORAGE2 x PS50004 x SP6 x 1Gb Ethernet4.6TB,SERVERS4 x servers8 x processors64GB RAM,ONLINE EXPANSION OF RESOURCES,STORAGE3 x PS50006 x SP9 x 1Gb Ethernet7TB,43,Automatic workloadbalancing,Online expansion of resources,High availability and plann
27、ed downtime,Virtualization Features,VMware,EqualLogic,SERVER VIRTUALIZATION MEETS STORAGE VIRTUALIZATION,Virtual Machines,ESXServer,Virtual Machines,ESXServer,Virtual Machines,ESXServer,VMwareDRS,EqualLogicAutomatic Load Balancing,iSCSI SAN,AUTOMATIC WORKLOAD BALANCING,45,Automatic workloadbalancing
28、,Online expansion of resources,High availability and planned down time,Virtualization Features,VMware,EqualLogic,SERVER VIRTUALIZATION MEETS STORAGE VIRTUALIZATION,Virtual Machines,ESXServer,Virtual Machines,ESXServer,Virtual Machines,ESXServer,VMwareHA,EqualLogicAuto Replication,iSCSI SAN,HIGH AVAI
29、LABILITY,Virtual Machines,ESXServer,Virtual Machines,ESXServer,Virtual Machines,ESXServer,VMwareMaintenance Mode,iSCSI SAN,EqualLogicEvacuationMode,PLANNED DOWN TIME,48,Automatic workloadbalancing,Online expansion of resources,High availability and planned down time,Virtualization Features,VMware,Eq
30、ualLogic,SERVER VIRTUALIZATION MEETS STORAGE VIRTUALIZATION,Dell EqualLogic向外扩展，线性性能增长技术无需担心存储框架框架扩展的瓶颈,49,Rapid Provisioning, Adaptive/Self Tuning, Seamless Scalability, Superior DR Support,DELL EqualLogic存储虚拟化:强化了前端的主机虚拟技术,EqualLogic后端存储虚拟技术能够将存储结构在线动态变更，自我学习的去匹配动态IO流量，不需要手工配置，停机停应用或格外地打开安全漏洞来补助,V
31、Mware 主机虚拟技术,一变多 (存储虚拟化),多变一 (云存储),DELL EQUALLOGIC虚拟化的最终目标,50,l,Workload,Response Time,Saturation Point,Headroom,“战略式”智能虚拟,Virtual Environments NEEDS Multi-layer Disaster Recovery & Data Protection,Data Center Protection,Physical Infrastructure,Virtual Machines,Application Data,Protected with Auto S
32、napshot Manager (ASM) and PS Series Snapshots,Protected with Auto Snapshot Manager (ASM) VMware Edition,Protected with VMware HA and PS Series Auto Replication + PS Series Enterprise Class End to End Hardware Reliability,Protected with VMware Site Recovery Manager (SRM) and PS Series Auto Replicatio
33、n,Comprehensive Disaster Recovery & Data Protection for Virtual Environments With no Additional license cost,52,Auto-Snapshot Manager/ MicrosoftEdition,Auto-Replication With VMwareSite Recovery Manager,Automated Protection for Windows ApplicationsSQLExchangeProtection for Windows file system,Automat
34、ed DR for the Virtual Data CenterIntegrated with Auto-ReplicationSRM Storage Adapters,Dell EqualLogic PS Series,Enterprise Class iSCSI SAN,Designed for 99.999% Availability,Automated Local Protection for VMware Virtual MachinesSimplifies protectionFast Recovery of Virtual MachinesScalable Snapshots
35、for VMware,Auto-Snapshot Manager/VMware Edition,Dell Confidential Internal Use Only,PROTECTING THE FRONT-END VIRTUALIZATION ASSETS:AUTOMATED, INTEGRATED, AND SCALABLE PROTECTION FOR VIRTUAL MACHINES,Works with Virtual Center to Snapshot the VM and then take PS Series snapshotAllows for scheduling an
36、d automation of protectionWorks with VMwares folder structure for scalabilityAllows for Rollback of VMs for fast recoveryAutomated Rollback of datastore or selective restore of individual VMs,53,VMware Snapshot Mode,VMFS1,VMFS2,ASMVMware Edition,VMware Production Mode,SAN BasedHardware Snapshot,Virt
37、ual Machine 1,Virtual Machine 2,Virtual Machine 1,Virtual Machine 2,High performance, space-efficient online data protectionHypervisor-aware, scalable SAN-based solutionReduced space overhead & enhanced ESX performanceFast recovery of VMs and VMFS DataStoresEasy to navigate GUI with SAN & VMware-cen
38、tric viewsSnapshot policies logically assigned to VM hierarchies,AUTO-SNAPSHOT MANAGER / VMWARE EDITIONBUNDLED DATA PROTECTION WITH EQUALLOGIC PS SERIES SANS,Automated, Consolidated VM Backup and Recovery,“With ASM/VE, I can automate the virtual machine backup process and recover a lot faster with a
39、 simple, integrated feature.” Cody Page, IT DirectorPeterson Sullivan PLLC CPA,PS SERIES AUTO-REPLICATIONSAN REPLICATION AT NO ADDITIONAL COST,Replicate volumes to remote sites over any distanceEasy to configure and set upQuick recovery and availability of data volumesLeverages existing IP network i
40、nfrastructure and expertiseNo impact to application performance Full support for VMware offering Hypervisor aware replication and integration to Virtual Center / SRMAddress varying needs through flexible configurations Multiple recovery points efficiently storedPer-volume replication schedules for v
41、arying service levelsFast failback to primary site by synchronizing block-level deltas 1-way, bi-directional, or many-to-one replication,Any IP NetworkAny Distance,55,Integrated, AUTOMATED DISASTER RECOVERY BASED on SIMPLE, AFFORDABLE REPLICATION,56,在超过一千客户调查中,Dell获得第一(有史最高分数),57,常碰到的问题!,58,“PS Seri
42、es有多快?”,光纤存储真的有想像中那样快吗?,59,存储控制卡,许多存储系统，仅仅有能力达到 100MB/s的速度,要想让磁盘阵列接近网络传输性能, 需要:足够数量的磁盘驱动器以满足I/O总线带宽有效的阵列缓存机制减少延迟的影响,1G, 2G, 4G, 8G,存储,Gigabit Ethernet的高速存储传输,Gigabit Ethernet 的能力:支持端到端的流控制 (flow control)支持更大的数据块 (9,000 bytes) 以使其适合于存储传输在远距离中应用IP SAN, 它无需管理任何协议转换，因而效率更高如要争取更高网络传输速度:选择使用高性能服务器级别的千兆(Gi
43、gE)网卡也可以考虑使用 TOE (TCP Offload Engine) 卡或 HBA (Host Bus Adaptor) 卡: 带来更高的传输性能提高IOPS (the number of I/O requests per second),60,Testing result from: http:/www.scl.ameslab.gov/Publications/Gigabit/tr5126.html,(Megabyte),PS SERIES存储的速度检验,61,IOMeter下的简单测试报告: Microsoft Windows Server 2003 R2 with MPIO Sta
44、ndard Intel Pro 1000 GE network card (2 ports),PS系列架构 虚拟页自动隔离优化体制,存储池,页,归档,SQL,1,2,N,Exchange,交换式千兆以太网,归档,Exchange,SQL,62,PS系列架构 虚拟页自动隔离优化体制,存储池,磁盘,RAID,PS系列阵列1,页,RAID 10、50或5,归档,SQL,1,2,N,Exchange,交换式千兆以太网,归档,Exchange,SQL,3,4,2,4,自动而透明地实现各阵列的负载均衡,63,PS系列架构 虚拟页自动隔离优化体制,存储池,磁盘,RAID,PS系列阵列1,页,RAID 10、
45、50或5,1,2,N,交换式千兆以太网,归档,Exchange,SQL,3,4,2,4,64,管理员可即时监控卷动态位置，可选择全自动优化或手工控制卷分布形势,DELL EQUALLOGIC PS SERIES 性能表现,事实: iSCSI或 FC阵列在实际执行的应用有类似的性能对比向外扩展的 I/O 引擎更能平衡的增长性能和容量,65,在真实世界中证实了线性扩展性,66,IOPS Throughput,# of PS-arrays,在真实世界中证实了线性扩展性 (1+1=2),ESG 校验实验室,Microsoft Exchange,67,微软公司： http:/ (IOPS),存储控制器数
46、量,1,25,60,000IOPS（实际）,1.5 MIOPS（实际）,杰出的性能60,000 IOPS每个阵列每秒 300 MB,EXCHANGE 2007性能领先 EQUALLOGIC能以更少的磁盘支持更多的用户,Users,Disks,68,Data source: Microsoft Corp: http:/ Performance not sustained over time and not sustained as raw capacity utilization increases above the 23% NetApp tested. (NetApp TR3521-3 “Cooking the Numbers“) Additional restrictions apply.,*,*,Fibre,TPC-C test in Microsoft SQL server better response time when we scale,69,Principled technologies performance testing(iSCSI vs FC) EQL vs HP EVA4400,
