1、MSSE培训教材存储硬件架构技术,学习目标,2,CISC、RISC、ASIC存储架构 MacroSAN MS5000硬件架构,名词解释,CISC：Complex Instruction Set Computer，复杂指令集计算机，现在市面常见的是Intel、AMD的产品，比如Intel Xeon RISC：reduced instruction set computer，精简指令集计算机，现在市面常见的是IBM、FreeScale的产品，比如IBM Power6 ASIC：Application Specific Integrated Circuit，专用集成电路，厂家为了某种特定需求而设计的
2、专用电路 IA架构：Intel Architecture，英特尔体系架构，主要是CISC阵营的产品（至强、酷睿、赛扬等），部分产品属于RISC架构（IOP），少数产品（安腾系列）属于CISC和RISC的结合,3,CISC架构存储阵营,CISC：复杂指令集计算机，主要是Intel、AMD的X86处理器，基于Intel架构的又称IA架构,应用：存储中端存储产品的首选，逐步应用于高端产品。 阵营：EMC VNX系列/VMAX系列、IBM V7000系列、 Netapp FAS系列、华赛 S5000T系列等。,性能迅速增强，成本下降明显 已发布针对存储应用的专用芯片,标准化程度高，被广泛接收，应用范围
3、广 厂家的实力强，发展迅速,非针对存储应用，性能不强，成本较高 只被少数存储厂家采用,4,CISC架构控制器设计,Storage Processor,64 bit Architecture,Storage Processor,64 bit Architecture,Fan,x8 CMI,Fan,Fan,Fan,Power Supply,Power Supply,I/O Complex,I/O Complex,FC Module,iSCSI Module,FC Module,FC Module,FC Module,iSCSI Module,FC Module,iSCSI Module,FC Mo
4、dule,FC Module,FC Module,iSCSI Module,2颗Xeon四核处理器(2.33GHz),16GB缓存,EMC CX4-960控制器架构,基于CISC架构(Intel X86)的控制器设计 包括RAID处理在内的所有功能都由X86处理器提供(软RAID)，对处理器性能、缓存算法的要求都较高 需要更高主频或更多数量的处理器，更大的内存，更强调缓存调度算法,PCI-E 1.0技术,5,RISC架构存储阵营,6,RISC：精简指令集计算机，主要是FreeScale、ARM、IBM的产品，比如IBM PowerPC,应用：常见于低端存储产品，较多采用RISC+ASIC混合架
5、构。由于历史原因，部分高端产品还在采用RISC架构。 阵营：IBM DS3000、台湾盘阵厂家(Infortrend、promise等)及其OEM伙伴(同有、浪潮、锐捷等),性能不高，成本较低 主要应用于低端存储领域,标准化程度低，接受范围有限 厂家的实力和投入有限等原因，发展比较缓慢,RISC架构控制器设计,7,采用Power PC 440 ROC 800-MHz 处理器(aka Meteor) 超标量核芯，带有一个1.9x MIPS 倍增器，转换成1.5-GHZ x-scale 执行 XOR 和P+Q,IBM DS3500(LSI Engino 2600)控制器架构,处理器能力弱，整体规格
6、低,ASIC架构存储阵营,8,ASIC：专用集成电路，厂家为了某种特定需求（通常是RAID加速）而设计的专用电路,应用：少数上一代中端产品还在采用，部分中低、低端盘阵还在采用，一般采用ASIC+CISC或者ASIC+RISC架构。 阵营：HDS AMS2000、IBM DS5000（LSI Engino 7900）、Infortrend,性能不高，成本不低，无竞争优势，只有少数上一代产品还在采用,实现复杂，架构封闭，可移植性差 存储厂家的芯片实力远落后于Intel等厂家，发展缓慢,专为存储的RAID处理而设计，能够显著提高RAID处理效率 需要与CISC处理器协同工作,ASIC+CISC混合控
7、制器设计,9,ASIC芯片， RAID处理,Xeon芯片， 管理功能,PCI-E 1.0技术,ASIC芯片， RAID处理,Xeon芯片， 管理功能,PCI-E 1.0技术,ASIC+CSIC混合架构 ASIC：主要承担RAID处理、缓存镜像两部分功能 CSIC：承担系统管理、数据管理、数据保护等功能 应用状况和前景 技术更新缓慢 (1)处理能力有限; (2)支持的内存容量小； (3)不支持PCI-E2.0 可移植性差 (1)技术设计和实现复杂 (2)通用性差，非常封闭,HDS AMS2500控制器架构,IBM DS5000(LSI Engino 7900)控制器架构,8-16GB缓存,4-1
8、6GB缓存,ASIC+CISC混合控制器设计,10,通用 处理器,主机接口,磁盘控制器,RAID处理器 (ASIC),FSB,北桥 (PCI-E Switch),物理内存,物理内存,.,DDRII,缓存镜像,PCIe x8 20Gb,PCIe x16 40Gb,PCIe x8 20Gb,PCIe x8 20Gb,存储控制器,磁盘接口,磁盘接口,8-16个,总线带宽瓶颈传统存储的RAID处理器的对外通道一般是16通道PCIe 1.0(总带宽40Gb)，这是系统的带宽瓶颈。通过北桥或PCIe Switch扩展连接后，只是增加通道数量，不提升带宽。,2-16个,缓存容量小 传统存储受限于ASIC架构
9、、总线带宽、掉电保护措施等原因，缓存容量偏小。,前端带宽远大于后端带宽 传统存储设计，前端接口的数量及带宽，远大于后端接口的数量及带宽，造成后端接口带宽严重不足，导致主机接口的性能无法发挥。,PCIe x8 20Gb,主机接口,主机接口,主机接口,控制器架构设计总结,11,CISC(X86),ASIC,应用,产品,特点,复杂指令集计算机，主要是Intel、AMD的X86处理器 基于Intel架构的又称IA架构,早期无存储专用芯片，性能不强，成本较高 标准化程度高，厂家的实力强，发展迅速 性能迅速增强，成本下降明显,中端存储产品的首选，逐步应用于高端产品 EMC CX4系列(Intel)、Net
10、app FAS系列(AMD),专用集成电路，厂家为了某种特定需求（通常是RAID加速）而设计的专用电路,专为存储的RAID处理而设计，与主处理器一起工作，早期能够显著提高RAID处理效率 实现复杂，架构封闭，可移植性差，发展缓慢,常用于中端存储产品，采用CISC+ASIC混合架构 HDS AMS2000、LSI Engino 7900(IBM DS5000),RISC,精简指令集计算机，主要是FreeScale、ARM、IBM的产品,早期产品速度快、设计简单 由于标准化程度差，厂家的实力和投入有限等原因，发展比较缓慢 性能不高，成本较低,常见于低端存储产品，如Infortrend等低端盘阵 由
11、于历史原因，高端产品大多还在采用RISC架构,Intel新一代处理器：Jasper Forest,12,处理器集成内存控制器，无需通过北桥连接，访问速度更快，访问带宽更高(256Gb/s) 9根内存插槽，最大144GB 支持DDR3，频率800/1066/1333,DDR3 1333 (9*Slot),XOR引擎,16 PCI Express Gen 2,QPI,Jasper Forest 多核处理器,DMI,南桥,IO模块,处理器内部集成RAID硬件加速，无需ASIC,支持16个PCI-E 2.0通道，最大带宽：单向80Gb，双向160Gb 可将8通道用于后端磁盘连接，8通道用于缓存镜像连接
12、,QPI:QuickPath Interconnect，通常用于处理器之间的互连 单向带宽5.87 GT/s(117.4Gb) 可用于连接处理器和前端IO模块,三级处理器内部Cache L1：每核32K数据+32K指令 L2：每核256K，数据、指令共用 LLC：共享8MB，指令、数据共用,PCI-E 2.0总线技术,13,PCI-X：竞争共享总线,PCI Express：点对点传输,串行总线结构 支持点对点传输，每个传输通道独享带宽 信道聚集 有效组合为x1，x2，x4，x8，x16和x32 支持双向传输模式，单信道带宽5Gbps，16信道带宽达到160Gbps,用于控制器的前后端接口、缓存
13、镜像通道的连接,SAS传输技术,SAS技术,3,创新的宽端口技术,2,交换架构,Phy,1,继承SCSI技术的稳定和高可靠性,SCSI技术,4,高扩展性,Phy,Phy,Phy,Phy,Phy,Phy,Phy,四路SAS宽端口,四路SAS宽端口,6Gb*4 SAS,SAS技术,并行,串行,SAS域,最多可接16128个设备 (128*126),14,SAS磁盘技术,15,先进的磁盘接口 继承SCSI的稳定可靠性 全双工、点对点数据传输 3.0/6.0Gbps接口传输速率 双端口冗余备份 多种速率类型 支持15,000/10,000/7,200rpm三种速率 良好的兼容性 SATA磁盘兼容 SS
14、D磁盘的主要接口方式 服务器、存储阵列均可使用,SAS线缆接口,SAS磁盘,磁盘接口,硬盘厂家的路标,16,FC硬盘(3.5寸)已经不再有新的产品型号,10/15K转硬盘全部都是SAS接口,7200K转的2.5寸硬盘是SAS/ SATA接口,7200K转的3.5寸硬盘是SAS/ SATA接口,SSD硬盘以2.5寸SAS为主，保留3.5寸FC,X,SAS在业界的应用,17,EMC： VNX系列（新产品，SAS2.0） IBM：V7000（新产品，SAS2.0） HP： P4000、P6000（EVA下一代） HDS：AMS2000系列（SAS1.0） Netapp: FAS3000/6000（混
15、合架构）,SAS架构,FC架构,低端,中端,高端,包括EMC、IBM、HP、HDS在内的几乎所有厂家的产品（SAS1.0）,HDS：VSP系列（新产品，SAS2.0） IBM：DS8800（新产品，SAS 2.0）,EMC：DMX系列 HDS：USP系列（老产品） IBM：DS8700（老产品）,极少数厂家,EMC： CX4系列（老产品） IBM：DS5000 HP： EVA系列（老产品） Netapp: FAS3000/6000（混合架构）,SSD技术,18,SSD功耗降低近80%，随机访问速度提升数十倍 SSD不需要电池保护，保证提供持续的高性能读写服务,功耗比较,9W,2W,访问时间比较
16、,2-8ms,0.09ms,通过采用写合并、损耗均衡算法、增强型错误校验码(ECC)等技术，MLC的可靠性已经接近于SLC MLC、SLC将同时应用于企业级存储领域,VS,SLC每个单元承受擦写次数是MLC单元的10倍 MLC的芯片颗粒读写速度仅为SLC的1/2-1/3 相同颗粒数量，MLC的容量是SLC的2倍 成本上，MLC远低于SLC,VS,新一代存储硬件技术,19,PCI-E 2.0,最高速的总线带宽技术，单通道带宽5Gb，16通道带宽80Gb,SAS2.0,单端口带宽达到6Gb 四路宽端口带宽达到24Gb,Intel Jasper,首次在CPU内置RAID加速引擎 支持288GB的大容
17、量缓存,SSD,Phy,Phy,Phy,Phy,Phy,Phy,Phy,Phy,四路SAS宽端口,四路SAS宽端口,6Gb*4 SAS,随机访问性能提升100倍 价格大幅降低，容量接近机械硬盘,新一代存储,IBM V7000架构设计(基于Intel Jasper),20,CPU的PCIe x16总线成为性能瓶颈 控制器的核心连接设备是PCIe Switch，其连接了FC主机接口(PCIe x8) 、后端SAS接口(PCIe x8) 、缓存镜像通道(PCIe x8)以及一个扩展槽位(PCIe x8) ，这四部分的总共需要32通道的PCIe的带宽。但是其连接CPU的PCIe总线只有16通道，无法满
18、足要求，这成为了系统的性能瓶颈。,内存容量太小 控制器只有2个内存插槽，最大只能配置8GB内存(单根4GB)，相比接口和总线速率，明显偏小。,Intel平台在存储厂家的应用,21,IBM：新产品采用Intel Jasper V7000：2010年Q4发布的新一代产品，采用Intel Jasper平台，定位于现有中端产品，与DS5000持平 V7000将Intel Jasper的优势限制使用（如果将Intel Jasper平台的优势完全发挥，将完全超越现有DS5000产品）,EMC：Intel的全球顶级合作伙伴 VNX7500：2011年1月发布，是采用Intel Xeon Westmere平台
19、，其已经接近甚至超越其高端入门级产品DMX4-950（VNX7500只有缓存配置偏小） VNX7500如果采用更强的Intel Jasper平台并将其优势完全发挥，将会严重冲击其高端DMX产品,Intel平台在存储厂家的应用（续）,22,华赛S5000T S5000T：2011年Q1发布的新一代产品，采用Intel Nehalem平台(Jasper前一代)，定位于现有中高端产品 华赛 S5000T的其它规格与EMC VNX7500相当，但内存规格高出数倍。,不足之处 不足1：S5000T采用的至强5540处理器，属于Nehalem平台，是Jasper的前一代，无内置RAID加速引擎。 不足2：
20、S5000T的QPI连接用于2颗CPU之间互联，导致整体带宽不够，无法发挥所有端口的性能。,宏杉MS5000架构设计,23,Intel Jasper多核处理器 RAID加速：内置异或引擎，提高RAID效率 QPI连接：CPU通过QPI连接IO模块，带宽超过100Gb 超大容量高速缓存 超大缓存容量：9根内存插槽，最大288GB 内存访问加速：CPU直连内存，提升内存访问效率，带宽达256Gb PCI-E 2.0总线 单通道带宽5.0Gb，前/后端接口及缓存镜像采用PCIe x8，带宽达到40Gb SAS2.0技术 单通道带宽6.0Gb，每控制器两个四通道SAS宽端口，带宽达到48Gb 支持15
21、,000/10,000/7,200rpmSAS磁盘，兼容高性能SSD盘 模块化主机接口 1/10Gb iSCSI、8Gb FC、10Gb FCoE主机接口卡灵活配置,PCIe x8 40Gb,DDRIII内存,DDRIII内存,.,Jasper多核处理器,SAS控制器,SAS Expander,PCIe x8 40Gb,SAS x4 24Gb,南桥,管理GE口,串口,指示灯,按键,SAS接口,SAS接口,SAS x4 24Gb,MS5000 存储控制器,RAID引擎,DMI,9根,缓存镜像,SATA Disk,SAS Disk,SSD Disk,磁盘类型,256Gb,同类产品中最高性能的硬件架
22、构设计！,1Gb iSCSI,10Gb iSCSI,10Gb FCoE,8Gb FC,IO模块(IOH),QPI,IO Slot,IO Slot,PCIe x8 40Gb,100Gb,主机通道,MS5000 ：面向云计算的新一代存储,24,产品定位 中高端存储产品，面向云计算大、中型数据中心的高性能存储平台 产品规格 MS5020：24-72GB缓存，四核四线程处理器 MS5040：48-144GB缓存，四核四线程处理器 MS5080：96-288GB缓存，四核八线程处理器 体系架构 Intel Jasper Forest处理器 PCI-E2.0、SAS2.0技术 1/10GE iSCSI、8Gb FC、FCoE主机接口卡 软件平台 基于ODSP平台，丰富的功能特性，开放的软件接口，支持功能特性定制,MS5000控制器,DSU1516磁盘柜,DSU1525磁盘柜,MS5000整机,THANKS 谢谢,
