1、部 署 云 计算存储 日期： 杭州华三通信技术有限公司 版权所有，未经授权不得使用与传播 了 解 存 储的基本概念 了解FlexStorage 系列存储的硬 件 配 置 和 架构 了解FlexStorage 系列存储的五 大 功 能 掌握FlexStorage 基本配置 课程目标 学习完本课程， 您 应 该能 够 ： 2 引 言 信 息 系 统中的数据是人类“ 最为重要的财富 ” “ 以 计 算为中心”向“ 以数据为中心”发生转变 数 据 存 储、管理方式从以服务器为中心向以网络为中心发 生转变 积 累 的 数据越来越多，呈现“ 爆炸性的增长 ” 孤 立 、 分散、难以管理的海量数据是“ 巨大
2、灾难” 关 键 业 务的数据丢失对企业带来“ 毁灭性打击” 业 务 连 续性、数据共享、数据备份恢复、信息生命周期管 理 等 需 求推动存储技术巨大发展 存 储 基本概 念 FlexStorage 存储概述 FlexStorage 五大功能 FlexStorage 配置规划 目录 4 什么是存储 将 存 储设备 从应用 服务器 中分离 出来， 进行集 中 管理 连 接 各种网 络设备 和存储 设备共 同组成 整个系 统 ， 提 供网络 信息系 统的信 息存取 和共享 服务 5 硬盘结构 主轴马达 (Spindle Motor) 磁头 基座(Base Plate) 磁头停放区 (Parking
3、Zone) 盘片 (Media) 传动部件 接口 6 硬盘外部结 构 电 源 接 口和数据接口 控制电路 板 固定面板 电源接口 数据接口 控制电路板 固定面板 7 硬盘的内部结 构 扇区 1 磁道 n 磁道 0 磁道 8 容量（GB）：硬盘的容量以兆字节（MB ）或千兆字节（GB ）为单位，1GB=1024MB 。但硬盘厂商在标称硬盘容量时通 常取1G=1000MB ，因此我们在BIOS 中或在格式化硬盘时看到 的容量会比厂家的标称值要小。 转速（RPM）：硬盘盘片每分钟转动的圈数。 数据缓冲（MB）：硬盘内部存储和外界接口之间的缓冲器。 平均寻道时间(ms) ：硬盘在盘面上移动读写头至指定
4、磁道寻 找相应目标数据所用的时间，这个时间越短，硬盘的读写速 度也就会越快。目前市场上主流硬盘的平均寻道时间一般在 7ms以下。 平均潜伏时间(ms) ：磁头从到达目标磁道到数据开始传输的 时间，一般在4ms 。 无故障时间(MTBF)：指硬盘从开始运行到出现故障的最长时 间，单位是小时。一般硬盘的MTBF 至少在30000 40000 小时 。 硬盘的主要指 标 和技 术 9 SATA接口硬盘介绍 SATA：Serial ATA (Serial Advanced Technology Att achment ) 串行ATA SATA硬盘采用点对点连接方 式，支持热插拔，即插即用 10 SAS
5、 接口硬盘介绍 SAS(Serial Attached SCSI) 串行连接SCSI SAS是一种点对点、全 双工、双端口的接口 SAS专为满足高性能企 业需求而设计，并且兼 容SATA硬盘，为企业 用户带来前所未有的灵 活性 11 RAID （Redundant Array of Independent Disks ）即独立磁盘冗余阵列， RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而 提高了硬盘的读写性能和数据安全性，根据不同的组合方式可以分为不同 的RAID级别 RAID基本概念定义 计算机发展初期， 大容量硬盘价格 非常高，而需要 存储的数据量越 来越大 容量 性
6、能 CPU运算速度飞 速提高，数据读 写速度不应该成 为计算机系统处 理的瓶颈 信息时代，数据 对企业和个人的 重要性越来越大， 数据存储安全更 需要保障 RAID 可靠性 12 RAID基本概念 条带 分条 条带 硬盘0 硬盘2 硬盘1 硬盘 13 RAID基本概念 校验 异或运算 P=A0 XOR A1 数据A0 和A1 通过异或运算进行奇偶 校验得到校验位P A0值 A1值 P 值 0 0 0 1 0 1 0 1 1 1 1 0 异或 XOR 的校验原理 A1 A0 P 数据盘 数据盘 校验盘 14 RAID基本概念 重建（Rebuild ） 数据盘 A1 A0 P A0 A1 P XO
7、R 故障 数据盘 校验盘 A2 A2 XOR 数据盘 更换 15 RAID基本概念RAID组状态 RAID 组 降级 RAID 组 创建 RAID 组 失效 16 RAID基本概念物理卷和逻 辑 卷 RAID10 RAID5 RAID 由几个硬盘组成 ，从整体上看相当于一个物理卷 在物理卷的基础上可以按照指定容量创建一个或多个逻 辑卷，通过LUN（Logic Unit Number ）来标识 物理卷 物理卷 逻辑卷 逻辑卷 单个物理卷上创建1 个逻辑 卷 单个物理卷上创建2 个逻辑 卷 LUN1 LUN2 LUN 17 RAID逻辑卷 的 形成过程 物理磁盘 逻辑卷 物理卷 （RAID ） L
8、UN1 LUN2 LUN3 分割 18 RAID级别 RAID 0 D H L C G K B F J RAID0即没有容错设 计的条 带硬盘 阵列（Striped Disk Array without Fault Tolerance ），以条带形 式将RAID 组 的数据 均匀分 布在各 个硬盘 中 A B C D E F G H 数据 A E I 优点 极高的读写效率 速度快，由于不存在校 验，所以不占用cpu 资源 部署简单 缺点 无冗余，通常和其他 RAID 级别混合使用 不适合用于关键数据环 境 硬盘 数 19 RAID级别 RAID 1 RAID 1 又称镜像（Mirror），数
9、据同时一致写 到主硬 盘和镜 像硬盘 E D C B A E D C B A A B C D E = 数据 优点 提供了很高的数据安 全性和可用性 100的数据冗余 设计、使用简单 不作校验计算，CPU 占用资源少 缺点 空间利用率只有1/2 相对于单个硬盘，无 法提高写性能 硬盘 数 20 RAID级别 RAID 5 RAID 5有校验的并行数据 传输（Paralleled transfer with parity ） ，数据条带化分布在数据盘中，校验 数据均 匀分布 在各数 据硬盘 上。 P4 A3 A2 A1 A0 B4 P3 B2 B1 B0 C4 C3 P2 C1 C0 D4 D3
10、 D2 P1 D0 E4 E3 E2 E1 P0 A0 B0 C0 D0 A1 B1 C1 E1 A2 B2 D2 校验信息Px分布式存储 数据 优 点 高读取速率，中 等写速率 提供一定程度的 数据安全 缺 点 RAID 组里单块 硬盘的故障，会导 致其他硬盘读写性 能大幅度下降 硬 盘 数 21 RAID组合级别 RAID 10 RAID 10是将镜像和条带进行两级组 合的RAID 级 别，第 一级是 RAID1镜像对，第二 级为RAID 0 A B C D E F G H A A C B B C D D E E F F G G H H 数据 优点 高读取速率 高写速率，较校验 RAID
11、 而言，写开销最小 至多可以容许n个硬盘 同时损坏（2N 个硬盘组 成的RAID10阵列） 缺点 只有1/2的硬盘利用率 硬盘 数 22 RAID硬盘失效处理- 热 备和热 插拔 热备：HotSpare 定义：当冗余的RAID 组中某个硬盘失效时，在不干 扰当前RAID 系统的正常使用的情况下，用RAID 系统 中另外一个正常的备用硬盘自动顶替失效硬盘，及 时保证RAID 系统的冗余性 全局式：备用硬盘为系统中所有的冗余RAID 组共享 专用式：备用硬盘为系统中某一组冗余RAID 组专用 热插拔：HotSwap 定义：在不影响系统正常运转的情况下，用正常的 硬盘物理替换RAID 系统中失效硬
12、盘 关键在于热插拔时电子器件的保护机制 23 热备盘使用 该全局热备盘由系统中两 个RAID 组 共享， 可自动 顶替任 何一个RAID 中的一 个失效 硬盘 磁盘1 磁盘2 磁盘3 全局热备盘 磁盘4 磁盘5 磁盘6 RAID 5 RAID 5 磁盘阵列 热备盘分全局热备盘和专用热备盘: 全局 热备盘 可供多 个RAID 组共 享； 专用热备盘只能被指定RAID 组使用。 24 什么是磁盘阵 列 常见的磁盘阵列组成部分 ： 控制器模块 + 磁盘柜 控制器和磁盘柜一体 磁盘阵列 = 控制器 磁盘扩展柜(JBOD) 磁盘阵列 = + 控制器和磁盘柜分离 25 阵列控制器内 部 结构 前端总线 缓
13、存(Cache) CPU CPU 后端总线 常见控制器内部组件 前端总线 系统缓存 CPU CPU 后端总线 读缓存 写缓存 注：缓存电池、RAID 控制器可选设计 CPU、缓存、接口速率 是决定控制器性能的关 键硬件组件 前端（IP 、FC 口） 控制器缓存(Cache) CPU CPU 后端连接 RAID 磁盘位 整机软硬件一体化 设计 26 网络存储架构-DAS 距离短、扩展性差的弥补DAS（直连附加存储）设备 SCSI 总线的改进，延伸连接距离，但有限，米级。 存储设备独立。 设备不能被其他服务器使用； 容量还是有限，扩展性有限； 设备多时，提高管理复杂度。 27 网络存储架构-NAS
14、 NAS设备网络附加存储 通过IP 网络方式，采用CIFS/NFS 屏蔽文件系统差异。 文件级共享。 距离无限延伸。 实现多服务器间的存储共享 28 网络存储架构-SAN 数据集中； 设备级冗余设计，提高可 靠性； 方便部署数据保护措施。 SAN 存储区域网络 存储设备网络化，有效提高扩展性。 采用FC 或者IP 技术实现存储设备的块级访问，距离不再成为 问题。 存储设备网络化管理，实现共享访问，并提高了管理效率。 能实现RAID 、复制等功能，部署可靠的数据保护措施。 29 存 储协议-iSCSI iSCSI （Internet SCSI ）把SCSI 命令和块状数 据封装在TCP 中在IP
15、 网 络中传输 iSCSI作为SCSI 的传输 层协议，基本出发点是 利用成熟的IP 网络技术 来实现和延伸SAN SCSI应用（文件系统、数据 库 ） SCSI块指令 SCSI流指令 其他SCSI指令 SCSI指令、数据 和 状 态 iSCSI TCP IP 以太网等 iSCSI 协议栈 30 iSCSI 启动器-目标器模 型 启动器（Initiator ） SCSI 层负责生成CDB （命令描述符 块），将CDB 传给iSCSI iSCSI 层负责生成iSCSI PDU（协议数 据单元），并通过IP 网络将PDU 发给 target 目标器（Target ） iSCSI 层收到PDU，将C
16、DB 传给SCSI 层 SCSI 层负责解释CDB 的意义。必要 时发送响应 iSCSI TCP SCSI IP Link iSCSI TCP SCSI IP Link Initiator Target 存 储 基本概 念 FlexStorage 存储概述 FlexStorage 五大功能 FlexStorage 配置规划 目录 32 FlexStorage存储 概述 FlexStorage 存 储 是 专门 为中小 企业设 计的机 架 式IP SAN存储产品 ， 通过全 面的企 业特性 组合帮 助 物 理和虚 拟 环境 降低SAN 成本。 通过建立存储群集和网络RAID ，数据在站点发生故障
17、 期间仍可用 可扩展的性能，无中断式升级 集中的管理控制台 快照、远程拷贝可降低灾难恢复的成本 33 FlexStorage 存 储 产品硬 件参数 产品类 型 SAS 存储 系统 接口 2 个1Gb 以太口 硬盘盘 位 12 热插拔 支持 硬盘容 量 1TB 最 大 存储容 量 12TB 系统管 理 集中化管理控制台CMC 、HP ProLiant 集成Lights-Out 2远程管理 处理器 至强处理器 产品内 存 6GB RAM 散热系 统 冗余风扇 系统支 持 Apple OS X ，Citrix XenServer ，HP-UX ，IBM AIX ，Microsoft Windows
18、 2003 Microsoft Windows 2008，Novell NetWare，Oracle Enterprise Linux ，Red Hat Linux ，SUN Solaris ，SUSE Linux ，VM 34 FlexStorage 存 储 前面板 前面板 编号 名称 描述 1 USB2.0 端口 接各种USB 设 备，如 ：鼠标 、键盘 、U 盘 2 硬盘位 存储介质 3 UID/Switch LED UID 为unit identification light ，用来标识设 备；其他指示灯为电源和 以太网 连接状 态 35 FlexStorage 存 储 后面板 背面板
19、 编号 名称 描述 1 热插拔电源适配器 双电源设计 2 串口 串口调试用 3 VGA端口 直接连接显示器 4 USB 2.0 端口 接各种USB设备， 如：鼠 标、键 盘、U 盘 5 千兆以太网口 两个千兆以太网口 6 iLO 端口 iLO2 接口，可以通过iLO 来管理本台存储 设备 7 六角扳手 用于本机一些部件的拆/ 装 8 PCI-E 扩展卡接口 可以接PCI-E 扩展卡，例如： 万兆以 太网卡 等 9 UID LED UID为unit identification light，用来标识设备 10 DVD/CD ROM 光驱 36 FlexStorage存储内 部 构造 内部 编
20、号 名称 描述 1 PCI-E扩展 槽位 & DVD ROM 安装PCI-E扩展卡， 需要将 这 里打开进行安装；光驱用 来安 装系统、软件等 2 CPU & 内 存 设计为两路CPU，目 前P4500 为1 路CPU ，CPU并行 的 为内 存插槽 3 电源适配 器 电源适配器 4 风扇组 风扇组，可以单独或整体 取出/ 更换 5 硬盘位 硬盘位 存 储 基本概 念 FlexStorage 存储概述 FlexStorage 五大功能 FlexStorage 配置规划 目录 38 FlexStorage五大功 能 存储集群 可扩展的性能和容 量 网络RAID 超越设备本身的 可用性 快照，智能
21、 克 隆 数 据 保 护 ，减少磁带备份 自动精简配置 节约成本，提高容量利用率 本地和远程数据复制 高效备份与容灾 39 FlexStorage存储特 性- 存 储群集 存储集群 整合关键组件 数据经过负载均衡处理 可预测的可扩展性 根据自身情 况 进 行 扩 展 横向扩展存储 不会中断 节约带宽 存储分层 针对数据类型进行优化 在线卷迁移 简单的集中 管 理 一步映射服务器卷 集成的性能管理 SAS SATA 集中管理 控 制 台 40 全面存储保 护 ： 机架 机房 地板 建筑 站点 确保数据在 线 ： 设施故障 自然灾害 站点维护 SAN/iQ 集群 SAN/iQ 多站点SAN A
22、D A D B A B A C B B C C D C D 数据卷保持在线 FlexStorage存储特 性- 存 储群集 多站点SAN 实时防范站点 故障 41 FlexStorage Network Raid Network RAID 与raid区别 raid是在单个存储中创建的， Network RAID必须在群集中创建。 Network RAID是在创建卷时候选择的数据保护级别，而不是直接创建的一种 raid类型。 在群集中使用 Network RAID 群集是一组存储系统，可以通过使用 Network RAID 来跨这些存储系统保护 数据。Network RAID可在存储系统内的 R
23、AID 磁盘组出现故障、整个存储系 统出现故障或者出现网络或电源等方面的外部故障时提供保护。 在群集中将磁 盘 RAID 与 Network RAID 结合使用 由 RAID 10、RAID 5、RAID 50 或 RAID6 提供的冗余可确保存储系统级别 的可用性, 在群集中针对卷使用 Network RAID 可确保群集级别的可用性。 混合 RAID 配置 可以将存储系统与群集中的不同 RAID 配置混合使用。这样可添加具有不同 RAID 级别的新存储系统。但是，一定要计算配置了所需 RAID 级别的其他存 储系统的容量，因为群集将根据每个存储系统的最小可用容量进行操作。 42 FlexS
24、torage Network Raid 说明 群集中的可用存 储系统数 选择其中的任何数据保护级别 数据 1 Network RAID-0 ( 无) 一份数据 2 Network RAID-0 ( 无） 一份数据 Network RAID-10（2 向镜像） 二份数据 3 Network RAID-0 ( 无） 一份数据 Network RAID-10（2 向镜像） 二份数据 Network RAID-10+1 (3 向镜像) 三份数据 Network RAID-5 ( 单奇偶校验) 在三个 存储系 统上对 数据划 分条带 ， 包括单奇偶校验。 至少 4 个 Network RAID-0 (
25、无） 一份数据 Network RAID-10（2 向镜像） 二份数据 Network RAID-10+1 (3 向镜像) 三份数据 Network RAID-10+2 (4 向镜像) 四份数据 Network RAID-5 ( 单奇偶校验) 在四个存储系统上对数据划分 条带，包括单奇偶校验。 43 FlexStorage 如何创建网络raid 新建卷-高级-数据保护级别中选择相应的级别 。 44 FlexStorage SAN/iQ快照 快照（SnapShot）类似于拍照 拍照记录了某时刻的景象，并把该时刻景 象通过某种介质存放起来 同样，快照记录了某时刻设备上的数据状 态，并把这些信息存放
26、在存储介质上 45 FlexStorage 快照技术的核心 快 照 技 术的核心是COFW （Copy On First Write ， 第 一 次写时拷贝） 快 照 是 卷的副本 快 照 仅 仅记录了数据的变化量 快 照 可 防止删除数据，但不能防止设备 或 存 储 介质发生故障。 46 FlexStorage 快照技术原理示 意图 简化的备份和恢复 时间点卷副本 基于计划 功能 卷级别恢复 恢复粒度数据 节约空 间 随时自动精简配置 只改变Delta 不保留快照 1 4 7 10 2 5 8 11 3 6 9 12 9am 10am 11am 写入新 数据块 10:00-10:59 1 4
27、 7 10 2 5 8 11 3 6 9 12 9:00-9:59 1 4 7 10 2 5 8 11 3 6 9 12 写入新 数据块 2 6 7 9 10 2 6 7 9 10 2 6 7 源资源 自动每小时 创建快照 快照资源 数据 存储 块 初始 ( 不包含任何数据) 11:17am 数据被误删除 需要恢复到 10am 时刻的数据! 47 FlexStorage 快照技术原理示 意图 1 4 7 10 2 5 8 11 3 6 9 12 9am 10am 11am 写入新 数据块 10:00-10:59 9:00-9:59 写入新 数据块 1 4 7 10 2 5 8 11 3 6 9
28、 12 2 6 7 2 6 7 9 10 1 4 7 10 2 5 8 11 3 6 9 12 9 10 2 6 7 源资源 自动每小时 创建快照 快照资源 数据 存储 块 初始 ( 不包含任何数据) 1 4 7 10 2 5 8 11 3 6 9 12 9 10 2 6 7 10 9 恢复到10am时刻数据！ 恢复到11am时刻数据！ 简化的备份和恢复 时间点卷副本 基于计划 功能 卷级别恢复 恢复粒度数据 节约空 间 随时自动精简配置 只改变Delta 不保留快照 48 FlexStorage 快照创建 快照创建有两种形式：手动和自动 自动创建方法 49 FlexStorage 快照数据恢
29、复 快照是卷的副本。要访问 快照中 的数据 ，有两 种选 择： 从快照点创建 SmartClone 卷， SmartClone 卷可以瞬时 创建，并且是具有完整功能的可写卷。可将快照作为读取/ 写入卷分配到服务器，并使用 iSCSI 发起程序连接它后可读 取数据。 装入快照以进行备份或数据恢复。可将快照作为读取/ 写 入卷分配到服务器，并使用 iSCSI 发起程序连接它后可读取 数据。 50 FlexStorage 快照数据恢复操 作 1、把快照或者clone 卷分配 给服务 器 2、iscsi 重新连接 3、在服务器磁盘管理里 看到两个磁盘 51 FlexStorage 快照数据恢复操 作
30、把快照卷分配给服务器挂载后，快照 卷状态 显示是 临时空 间 临时空间数据只能读不能写，如果要 写入数 据必须 转换成 正常卷 。 SmartClone分配给服务器 挂载后 ，卷状 态显示 是正常 的卷， 可以读 写数据。 对快照卷转换临时空间可以变成正常 卷 52 FlexStorage SAN/iQ自动精简配置 节约成 本 即时按需购买 仅在写入数据时分配存储空间 无需预留空间 与SmartClones 、Snapshots 和 Remote Copy 集成 推迟购买存储设备 在需要时扩充容量 易于管 理 单键启用/ 禁用每一个卷 完全配置 自动精简配置 写入50 GB 写入50 GB 写
31、入50 GB 写入50 GB 200 GB 卷 200 GB 卷 分配了 200 GB 可用 0 GB 已使用 0 GB 浪费了 200 GB 分配了 0GB 可用 200GB 已使用 0GB 浪费了 0GB 分配了 200 GB 可用 0 GB 已使用 50 GB 浪费了 150 GB 分配了 200 GB 可用 0 GB 已使用 100 GB 浪费了 100 GB 分配了 50GB 可用 150GB 已使用 50GB 浪费了 0GB 分配了 100GB 可用 100GB 已使用 100GB 浪费了 0GB 浪费 可用 53 FlexStorage 复制的基本概念 复 制 的基本 概念 主卷
32、：复制的源数据卷 主快照：主卷的快照 远程卷：复制目标的数据卷 远程快照：主快照复制到远程快照 远程复制可跨地理距离对复制使用现有的卷和快照功能以 创建远程快照。地理距离可以是本地（在相同数据中心 或）、本地区（在相同城市中），也可以是远距离（跨国 家/地区，全球）。 54 FlexStorage 远程复制的工作 原 理 复 制 的 基本原理使用远程复制功能 在生产位置，创建主卷的快照，这称 为主快 照。 在远程位置创建远程卷，然后在远程 卷创建 主快照 的远程 副本。 系统将数据从主快照复制到远程快照 。 55 FlexStorage SAN/iQ 远 程复制 （基于 快照） 异步复制 逐卷
33、复制 计划或手动复制 经过自动精简配置 无需预留空间 增量故障恢复 易于管理 带宽管理 故障切换/ 恢复向导 SAN 1 Vol_1 (Primary) SAN 2 Vol_1 (Remote ) 2:00 1:00 3:00 3:00 2:00 1:00 Vol_1 (Primary ) 基准复制 增量复制 增量复制 恢复 服 务器 存 储 基本概 念 FlexStorage 存储概述 FlexStorage 五大功能 FlexStorage 配置规划 目录 57 P4500 配置规划- 组网 方案 P4500 P4500 交换机：一个 主机：多链路 存储：绑定 交换机：两个（非堆叠） 主机
34、：多链路 存储：绑定 P4500 交换机：两个（堆叠） 主机：多链路 存储：绑定 A1 A2 A3 A4 交换机：一个 主机：单链路： 存储：单链路 P 58 P4500 配置规划- 网络 接口绑 定 P4500网口绑定方式 主动- 被动（Active-Passive)。 链接聚合动态模式(Link Aggregation Dynamic Mode) 自适应负载平衡 (Adaptive Load Balancing) 建议使用ALB模式 59 P4500 配置规划- 管理 组 管理组的功能 管理组是 SAN 的最高管理域。 通常，存储管理 员将在其数据中心中至少 配置一 个管理 组。 包含群集
35、管理器。 在管理组中，一个或多个存储 系统可充当控制数据传输 和复制 的管理 器。 60 P4500 配置规划- 群集 群集是在管理组中创建的一些存储系统组。群集会创建 一个存储池，从中创建卷。卷在群集中无缝地跨越存储 系统。 通 过向群集中添加存储系统可扩展存储池的容量。 群集分为标准群集和Multi-Site群集 创建Multi-Site 群集条件 包含驻留在两个或更多站点中的存储 系统， 最多三 个站点包 含跨 子 网的存储系统 包含多个 VIP。群集可包含单个站点， 如果有 多个 VIP，则它将成 为多站点群集。 61 FlexStorage CMC 简介 Centralized Management Console (CMC） 是LeftHand 系 列 存 储设备的专用控制台软件， 通过CMC可以创建虚拟化的存储资源池并管理 SAN 。 存 储 的 基本感念：硬盘、RAID 、磁盘阵列。 FlexStorage 存储的五大功能：集群、网络raid 、 快 照 、 自动精简、复制。 通过CMC 管理存储。 本章总结杭州华三通信技术有限公司
