1、网络存储基础教育,第一章 绪论,教学内容,课程说明基本概念存储介质接口技术SCSI技术未来技术展望存储厂商,课程安排,绪论网络存储技术存储磁盘阵列技术磁盘阵列操作和维护备份基础知识备份技术介绍,教学课程,备份恢复原理 备份和恢复软件的使用 高可用性基本概念 主要高可用性技术 双机热备技术 双机热备软件的配置管理,课程安排,磁盘阵列实习备份恢复实习双机热备实习,试验课程,SNIA介绍,SNIAStorage Networking Industry Association全球网络存储工业标准协会SNIA使命确保网络存储成为IT领域高效的、完整的、可信赖的解决方案会员包括几乎所有的存储厂商EMC、H
2、DS、IBM、HP、Brocade、NetApp、ADIC、STK,SNIA存储网络协会 - Storage Networking Industry Association,FCIA光纤通道技术行业协会 - Fibre Channel Industry Association,INCITS信息技术标准国际委员会 - International Committee for Information Technology Standards,组织和标准,SNIAChina 技术中心,使命： 促进网络存储技术的发展 提供完整、可信赖的解决方案,推广标准 测试 培训 会议,课程体系,认证体系,理论课程,
3、实战课程,厂商培训课程,S301网络存储高级技术,BrocadeSAN ED pro,S101FC-SAN 基础,SNCP Level 3,SNCP Level 2,SNCP Level 1,基础,进阶,高级,S310网络存储高级管理,S210网络存储解决方案,S110网络存储市场及产品分析,S201FC-SAN 技术,绪论,数据存储基本概念和术语 存储介质 接口技术 SCSI 技术存储技术发展方向存储厂商,数据存储基本概念和术语,数据和信息数据的单位：位、字、字节、块数据的量级：K、M、G、T、P带宽吞吐量扩展性、冗余性,数据和信息,信息一般认为，信息是人们进行各种活动所需要的知识，使实现世
4、界各种状态的反应 。数据数据是描述信息的符号，符号的形式多种多样，如数值、文本、图形、图像、声音等类型的数据，用来反映不同类型的信息。 数据是信息的载体,数据的单位,位 bit 计算机中所有的数据都是以二进制来表示的，一个二进制代码称为一位，记为bit。位是计算机中最小的信息单位。 字节 Byte在对二进制数据进行存储时，以八位相邻的二进制代码为一个单元存放在一起，称为一个字节，记为Byte。字节是计算机中次小的存储单位。,数据的单位,字符character 在普通的计算用法中，字符是字节（byte）的同义词。块 Block 在磁盘或者磁带设备中，数据存储和检索的基本单位。块是数据识别（通过数
5、据头和块头进行）和数据保护（通过CRC或者ECC校验）的原子化数据单元。单个数据传输序列的单个信息类中的应用数据单元。,数据的量级,容量容量是衡量计算机存储能力常用的一个名词，主要指存储器所能存储信息的字节数。常用的容量单位有B、KB、MB、GB，TB 1KB=210=1024B 1MB=220=1024KB 1GB=230=1024MB 1TB=240=1024GB 1PB=250=1024TB 1EB=260=1024PB ZB YB NB DB,数据传输指标,带宽bandwidth 数据传输能力（data transfer capacity）的同义词。 数据的最大传输率。带宽有时用来表示
6、发送信号的能力（例如SCSI），有时用来表示数据传输（包括协议开销）能力（例如Fibre Channel）。 吞吐量 throughput单位时间内系统能够处理的I/O请求数量。一般以每秒处理的I/O请求数量为单位，此处的I/O请求是一种向存储子系统请求执行读或写操作的请求。,数据处理性能,IOPSInput/Output Per Second每秒钟可处理的输入-读/输出-写请求数量数据传输速率iops X spi （spi：sizeper IO），io size增大，或者iops增大，均会影响传输速率,存储特性,扩展性 scalability在计算机系统，通过一种方式使系统的发展能保持每个系
7、统之间的独立性和恒量比率。例如，一个存储子系统随着磁盘的增加，总线增加，从而数据传输容量也随之增加，即成为扩展。 冗余性在系统中设计二套或二套以上的完成同一给定任务的设备的技术 。硬件部件、数据、系统架构,存储介质之硬盘,磁盘的结构组成及工作原理道、扇区和柱面磁盘缓存磁盘性能,存储介质之硬盘,特点存储量大速度最快在线数据随机读写,存储介质之硬盘,硬盘结构1或多个盘片Platter主轴spindle磁盘臂arm磁头head电机mortor,存储介质之硬盘,硬盘结构示意图,存储介质之硬盘,盘片数据结构磁道Track扇区Sector磁盘I/O的最基本单位,存储介质之硬盘,柱面所有盘面中处于同一纵向位
8、置上的所有磁道组成一个柱面数据在同一个柱面上 的好处是减少磁头的运动加快数据传输速率,存储介质之硬盘,硬盘容量计算磁道容量磁道的扇区数每个扇区的字节数柱面容量柱面的磁道数每个磁道的容量硬盘容量柱面数每个柱面的容量 硬盘容量柱面数Cylinders 磁头数Heads 扇区数Sector 扇区字节数,存储介质之硬盘,扇区I/O 过程,1、硬盘控制器确定要读写哪些扇区,2、将磁头定位到扇区所在的磁道,3、等待第一个扇区的开始部分旋转到磁头位置,4、一边旋转盘片，一边读取数据,存储介质之硬盘,寻道时间seek time： 磁头移动定位到指定磁道所需要的时间旋转延迟时间latency： 等待指定扇区从磁
9、头下旋转经过的时间数据传输时间data transfer time： 数据在磁盘与内存之间的实际传输时间 seek time和latency是数据读取的瓶颈,存储介质之硬盘,信息应用通常分为两类:块(Block)，一般为数据库应用文件系统(File System），如Mail /Web /AV /Files等,存储介质之硬盘,基于文件系统(File System）的应用特点：每次访问数据量在几十KB到几十MB文件系统的I/O响应能力 I/O的吞吐能力（带宽）方便接入和访问，信息共享统一管理和规划,存储介质之硬盘,基于块(Block)数据的应用特点：每次访问的数据为几十字节到KB访问频繁, 每秒
10、可达几百万次I/O 事务处理能力（IOPS）数据库模块间数据的协同统一管理和规划,磁带和光盘技术,磁带的结构和工作原理光盘的结构和工作原理,存储介质之光盘,CD I/O 原理D120mm，厚度1.2mm四层（由里到外）Polycarbonate Plastic、Aluminum、Acrylic、Lable数据track是一条由里向外旋转的螺旋线（长度达3.5miles）分布通过激光传感器读取track上数据Bumps（0） 和 Flats （1）,CD-R（CD-Recordable）读写原理光感原理一次性写CD-RW（CD-Rewritable）读写原理相变原理反复读写,存储介质之光盘,存储
11、介质之光盘,光盘容量大，速度快，价格便宜，但一般不可写可读写光盘驱动器价格贵，写过程很麻烦光盘的空间结构与磁盘类似便于存储,主流光盘格式,CD系列 CD-R、CD-MO DVD系列DVD-R、DVD-RAM、DVD-RW 红光、蓝光,存储介质之磁带,磁带机 Tape driver读写磁带数据的设备磁带库Tape Library和自动加载磁带库Autoloader通过机械臂自动控制磁带插入和取出的动作特点采用覆盖有磁性记录材料的聚酯胶带介质，长度达几百米顺序读取主要用于离线数据存储和备份,存储介质之磁带,磁带机的两种主流技术螺旋扫描技术 Helical Scan 起源于VCR录相技术线性记录技术
12、 Linear/Longitudinal Recording起源于录音技术,存储介质之磁带,Helical Scan 螺旋扫描磁道在磁带长度方向上倾斜排列磁带单向运动磁带速度慢、拉伸力低数据记录密度、利用率高read while write verify主要类别8mm Mammoth4mm DDS3 & DDS4 DAT,存储介质之磁带,Linear Recording 线性记录多条磁道延磁带长度方向平行排列系统结构简单磁带双向运动磁带速度块、拉伸力高数据记录密度、利用率低read while write verify三种主要格式digital linear tape (DLT)linear
13、tape-open (LTO) single linear recording (SLR),存储介质之磁带,存储介质之磁带,磁带的特性速度容量成本耐久度连接拓扑结构自动加载功能,存储介质小结,容量大，断电后仍可保存信息，速度较慢，成本较低由两部分组成：驱动部分+存储介质存储介质种类很多外存空间组织与地址 与存取方式非常复杂I/O过程非常复杂,接口技术,综述ATASCSIFCSATASASinfiniband,接口技术（续）,综述interface 不同设备、功能层之间的通信规则称为接口。硬件接口的种类繁多数据接口、通信接口、软件接口、管理接口,接口技术（续）,ATA通常所指的是PATA，设计该
14、接口的目的就是为了将1984 年制造的 AT 计算机中的总线直接与结合在一起的驱动器和控制器相连。ATA 中的“AT” 就来源于首次使用ISA 总线的 AT 计算机。ATA 从最早的ATA-1 （IDE）开始，已经经历了从ATA-1 、ATA-2、ATA-3 、Ultra ATA 、Ultra ATA/33 、Ultra ATA/66、Ultra ATA/100 、Ultra ATA/133 的发展历程。,接口技术（续）,SCSI就是Small Computer System Interface （小型计算机系统接口），它最早研制于1979 ，是为小型机研制出的一种接口技术，但随着电脑技术的发
15、展，现在它被完全移植到了普通PC 上。,HD68,接口技术（续）,FC 光纤接口其采用串行传输技术，实际采用SCSI协议。最大10公里连接距离(通过扩展器可连接上千公里,适于灾难恢复应用)光纤接口分为光口及铜口两种。其中铜口主要使用HSSDC及HSSDC2标准接口。光口使用SFP连接。分为短波及长波及增强型长波三种。其中短波（SC）连接距离为300m，长波（LC）为10km，增强型为80km,接口技术（续）,SATA,串行连接接口。现主要使用SATA 2标准，传输速度300MB/S相比IDE硬盘速度块线缆连接距离更长（1米）点对点式设计。SATAII标准进一步提高SATA的性能。新制定了以下标
16、准将传输速度提高到3Gbps硬盘采用NCQ技术支持硬盘背板互联,接口技术（续）,SAS,串行连接SCSI接口。新一代硬盘接口标准。电器规格与SATA兼容。线缆连接可达8米宽链路：两个设备之间可建立14链路。实现更高带宽。如FC的WWN一样，每个SAS设备有一个独立的地址。交换式架构：通过扩展可实现128X128的点对点交换式连接,什么是InfiniBand？,What is InfiniBand Architecture? InfiniBand Architecture is an industry standard, channel-based, switched fabric, inter
17、connect architecture for servers. InfiniBand architecture changes the way servers are built, deployed, and managed. 摘自InfiniBand Trade Association InfiniBand Architecture（体系架构）是一种标准的、为服务器设计的、基于通道技术、交换的fabric（网络）互联体系结构。InfiniBand体系结构彻底改变了服务器的构建、部署和管理方式。,InfiniBand的主要组成部分,HCAHost Channel Adaper主机通道适配器
18、TCATarget Channel Adapter目标通道适配器IB Switch（fabric）InfiniBand 交换机,串行传输技术会逐渐取代并行传输技术。,ATA,SCSI,同时，各种新标准的应用将使传输速率成倍提升。其中包括8G FC、10G FC SATAII及6G SAS。,4G FC,SATA,SAS,8G/10G FC,SCSI技术,SCSI-1、SCSI-2、SCSI-3SCSI的实际应用SCSI的结构和术语SCSI I/O 操作,SCSI发展过程,SCSI1、SCSI2、SCSI3，SCSI标准的发展过程,SCSI1,SCSI2,SCSI3,SCSI的实际应用,SCSI
19、的接口类型高压 5V低压 3.5V常见的接口形状HD68VHDCISCSI连接线考虑接口匹配长度限制,HD68,VHDCI,SCSI卡,SCSI通道卡单通道双通道SCSI卡的设置速度设定Ultra、U2、U340、80、160通道检测顺序BIOS Enable,SCSI-并行,并行传输方式最多连接设备数量16个最远传输距离25米最大传输速率10Mbps/秒,SCSI接口类型,高压（HVD ）、低压（LVD）高压5V，低压3-3.5V电压不同，不能混用单端（S/E）、差分（DIFF）信号传输上有所差别、差分能够获得更远的传输距离高压是不可以混用，低压可以混用,SCSI终结,SCSI 终结一个看似
20、合理的双机结构图当前所有通路都已终结，所有连接设备工作正常,SCSI终结,SCSI 终结如果一台主机出现故障，必须移除或更换时本身作为终结的SCSI卡被撤走，终结失效整个SCSI连接失效,终结失效,SCSI终结,合理的SCSI 终结设计在SCSI通道两端添加终结器即使服务器移除，不会影响系统终结,SCSI技术,主要目标SCSI的词汇定义基本原理典型并行Parallel SCSI的种类及其特点注：SCSI：small computer system interface,SCSI 词汇定义,Initiator: A SCSI device that requests an operation to
21、 be performed by another SCSI device.Host Adapter: A Controller Board that translates host I/O requests into SCSI requests.Target: A SCSI device that performs an operation as requested by an initiator.Logical Unit: A Physical or Virtual device addressable through a target.LUN: Logical Unit Number. A
22、n encoded three-bit identifier for the logical unit.Parallel: Data bits are sent in parallel over a series of parallel wires,SCSI 词汇定义,SCSI Device: A Host Adapter or Intelligent Peripheral which can be attached to a SCSI bus.SCSI Address: The hex representation (0-7 or 0-F) of the unique address ass
23、igned to a SCSI device.Connect: The function which occurs when an initiator selects a target to begin an operation.Disconnect: The function which occurs when a target releases control of the SCSI bus, allowing it to go Bus Free.Reconnect: The function which occurs when a targets selects an initiator
24、 to continue an operation after a disconnect.,SCSI 编址,SCSI IDNarrow 8位和Wide 16位Narrow：0-7共8个ID；Wide：0-15共16个IDID优先级7 6 5 4 3 2 1 0 15 14 13 12 11 10 9 8优先级依次递减主机一般占用ID 7，ID不可以冲突LUN Logical Unit Number (only for target)每个SCSI ID可以有8个LUN分配给其子设备SCSI编码地址：Initiator-Target-LUN,SCSI 拓扑,单个Initiator、单个Target
25、,Initiator,SCSI Bus,LUN0,LUN1,LUN2,Target,SCSI 拓扑,单个Initiator，多个Target,Initiator 7,SCSI Bus,Target 1,Target n,Target 0,SCSI Bus Terminator,菊花链Daisy-Chain,SCSI 拓扑,多个Initiator，多个Target,Initiator 7,SCSI Bus,Target 1,Target n,Target 0,Initiator 6,各种SCSI支持的总线长度和传输速度,SCSI技术小结,本节主要学到以下内容SCSI的基本定义SCSI的编址方式S
26、CSI的拓扑SCSI的总线分类,存储技术发展方向,数据生命周期管理容灾技术虚拟化技术重复数据删除技术绿色存储统一管理 SMI,数据生命周期管理 ILMInformation Lifecycle Management (ILM)ILM目前正面临着三方面的变革，即控制、法规遵从及连续性。ILM对数据的控制要走出数据中心，扩展到桌面、移动设备等，实现端到端的数据管理；信息归档和检索的速度要提高，信息应该随手可得；数据保护的措施需要全面增强。,容灾技术,虚拟化技术虚拟化是一个广义的术语，在计算机方面通常是指计算元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量，简化软件的重新配置过
27、程。 存储虚拟化的实现方式通常分为三种：交换架构虚拟化，磁盘阵列虚拟化，以及整合到应用设备内的虚拟化。,重复数据删除技术核心理念就是：在存储数据时检查和比较已存在的数据，如果它们是相同的，那么就过滤掉这部分数据的备份，然后通过指针引用已存在的数据。,绿色存储绿色存储技术是指从环保节能的角度出发设计生产的能效更佳的存储产品，降低数据存储设备的功耗，提高存储设备每瓦性能。存储存储技术的核心是设计运行温度更低的处理器和更有效率的系统，生产更低能耗的存储系统或组件，降低产品所产生的电子碳化合物。 ROHS 、MAID 存储、重复数据删除、虚拟化技术、数据压缩,SMI-S 介绍Storage Management Interface Specification ，存储管理接口标准 在存储网络中的存储设备和管理软件之间提供标准化的通信方式，从而使存储管理实现厂商无关性（Vendor-Neutral），提高管理效率、降低管理成本，从而促进存储网络的发展。 SMI-S的核心技术CIM/WBEM,存储产品分类,存储连接件,存储网络交换设备,磁盘,磁带,存储控制器,存储主机板卡,网络存储产品概述,磁盘存储子系统,磁带机和磁带库,存储设备管理软件,存储应用软件,NAS,存储厂商,硬件厂商,存储厂商,软件厂商,BrightStor,
