1、电子科技大学硕士学位论文SAN存储设备的软/硬件架构设计与实现姓名：李广涛申请学位级别：硕士专业：计算机应用技术指导教师：郝玉洁20090501摘要摘要随着近20年来网络技术的发展，使得数字化信息席卷全球。数字化信息的爆炸式增长，导致数据的存储方式发生变革，发生了服务为中心的存储方式到数据为中心的存储方式的转变。SAN是存储技术的最新发展。SAN是storage areanetwork(存储区域网络)的简称，是一个网络中的网络。这个网络中的网络是数据存放的代表，负责数据的集中管理和存储。为实现SAN的这种数据为中心的存储理念，SAN的存储设备无论从硬件还是软件上，都需要采用一种全新的设计方案。
2、因此，本论文会在软硬件架构上，提出了一种合理的设计方案：1、在存储设备上运行Linux操作系统实现设备的自治功能；2、存储前端采用FC通道技术接入SAN网络，实现与外界的数据通信；3、采用SCSI协议规范通信机制；4、同时在RAID算法的保障下，实现数据的安全存储；5、同时在软件架构当中，设计CACHE模块，实现数据的缓冲写和预读取功能，从软件上提高数据的IO响应。同时，在存储设备的硬件架构上，遵循模块独立化原则，实现硬件的热插拔。关键词：数字化信息，存储区域网络，存储设备，架构设计ABSTRACTWitll the development of network,the digitized i
3、nformation has become more andmore hugeAnd eventually,this trend leads to the storage modelS revolution whichtransforms the servers center to dataS centerSAN is the newest storage modelSAN is a inner network and separated witll application networkAnd it managesthe dataAS the SANS functions that plac
4、e the data in c2nter location,the SANs storageequipment should adopt a sound frame botll in software and hardwareSo，this thesiswill give the following method to build the storage equipment：1Install the Linux OS in the storage device to archieve the self-governmentfunction2Adopt the FC chunnel techno
5、logy to communicate with the SAN3 Stand by the SCSI protocol standardization4 Use the RAID arithmetic that ensures the dataS redundance5Design the CACHE module that provides the cache functionFurthermore，the hardware structure will adopt the modularization principle forplug and playKey words：Digitiz
6、ed information，SAN，Storage equipment，Software and hardwaredesignll独仓IJ性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特另J)JH以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：菱z鎏 日期：加7年石月z日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家
7、有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后应遵守此规定)签名：盔之鹭 导师签名：差P趸：2篓日期：如尸年多月z日第一章引言第一章引言11该研究工作在国民经济中的实用价值与理论意义随着计算机科学的迅速发展，目前，信息存储领域正朝着高速IO通道、集群存储、大容量、高性能、可管理、高可靠性、高可用性和低成本的方向发展。为此，国内外的科研、教育部门和产业界都投入大量的人力和物力进行研究。如今，存储技术已经从单纯的服务为中心的方式向数据
8、为中心的方式进行转变【l】。这种存储模式的改变导致了网络存储技术的高速发展，尤其是基于FC技术的SAN(基于光纤通道的区域存储网络)，在不久的将来，有着巨大的发展空间和诱人的前景。在计算机技术的发展过程中，概括而言，rr技术经历了三个阶段：第一个阶段是以中央处理器为核心，它促进了个人计算机的普及和应用；第二阶段是以网络技术为核心，它满足了人们对信息交流的渴望，使得数字化信息的应用席卷全球。在第二阶段所导致的数字化信息的爆炸式增长的影响下，从而引发了第三个阶段存储技术的发展。因此信息存储系统已成为国内外研究的重点和新的经济增长点。存储技术的发展是以企业的需求为动力，技术变革为前导的一个过程。存储
9、技术从内迁式存储系统为起点，其中经历直接存储系统、联网存储系统、到如今的出现的存储区域网络(SAN)，在不断的一步一步满足大、中型企业的数字化信息存储的需要。存储区域网络(SAN)最终实现了以数据为中心的存储模型，它所具备的优势有：1SAN存储设备不依赖于某个特定的服务器。如果一个服务器出现故障，SAN设备所管理的数据仍可通过其他服务器存取，从而提高了数据的可靠性。2SAN设备可以直接连接到网络上而无需进行复杂的配置，便于SAN设备的扩充和管理，同时也降低了企业成本。3SAN设备具备自治的操作系统，完全独立于应用服务器，这样应用服务器可以采用不同的操作系统，实现SAN设备对不同平台的支持。4
10、SAN设备组建的存储区域网络独立于应用网络，不消耗应用网络的数据电子科技大学硕士学位论文带宽，能更好的提高数据存取的速度和整体性能。12本研究主题范围内国内外已有的文献综述目前，国内外在构建数据存储系统时，要么是利用“应用服务器+应用服务器的存储模型，要么是利用“应用服务器+磁盘阵列“存储模型。这两种模型都是基于数据依赖应用的模型，在数据的爆炸式增长和处理的速度上会出现费用成本越来越高的现象，难以满足人们对低成本高效能的数据管理和性能上的要求。而存储区域网络的出现，可以逆补以上两种模型的不足。SAN网络存储模型已经可以使数据存储设备完全独立于应用服务器，而不再是隶属于应用服务器的一种外围设备，
11、真正实现了以服务为中心的存储方式到以数据为中心的存储方式的转变。因为数据不应该总是被应用服务器所控制和隐藏。相反，数据应该被放置在一个中心位置，使企业的各种应用程序和各个部门都能够快捷并且安全的访问它们。SAN的优势主要体现在四个方面【2】：1、数据共享SAN中所存储的数据可供多个用户互不妨碍的同步使用。SAN是一个独立于应用网络的独立网络，通过高速网络互联设备提供对外接口，允许一组不同平台的应用服务器进行接入并对数据进行访问。这样，SAN不会侵占用户应用网络的有效带宽，从而提供更好的响应速度。2、数据存储媒体的可靠性SAN中的存储设备具备数据管理的能力，而无需应用服务器的介入。随着RAID算
12、法的不断成熟，在采用RAID算法的存储设备上可以对数据提供更高的可靠性，实现数据灾难恢复的功能。3、运行中的可扩展能力SAN允许网络管理员在不关闭应用服务器的情况下对存储容量进行扩充，新的存储设备直接接入到SAN网络中，通过高速网络互联设备接口，为应用服务器提供存储空间。4、远程备份与恢复SAN是一个单独的网络，因此能够便捷地实现数据的自动备份，因为用户的客户机位于另一个网络中，SAN在数据备份期间，不会占用用户网络的网络带宽，所以备份工作不会影响用户对系统的使用。目前，国内外的存储业界在设计一台SAN存储设备时，主要是以解决方案的2第一章引言方式进行实现。根据国内外的相关文献资料，SAN存储
13、设备所涉及到的技术有：l、 Fc通道协议、iSCSI协议是当前SAN存储设备接入SAN网络的两种主要的接口技术；2、 SCSI技术描述的启动器一目标器模型是存储设备与访问服务器之间数据请求一响应的主要工作模式。3、 RAID算法是提供数据冗余、保障数据可靠性的主要手段之一。4、 采用PMC8379芯片构建磁盘阵列是实现数据存储媒介的方式之一。上述这些技术，通过网络资源和查找参考文献，都可以获得详细的技术指标。本论文在这些技术基础之上，通过优化组合，并对目前存储业界的单控工作方式进行改进，实现一种可双控工作的存储设备，以弥补单控工作模式下所潜在的数据安全问题。本论文主要以FC接口技术的SAN设计
14、为主，对iSCSI接口技术的SAN略有提及，以做比较。13论文所要解决的问题本论文在对国内外存储设备性能的综合分析之上，设计一台基于SAN的存储设备，并提出其软硬件架构模型，在软硬件架构模型中解决以下的问题：l、 在软件和硬件整体架构上，实现完全的双控工作模式，提高数据安全、可靠的访问。 ：2、 遵循设备管理和业务处理相独立的原则，实现管理流和业务流的分离，充分保证业务流的流畅性、不间断性。3、 将硬件平台进行合理的规划，实现硬件热插拔功能。4、 在业务模块中引入数据缓冲技术，提高存储设备的IO吞吐率。在对该存储设备的软件和硬件架构进行设计时，都将紧紧围绕着双控冗余这一基本原则、硬件控制与业务
15、控制相独立的思想、数据访问路径多元化、以及RAID级别所实现的数据冗余为特点进行展开。电子科技大学硕士学位论文第二章存储模型的发展近十年来，由于互联网技术及其应用所推动的企业全球化，以及计算机技术多方面的发展，人们对数据存储的需求有了巨大的改变。许多企业不得不重新评价他们现行的数据存储系统，以确保能够满足未来的发展。需求的改变主要表现在三个方面：首先，许多应用系统，如电子商务、图像处理、数据仓库、企业资源规划(El冲)和客户关系管理(CRM)等，对存储系统的容量有巨大的需求；其次，应用系统还要求对数据进行快速有效的存取：最后，需要对数据进行有效的管理。存储区域网络(SAN)恰好能满足这些要求；
16、SAN的设计把数据存储从应用服务器中分离出来并组成独立的网络，这使得提供巨大的存储容量成为可能。SAN采用高速分布式结构，存储容量的增加不会严重影响系统的响应速度。另外，SAN本身作为一个网络系统，可对其进行统一化的增加、删除、备份、恢复等管理。目前，存储模型包括内嵌式存储系统、直接存储系统、联网存储系统以及存储区域网络(SAN)。21内嵌式存储系统简单地说，内嵌式存储系统(embedded storage，ES)就是把存储器件内嵌于服务器中。比如我们熟悉的PC硬盘就是这种模式。其优点是简单易用，缺点是每个服务器只能包含有限数量的存储器件，而且存储容量和存取速度也受到服务器性能的限制。另外，如
17、果服务器出现故障，其内嵌的存储系统也随之变为不可用。这对于对可靠性要求很高的商业应用来说，这是一个致命缺陷【31。22直接存储系统与内嵌式存储系统不同，直接存储系统(direct attached storage,DAS)采用独立的外接式存储设备并通过标准接口技术(如SCSI)与服务器连接。将对存储器的读写操作从应用服务器中分离出来，以及高速接口技术从一定程度上提高了总体存取时间。存储设备可以与多个服务器连接，如果其中一个服务器出现故障，4第二章存储模型的发展仍可通过其他服务器来存取数据，如下图21所示。D图21直接存储系统如图21所示，在DAS结构中，客户端访问共享数据的步骤是：(1)通过网
18、络将请求发至服务器；(2)服务器查询缓冲区，若数据在缓冲区中就经网络适配器发送数据给客户机，否则就将请求翻译成本地数据访问命令，然后发向与服务器相连的存储设备；(3)存储设备在收到命令后将数据拷贝到服务器的系统缓冲区；(4)数据再通过系统缓冲区拷贝到网络适配器的数据缓冲区；(5)数据最后通过网络从服务器发向客户端。互联网以及随之而来的巨大的存储容量需求出现之前，DAS满足了大部分系统的要求。但是，当系统中不断加入新的存储设备以满足日益增长的数据量时，如何对DAS设备进行有效的管理成为令系统管理员头痛的大问题。由于对每个DAS设备的访问只能通过数量非常有限的服务器来进行，当很多用户同时对同一个存
19、储系统进行大量的数据访问时，相应服务器的性能和数据存取时间会受到很大的影响。5电子科技大学硕士学位论文23联网存储系统联网存储系统(network attached storagc,NAS)正是在大家认识到DAS的局限性的情况下应运而生的。NAS把数据看作一种网络资源，并由一种成为NAS设备的专用器件来管理。与DAS相比，其明显区别在于NAS设备是直接连接到网络上，具有自治功能。如图2-2所示。NAS基于现有的网络而构建，具有较高的性能价格比和广泛的支持平台【31。服务器NAS设备1NAS设蕾服务器J图2-2联网存储系统把数据从服务器中分离出来减少了数据管理上的许多问题。NAS设备有自己的专用
20、管理软件，可以实现即插即用，无需复杂的配置。系统管理员可以把NAS存储设备集中布置在同一机房中以便于管理。另外，NAS设备支持多种应用系统平台，如Unix、Windows、Macintosh等。6第二章存储模型的发展实践表明，对于中小型网络，NAS系统的应用效果相当不错。但是，对于大型网络，NAS系统就有点力不从心了。在NAS系统中，存储设备、服务器、客户机三个层面处于同一个网络中，共享网络带宽。服务器与NAS设备以及客户端之间的交互过程和数据传递会消耗大量的网络带宽资源，从而最终降低服务器的响应速度。24存储区域网络存储区域网络(storage area network,SAN)是存储系统模
21、型的最新发展。许多业界专家认为，SAN技术有望解决数据的爆炸性发展所带来的难题。对SAN设备的软硬件架构及其实现的详细讨论是本论文的目的。下图23是一个典型的SAN网络系统结构示意图。在SAN网络系统中，存储设备既不像DAS那样直接连到服务器上，也不是像NAS那样连接到应用网络上，而是所有的存储设备互相连接，形成自己的网络，及存储区域网络SAN。服务器通过SAN对存储设备中的数据进行存取，客户终端不能直接操作数据，这有图2-3存储区域网络助于提高数据的安全性。SAN是一种基于“块的数据访问方式，它是将磁盘阵列、磁带等存储设备与服务器通过高速通道连接起来的数据存储专用子网。本论文主要以光纤通道(
22、fiber channel，FC)技术为主将存储设备接入SAN网络，其原因如下：一方面绕过了传统网络的瓶颈而极大地提高了数据的IO性能；另一方面，将传统的DAS结构中存储设备为某个服务器专用的模式改进为由网络上的所有服务器共享模式，实现了数据的高度共享。将通道技术和网络技术引入存储环境中，提供了一7电子科技大学硕士学位论文种新型的网络存储解决方案，能够同时满足吞吐率、可用性、可靠性、可扩展性和可管理性等方面的要求。SAN的推出真正实现了存储系统的高速共享，并使服务器和存储设备之间的连接方式发生了根本性变革。SAN通常由以下几个部分组成(见图23)：(1)存储设备；(2)服务器；(3)连接设备，
23、包括交换机，集线器，接口适配器和网线等；(4)存储管理软件；SAN结构具备NAS的所有优点，提高了服务器性能，增强了可靠性，同时也便于数据管理、扩充、备份以及对多种平台的支持。与NAS不同，服务器与设备之间的交互通过SAN网络进行，不会消耗应用网络的带宽资源，因而克服了NAS应用于大型网络的缺陷。相比其它的存储模式，SAN的优势主要集中体现在以下几个方面：(1)可扩展性。SAN的体系结构使得服务器可以访问SAN中的任何一个存储设备，因此用户可以自由增加磁盘阵列和服务器等设备，使得整个系统的存储空间和处理能力得以按照客户需求变化而不断扩展。在部署新的存储设备时，地域的选择更加灵活，高可用性和故障
24、切换环境可以确保更低的成本。(2)可管理性。SAN中的存储设备即使被分散配置在分布式网络中，也可用一个单一的管理工具集中的管理。对SAN传输的管理是用户选择光纤通道产品的一个关键性能指标。SAN管理工具可以前瞻性的孤立出传输过程中出现的问题，使系统继续正常运行。(3)高可用性。当部署了SAN服务器集群后，单台服务器上所出现的故障不再意味着数据的不可用或丢失，另一台服务器可以通过SAN存取故障服务器中的数据。许多厂商的软件产品可以使服务器的故障得以恢复。光纤通道SAN将能够通过多台服务器实现对公共存储设备的平等存取，确保数据的随时可用。在服务器和存储设备之间提供冗余的数据路径，有助于确保数据的高
25、可用性。冗余的数据路径可通过向每台服务器配备两个光纤通道主机总线适配器(host busadaptor,HBA)得以实现，其中一个HBA作为主数据路径附接于光纤通道集线器或交换机上，另一个作为辅助数据路径附接于第二个光纤通道集线器或交换机上。存储阵列通常拥有主、辅两个光纤通道连接器。如果主光纤通道出现故障，另一个通道在管理软件的配合下能自动接管。与冗余的数据路径和服务器群集软件相结合，一台服务器或一条数据路径上的故障将不会中断系统的运行，因为另一台第二章存储模型的发展服务器或另一条数据路径随时处于备用状态。(4)备份。通过把服务器、存储阵列以及磁盘子系统与光纤通道相连，备份数据流可以不经过LA
26、N，从而使LAN摆脱用户网络流量的重负。由于可提供200Mbs乃至更高的带宽，所以光纤通道能够提供对多磁盘备份流的支持。(5)容灾。SAN可提供在多个服务器和多个存储设备的环境中两两之间的任意逻辑连接，它可以创建一个能够被多个服务器通过多条路径任意访问的存储库，形成高可用的容灾环境；在主机服务器及其连接设备之间的连接依赖于FC的高吞吐率和远距离的特性。iSCSI与FC通道技术不同，这里进行一下简单介绍，以便与本论文所采用的FC通道技术有个宏观上的比较。iSCSI是基于现有的TCPIP网络之上进行构建，即Interact SCSI。其原理是：把SCSI命令封装在TCP中在m网络中传输，通过TCP
27、IP协议栈连接服务器与存储设备，通过TCP连接传送控制信息、SCSI命令、参数和数据。iSCSI的核心任务就是在TCPIP网络上封装命令描述块(commanddescriptor block，CDB)，形成iSCSI协议数据单元(PDU)，并且在源端和目的端之间可靠传输CDB和相应的数据【4】。iSCSI协议定义了在TCPIP网络发送、接收块级存储数据的规则和方法。服务器(启动器)将SCSI命令和数据封装到TCPIP包中再通过网络转发，存储设备(目标器)接收到TCPIP包后，将其还原成SCSI命令和数据并执行，完成后将返回的SCSI命令和数据再封装到TCPIP包中再发送回服务器。其工作流程及协
28、议模型如下图2-4和25所示：图2_4iSCSI工作模式9电子科技大学硕士学位论文图2-5iSCSI协议模型下图2-6所示，iSCSI启动器的结构分为三层：上层提供了文件系统所需的普通“读写一功能；中层将读写需求转换为SCSI CDB并传给iSCSI启动器前端；底层，即驱动前端对应于各种不同的HBA，也就是说，不同的前端HBA所需的驱动前端是不同的。HBA负责将包含的SCSI命令和数据的m包传输到制定的SCSI设备上，即iSCSI目标器上。图26 iSCSI的启动器目标器工作模式iSCSI目标器保留传统SCSI设备信息和传输SCSI命令的网络信息。iSCSI目标器前端处理启动器的登陆请求，进行
29、握手工作与启动器建立TCPIP连接。进入全双工阶段后，前端将收到的iSCSI PDU包解包，得到CDB，再传给SCSI目标器中层。中层分析CDB，为执行此CDB分配必要的资源，将CDB交给SCSI子系统执行。执行的结果返回给中层，中层再交给前端，前端打包为iSCSI PDU，由前端传回给iSCSI启动器【51。显然，与FC相比，iSCSI是一个TCPIP之上的SCSI协议的传输协议，网络lO第二章存储模型的发展传输层以下的各层对于iSCSI是透明的，也就是说，以下各层的物理特性无论采用任何方式连接，只要在网络层和传输层使用TCPIP，上层就可以使用iSCSI。iSCSI的这一特性为构建异构存储
30、网络提供了极大的方便。iSCSI作为一个网络协议，具有它自己的地址、命名习惯、会话管理等相应规范。25本章小结本章在存储系统的历史演化过程中，针对各种存储系统的设备，进行功能上的抽象和实现上的分析，为SAN存储设备的构造准备基础知识。通过对内嵌式存储系统、直接存储系统、联网存储系统和存储区域网络(SAN)的应用场景和提供的功能分析，它们的异同点可概括为图2_716：1DAS使用传统的SCSI适配器，SAN使用光纤通道适配器，iSCSI使用以太网适配器。 。 j图27 DASNASSAN存储模型比较图2DAS，SAN和iSCSI都使用块IO传输方式在服务器和存储系统之间传电子科技大学硕士学位论文
31、输，而NAS使用文件IO传输方式在客户机与NAS设备之间直接传送。3DAS使用SCSI协议连接服务器与存储设备，SAN使用光纤通道连接服务器与存储系统，iSCSI使用TCPIP连接服务器与存储系统，NAS也使用TCPIP连接客户机与NAS存储设备。12第三章SAN存储设备的软硬件架构设计第三章SAN存储设备的软硬件架构设计随着FC通道技术、SCSI标准协议、RAID算法等这些技术的发展，以及linux操作系统平台的完善，根据大中型企业对网络存储的需求，可以提出一种以linux操作系统为支撑平台，整合FC协议、SCSI协议、RAID算法，以模块化的结构方式构造出SAN存储设备上的软件模型。随着双
32、核中央处理单元的出现，以及PCIE总线、I2C总线、遵循FC总线仲裁协议的FC磁盘阵列、以及市场上芯片公司推出的嵌入式处理器与可编程逻辑器件的成熟，可以构建SAN存储设备上的硬件模型。根据实际需求，该设备模型拟实现的性能指标有：1支持FC光纤通道技术接入SAN网络；2采用存储业界的SCSI协议实现数据的请求与响应；3通过RAID算法实现数据的冗余存储，提高数据的安全性以及容灾性能；4管理流与业务流相分离，尽最大可能保障业务处理的可靠性，不间断性。5遵循业务硬件平台、辅助硬件平台、磁盘阵列相独立的原则，优化系统整体架构，实现硬件子模块的热插拔；6实现软件结构和硬件结构的双控冗余，提高设备级别的可
33、靠性。31 SAN存储设备的软件模型在SAN存储设备上部署独立的操作系统支撑平台，实现设备自治功能，是网络存储模型的特点。这个特点虽然与NAS相似(NAS设备上也内置了独立的存储操作系统)，但SAN设备上的操作系统功能更为完善，可以支持块IO访问，而NAS设备上的操作系统只支持文件IO。在操作系统的选择上，鉴于操作系统的稳定性和内核功能模块的可扩充性，以及对FC协议、SCSI协议和RAID算法支持力度上的考虑，该模型采用linux操作系统作为支撑系统平台。本模型将在l inux平台上构建SAN存储设备的软件模型，其依据是：1、linux是一种开源的操作系统，可以很方便的拿到源码。2、l inu
34、x对多种CPU平台的支持，可以方便的采用不同的硬件设备，这样有13电子科技大学硕士学位论文助于硬件架构的设计。3、linux源码中已经拥有了成熟的各种通信协议，例如SCSI协议、FC协议等，以及RAID算法。在设计模块时，具有很好的参考价值。4、linux系统对多文件系统的支持，也使得该平台成为广泛采用的原因之一o5、最为重要的是linux具备内核模块动态加载的特性，这样，软件模型当中的各个模块可以在linux运行时动态加载到内核空间，减少用户态与内核态之间切换的时间，有助于提升系统的整体性能。在操作系统级的支撑平台之上，为了有效的实现一台存储设备的软件功能，以及实现模块化架构，该模型划分为管
35、理模块、业务模块。分别实现设备的管理功能和业务功能。311管理模块可再划分为系统管理子模块和设备管理子模块。系统管理子模块负责整个存储设备的上电启动和下电关闭，对业务模块的控制，以及故障后恢复上电和对数据存取业务流的特性管理。同时，实现双控热切换的管理和双控探测机制。比如设置数据存取的透写和回写，双控冗余管理和数据的条带化管理(RAID算法)，在数据访问不问断的情况的进行主、备控制器的切换等。设备管理子模块负责对存储设备外部辅助设备的管理，比如电源电池管理，故障告警灯，磁盘阵列中的磁盘监控等的管理。312业务模块负责业务流的管理，对接收的命令进行解析、数据的命中和数据的返回。具体模型见下图31
36、所示。1目标器：目标器前端是数据IO进入存储设备的接口，目前在存储系统中，应用最多的当属FC接口技术。此外iSCSI接口技术也很常见，在第一章中对其进行了简要阐述。本篇论文当中不再对iSCSI接口技术进行分析，主要关注FC接口技术在存储设备当中的应用。2SCSI-对上层FC接口下发的SCSI命令描述块进行解析，并根据命令执行具体的动作。如果接收的SCSI命令属于管理类的命令，则该层直接进行处理。14第三章SAN存储设备的软硬件架构设计如果接收的SCSI命令属于数据IO类命令，则需要把SCSI命令描述块中的逻辑单元号(U烈)和逻辑块地址(LBA)继续下发给下层RAID模块。管理梗块 业务梗块。
37、业撇 管理模块。莱统管 系i艚理子梗 目标器 目枥器 理子梗块， SCSI+ SCSI 块双控层 双控层设备管 CACH三 C自CH 设备管理子攫 R越D R艇D 理子模块， 块容错层 容错层代理模块 代理模块l Il LLIIlb眦支撑平台 I LuNl l 融支撑平台LUN2主控制器上软件结构 备控制器E软件结构磁盘阵列图31 SAN设备的软件架构图3双控层：该层是为实现双控功能而增加的一个中间层，主要功能是实现软件模型中的双路径，同时实现负载均衡功能。双控层的这两个功能主要通过在两个控制器之间转发命令字来实现。4CACHE：实现数据读写策略，对数据进行缓存，提高设备的IO响应速度。当接受
38、到上层的SCSI读命令后，如果所存取的数据在该层命中，则读写命令不在向下发传递，由该层直接返回所需数据。否则读写命令继续下发。如果接受到上层的SCSI写命令，如果写策略是回写，则该层接收数据后，该SCSI写命令消亡，之后由该层负责数据向磁盘阵列的实际写入。如果写策略是透写，则该层把接受的数据下发给下层，直至数据真正存入了磁盘阵列中，该层方可结束本次SCSI写命令。同时CACHE模块在硬件的支持下，也实现了CACHE镜像功能。主控制器和备控制器的CACHE通过DE4芯片保持数据同步，在任何时刻，两个控制器中的CACHE模块缓存的数据是一致的。5RAID：实现对底层磁盘阵列的分区管理，对数据进行不
39、同的组织存储，为数据的安全存储以及数据的可恢复性提供软件级别的支持。按照所需的数据安15电子科技大学硕士学位论文全级别，可以实现RAID0、RAIDl、RAID2、RAID3、RAID4、tLAID5、RAIDl0等不同算法。6容错层：该层功能如同双控层，这是为实现软件模型中的双控功能而增加的一个中间层，是最底层的双控功能模块。该层模块针对磁盘环路出现故障而起到双控容错的功能，一旦磁盘环路出现故障而无法进行访问磁盘，则容错层会把读写命令转发到对端控制器的容错层，通过对端控制器的磁盘环路进行访问磁盘，达到访盘容错的功能。7代理模块：代理模块代表控制器与磁盘阵列进行交互。这有助于实现控制器的热插拔
40、。图31描述了双控模式下的软件架构图。根据双控制器的设计要求，存储设备在硬件上设计了两个对称的控制器：其中一个为主控制器，另一个为备控制器。以便实现硬件上的冗余。同样，在这两个控制器上，分别运行相同的软件，以便实现软件功能上的冗余。在上图的软件模型中，双控层、CACHE、容错层三个模块在双控模式下会进行交互动作，为实现双控工作模型提供软件级别上的支持。32 S州存储设备的硬件模型存储设备的硬件模型，在其设计过程中，要充分考虑到稳定可靠的业务处理能力最大化，外部辅助设备在灾难恢复时的独立性，以及外部辅助设备的丰富性。如果能够让处理数据业务的硬件部分独立于管理外部设备的硬件部分，那么在辅助设备出现
41、故障时，可以无需停止软件模型中的业务模块和管理模块，就可以去更换外部辅助设备。同时，如果将磁盘阵列也独立化，那么上述两种硬件平台出现故障时，就可以将以上两种硬件平台拔出进行单独修复。基于以上的考虑，整个硬件架构可设计为三个独立的部分：业务硬件平台、辅助硬件平台、磁盘阵列。同时为方便实现该存储设备的双控功能，将业务硬件平台和辅助硬件平台以控制板(以下以“控制器“代称)的形式整合，实现控制器的热插拔。为实现双控功能，结合图31软件模型，在设计上，SAN存储设备可配置两个控制器。两个控制器在硬件架构上完全对称，以便对软件提供功能相同的硬件支持。单个控制器和磁盘阵列的架构见图32所示：16第三章SAN
42、存储设备的软硬件架构设计图3-2 SAN存储设备的单控制器架构图321业务硬件平台管理模块和业务模块并不对辅助外设进行任何操作，这两个模块只是负责存储功能。这样，在大量的的数据突发访问期间，其所在的硬件平台无需投入额外的资源去顾及外设的管理，而只需尽力而为的处理数据业务流。因此，有必要将管理模块和业务模块所运行的硬件平台进行独立化设计，形成业务硬件平台。业务硬件平台可以采用如今市面上的商用多核CPU，这种多核CPU的数据17电子科技大学硕士学位论文处理能力远远高于单核的处理能力，同时随着64位CPU对大内存的支持和linux对多核的支持，完全足够业务硬件平台的性能。该模型中拟采用AMD公司的双
43、核处理器，如图32所示。在总线的选取上，PCI Express总线技术在当今新一代的存储系统已经普遍的应用，PCI Express总线能够提供极高的带宽，来满足系统的需求。PCI Express总线是为将来的计算机和通讯平台定义的一种高性能，通用旧互连总线。与PCI总线相比，PCI Express总线主要有下面的技术优势：(1)是串行总线，进行点对点传输，每个传输通道独享带宽。(2)PCIE总线支持双向传输模式和数据分通道传输模式。其中数据分通道传输模式即PCIE总线的xl、)【2、x4、x8、x12、x16和x32多通道连接，x1单向传输带宽即可达到250MBs，双向传输带宽更能够达到500
44、MBs，这个已经不是普通PCI总线所能够相比的了。 (3)PCIE总线充分利用先进的点到点互连、基于交换的技术、基于包的协议来实现新的总线性能和特征。电源管理、服务质量(QoS)、热插拔支持、数据完整性、错误处理机制等也是PCIE总线所支持的高级特征。(4)与PCI总线良好的继承性，可以保持软件的继承和可靠性。PCIE总线关键的PCI特征，比如应用模型、存储结构、软件接口等与传统PCI总线保持一致，但是并行的PCI总线被一种具有高度扩展性的、完全串行的总线所替代。(5)PCIE总线充分利用先进的点到点互连，降低了系统硬件平台设计的复杂性和难度，从而大大降低了系统的开发制造设计成本，极大地提高系
45、统的性价比和健壮性。基于以上分析，业务硬件平台指标如下：(1)采用AMD公司的双核处理器，处理数据业务。如图32所示。(2)总线采用PCIE总线。(3)以太网卡连接外部管理网络，提供对存储设备的终端管理。322辅助硬件平台一台存储设备需要提供丰富的外部辅助设备，为整个存储系统提供额外的支持，比如：风扇(提供降温功能)、电池(掉电情况下进行临时供电)、蜂鸣器(报警功能)、硬盘状态指示灯、FC主机适配器状态指示灯等。对于这些辅助外设，在辅助硬件独立化的指导原则下，该硬件模型采用了如下的设计：各种外设通过第三章鲋N存储设备的软硬件架构设计I2C总线挂接到PMC8393嵌入式处理器上，配合其上的Thr
46、eadX硬实时操作系统，形成外部辅助设备的硬件平台，通过这个平台实现对这些外设的管理。设计这样的辅助硬件平台，其辅助硬件的故障不会影响到业务硬件平台的正常工作。PMC8393是一款基于MIPS的嵌入式处理器，配合业界通用的可编程ThreadX硬实时操作系统实现对外设的管理。如图32所示，通过IA2C总线连接到PMC8393嵌入式处理器上的可控外设包括：电池，风扇，FC适配器，蜂鸣器，告警灯，硬盘指示灯等。电池：在系统外部供电突然中断的情况下，有电池进行临时供电。风扇：对系统硬件进行降温。FC适配器：作为存储设备接入SAN网络的主机适配卡。蜂鸣器：用于告警功能。硬盘指示灯：对磁盘阵列中的磁盘状态
47、进行状态指示。告警灯：实现告警功能。在硬件架构中，辅助硬件平台中的一条IA2C总线当作心跳线。同样在业务硬件平台中通过内部的网卡也实现了一条连之备控制器的心跳线。这两条心跳线功能相似。其功能是：在系统双控运行模式下，通过这两条心跳线，两个控制器互相发送心跳信息。因此，心跳信息成为设备是否处于双控工作模式的主要依据。所以，在硬件上专门设计了心跳线，为心跳信息的传递提供硬件通道。无论在系统管理模块中还是在ThreadX操作系统中，都设计有专门的心跳线程，该心跳线程在固定的时间通过内部网卡或IA2C总线发送心跳信息，如果两端能够接收到正常的心跳信息，说明双控正常；如果一旦失去了来自对端的心跳信息，就
48、认为对方挂死，双控模式将转入单控模式运行。图32所示的硬件平台是单个控制器的硬件架构描述，在存储设备上以控制器的方式呈现，可进行热插拔。但为了实现最初的双控功能，在一台存储设备当中，只配置单个控制器还无法实现。因此应配置有两个相同硬件架构的控制器，同时工作。一旦某个控制器出现不可测的故障，可由另一个控制器接管。同样，每个控制器上也应该有一套相应的软件运行，以实现双控存储功能。因此，图31中设计了双控制器下的软件架构图：两个控制器上的软件模型完全对称，并通过双控层、容错层、CACHE三个模块的互相配合实现软件层次的双控功能。这样根据软件模型的要求，控制器的硬件架构应该为双控层、容错层、CACHE
49、三个模块提供硬件通信平台。为此，两个对称的控制器应该采用某种方式互联。19电子科技大学硕士学位论文主控与备控之间的硬件互联通道主要有三条：1、通道一，采用内部网卡实现主控备控的探测功能。这样，主备就能知道对方是否存在。2、通道二，采用FC通道实现主控备控之间的命令转发。3、通道三，采用FC通道实现主控备控之间的数据转发。323两种硬件平台的桥接上述两种硬件平台，虽然是以单个控制器的事物插入在存储设备当中，但毕竟是两种异构平台：以AMD处理器为中心的业务硬件平台配合Linux操作系统负责业务流，以PMC8393嵌入式处理器为中心的辅助硬件平台配合其上的ThreadX嵌入式操作系统负责外设的控制管理。因此，必须解决这两种异构硬件如何连接的问题。通过分析研究，对该问题的解决采用了DE4芯片桥接技术。DE4芯片类似于桥接器，可以将PCIE总线与FC总线互联，这一特性使得两种异构平台的互联变得极其容易简单。DE4芯片上端通过PCIE总线接入业务硬件平台，下端通过FC总线接入PMC8379。PMC8379在452中组建磁盘
