1、随着虚拟化架构的不断完善与扩充，后台集中的网络存储已开始成为虚拟化整体解决方案中的一部分（尤其是对VDI、高可用性群集等架构），实现网络存储的方法有以下几种： 直接向EMC、NetApp等厂商购买存储设备：性能较好，价格高昂 在Windows平台安装模拟器：配制简单，但性能一般，且因为商业软件的试用期限制较难以长期使用 使用FreeNAS、Openfiler等Linux核心的iSCSI Target端程序：基于Linux内核的裸金属服务器端，性能较为理想，免费可自由下载，比较适合于系统测试或评估使用。 这里将介绍使用2.99.1-x86_64来搭建基于iSCSI的网络共享存储 首先来看下基本架
2、构与一些基本概念，了解基本概念的请跳过。 在整个架构中，所有的设备都通过以太网相连，两台需要连接存储的服务器分别为两个节点，称之为Initiator端（也可只有一个节点或多个节点），存储设备可以是专门的硬件存储设备，也可以由普通服务器充当，只需安装上述所说的模拟软件或者Openfiler等精简版Linux来充当，称之为Target端。 因此整个iSCSI架构其实也是类似于C/S架构，Target段为存储服务器，Initiator端为客户端，通过iSCSI协议将存储设备上的逻辑卷作为自己的存储设备使用。 下面切入正题，整个配置过程分为三大步骤： 在存储服务器上安装Openfiler 通过Web方
3、式远程配置Openfiler存储设备 配置客户端服务器连接Openfiler存储设备一、在存储服务器上安装Openfile（基本的只有下一步可按的页面就跳过了） 首先在http:/ 直接回车进入图形化安装界面 在磁盘设置这里假设不熟悉Linux磁盘分区的话可以直接选择自动分区，但是为了增强对磁盘分区的可控性，这里选择手动分区。 进入磁盘分区页面，在这个系统中我有3个磁盘，我的规划是较小的磁盘安装Openfiler，并且划分一个区作为群集的仲裁磁盘，较大的磁盘作为共享数据磁盘（当然这是后话了，并且Linux系统的安装并不局限于一块物理磁盘，这里只是根据惯有的思路做一个预先规划） 安装Openfi
4、ler本身的推荐分区方法则根常规的Linux分区方法是一样的，需要一个引导分区，一个根分区，一个交换分区 点击较小的磁盘的Free空间，选择新建，在挂载点中择/boot，文件类型为ext3，只选择较小的磁盘（还是那句话，根据惯有思维，实在不习惯将一个分区横跨两个无力磁盘），大小设为1000M即可，确定下方为固定大小，勾选强制为主分区选项。 用同样的方法建立根分区，挂载点位/，文件格式为ext3,挂载在较小的物理磁盘，大小为2GB-4GB即可，由于是精简版的Linux，且以后也不大会安装其它软件，因此4GB足矣（又是那句话，按照惯性思维，我设了4G，被微软惯性坏了。），下面则同样是固定大小，强制
5、为主分区。 最后建立一个交换分区，不需要选择挂载点，文件类型为swap，第一块无力磁盘，大小为内存的两倍即可，其余设置一样，这里发现少截张图。 分区完成后最终的效果应该是这样的，其余的分区保持为Free状态，不然在Openfiler中可能无法分配。 配置网络属性，建议设为固定IP，由于Openfiler安装完成之后没有图形界面，所有的配置都通过web方式完成，没有固定的IP会给以后的配置造成不必要的麻烦。 接下来是选择时区，设置Root帐户密码，然后光盘中的文件拷贝至硬盘中开始正式安装，都比较简单，安装完成后取出光盘，按下Restart，整个安装过程就算完成了，其实跟安装普通的Linux没有任
6、何区别。 s二、通过Web方式远程配置Openfiler存储设备 启动Openfiler之后会显示他的Web管理的URL： https:/IP:446 通过远程客户端浏览器登录，用户名为openfiler,密码为password 12.2.2 实体硬盘到逻辑硬盘（LUN）的操作：使用OpenFiler当你安装好OpenFiler之后，接下来就是要将OpenFiler下的磁盘分享出来给虚拟机或网络上的其他主机使用了。在标准的SAN之后，这些可以在RAID层面完成，但VG的好处及弹性是RAID无法比较的，因此我们就假定有两个RAID 1的实体硬盘，看这两个硬盘在OpenFiler下的VG是如何一步
7、一步创建的。 创建VG的步骤（1）进入OpenFiler的接口，并且选择要使用的实体硬盘。（2）将要加入的实体硬盘格式化成Physical Volume格式。（3）创建一个VG组，并且将格式化成为PV格式的实体硬盘加入。（4）加入完毕之后，就成为一个大的VG组，被视为系统的一个大实体硬盘。（5）在这个VG中添加逻辑分割区LUN，在OpenFiler中称为Logical Volume。（6）指定LUN的文件格式，如iSCSI、ext3或是NFS，并且格式化。（7）如果是iSCSI则需要再配置，如果是其他文件格式，就可以用NAS的方式分享出去而非SAN的方式。1. 熟悉OpenFiler的Web管
8、理接口OpenFiler大部分的存储功能都是在Web管理接口中实现，我们就先从熟悉其界面开始。 使用OpenFiler的接口1如果是使用Firefox，则先进入浏览器，在网址列上输入https:/:446，如https:/192.1612.1.188:446。 输入网址2此时由于这不是安全认证下的网站，因此系统会先出现如下图所示的错误信息，我们必须将这个网站加入可信任的网站，单击or you can add an exception。此时单击Add Exception按钮。 必须配置例外3弹出如下图所示的画面时，单击Get Certificate按钮，并且在弹出如下图所示的画面时，单击Conf
9、irm Security Exception按钮即可。 单击Get Certificate按钮 选择确定安全例外的选项4如果你使用IE较简单，只要在两个方块中输入Yes即可进入。 IE的配置较简单，直接确认后就可以进入5此时会出现OpenFiler的登录画面，可以直接输入你的root账号和密码，但只能管理本机配置而已，如果要管理存储设备，则要输入openfiler，密码是password，即可进入。 输入账号及密码6进入后，可以看到目前的所有系统状态，如网络接口等，你可以在Status和System选项卡之下查看和主机有关的功能。 进入OpenFiler的界面2. 在OpenFiler下创建V
10、G当我们在硬件层面创建好了两个RAID 1的硬盘，并且被OpenFiler认出之后，接下来就是要创建VG。创建VG的步骤很简单，我们先做个摘要。 在OpenFiler下创建PV1首先我们要先找出在OpenFiler下的实体硬盘，并且将这两个实体硬盘配置成使用VG的格式才行。先进入OpenFiler，并且选择Volumes下的Manage Volumes。 选择选项2在这个画面下，我们可以看到目前还没有任何VG存在。此时选择Block Device可以检视实体硬盘。 选择实体硬盘3由于在这个系统下有三个实体硬盘，第一个已经用于安装系统（/dev/sda），因此我们将第二和第三个硬盘（/dev/s
11、db、/dev/sdc）组成新的VG。 此时会显示三个实体硬盘4首先选择/dev/sdb，此时会进入另一个页面，在这个页面最下方有一个Create a partition in /dev/sdb。 选择/dev/sdb，这是第一个SCSI硬盘5在Mode的下拉列表框中选择Primary，Partition Type中选择Physical polume。由于我们要使用整个扇区，因此直接单击Create按钮即可。 我们要先将这个硬盘配置成PV的格式6之后可以看到这个分区已经创建成PV的成员之一。重复上面的步骤可以将/dev/sdc也创建成另一个PV。 将第二个也创建好3. 将PV组合成VG当你将P
12、V创建好之后，就可以利用这些PV创建一个VG。我们就来看看在OpenFiler下的创建方法。 使用PV组成VG1首先选择Manage Volumes。 选择选项2输入名称，如vmstorage。 创建Volume Group3将两个PV选中，并且单击Add volume group按钮。 将刚才创建的PV放入4此时我们可以看到在Volume Group Management中列出我们创建好的VG了。 这个VG就完成了12.2.3 创建iSCSI的分区和连接VG组合完毕之后，我们可以为整个大的VG划分逻辑分割区，在一般的SAN设备上，这些逻辑分割区都称为LUN，而在OpenFiler上则称为LV
13、。本章的重点是划分出具备iSCSI连接能力的LUN，因此步骤是先做出LUN，之后再开启iSCSI Target功能，并且指定iSCSI的参数，步骤为： 开启iSCSI的步骤（1）开启iSCSI功能。（2）创建iSCSI的LUN。（3）配置访问iSCSI的IP网络。（4）配置iSCSI的参数。（5）使用iSCSI的客户端测试是否成功。1. 开启iSCSI Target Server功能在OpenFiler中，默认是将iSCSI Target Server的功能关闭，因此我们要使用操作系统作为iSCSI SAN，必须先将其打开，只要到System选项卡下，将原来Disabled的iSCSI tar
14、get server的Enable按钮单击即可。当然你也可以在这里开启其他的功能，包括FTP、SMB、NFS等。 在这里可以将需要的功能开启2. 创建iSCSI逻辑分区LUN在独立存储设备中，LUN（Logical Unit Number）是最重要的基本单位。LUN可以被SAN中的任何主机访问，不管是透过HBA或是iSCSI。就算是软件激活的iSCSI，也可以在不同的操作系统之下，在操作系统启动之后利用软件的iSCSI initiator访问LUN。在OpenFiler之下，LUN被称为Logical Volume（LV），因此在OpenFiler下创建LUN就是创建LV。 在OpenFile
15、r下创建iSCSI的LUN1进入OpenFiler的Web接口，选择Volumes中的Manage Volumes。2选择Volume Groups，可以看到目前已经创建的vmstorage这个VG，目前上面还没有任何LUN。 选择选项3单击Add Volume按钮，就会进入加入新LV的画面。最下面有一个创建LV的地方，我们输入LV的名称（如LUN01），输入描述、大小，并且在Filesystem/volume type下拉列表框中选择iSCSI。之后单击Create按钮。 选择添加卷，并且输入大小和说明4至此iSCSI的LUN已经创建完毕了。 创建完毕了3. 开启IP网络由于iSCSI是走I
16、P网络，因此我们要允许网络中的计算机可以透过IP来访问。下面就是OpenFiler中IP网络和同一网段中其他主机的连接方法。 配置OpenFiler中的IP网段1进入OpenFiler中的System，并且直接拉到页面的下方。 拉到页面下方2在Network Access Configuration的地方输入这个网络访问的名称，如VM。3输入主机的IP段。注意不可以输入单一主机的IP，这样会都无法访问。我们在这边输入192.168.1.0，表示从192.168.1.1一直到192.168.1.254都能访问。 给这个网段一个名称，如VM 输入网段IP而非主机IP4在Netmask中选择255.
17、255.255.0，并且在Type下拉列表框中选择Share，之后即可以单击Update按钮。 选择完之后就更新5至此就可以在这个OpenFiler中看到被授权的网段了。4. 配置iSCSI参数配置iSCSI参数主要是让客户端能利用这个参数访问到LUN。在OpenFiler中，配置参数的动作很简单，主要就是先添加iSCSI的设备号码，并且将LUN映像到这个号码上，最后再经过安全配置，就可以连接了。 配置iSCSI连接参数1还是进入OpenFiler的Volumes中，并且选择iSCSI Targets。 选择选项2此时会出现Add new iSCSI Target。你会看到有一个Target
18、IQN的字段，这个字段称为iSCSI合格证（iSCSI Qualified Number），是每一个iSCSI唯一的编号，也是在网络上辨认iSCSI设备的唯一编号。这个号码由系统产生，我们可以不需要更动。在此单击Add按钮。 这里要加入iSCSI的合格编号3在新增之后，我们可以在方块下方看到完整的IQN参数，这个参数暂时不用更动，使用默认值即可。 这边有iSCSI的使用选项4在IQN创建之后，接下来我们要做的就是将LUN映射到这个IQN上，动作也很简单，因为OpenFiler都帮我们做好了。只要进入LUN Mapping的选项卡，选择你刚才创建的LUN（如图中的lun01），并且单击Map按钮
19、即可。 选择映射IQN到刚才的LUN上5映射完成后，会出现如下图所示的的画面，随时可以再Unmap。 映射完毕6此时选择Network ACL选项卡，将Access改成Allow，如下图所示，并且单击Update按钮。 要让网络上的用户可以读取，要改成Allow7如果你希望系统更为安全，可以在CHAP之中加入账号及密码，我们在此先不配置这个项目，使用网段的限制即可。 如果需要更安全的配置，可以使用CHAP8到此，你的iSCSI已经完全可以使用了，只要你的操作系统安装了iSCSI initiator，不管是软件还是硬件的。5. 使用Windows系统测试iSCSI的连接在安装VMware或Hyp
20、er-V之前，我们可以使用XP、Vista或是Windows Server 2008等系统来测试这个iSCSI的连接是否成功，尤其是在Vista或是Windows Server 2008下，操作系统本身就附有iSCSI initiator，而XP则是需要安装，我们就来看看XP操作系统下的连接方式。 下载及安装XP的iSCSI Initiator1如果你使用的是Vista或是Windows Server 2008，则在控制台中就已经有iSCSI的连接器。 在Vista或是Windows Server 2008已经有iSCSI的连接器了2如果使用XP，则必须去微软下载iSCSI initiator
21、 for XP。我们直接到微软的官方网页下载，在Google中直接输入XP iSCSI即可找到下载点。 官方下载点3下载时选择你的XP版本，大部分都是32位，下载X86版本即可。 选择你的版本，通常使用XP都是32位版本的4下载回来后直接单击开始安装，第一个画面中，我们两项都要选中。5同意后单击Next按钮。 两项都要选中 开始安装6接下来将开始安装。7当安装完毕会弹出如下图所示的画面，在桌面上也会有连接图示。 主要是在Windows 中加上iSCSI initiator的服务 安装完毕8进入该图示，由于没有任何连接，因此这里会是空的。选择Discovery选项卡，并且单击Add按钮来新增iS
22、CSI Target。9输入安装OpenFiler的IP，直接单击OK按钮即可。 选择Discover来输入Target Server的IP 在这里输入IP10此时在Targets选项卡中，就会出现我们对映的LUN，但这个时候的状态是Inactive，即无法使用，单击Log On按钮登录。11当出现如下图所示的画面时，表示我们要将这个LUN加入计算机中，单击OK按钮即可。 虽然映射成功，但还没登录无法使用， 选择要登录的LUN要单击Log On按钮登录 12当加入之后，可以看到状态已经是连接上了。13此时我们回到OpenFiler的网页接口上，也可以看到连接的情况。 已连接了 连接完毕，可以在
23、Web接口上看到连接情况6. iSCSI在XP下的基本分享单位常常使用共享磁盘的人都知道，不管是Windows的或是Linux的分享，基本上都是使用共享文件夹。但是在iSCSI的使用时，我们竟然可以用到分割区的层次。可以在上面安装不同的文件系统，并且可以针对不同的需要进行分享，如文件层次的共享文件夹、Cluster层次的quorum硬盘等，在本书的稍后会有介绍。 用XP观察iSCSI在操作系统下的对应1进入XP中，并且在我的计算机上右击，选择Manage选项。2选择Disk Management。此时你会看到新增的磁盘，上面并没有安装任何文件系统。 选择选项 已经可以在这里看到iSCSI硬盘了
24、3在这个磁盘上右击并选择Properties选项。4此时你可以看到这个磁盘，在XP下竟然是以一个单一分割区的方式呈现，让整个应用的灵活性大增。 选择选项 在XP下是一个分割区，可用灵活性大增结 语在这一章中，我们充分了解了OpenFiler的iSCSI配置以及连接，而不管是VMware或是Hyper-V，都可以使用iSCSI的LUN来完成虚拟机的放置。有了独立的存储设备，整个虚拟机的功能才可能完整实现，因此在真正购买企业级的SAN或存储设备之前，使用免费的OpenFiler进行测试是最省成本的方案。甚至如果你使用的网络设备是10GB以上的交换机及网卡，更可以直接使用OpenFiler作为上线时
25、的VMware存储设备，让整个虚拟机环境的成本又节省不少。linux下挂载测试在RHEL6上验证:1.安装iscsi客户端软件iscsi-initiator-utilsrootv1 yum.repos.d# yum install iscsi-initiator-utils2.发现服务器 的iscsi共享卷(之前应该打相应服务tgtd)rootv1 /# iscsiadm -m discovery -t sendtargets -p 192.168.113.198192.168.113.198:3260,1 iqn.2006-.openfiler:tsn.dc80809250233.登录isc
26、si存储：rootv1 桌面# iscsiadm -m node -T iqn.2006-.openfiler:tsn.dc8080925023 -p 192.168.113.198:3260 -lLogging in to iface: default, target: iqn.2006-.openfiler:tsn.dc8080925023, portal: 192.168.113.198,3260Login to iface: default, target: iqn.2006-.openfiler:tsn.dc8080925023, portal: 192.168.113.198,32
27、60 successful.4.退出iscsi存储：rootv1 桌面# iscsiadm -m node -T iqn.2006-.openfiler:tsn.dc8080925023 -p 192.168.113.198:3260 -uLogging out of session sid: 4, target: iqn.2006-.openfiler:tsn.dc8080925023, portal: 192.168.113.198,3260Logout of sid: 4, target: iqn.2006-.openfiler:tsn.dc8080925023, portal: 192
28、.168.113.198,3260 successful.rootv1 桌面# 建立共享文件夹点击Make Share在下方的Share Access Control Mode中选择Public guest access。点击Update。SMB/CIFS方式改成RW，NFS方式改成RW。也就是全部放开读写权限。点击Update。验证：1) NFS方式验证。rootv1 桌面# showmount -e 192.168.113.198Export list for 192.168.113.198:/mnt/vmstorage/share1/s1 192.168.113.0/255.255.25
29、5.0rootv1 桌面# 2) SMB/CIFS方式验证rootv1 桌面# smbclient -N -L 192.168.113.198Domain=LOCALHOST OS=Unix Server=Samba 3.5.6Sharename Type Comment- - -IPC$ IPC IPC Service (Openfiler NAS)vmstorage.share1.s1 Disk s1Domain=LOCALHOST OS=Unix Server=Samba 3.5.6Server Comment- -Workgroup Master- - rootv1 桌面# 3) wi
30、ndows方式验证6.写在最后 关于Openfiler的其他操作，比如可以通过管理用户组达到对共享文件夹进行用户级的的访问权限控制等vsphere下挂载iSCSI Targets测试 在存储适配器中添加iscsi 适配器在存储器中添加存储器Openfiler之外篇：open-iscsi安装配置及smbclient的安装iSCSI客户端：open-iscsi-2.0-871。SMB/CIFS客户端：Samba-3.4.0。操作系统：CentOS5.3。 1. open-iscsi的安装 首先下载open-iscsi-2.0-871，然后执行：tar xzvf open-iscsi-2.0-871
31、.tar.gz cd open-iscsi-2.0-871makemake install其中make install需要root权限。 2. 开启停止open-iscsi服务(需要root权限) 开启open-iscsi服务命令service open-iscsi start 停止open-iscsi服务命令service open-iscsi stop 可以通过以下命令查看open-iscsi的运行状态rootlocalhost # service open-iscsi statusiscsid (pid 5119 5118) is running. 开机默认启动open-iscsichk
32、config open-iscsi on 关闭开机默认启动open-iscsichkconfig open-iscsi off 可以通过一下命令查看open-iscsi的是否开机运行rootlocalhost # chkconfig -list open-iscsi open-iscsi 0:off 1:off 2:on 3:on 4:on 5:on 6:off 其中06是什么意思，请Google。 3. 登录登出iSCSI(以上一篇博客为例) 查找(discovery)某IP下的target。rootlocalhost # iscsiadm -m discovery -t st -p 172
33、.16.5.226 172.16.5.226:3260,1 iqn.openfiler:jeremiah01可以看到open-iscsi发现了Openfiler上配置的iSCSI target。 执行以下命令登陆iSCSI target：rootlocalhost open-iscsi-2.0-871# iscsiadm -m node -T iqn.openfiler:jeremiah01 -l Logging in to iface: default, target: iqn.openfiler:jeremiah01, portal: 172.16.5.226,3260 Login to
34、iface: default, target: iqn.openfiler:jeremiah01, portal: 172.16.5.226,3260: successful 登陆成功后会发现/dev下多了一个设备：rootlocalhost open-iscsi-2.0-871# ls /dev/sd*/dev/sda /dev/sda1 /dev/sda2 /dev/sdb本例中是/dev/sdb。如果执行以下命令会发现很有意思的问题：rootlocalhost open-iscsi-2.0-871# ll /dev/disk/by-path/ total 0 lrwxrwxrwx 1 r
35、oot root 9 Feb 24 19:50 ip-172.16.5.226:3260-iscsi-iqn.openfiler:jeremiah01-lun-0 - ././sdb 可以看到/dev/disk/by-path/ip-172.16.5.226:3260-iscsi-iqn.openfiler:jeremiah01-lun-0才是真正的设备文件，而/dev/sdb只不过是一个快捷方式而已。 剩下的分区等在此不再赘述。 登出target：rootlocalhost open-iscsi-2.0-871# iscsiadm -m node -T iqn.openfiler:jerem
36、iah01 -logoutLogging out of session sid: 1, target: iqn.openfiler:jeremiah01, portal: 172.16.5.226,3260Logout of sid: 1, target: iqn.openfiler:jeremiah01, portal: 172.16.5.226,3260: successful 4. 带用户名和密码的target登陆。 如果服务器端的target需要用户名密码才能登陆，如图所示： 那么不能正常的登陆iSCSI target。rootlocalhost open-iscsi-2.0-871#
37、 iscsiadm -m node -T iqn.openfiler:jeremiah01 -l Logging in to iface: default, target: iqn.openfiler:jeremiah01, portal: 172.16.5.226,3260 iscsiadm: Could not login to iface: default, target: iqn.openfiler:jeremiah01, portal: 172.16.5.226,3260: iscsiadm: initiator reported error (19 - encountered no
38、n-retryable iSCSI login failure) 需要修改/etc/iscsi/node的节点信息。vi /etc/iscsi/nodes/iqn.openfiler:jeremiah01/172.16.5.226,3260,1/default修改node.session.auth.authmethod = None为node.session.auth.authmethod = CHAP node.session.auth.username = jeremiah node.session.auth.password = vlc 然后再次登录就可以成功。rootlocalhost
39、 open-iscsi-2.0-871# iscsiadm -m node -T iqn.openfiler:jeremiah01 -l Logging in to iface: default, target: iqn.openfiler:jeremiah01, portal: 172.16.5.226,3260 Login to iface: default, target: iqn.openfiler:jeremiah01, portal: 172.16.5.226,3260: successful注意，如果执行了discovery后，上述修改将会被还原。 5. Samba-3.4.0的安装一般linux都默认Samba客户端。执行以下命令进行检查。smbclient -version如果没有，则虚下载Samba-3.4.0，执行以下命令：tar xzvf samba-3.4.0.tar.gz cd samba-3.4.0/source4 ./autogen.sh ./configure makecd binsmbclient -version到此，就可以执行上一篇博客的smbclient命令了。
