1、GPFS for linux 实施配置文档（Red Hat linux 平台）目录1、 GPFS for linux 实施规划 31.1 规划概要 .31.2 网络设计规划 .41.3 存储设计规划 .42、 Linux 的安装及配置 62.1 制作 Linux Yum 源 .62.2 使用 Linux Yum 源安装必备 rpm 包 .72.3 Linux 系统中添加网络设备 .73、 GPFS 软件的安装和准备工作 93.1 必须安装的 Linux RPM 包 92.2 软件上传至目的 Linux 分区 .102.3 在每个节点上安装 GPFS 软件包 .102.3.1 GPFS 基础包安
2、装 .102.3.2 GPFS 升级包安装 .112.4 GPFS 软件编译 .112.5 GPFS 环境变量设置 .124、 GPFS 环境配置文件准备 134.1、创建节点描述文件 .134.2、创建磁盘描述文件 .134.3、创建主机信任-SSH .134.4、 确认连接磁盘 155、 GPFS 集群配置 165.1、建立集群 .165.1.1、创建集群 .165.1.2、显示配置信息 165.2、创建 NSD .165.2.1、使用 mmcrnsd 创建 NSD.165.2.2、显示 NSD175.3、启动 GPFS 文件系统 .175.4、查看 GPFS 文件系统状态 .175.5、
3、建立文件系统 .175.6、检查文件系统 .175.7、GPFS 集群调优 176、 GPFS 文件系统测试 196.1 文件系统测试 196.2 高可用测试 .201、 GPFS for linux 实施规划随着客户对数据越来越高的要求，现有架构的数据传输的速度可能会在将来成为系统分析性能的瓶颈，为了解决该问题，结合 IBM GPFS 并行文件系统在海量文件处理方面的算法优势及 x86 Linux 服务器的处理性能，搭建一套测试 GPFS 文件系统作为数据平台，来提升数据仓库平台的数据传输性能是一个不错的选择。本文档主要针对在 X86 平台上实施 GPFS 文件系统进行介绍，可供有相关需求的
4、客户参考。1.1 规划概要本次实施以在 10 台 IBM X3755 主机上部署 GPFS-FPO 为例，安装配置一套10 节点的 GPFS 集群，可用作数据仓库，提供共享文件系统服务。机柜位置 柜内位置 主机型号 型号 序列号 ip 地址 cpu mem 硬盘 系统版本X3755 192.168.0.1 4*2.4G 128G 2T*8 RH 6.3X3755 192.168.0.2 4*2.4G 128G 2T*8 RH 6.3X3755 192.168.0.3 4*2.4G 128G 2T*8 RH 6.3X3755 192.168.0.4 4*2.4G 128G 2T*8 RH 6.3
5、X3755 192.168.0.5 4*2.4G 128G 2T*8 RH 6.3X3755 192.168.0.6 4*2.4G 128G 2T*8 RH 6.3X3755 192.168.0.7 4*2.4G 128G 2T*8 RH 6.3X3755 192.168.0.8 4*2.4G 128G 2T*8 RH 6.3X3755 192.168.0.9 4*2.4G 128G 2T*8 RH 6.3X3755 192.168.0.10 4*2.4G 128G 2T*8 RH 6.3本次实施相关系统及软件版本：RHEL OS Version：6.3GPFS Version: 3.5.0.
6、13IBM X3755 配置情况：CPU：AMD6234, 4 Core*2.4GHz内存：128GB共享存储空间：2T * 6 * 101.2 网络设计规划本次 GPFS 集群搭建需要两组网络，一组集群通信网络，用于 GPFS 节点间的信息交互及同步，建议使用高速网络，比如 IB 网络，可充分发挥 GPFS 文件系统的高性能；一组管理网络，用于服务器管理，可使用普通 IP 网络。GPFS 集群通信网络：192.168.0.0/24 （通常为一个单独的私有网络）BI_gpfs01 192.168.0.1BI_gpfs02 192.168.0.2BI_gpfs03 192.168.0.3BI_g
7、pfs04 192.168.0.4BI_gpfs05 192.168.0.5BI_gpfs06 192.168.0.6BI_gpfs07 192.168.0.7BI_gpfs08 192.168.0.8BI_gpfs09 192.168.0.9BI_gpfs10 192.168.0.10服务器管理网络：192.168.1.0/24 （使用客户的生产管理网络）BI_node01 192.168.1.1BI_ node02 192.168.1.2BI_ node03 192.168.1.3BI_ node04 192.168.1.4BI_ node05 192.168.1.5BI_ node06
8、192.168.1.6BI_ node07 192.168.1.7BI_ node08 192.168.1.8BI_ node09 192.168.1.9BI_ node10 192.168.1.101.3 存储设计规划存储空间规划如下：每个节点使用本地盘创建 NSD，节点本身为 NSD server。每个节点有 6 块裸盘，raid5 规划后大小为近 10T，规划两个 LV，一个 LV 做 metadata pool，一个LV 做 data pool。共 6*10 块磁盘，每块 2 TB基于以上设计，GPFS 基础规划如下：节点名 操作系统版本 硬盘 集群名 NSD 名 NsdServerB
9、I_gpfs01 RedHat 6.3 dm-2, dm-3 BI_gpfs_cluster Hdisk1,hdisk2 BI_gpfs01BI_gpfs02 RedHat 6.3 dm-2, dm-3 BI_gpfs_cluster Hdisk3,hdisk4 BI_gpfs02BI_gpfs03 RedHat 6.3 dm-2, dm-3 BI_gpfs_cluster Hdisk5,hdisk6 BI_gpfs03BI_gpfs04 RedHat 6.3 dm-2, dm-3 BI_gpfs_cluster Hdisk7,hdisk8 BI_gpfs04BI_gpfs05 RedHat
10、6.3 dm-2, dm-3 BI_gpfs_cluster Hdisk9,hdisk10 BI_gpfs05BI_gpfs06 RedHat 6.3 dm-2, dm-3 BI_gpfs_cluster Hdisk11,hdisk12 BI_gpfs06BI_gpfs07 RedHat 6.3 dm-2, dm-3 BI_gpfs_cluster Hdisk13,hdisk14 BI_gpfs07BI_gpfs08 RedHat 6.3 dm-2, dm-3 BI_gpfs_cluster Hdisk15,hdisk16 BI_gpfs08BI_gpfs09 RedHat 6.3 dm-2,
11、 dm-3 BI_gpfs_cluster Hdisk17,hdisk18 BI_gpfs09BI_gpfs10 RedHat 6.3 dm-2, dm-3 BI_gpfs_cluster Hdisk19,hdisk20 BI_gpfs102、 Linux 的安装及配置Linux 的安装与配置这里不做过于详细的介绍，就是安装操作系统，此处针对可能会遇到的一下问题做简单说明。2.1 制作 Linux Yum 源为了防止后续使用中发现操作系统缺少安装包，此处建议安装完操作系统后将操作系统镜像上传到系统中，制作本地 Linux Yum 源，当然如果客户现场有配置网络 Yum 源也行。下面简单介绍一个
12、制作 Yum 源的方法，具体有不明白的地方可以百度一下，你就知道。创建源文件存放的目录#mkdir /home/iso/将光盘文件复制到服务器上的源目录#cp -a /media/* /home/iso/新建一个 yum 源的响应文件# vi /etc/yum.repos.d/local.repo文件内容如下：basename=linux 6baseurl=file:/home/isogpgcheck=0enable=1修改 yum 源的地址# vi /usr/lib/python2.6/site-packages/yum/yumRepo.py在上面的文件中找到下面这行remote = url
13、 + / + relative将其改为remote = /tmp/yum + relative2.2 使用 Linux Yum 源安装必备 rpm 包通过使用 Yum 安装必要的安装包很方便，只需执行 yum y install 该命令的具体使用方法可自行查找。yum -y install make perl rsh ld-linux.so libm.so.6 libc.so.6 ksh libstdc+.so.5yum -y install rsh-server rpcbind xinetd libaio cpp gcc-c+ gcc nfs-utilsyum -y install kern
14、el-headers kernel-devel compat-libstdc+ glibc-devel libXp.so.6 imake rpm-buildyum -y install compat-libstdc*2.3 Linux 系统中添加网络设备在 linux 系统中，由于某种原因造成网络设备丢失，或者我们新添加一个网卡，系统启动后可能查看不到新加网卡的状态，此时需要人工添加新的网络设备。以新加一个 IB 卡为例：方法 1、可以通过 setup-network configuration-device configuration-new device-添加一个网络设备。例如我们添加了一
15、个 ib0 网络设备，IP 设置为 192.168.0.1。通过以下步骤：则在/etc/sysconfig/network-scripts/下会产生一个 ifcfg-ib0 的配置文件，文件内容如下：DEVICE=ib0BOOTPROTO=noneNETMASK=255.255.255.0TYPE=EthernetHWADDR=a0:00:01:00:fe:80:00:00:00:00:00:00:00:02:C9:03:00:57:2F:1FIPADDR=192.168.0.1ONBOOT=yesIPV6INIT=noUSERCTL=nonote：这里 HWADDR 需要手动更改，查看 ib
16、0 的 HWADDR 方法可以使用 ifconfig ib0 或者 ifdown ib0来查看。ONBOOT=yes 代表开机该设备会自动挂起，否则需要手动挂起。2.4 Linux 系统中用户与组的操作Linux 系统中添加用户及组，删除用户及组，以及修改用户或组的属性，使用命令如下：useradd 使用时可使用 man 查看用法，比如： -u 设置 uid， -g 设置 gid 等，在集群环境中，uid 和 gid 需保持一致。groupaddusermod -n （更改用户名） -u (更改 uid） -g （更改 gid） usernamegroupmod -n （更改组名）-g（更改
17、gid） groupname最好是在创建用户或组之前做好规划，uid,gid,名称，home 目录等，以免造成后来有冲突。特别是在集群环境中。2.5 Linux 系统中 ACL 简单介绍在安全管理日益重要的今天，传统的 Unix 文件系统的 UGO 权限管理方式已经无法满足日常系统管理工作的需要。而 ACL 机制逐渐成为主流的权限管理方式。通常情况下，UGO 可以满足权限要求，特殊情况下才需要通过 ACL 进行扩展管理，所谓 ACL，就是 Access Control List，一个文件/ 目录的访问控制列表，可以针对任意指定的用户/组分配 RWX 权限。现在主流的商业 Unix 系统都支持A
18、CL。下面举一个简单的例子，来学习一下 ACL 的使用方法：1、ACL 的基本操作：添加和修改首先新建一个文件作为实施 ACL 的对象：rootBI_gpfs01 gpfs# touch testaclrootBI_gpfs01 gpfs# lltotal 0-rw-r-r- 1 root root 0 Mar 20 13:18 testacl然后看一下这个文件缺省的 ACL，这时这个文件除了通常的 UGO 的权限之外，并没有 ACL：rootBI_gpfs01 gpfs# getfacl testacl # file: testacl# owner: root# group: rootuse
19、r:rw-group:r-other:r-通过 setfacl 命令可以设置文件的 ACL，如下：setfacl -m u:testu1:rw testacl这条命令就给 testacl 文件增加了一条 ACL，是的用户 testu1 对该文件具有读写权限。此时再查看 testacl 的 ACL，可观察到如下显示：rootBI_gpfs01 gpfs#getfacl testacl# file: testacl# owner: root# group: rootuser:rw-user:testu1:rw-group:r-mask:rw-other:r-此时我们使用 ls 命令查看会发现：ro
20、otBI_gpfs01 gpfs#ls -l testacl-rw-rw-r-+ 1 root root 0 Mar 20 13:32 testacl可以看到那个“+“了么？就在通常我们看到的权限位的旁边。这个说明testacl 设置了 ACL， 接下来我们修改一下 testu1 的权限，同时给 testg1 这个组以读的权限：rootBI_gpfs01 gpfs# setfacl -m u:testu1:rwx,g:testg1:r testaclrootBI_gpfs01 gpfs# getfacl testacl# file: testacl# owner: root# group: r
21、ootuser:rw-user:testu1:rwxgroup:r-group:testg1:r-mask:rwxother:r-可以看到设置后的权限，testu1 已经有了执行的权限，而 testg1 这个组也获得了读取文件内容的权限。也许有人已经注意到了两个问题：首先，testacl的组权限从 r-变成了 rw-。其次，mask 是什么？为什么也变化了呢？我们先从mask 说起。如果说 acl 的优先级高于 UGO，那么 mask 就是一个名副其实的最后一道防线。它决定了一个用户/组能够得到的最大的权限。这样我们在不破坏已有 ACL 的定义的基础上，可以临时提高或是降低安全级别：rootB
22、I_gpfs01 gpfs# setfacl -m mask:r testaclrootBI_gpfs01 gpfs# getfacl testacl# file: testacl# owner: root# group: rootuser:rw-user:testu1:rwx #effective:r-group:r-group:testg1:r-mask:r-other:r-rootBI_gpfs01 gpfs# ls -l testacl-rw-rw-r-+ 1 root root 0 Mar 20 13:48 testacl在 testu1 对应的 ACL 项的后边出现了 effect
23、ive 的字样，这是实际 testu1 得到的权限。Mask 只对其他用户和组的权限有影响，对 owner 和 other 的权限是没有任何影响的。 执行 ls 的结果也显示 UGO 的设置也有了对应的变化。因为在使用了 ACL 的情况下， group 的权限显示的就是当前的 mask。通常我们把mask 设置成 rwx，以不阻止任何的单个 ACL 项。*需要注意的是，每次修改或添加某个用户或组的 ACL 项的时候，mask 都会随之修改以使最新的修改能够真正生效。所以如果需要一个比较严格的 mask的话，可能需要每次都重新设置一下 mask。2、 ACL 的其他功能：删除和覆盖setfacl
24、 -x 命令 删除某条 ACL 设置setfacl -x g:testg1 testaclsetfacl -b 命令 删除所有 ACL 设置3、目录的默认 ACL如果我们希望在一个目录中新建的文件和目录都使用同一个预定的 ACL，那么我们可以使用默认(Default) ACL。在对一个目录设置了默认的 ACL 以后，每个在目录中创建的文件都会自动继承目录的默认 ACL 作为自己的 ACL。用 setfacl的-d 选项就可以做到这一点：4、备份和恢复 ACL例如备份 dir1 的 ACL：getfacl -R dir1 dir1.acl删除 dir1 的所有 ACLsetfacl -R -b
25、dir1恢复被删除的 dir1 的 ACLsetfacl -restore dir1.acl参考： http:/ GPFS 软件的安装和准备工作GPFS 软件安装部分主要参考文档：。该文档详细介绍了在 AIX,Linux 以及 window 环境安装 GPFS 的方法。3.1 必须安装的 Linux RPM 包RHEL 上需要安装必要的 Linux RPM 包，如果缺失 rpm，GPFS 安装将无法进行：make perlrsh ld-linux.so libm.so.6 libc.so.6 ksh libstdc+.so.5rsh-server rpcbind xinetd libaio c
26、pp gcc-c+ gcc nfs-utilskernel-headers kernel-devel compat-libstdc+compat-libstdc+-33.x86_64glibc-devellibXp.so.6imake rpm-build2.2 软件上传至目的 Linux 分区在每个分区/tmp 文件系统上建立 GPFS 安装目录 /tmp/gpfs_install，并将安装软件介质上传至该目录：1. 建立/home/gpfs_ base/将基础软件包 GPFS3.5 文件夹上传至各个节点对应目录：2. 建立/tmp/gpfs_ fix/将升级软件包 GPFS-3.5.0.13
27、-x86_64-Linux.tar.gz 上传至各个节点对应目录。2.3 在每个节点上安装 GPFS 软件包三个节点安装过程一致，下面仅表述 1 节点的安装过程，其余节点安装方法一致。2.3.1 GPFS 基础包安装# cd /home/gpfs_ base/GPFS3.5上传的文件如果是压缩包，首先对压缩包进行解压，本次上传文件为解压后的文件，文件夹中可以看到以下文件：-rw-r-r-. 1 root root 10992478 Dec 10 01:28 gpfs.base_3.5.0-0_amd64.deb-rw-r-r-. 1 root root 11182009 Dec 10 01:2
28、8 gpfs.base-3.5.0-0.x86_64.rpm-rw-r-r-. 1 root root 205510 Dec 10 01:28 gpfs.docs_3.5.0-0_all.deb-rw-r-r-. 1 root root 221562 Dec 10 01:28 gpfs.docs-3.5.0-0.noarch.rpm-rw-r-r-. 1 root root 480042 Dec 10 01:28 gpfs.gpl_3.5.0-0_all.deb-rw-r-r-. 1 root root 500281 Dec 10 01:28 gpfs.gpl-3.5.0-0.noarch.r
29、pm-rw-r-r-. 1 root root 95090 Dec 10 01:28 gpfs.msg.en-us_3.5.0-0_all.deb-rw-r-r-. 1 root root 96641 Dec 10 01:28 gpfs.msg.en_US-3.5.0-0.noarch.rpmdrwxr-xr-x. 2 root root 4096 Dec 10 01:28 license-rw-r-r-. 1 root root 39 Dec 10 01:28 status.dat使用 rpm 命令安装软件包rpm ivh *.rpm安装后使用 rpm -qa|grep gpfs 检查 GP
30、FS 软件安装情况2.3.2 GPFS 升级包安装将准备好的升级包上传至各个节点。# cd /home/gpfs_fix# gunzip GPFS-3.5.0.13-x86_64-Linux.tar.gz# tar -xvf GPFS-3.5.0.13-x86_64-Linux.tar解压后，可以看到文件夹下有以下文件：-rw-r-r-. 1 root root 4558 Oct 3 22:24 changelog-rw-r-r-. 1 root root 27883520 Dec 10 01:26 GPFS-3.5.0.13-x86_64-Linux.tar-rw-r-r-. 1 30007
31、 bin 12916640 Oct 1 03:55 gpfs.base_3.5.0-13_amd64_update.deb-rw-r-r-. 1 30007 bin 13156422 Oct 1 03:51 gpfs.base-3.5.0-13.x86_64.update.rpm-rw-r-r-. 1 30007 bin 236230 Oct 1 03:55 gpfs.docs_3.5.0-13_all.deb-rw-r-r-. 1 30007 bin 254205 Oct 1 03:51 gpfs.docs-3.5.0-13.noarch.rpm-rw-r-r-. 1 30007 bin 5
32、31014 Oct 1 03:55 gpfs.gpl_3.5.0-13_all.deb-rw-r-r-. 1 30007 bin 554372 Oct 1 03:51 gpfs.gpl-3.5.0-13.noarch.rpm-rw-r-r-. 1 30007 bin 104952 Oct 1 03:55 gpfs.msg.en-us_3.5.0-13_all.deb-rw-r-r-. 1 30007 bin 106817 Oct 1 03:53 gpfs.msg.en_US-3.5.0-13.noarch.rpm-rw-r-r-. 1 root root 5947 Sep 10 22:33 R
33、EADME使用 rpm 命令进行升级：rpm -Uvh *.rpm升级后使用 rpm -qa|grep gpfs 检查 GPFS 软件安装情况gpfs.msg.en_US-3.5.0-13.noarchgpfs.gpl-3.5.0-13.noarchgpfs.docs-3.5.0-13.noarchgpfs.base-3.5.0-13.x86_642.4 GPFS 软件编译在一个节点上对 GPFS 软件进行编译# cd /usr/lpp/mmfs/srcmake Autoconfigmake Worldmake InstallImagesmake rpm 生成编译后的 rpm 包， （在其他节
34、点可以跳过编译过程，直接安装编译过的 rpm 包即可）位置在/root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_64.rpm将编译生成的 rpm 包传送到其他节点。scp /root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_64.rpm192.168.0.2:/root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_
35、64.rpmscp /root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_64.rpm192.168.0.3:/root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_64.rpm scp /root/rpmbuild/RPMS/x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_64.rpm192.168.0.10:/root/rpmbuild/RPMS/
36、x86_64/gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-13.x86_64.rpm安装 rpm 包rpm ivh gpfs.gplbin-2.6.32-279.el6.x86_64-3.5.0-3.x86_64.rpm2.5 GPFS 环境变量设置在每个节点上编辑/etc/profile，添加PATH=$PATH:/usr/lpp/mmfs/bin4、 GPFS 环境配置文件准备4.1、创建节点描述文件Vi /tmp/gpfs_config/gpfs_nodesBI_gpfs01:quorum-managerBI_gpfs02:quorum-manager
37、BI_gpfs03:quorum-managerBI_gpfs04:quorum-managerBI_gpfs05:quorum-managerBI_gpfs06:managerBI_gpfs07:managerBI_gpfs08:managerBI_gpfs09:managerBI_gpfs10:manager4.2、创建磁盘描述文件Vi /tmp/gpfs_config/gpfs_nsd内容可参考如下：gpfs_nsd1.txt4.3、创建主机信任-SSH在每个节点上分别操作：# yum -y install openssh-clients 安装openssh# ssh-keygen -t
38、 rsa -b 2048 生成ssh-key在一节点中# cd /root/.ssh/# cp id_rsa.pub authorized_keys# scp 192.168.0.2:/root/.ssh/id_rsa.pub 192.168.0.1:/root/.ssh/authorized_keys.2# scp 192.168.0.3:/root/.ssh/id_rsa.pub 192.168.0.1:/root/.ssh/authorized_keys.3# scp 192.168.0.4:/root/.ssh/id_rsa.pub 192.168.0.1:/root/.ssh/aut
39、horized_keys.4# scp 192.168.0.5:/root/.ssh/id_rsa.pub 192.168.0.1:/root/.ssh/authorized_keys.5# scp 192.168.0.6:/root/.ssh/id_rsa.pub 192.168.0.1:/root/.ssh/authorized_keys.6# scp 192.168.0.7:/root/.ssh/id_rsa.pub 192.168.0.1:/root/.ssh/authorized_keys.7# scp 192.168.0.8:/root/.ssh/id_rsa.pub 192.16
40、8.0.1:/root/.ssh/authorized_keys.8# scp 192.168.0.9:/root/.ssh/id_rsa.pub 192.168.0.1:/root/.ssh/authorized_keys.9# scp 192.168.0.10:/root/.ssh/id_rsa.pub 192.168.0.1:/root/.ssh/authorized_keys.10# cat authorized_keys.2 authorized_keys# cat authorized_keys.3 authorized_keys# cat authorized_keys.4 au
41、thorized_keys# cat authorized_keys.5 authorized_keys# cat authorized_keys.6 authorized_keys# cat authorized_keys.7 authorized_keys# cat authorized_keys.8 authorized_keys# cat authorized_keys.9 authorized_keys# cat authorized_keys.10 authorized_keys# cat authorized_keys 检查是否每个节点的key是否都在该文件中拷贝 1 节点的 a
42、uthorized_keys 到其他节点中：scp 192.168.0.1:/root/.ssh/authorized_keys 192.168.0.2:/root/.ssh/authorized_keysscp 192.168.0.1:/root/.ssh/authorized_keys 192.168.0.3:/root/.ssh/authorized_keysscp 192.168.0.1:/root/.ssh/authorized_keys 192.168.0.4:/root/.ssh/authorized_keysscp 192.168.0.1:/root/.ssh/authoriz
43、ed_keys 192.168.0.5:/root/.ssh/authorized_keysscp 192.168.0.1:/root/.ssh/authorized_keys 192.168.0.6:/root/.ssh/authorized_keysscp 192.168.0.1:/root/.ssh/authorized_keys 192.168.0.7:/root/.ssh/authorized_keysscp 192.168.0.1:/root/.ssh/authorized_keys 192.168.0.8:/root/.ssh/authorized_keysscp 192.168
44、.0.1:/root/.ssh/authorized_keys 192.168.0.9:/root/.ssh/authorized_keysscp 192.168.0.1:/root/.ssh/authorized_keys 192.168.0.10:/root/.ssh/authorized_keys 在三个节点上分别执行# vi /etc/ssh/sshd_config 修改PermitRootLogin yes，去掉# service sshd restart配置后验证ssh连接是否正常Tips:该tips未经验证，简单的解决known_hosts问题的方法是删除 known_hosts
45、，然后从新登陆一遍。停止 CSM 维护 known_hosts 文件，如下所示。这个文件中包含了很多主机名。如果一个主机已经出现在这个文件中，那么 SSH 就不会提示用户确认连接。CSM 会试图维护这个文件，但是在一个不需要根密码访问的混合集群环境中，这可能会成为一种障碍。stopcondresp NodeFullInstallComplete SetupSSHAndRunCFMstartcondresp NodeFullInstallComplete RunCFMToNodeperl -pe s!(.*update_known_hosts.*)!#$1! -i /opt/csm/csmbin
46、/RunCFMToNode生成一个系统范围的 known_hosts 文件。这最好通过创建一个脚本来实现，如下所示。运行这个脚本并将输出重定向到 /cfmroot/root/.ssh/known_hosts 中。#!/bin/bashRSA_PUB=$(cat “/cfmroot/etc/ssh/ssh_host_rsa_key.pub“)DSA_PUB=$(cat “/cfmroot/etc/ssh/ssh_host_dsa_key.pub“)for node in $(lsnodes); doip=$(grep $node /etc/hosts | head -n 1 | awk prin
47、t $1)short=$(grep $node /etc/hosts | head -n 1 | awk print $3)echo $ip,$node,$short $RSA_PUBecho $ip,$node,$short $DSA_PUBdone4.4、 确认连接磁盘#fdisk l可以找到名为 sdb（大小为 9090G）pvcreate /dev/sdb /dev/sdbpvscan vgcreate vg01 /dev/sdbvgdisplaylvcreate -L 550G -n lv_mdata1 vg01lvcreate -L 8500G -n lv_data01 vg01同
48、理，在其余节点创建相应的 PV,LV。lvremove -f vg01/ lv_data015、GPFS 集群配置5.1、建立集群建立及管理集群主要参考文档Administration and Programming Reference 。该文档对如何创建，管理GPFS集群做了详细介绍，对GPFS管理常用命令也做了详细解释。5.1.1、创建集群mmcrcluster -n /tmp/gpfs_conf/gpfs_nodes -C BI_gpfs_cluster -p BI_gpfs01 -s BI_gpfs02 -r /usr/bin/ssh -R /usr/bin/scp-C 标志设置了集群
49、名。-p 设置主配置服务器节点。-s 设置次配置服务器节点。-r 为 GPFS 使用的远程 shell 程序设置完整路径。-R 设置 GPFS 使用的远程文件拷贝程序。mmchlicense server -accept -N BI_gpfs01,BI_gpfs02,BI_gpfs03,BI_gpfs04,BI_gpfs05,BI_gpfs06,BI_gpfs07,BI_gpfs08,BI_gpfs09,BI_gpfs10tips：此处创建出现不成功情况，创建过程中节点间一直尝试连接，无法连接成功的样子，可事实上通过ssh 各节点之间是可以正常连接的。出现该问题的症结在于 linux 防火墙。检查及关闭防火墙的方法见附录。5.1.2、显示配置信息mmlscluster查看节点是否均为 quorum-manager 角色5.2、创建 NSD5.2.1、使
