1、 Redhat 5.1 群集配置文档 技术交流 1 经验共享 Redhat 5.1群集配置文档 Redhat 5.1 群集配置文档 技术交流 2 经验共享 目录 一、系统环境.3 二、系统配置.3 2.1 网络规划.3 2.2 监控脚本.4 2.3 主机信息配置.4 2.4 修改主机名.4 2.5 配置网卡绑定功能.4 三、共享存储配置.6 四、群集配置.7 41 创建新的群集配置7 42 添加群集成员节点8 43 输入成员节点信息9 44 添加Fence设备9 45 建立Fence设备和节点联系.10 46 创建失效域.10 47 创建群集资源.13 48 创建群集服务.15 49 为新创建
2、的群集服务加入建立的资源.16 410 保存群集配置16 411 同步集群配置信息16 412 在所有群集成员节点上分别依次启动下面的服务16 五、集群管理16 51 clusvadm 工具使用16 52 通过service 命令操作.17 Redhat 5.1 群集配置文档 技术交流 3 经验共享 Redhat 5.1群集配置文档 一、系统环境 硬件： 2台DL380G5主机、1台MSL2000存储、1台交换机 软件： 操作系统 Redhat 5.1 Redhad 集群软件 Redhat cluster suite 5.1 (注意版本一致) 系统拓扑图： 二、系统配置 2.1 网络规划 服务
3、器的IP地址及主机名 Redhat 5.1 群集配置文档 技术交流 4 经验共享 Fence设备的IP地址及主机名 MC所对应的虚拟IP地址 2.2 监控脚本 双机如果将挂载的服务属于系统服务，那么服务所在路径为/etc/rc.d/init.d下，如果自己编写脚本，注意脚本必须具有启动、停止、监控三个功能。 2.3 主机信息配置 /evc/hosts 文件包含 IP 地址到主机名的转换表，每个节点上的/etc/hosts都必须包含如下信息： n 所有群集成员的IP地址和相关联的主机名 n 心跳线的连接的IP地址 以下是成员上的/etc/hosts文件： 192.168.1.10 redhat_
4、ha1 192.168.1.20 redhat_ha2 192.168.1.11 iol_ha1 192.168.1.21 ilo_ha2 注：此次MC心跳与数据在一起，即192.168.1.10和192.168.1.20既是数据又是心跳。 2.4 修改主机名 修改/etc/sysconfig/network NETWORKING=yes HOSTNAME=redhat_ha1 注：按此修改redhat_ha2的主机名，并重起网络服务service network restart 2.5 配置网卡绑定功能 Redhat中允许管理员绑定多个网卡到一个通道，以实现负载均衡或者容错，也就是我们平时说
5、的网卡绑定（ Channel Bonding Interfaces），linux在kenrnel2.4.12以后就自带了bonding的驱动。也可以通过以下命令确定内核是否支持bonding： 1）确认系统是否支持bond #cat /boot/config-kernel-version |grep -i bonding CONFIG_BONDING=m 返回CONFIG_BONDING=m表示支持，否则需要编译内核使它支持bonding。 Redhat 5.1 群集配置文档 技术交流 5 经验共享 2）修改网卡信息 #cp /etc/sysconfig/network-scripts/ifc
6、fg-eth0 ifcfg-bond0 #vi /etc/sysconfig/network-scripts/ifcfg-bond0 DEVICE=bond0 IPADDR=192.168.1.11 NETMASK=255.255.255.0 NETWORK=192.168.1.0 BROADCAST=192.168.1.255 ONBOOT=yes USERCTL=no #vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 ONBOOT=yes USERCTL=no MASTER=bond0 SLAVE=yes BOOTPROTO
7、=none #vi /etc/sysconfig/network-scripts/ifcfg-eth1 DEVICE=eth1 ONBOOT=yes USERCTL=no MASTER=bond0 SLAVE=yes BOOTPROTO=none 3）添加如下信息到/etc/modprobe.conf alias bond0 bonding options bond0 mode=1 moiimon=100 user=carrier=0 注：BONDING_OPTS=“mode=1 miimon=500“ 其中mode 有多种模式实现不同的功能，其中 1、5、6 不需要交换机特别配置，0、2、3
8、、4 需要交换机做相应配置才能完全实现相应的功能，我们用的最多的是0、1两种模式： n balancerr or 0：可实现负载均衡功能，两个网卡同时工作，当其中一个网卡宕掉时另一个会继续工作 n active-backup or 1：主备模式。只有一个网卡工作，当其中一个出问题时另一网卡才接管开始工作。 Redhat 5.1 群集配置文档 技术交流 6 经验共享 4）检查网卡绑定功能是否成功 查看端口是否正常可以用 ifconfig 命令查看，你会发现此时两块网卡与 bond0 的MAC 地址一致，也可以通过查看/proc/net/bonding/bond0，查看当前是用什么 mode，如果
9、是主备的话，当前是哪个网卡工作。 # cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v3.0.3 (March 23, 2006) Bonding Mode: fault-tolerance (active-backup) Primary Slave: None Currently Active Slave: eth0 MII Status: up MII Polling Interval (ms): 500 Up Delay (ms): 0 Down Delay (ms): 0 Slave Interface: et
10、h0 MII Status: up Link Failure Count: 0 Permanent HW addr: 00:0c:29:01:4f:77 Slave Interface: eth1 MII Status: up Link Failure Count: 0 Permanent HW addr: 00:0c:29:01:4f:8b 注：redhat_ha2按照此配置进行修改 三、共享存储配置 本章中我们使用了存储的三个LUN，用于存放ORA数据库的数据。 1）首先确定系统中是否安装了lvm工具： rootwww root# rpm qa|grep lvm lvm-1.0.3-4 2
11、）创建物理卷 # pvcreate /dev/sda # pvcreate /dev/sdb # pvcreate /dev/sdc Redhat 5.1 群集配置文档 技术交流 7 经验共享 3）创建卷组 # vgcreate vgdata /dev/sdb # vgextend vgdata /dev/sdc 4）创建逻辑卷 # vgdisplay vgdata (确认其有多少个PE) # lvcreate l 65543 n lv_vgdata vgdata 5）为逻辑卷建立文件系统 # mkfs.ext3 /dev/vgdata/lv_vgdata 然后挂载尝试是否建立成功 # mou
12、nt /dev/vg00/vgdata/lv_vgdata /data 如果希望系统启动时自动加载文件系统，则还需要在/etc/fstab中添加内容： /dev/vgdata/lv_vgdata /data ext3 defaults 1 2 6）数据同步 在另一台主机上执行如下命令，或重启主机也可使另一台主机识别到VG # pvscan # vgscan # lvscan 四、群集配置 在群集配置之前，务必检查如下两点： 1） 确保各主机的IP地址均可互相ping 通。 2） 共享存储上建立的lv两台主机均可正常mount。 在shell提示下，键入system-config-cluster
13、命令 程序首次启动时，集群配置工具会被显示。完成配置后，这个命令可以用来显示和管理集群状态的工具，也可通过 clustat查看MC状态。 4.1 创建新的群集配置 选择Create New Configuration按钮 见图 4-1 Redhat 5.1 群集配置文档 技术交流 8 经验共享 (图 4-1) 4.2 添加群集成员节点 点击Cluster-Cluster Nodes-Add a Cluster Node 见图 4-2 （图4-2） Redhat 5.1 群集配置文档 技术交流 9 经验共享 4.3 输入成员节点信息 在cluster Node Name 中输入主机名，Quoru
14、m Votes 不填 ，点击 确认 见图 4-3 4.4 添加Fence设备 要确保数据完整性，在某一时间只有一个成员能够运行服务和存取服务数据。在群集硬件配置中使用电源控制器（又称电源开关）就使成员在失效转移情况下，重新启动另一个成员的服务之前重开它的电源。这会防止两个系统同时存取同一数据从而导致数据不一致的现象。 关于Fence设备，有外置的比如APC的电源管理器。很多服务器都是内置的，只是不同厂家叫法不同而已。比如HP的服务器称之为ILO2口，IBM称为BMC 口等等，本章中我们才用的是HP设备，所以Fence设备为ILO 输入Fence设备的信息，点击Cluster-Fence Dev
15、ices-Add a Fence Device 见图 4-4 (图4-4) Name: ilo-ha1 Login:Administrator Password: (在主机前的信息牌上) Hostname:ilo_ha1 (可随意填写) 注：同样方法添加第二台主机Fence设备 Redhat 5.1 群集配置文档 技术交流 10 经验共享 4.5 建立Fence设备和节点联系 在添加了fence设备后，需要建立fence设备和每个节点的对应关系，使每个节点可以通过fence设备对节点开机、关机、重启进行管理或对节点的状态查询 点击 Cluster Nodes-redhat_ha1-Manage
16、 Fencing For This Node 按钮。见图4-5-1进入图4-5-2 所示，点击Add a New Fence Level按钮，进入4-5-3图所示，点击Fence-level-1，进入4-5-4图所示，点击Add a New Fence to this level，选择ilo-ha1然后点击确认即可。 （图 4-5-1） （图 4-5-2） Redhat 5.1 群集配置文档 技术交流 11 经验共享 （图 4-5-3） （图4-5-4） Redhat 5.1 群集配置文档 技术交流 12 经验共享 4.6 创建失效域 失效转移是在系统失效时具备运行服务资格的群集成员的一个带有
17、名称的子集。失效转移的特点： 无限制 允许你指定要优选的成员子集，但是被分派到这个域的服务可以在任何可用的成员上运行。 有限制 允许你限制能够运行某个特定服务的成员。如果在限制的失效转移中没有一个可用的成员，服务就无法被启动（手工启动或被群集软件启动） 无序 当服务被分派给一个无序的失效转移域，运行服务的成员就会从失效转移域成员中不按优先顺序被选择。 有序 允许你在失效转移域成员中指定一个优选顺序。在列表最前面的是最幽闲的，跟着是其次，依次类推。 按照默认设置，失效转移域是无限制和无序的。 在多个节点成员的群集中，使用有限制的失效转移域能够在最大程度上减少设置群集来运行服务（如 Httpd，它
18、要求在运行这个的所有成员上设置相同的配置）的工作量。无须设置整个群集来运行这个服务，你只须在和相关有限的失效转移域中的成员上设置。 选择 Cluster-Managed Resources-Failover Domains-Create a Failover Domain。 Failover Domain：ora_db 见图4-6-1 (图4-6-1) 点击Available Cluster Nodes，分别选中redhat_ha1和redhat_ha2，然后点击关闭按钮。 见图 4-6-2 / 图4-6-3 Redhat 5.1 群集配置文档 技术交流 13 经验共享 （图 4-6-2） （
19、图 4-6-3） 4.7 创建群集资源 Redhat cluster 包括七种资源类型： n GFS 文件系统 Redhat 5.1 群集配置文档 技术交流 14 经验共享 n 非GFS文件系统（ext2,ext3） n IP地址 n NFS加载 n NFS客户端 n NFS输出 n 服务脚本 点击Cluster-Managed Resources-Resources-Creater a Resource 见图 4-7 (图4-7) 本章中我们需要建立三个资源，分别是： 1）添加一个文件系统 在select a Resource Type: File System Name:share_dis
20、k File System Type: ext3 Mount Point:/data Device:/dev/vgdata/lv_vgdata 2）添加一个服务IP地址（虚拟IP） 在select a Resource Type: IP Address 输入 192.168.1.100 3）添加服务脚本 在select a Resource Type: Script Name Script Name : script_ora Redhat 5.1 群集配置文档 技术交流 15 经验共享 File(with path): 4.8 创建群集服务 点击Cluster-Managed Resource
21、s-Resources-Creater a service (见图4-8-1) Name:ora-service 然后点击确定按钮。在对话框Failover Domain中选择ora_db(见图4-8-2) (图4-8-1) (图4-8-2) Redhat 5.1 群集配置文档 技术交流 16 经验共享 4.9 为新创建的群集服务加入建立的资源 点击：Add a shared Resource to this service 按钮，选择share_disk Add a shared Resource to this service 按钮，选择 192.168.1.100 Add a share
22、d Resource to this service 按钮，选择 script_ora 4.10 保存群集配置 点击文件-保存，使用默认的文件名和路径 ，然后点击文件 退出 4.11 同步集群配置信息 scp /etc/cluster/cluster.conf redhat_ha2:/etc/cluster/ 4.12 在所有群集成员节点上分别依次启动下面的服务 Service cman start Service rgmanager start 注： n 分别在两个节点启动cman后集群才能正常运行，在 redhat_ha1上启cman后会停在fenceing等待，这时你需要在另一个节点re
23、dhat_ha2上运行cman，这样才能将集群启动完毕。 n 哪个节点先运行rgmanager 将作为主节点，服务将运行在其之上。 n 可通过system-config-cluster 观察集群运行状态，也可运行 clustat查看。 五、集群管理 5.1 clusvadm 工具使用 clusvcadm 工具提供了命令行用户界面，它使管理员能够监视和管理集群系统和服务，使用 clusvcadm工具可执行如下任务： 禁用和启动服务 重新定位和重新启动集群服务 Redhat 5.1 群集配置文档 技术交流 17 经验共享 锁定和解锁服务状态 Clusvadm 命令行的选项如下： -d servic
24、e 禁用某服务。 -e service 启动某服务。 -e service m member 启动指定成员上的某服务。 -l 锁定服务状态 -r service m member 把某服务重新定位到指定成员上。 -R 重新启动某服务。 -s 停止某服务 例如： 启动服务在redhat_ha1上： Clusvcadm e ora_service m redhat_ha1 重新将服务从redhat_ha1上切换回redhat_ha2 Clusvcadm r ora_service m redhat_ha2 5.2 通过service 命令操作 启动集群 Service cman start Service rgmanager start 停止集群 Service rgmanager stop Service cman stop 至此 ，以上是基于两个节点的Redhat 高可用性的配置及管理。
