1、HACMP5.1 Concept & Implementation,2018/4/21,1,HACMP5.2 概念和实施,中软国际系统集成部王 波2007-04-10,2018/4/21,HACMP5.1 Concept & Implementation,2,目录,什么是HACMP?配置HACMP的规划和考虑HACMP的安装和配置HACMP的接管测试,2018/4/21,HACMP5.1 Concept & Implementation,3,HACMP(High Availability Cluster Multi Processing),为什么需要高可用性？什么是HACMP？ High Av
2、ailability：系统可用性或运行时间最大化系统宕机时间最小化不是容错机（ fault tolerance） 什么是multi-processing？一个cluster里的各个节点上可以运行多个应用共享数据或并发访问数据.HACMP的目的HACMP的 历史HA与容错机的区别,2018/4/21,HACMP5.1 Concept & Implementation,4,简化了HACMP Cluster的配置与管理 通过磁盘传输心跳信号(Heartbeat over Disk) IPAT通过Alias实现(IPAT via Alias)(缺省方式) 用户自定义的资源组(Custom RG) 快递
3、磁盘接管(Fast Disk Takeover),HACMP V5.x的新特点,在HACMP v5之前，每个版本的HACMP软件都有四个模块，HAS，CRM，ES和ESCRM，用户在定购的时候根据需要选择其中一个模块，从HACMP v5开始IBM只提供一个模块，包括以前四个模块的所有功能。,高可用性,2018/4/21,HACMP5.1 Concept & Implementation,5,配置HACMP的规划和考虑,硬件规划节点的配置要求网络的配置要求（IP和Non-IP网络）存储设备的配置要求软件的规划操作系统的版本和补丁要求HACMP的版本和补丁要求应用程序的兼容性HACMP的资源组的规
4、划,2018/4/21,HACMP5.1 Concept & Implementation,6,Cluster的节点的配置要求,一个精心设计的cluster应该尽量避免单点故障（SPOF),为了达到这个目的，典型的cluster一般对硬件有如下要求:至少2个 pseries 服务器作为cluster的节点（安装并运行HACMP,每个节点的AIX 版本和HACMP的版本要完全一致)内置硬盘：预留一定的硬盘空间满足HACMP的安装要求I/O插槽：要满足网卡、HBA卡（阵列和带库要分开）、串口卡至少一种non-IP 网络，通常采用RS232网络，如果某些节点集成串口无法作心跳，要配#2943 8口异
5、步卡，节点间要配串口线一个共享磁盘阵列（7133/FastT/ESS等,其他厂商的产品(查列表),2018/4/21,HACMP5.1 Concept & Implementation,7,Cluster的节点的配置要求：cluster性能考虑,为了保证cluster的性能，一个cluster支持的最大组件数目如下：组件 最大数目node 32Resource Groups 64Networks 48Network interface,devices, and labels 256,2018/4/21,HACMP5.1 Concept & Implementation,8,Cluster的网络
6、配置要求,确定用户的IP网络类型确定用户的IP网络资源分配准备以太网交换机的端口在交换机上划分VLAN分配IP地址确定采用的IPAT的方式还是IP replace的方式确定用户的Non-IP网络（心跳）串口方式IP网络方式硬盘方式,2018/4/21,HACMP5.1 Concept & Implementation,9,Cluster的网络配置要求：网络连接示意图,2018/4/21,HACMP5.1 Concept & Implementation,10,Non-service labels 在 AIX 启动时分配在 HACMP 启动后 ,service IP label 作为一个alia
7、s 添加到一块带有non-service label 的network interface上non-service label 从来都不会从一个 NIC上移走如果节点失败 , 一个 takeover 节点会获得失败节点的 service IP label ，并作为一个 alias 添加到它的位于同一个HACMP network 里的一块带有non-service label 的network interface上,Cluster的网络配置要求： IPAT via IP aliases（一）,2018/4/21,HACMP5.1 Concept & Implementation,11,Clust
8、er的网络配置要求： IPAT via IP aliases（二）,2018/4/21,HACMP5.1 Concept & Implementation,12,设置 IPAT via IP aliases 功能#smitty hacmpExtended Configuration Extended Topology Configuration Configure HACMP Networks Change/Show a Network in the HACMP Cluster Change/Show an IP-Based Network in the HACMP Cluster Chang
9、e/Show an IP-Based Network in the HACMP ClusterType or select values in entry fields.Press Enter AFTER making all desired changes.Entry Fields* Network Name net_ether_01 New Network Name * Network Type ether +* Netmask 255.255.255.0 +* Enable IP Address Takeover via IP Aliases Yes + IP Address Offse
10、t for Heartbeating over IP Aliases * Network Attribute public +,Cluster的网络配置要求： IPAT via IP aliases（三）,2018/4/21,HACMP5.1 Concept & Implementation,13,Non-service labels 在 AIX 启动时分配HACMP 启动后 ,service IP label 替换（replaces） non-service IP label 如果节点失败 , 一个 takeover 节点使用它的位于同一个HACMP network里的一个 non-serv
11、ice interface 来获得（acquire)失败节点的service IP label,Cluster的网络配置要求： IPAT via IP replacement(一),2018/4/21,HACMP5.1 Concept & Implementation,14,Cluster的网络配置要求： IPAT via IP replacement(二),2018/4/21,HACMP5.1 Concept & Implementation,15,HACMP5.1的新功能能够使用下列任何一种共享磁盘阵列 (Fibre Channel,SCSI, 或 SSA)使用的磁盘是一个 enhance
12、d concurrent volume group 的一部分, 唯一的要求是这个 VG必须在两个节点都有定义磁盘的这块特殊区域不能用作任何的 LVM 操作, 而只能用来在两个节点间传递心跳消息,Cluster的网络配置要求：磁盘心跳（Heartbeat via disk),2018/4/21,HACMP5.1 Concept & Implementation,16,Cluster的存储设备配置要求,确定存储设备的连接类型SCSISSAFC了解用户需求划分存储资源划分RAID创建逻辑盘确定VG的类型Non-concurrentConcurrentEnhanced concurrent确定文件系统
13、类型jfs2Jfs,2018/4/21,HACMP5.1 Concept & Implementation,17,通过提供快速资源组fallover，减少宕机时间对于2块硬盘的VG，接管时间一般不超过10秒。对于带有大数量磁盘的VG的资源组有显著的性能提高。需要enhanced concurrent volume groups 定义在 non-concurrent resource groups里对于位于共享盘阵上enhanced concurrent volume groups，如果是共享资源组的资源， HACMP 会自动实现快速磁盘接管.,Cluster的存储设备配置要求： 快速磁盘接管（
14、fast disk takeover)（一）,2018/4/21,HACMP5.1 Concept & Implementation,18,你可以查看vg的状态通过 lsvg 命令：VG STATE 是 active状态。VG PERMISSION 是actively方式的varyon ，将显示read/write，如果是passive方式的varyon ，将显示passive-only。CONCURRENT 将显示Capable或者Enhanced-Capable (对于concurrent vg).,Cluster的存储设备配置要求： 快速磁盘接管（fast disk takeover)（
15、二）,2018/4/21,HACMP5.1 Concept & Implementation,19,Cluster的存储设备配置要求： 快速磁盘接管（fast disk takeover)（三）,2018/4/21,HACMP5.1 Concept & Implementation,20,Cluster的软件配置要求(一),操作系统的版本和补丁要求,2018/4/21,HACMP5.1 Concept & Implementation,21,Cluster的软件配置要求(二),HACMP的补丁要求HACMP V5.1 IY45695(IY53044, same) HACMP V5.2 IY58
16、496补丁包的下载中心http:/ bos.rte.lvm. 5.1.0.25 or higher bos.clvm.enh.,2018/4/21,HACMP5.1 Concept & Implementation,22,Cluster的软件配置要求（三）,操作系统上需要打的一些额外的包： bos.adt.lib bos.adt.libm bos.adt.syscalls .tcp.client .tcp.server bos.rte.SRC bos.rte.libc bos.rte.libcfg bos.rte.libcur bos.rte.libpthreads bos.rte.odm b
17、os.data,2018/4/21,HACMP5.1 Concept & Implementation,23,AIX的各个版本和HACMP的各个版本兼容表,2018/4/21,HACMP5.1 Concept & Implementation,24,资源组（Resource Group）定义：,一些可管理的资源集合在一起，和特定的应用相关联，并可一同执行 failover等行为的组. 包含四种类型：Cascading resource groupRotating resource groupConcurrent resource groupCustom resource group（HA 5.
18、X新增的资源组类型）,2018/4/21,HACMP5.1 Concept & Implementation,25,Cascading resource group,资源移动按照一个从高到低的优先级顺序当发生失败节点重新加入（reintegration）时，资源会返回到优先级更高的节点缺省，资源会在优先级最高的节点上启动资源（Resources）: Service IP Labels/Addresses Volume Groups Filesystems Application Servers,2018/4/21,HACMP5.1 Concept & Implementation,26,Cas
19、cading resource group的接管过程,2018/4/21,HACMP5.1 Concept & Implementation,27,Rotating resource group,资源移动按照一定顺序，一个接一个呈rotation当节点失败 ,第一个备(standby)节点会获得失败节点的资源组 一个失败节点重新加入cluster，将会作为备(standby)节点，不会重新获得原来的资源组 资源（Resources）: Service IP Labels/Addresses Volume Groups Filesystems Application Servers,2018/4
20、/21,HACMP5.1 Concept & Implementation,28,Rotating resource group的接管过程,2018/4/21,HACMP5.1 Concept & Implementation,29,Concurrent resource group,所有的节点共享且可并发访问数据应用在所有节点上并行运行有Lock Manager 协调各节点对数据的访问一个节点失败，会降低cluster 性能，但不会发生接管。资源（Resources）: Concurrent Volume Groups Application Servers,共享盘阵,2018/4/21,H
21、ACMP5.1 Concept & Implementation,30,Custom resource group,HACMP5.1 增加的新类型 通过参数设置 ,可以精确定义有关资源组的 startup,failover 和fallback行为的策略资源（Resources）: Service IP Labels/Addresses Volume Groups Use forced varyon of volume groups, if necessary false Filesystems Application Servers 局限性： Custom RGs 只支持 IPAT-via-A
22、liasing service IP addresses/labels.,2018/4/21,HACMP5.1 Concept & Implementation,31,Custom resource group (con),添加一个custom resource group :#smitty hacmp Initialization and Standard Configuration Configure HACMP Resource Groups Add a Resource Group Cascading Rotating Concurrent Custom Add a Custom Re
23、source GroupType or select values in entry fields.Press Enter AFTER making all desired changes. Entry Fields* Resource Group Name * Participating Node Names (Default Node Priority) + Startup Policy Online On Home Node O + Fallover Policy Fallover To Next Prio + Fallback Policy Fallback To Higher Pr
24、+,2018/4/21,HACMP5.1 Concept & Implementation,32,需要安装的组件 操作系统的补丁 HACMP软件 HACMP软件的补丁软件的安装方法 NIM 光盘安装 本地硬盘安装验证安装,HACMP软件的安装,2018/4/21,HACMP5.1 Concept & Implementation,33,HACMP软件的配置过程,HACMP配置前的准本工作 配置IP地址 编辑/etc/hosts文件 编辑/usr/es/sbin/cluster/etc/rhosts 文件 编写应用程序的启动/停止脚本 创建共享的vg和文件系统 配置串口设备HACMP的Stand
25、ard配置过程 添加Cluster和节点 配置Cluster资源 创建并配置Cluster资源组 同步HACMP的配置HACMP的Extended配置过程 添加心跳 定制Cluster资源,2018/4/21,HACMP5.1 Concept & Implementation,34,HACMP软件配置方案拓扑图,2018/4/21,HACMP5.1 Concept & Implementation,35,HACMP配置前的准备工作：配置IP地址,test1:/netstat -inName Mtu Network Address Ipkts Ierrs Opkts Oerrs Collen0
26、1500 link#2 0.4.ac.49.f2.d5 77960 0 47805 0 0en0 1500 100.1 100.1.0.1 77960 0 47805 0 0en1 1500 link#3 0.6.29.ec.44.d6 33 0 11 0 0en1 1500 192.168.0 192.168.0.1 33 0 11 0 0test2:/netstat -inName Mtu Network Address Ipkts Ierrs Opkts Oerrs Collen0 1500 link#2 0.4.ac.49.60.23 31138 0 82582 0 0en0 1500
27、 100.1 100.1.0.2 31138 0 82582 0 0en1 1500 link#3 0.4.ac.3e.b9.4b 36 0 13 0 0en1 1500 192.168.0 192.168.0.2 36 0 13 0 0,2018/4/21,HACMP5.1 Concept & Implementation,36,HACMP配置前的准备工作：编辑配置文件,编辑/etc/hosts文件100.1.0.1 test1_boot1 test1192.168.0.1 test1_boot2100.1.0.2 test2_boot1 test2192.168.0.2 test2_boo
28、t2 test210.1.0.1 test1_svc10.1.0.2 test2_svc编辑/usr/es/sbin/cluster/etc/rhosts 文件100.1.0.2100.1.0.1 192.168.0.1 192.168.0.2,2018/4/21,HACMP5.1 Concept & Implementation,37,HACMP配置前的准备工作：编写脚本,查看节点上的应用服务器的启动/停止脚本test2:/ha51ls l -rwxr-xr-x 1 root system 65 Apr 13 13:51 start-rw-r-r- 1 root system 31 Apr
29、13 11:49 start.log-rwxr-xr-x 1 root system 66 Apr 13 14:01 start1-rw-r-r- 1 root system 31 Apr 13 14:01 start1.log-rwxrwxrwx 1 root system 64 Apr 13 11:48 stop-rw-r-r- 1 root system 31 Apr 13 11:48 stop.log-rwxr-xr-x 1 root system 66 Apr 13 14:01 stop1-rw-r-r- 1 root system 31 Apr 13 14:01 stop1.log
30、启动脚本举例：vi start date /ha51/start.logbanner start app1 /tmp/hacmp.out,2018/4/21,HACMP5.1 Concept & Implementation,38,HACMP配置前的准备工作：创建共享的VG和FS,test1vg是共享VG：test1 : hdisk0 0004383268b07574 rootvg activehdisk3 000438325e22bca7 test1vghdisk4 00043832125e5aa8 Nonehdisk5 000438323d0e4487 Nonetest2 : hdisk0
31、 000d29574085126d rootvg activehdisk5 000438325e22bca7 test2vghdisk6 00043832125e5aa8 Nonehdisk7 000438323d0e4487 None,2018/4/21,HACMP5.1 Concept & Implementation,39,HACMP配置前的准备工作：创建串口设备,通过smitty tty命令来添加串口设备(port=0)：,2018/4/21,HACMP5.1 Concept & Implementation,40,HACMP的Standard配置过程：添加CLUSTER和节点,* C
32、luster Name ha51tsc New Nodes (via selected communication paths) test2_boot1 test1_boot1 Currently Configured Node(s),通过smitty hacmp命令，按照下列路径来添加Cluster和节点：- Initialization and Standard Configuration- Add Nodes to an HACMP Cluster。,注：这一步很重要，一般我们都是把每个节点的boot1 作为communication path . 当回车以后，系统会自己discover
33、 hacmp 的资源，并有详细的信息显示输出。,2018/4/21,HACMP5.1 Concept & Implementation,41,HACMP的Standard配置过程：添加高可用资源Service IP,通过smitty hacmp命令，按照下列路径来添加Service IP：- Initialization and Standard Configuration- Configure Resources to Make Highly Available - Configure Service IP Labels/Addresses- Add a Service IP Label/A
34、ddress,* IP Label/Address test1_svc Network Name net_ether_02 * IP Label/Address test2_svc Network Name net_ether_02 ,2018/4/21,HACMP5.1 Concept & Implementation,42,HACMP的Standard配置过程：添加高可用资源Application Server,通过smitty hacmp命令，按照下列路径来添加Application Server：- Initialization and Standard Configuration-
35、Configure Resources to Make Highly Available - Configure Application Servers- Add an Application Server,* Server Name app1* Start Script /ha51/start* Stop Script /ha51/stop,注：如果有多个应用服务器，则添加多个Application Server。,2018/4/21,HACMP5.1 Concept & Implementation,43,注意在前面的步骤中我们看到已经有一个共享VG test1vg 存在了，它使用传统的方
36、法：在test1 节点上创建test1vg , lv,jfs Varyoffvg 在test2 上 importvg Varyoffvg 我们也可以用hacmp的功能去创建test2vg 和文件系统,HACMP的Standard配置过程:添加高可用资源VG和FS（一）,2018/4/21,HACMP5.1 Concept & Implementation,44,HACMP的Standard配置过程：添加HA资源VG和FS（二）,通过smitty hacmp命令，按照下列路径来添加共享VG：- Initialization and Standard Configuration- Configur
37、e Resources to Make Highly Available - Configure Volume Groups, Logical Volumes and Filesystems- Shared Volume Groups-Create a Shared Volume Group,Node Names test1,test2 PVID 00043832125e5aa8VOLUME GROUP name test2vg Physical partition SIZE in megabytes 4 Volume group MAJOR NUMBER 49,2018/4/21,HACMP
38、5.1 Concept & Implementation,45,HACMP的Standard配置过程：添加HA资源VG和FS（三）,通过smitty hacmp命令，按照下列路径来添加共享FS：- Initialization and Standard Configuration- Configure Resources to Make Highly Available - Configure Volume Groups, Logical Volumes and Filesystems- Shared File Systems - Journaled File Systems-Add a Jo
39、urnaled File System-Add a Standard Journaled File System,Node Names test1,test2 Volume group name test1vg* SIZE of file system 10 * MOUNT POINT /test1jfs PERMISSIONS read/write Mount OPTIONS Start Disk Accounting? no Fragment Size (bytes) 4096 Number of bytes per inode 4096 Allocation Group Size (MBytes) 8,
