HACMP5.X 概念和实施规划.ppt

1、HACMP5.1 concept and planning,2019/10/17,HACMP5.X 概念和实施规划,钟晓阳 IBM中国技术支持中心 8008101818-5151，5858 010-84981188-5151，5858,2,HACMP5.1 concept and planning,2019/10/17,目录,什么是HACMP? 配置HACMP的规划和考虑 HACMP的安装和配置 HACMP的接管测试,3,HACMP5.1 concept and planning,2019/10/17,目录,什么是HACMP? 配置HACMP的规划和考虑 HACMP的安装和配置 HACMP的接

2、管测试,4,HACMP5.1 concept and planning,2019/10/17,HACMP(High Availability Cluster Multi Processing),为什么需要高可用性？ 什么是HACMP？High Availability： 系统可用性或运行时间最大化 系统宕机时间最小化 不是容错机（ fault tolerance）什么是multi-processing？ 一个cluster里的各个节点上可以运行多个应用 共享数据或并发访问数据. HACMP的目的 HACMP的 历史 HA与容错机的区别,5,HACMP5.1 concept and planni

3、ng,2019/10/17,简化了HACMP Cluster的配置与管理通过磁盘传输心跳信号(Heartbeat over Disk)IPAT通过Alias实现(IPAT via Alias)(缺省方式)用户自定义的资源组(Custom RG)快递磁盘接管(Fast Disk Takeover),HACMP V5.x的新特点,在HACMP v5之前，每个版本的HACMP软件都有四个模块，HAS，CRM，ES和ESCRM，用户在定购的时候根据需要选择其中一个模块，从HACMP v5开始IBM只提供一个模块，包括以前四个模块的所有功能。,高可用性,6,HACMP5.1 concept and pl

4、anning,2019/10/17,目录,什么是HACMP? 配置HACMP的规划和考虑 HACMP的安装和配置 HACMP的接管测试,7,HACMP5.1 concept and planning,2019/10/17,配置HACMP的规划和考虑,硬件规划 节点的配置要求 网络的配置要求（IP和Non-IP网络） 存储设备的配置要求 软件的规划 操作系统的版本和补丁要求 HACMP的版本和补丁要求 应用程序的兼容性 HACMP的资源组的规划,8,HACMP5.1 concept and planning,2019/10/17,Cluster的节点的配置要求,一个精心设计的cluster应该尽

5、量避免单点故障（SPOF),为了达到这个目的，典型的cluster一般对硬件有如下要求: 至少2个 pseries 服务器作为cluster的节点（安装并运行HACMP,每个节点的AIX 版本和HACMP的版本要完全一致) 内置硬盘：预留一定的硬盘空间满足HACMP的安装要求 I/O插槽：要满足网卡、HBA卡（阵列和带库要分开）、串口卡 至少一种non-IP 网络，通常采用RS232网络，如果某些节点集成串口无法作心跳，要配#2943 8口异步卡，节点间要配串口线 一个共享磁盘阵列（7133/FastT/ESS等),9,HACMP5.1 concept and planning,2019/10

6、/17,Cluster的节点的配置要求：cluster性能考虑,为了保证cluster的性能，一个cluster支持的最大组件数目如下： 组件 最大数目 node 32 Resource Groups 64 Networks 48 Network interface,devices, and labels 256,10,HACMP5.1 concept and planning,2019/10/17,Cluster的网络配置要求,确定用户的IP网络类型 确定用户的IP网络资源分配 准备以太网交换机的端口 在交换机上划分VLAN 分配IP地址 确定采用的IPAT的方式 确定用户的Non-IP网络

7、（心跳） 串口方式 IP网络方式 Target mode 方式 硬盘方式,11,HACMP5.1 concept and planning,2019/10/17,Cluster的网络配置要求：网络连接示意图,12,HACMP5.1 concept and planning,2019/10/17,Non-service labels 在 AIX 启动时分配 在 HACMP 启动后 ,service IP label 作为一个alias 添加到一块带有non-service label 的network interface上 non-service label 从来都不会从一个 NIC上移走 如果

8、节点失败 , 一个 takeover 节点会获得失败节点的 service IP label ，并作为一个 alias 添加到它的位于同一个HACMP network 里的一块带有non-service label 的network interface上,Cluster的网络配置要求： IPAT via IP aliases（一）,13,HACMP5.1 concept and planning,2019/10/17,设置 IPAT via IP aliases 功能 #smitty hacmp Extended Configuration Extended Topology Configur

9、ation Configure HACMP Networks Change/Show a Network in the HACMP Cluster Change/Show an IP-Based Network in the HACMP Cluster Change/Show an IP-Based Network in the HACMP Cluster Type or select values in entry fields. Press Enter AFTER making all desired changes. Entry Fields * Network Name net_eth

10、er_01New Network Name * Network Type ether + * Netmask 255.255.255.0 + * Enable IP Address Takeover via IP Aliases Yes +IP Address Offset for Heartbeating over IP Aliases * Network Attribute public +,Cluster的网络配置要求： IPAT via IP aliases（二）,14,HACMP5.1 concept and planning,2019/10/17,Non-service label

11、s 在 AIX 启动时分配 HACMP 启动后 ,service IP label 替换（replaces） non-service IP label 如果节点失败 , 一个 takeover 节点使用它的位于同一个HACMP network里的一个 non-service interface 来获得（acquire)失败节点的service IP label,Cluster的网络配置要求： IPAT via IP replacement,15,HACMP5.1 concept and planning,2019/10/17,Persistent Node IP label 是一个 IP al

12、ias ，它可以分配给cluster里的一个特定节点 总是位于同一个节点 可以位于一块已经拥有 service 或 non-service IP label 的网卡上 不需在节点上安装额外的物理网卡 不属于任何资源组 能被用于对指定的节点进行管理 每个节点可配置多个. 在节点启动后即可用，当HACMP服务停止后也始终保持可用 如果网卡失败，它只会迁移到相同网络的同一个节点上的其它网卡 如果节点失败，该IP标识不会迁移到群集中的其它节点,Cluster的网络配置要求： Persistent Node IP label,16,HACMP5.1 concept and planning,2019/1

13、0/17,HACMP5.1的新功能 能够使用下列任何一种共享磁盘阵列 (Fibre Channel, SCSI, 或 SSA) 使用的磁盘是一个 enhanced concurrent volume group 的一部分, 唯一的要求是这个 VG必须在两个节点都有定义 磁盘的这块特殊区域不能用作任何的 LVM 操作, 而只能用来在两个节点间传递心跳消息,Cluster的网络配置要求：磁盘心跳（Heartbeat via disk),17,HACMP5.1 concept and planning,2019/10/17,Cluster的存储设备配置要求,确定存储设备的连接类型 SCSI SSA

14、FC 了解用户需求划分存储资源 划分RAID 创建逻辑盘 确定VG的类型 Non-concurrent Concurrent Enhanced concurrent 确定文件系统类型 jfs2 Jfs,18,HACMP5.1 concept and planning,2019/10/17,使用RSCT 进行通信 支持 ACTIVE 和 PASSIVE 模式 ACTIVE Varyon: 类似通常的 varyon PASSIVE Varyon: 不允许 高级操作（high level operations ） HACMP 协调节点间的活动，保证只有一个节点可以 vary on volume gr

15、oup actively enhanced concurrent volume groups 能够被包含在一个 non-concurrent resource groups里,Cluster的存储设备配置要求： Enhanced concurrent Volume Group,19,HACMP5.1 concept and planning,2019/10/17,通过提供快速资源组fallover，减少宕机时间 对于2块硬盘的VG，接管时间一般不超过10秒。 对于带有大数量磁盘的VG的资源组有显著的性能提高。 需要enhanced concurrent volume groups 定义在 no

16、n-concurrent resource groups里 对于位于共享盘阵上enhanced concurrent volume groups，如果是共享资源组的资源， HACMP 会自动实现快速磁盘接管.,Cluster的存储设备配置要求： 快速磁盘接管（fast disk takeover)（一）,20,HACMP5.1 concept and planning,2019/10/17,你可以查看vg的状态通过 lsvg 命令： VG STATE 无论是actively 或者passively方式的varyon，都将显示active状态。 VG PERMISSION 如果是actively

17、方式的varyon ，将显示read/write，如果是passive方式的varyon ，将显示passive-only。 CONCURRENT 将显示Capable或者Enhanced-Capable (对于concurrent vg).,Cluster的存储设备配置要求： 快速磁盘接管（fast disk takeover)（二）,21,HACMP5.1 concept and planning,2019/10/17,Cluster的软件配置要求,操作系统的版本和补丁要求HACMP的补丁要求HACMP V5.1 IY45695(IY53044, same) HACMP V5.2 IY58

18、496 补丁包的下载中心http:/ concept and planning,2019/10/17,Cluster的软件配置要求（续）,操作系统上需要打的一些额外的包：bos.adt.lib bos.adt.libmbos.adt.syscalls .tcp.server bos.rte.SRCbos.rte.libc bos.rte.libcfgbos.rte.libcur bos.rte.libpthreadsbos.rte.odm bos.data 如果需要安装并行的资源组，需要打下面的包：bos.rte.lvm. 5.1.0.25 or higherbos.clvm.enh.,23,

19、HACMP5.1 concept and planning,2019/10/17,AIX的各个版本和HACMP的各个版本兼容表,24,HACMP5.1 concept and planning,2019/10/17,资源组（Resource Group）定义：,一些可管理的资源集合在一起，和特定的应用相关联，并可一同执行 failover等行为的组.包含四种类型： Cascading resource group Rotating resource group Concurrent resource group Custom resource group（HA 5.X新增的资源组类型）,25,

20、HACMP5.1 concept and planning,2019/10/17,Cascading resource group,资源移动按照一个从高到低的优先级顺序 当发生失败节点重新加入（reintegration）时，资源会返回到优先级更高的节点 缺省，资源会在优先级最高的节点上启动 资源（Resources）:Service IP Labels/AddressesVolume GroupsFilesystems Application Servers,26,HACMP5.1 concept and planning,2019/10/17,Cascading resource grou

21、p的接管过程,27,HACMP5.1 concept and planning,2019/10/17,Cascading resource group的属性,Cascading without faallbackInactive takeoverDynamic node priority,Cascading 资源组提供下面三种属性，这些属性需要在hacmp的Extended configuration菜单中设置。,28,HACMP5.1 concept and planning,2019/10/17,Rotating resource group,资源移动按照一定顺序，一个接一个呈rotati

22、on 当节点失败 ,第一个备(standby)节点会获得失败节点的资源组 一个失败节点重新加入cluster，将会作为备(standby)节点，不会重新获得原来的资源组 资源（Resources）:Service IP Labels/AddressesVolume GroupsFilesystems Application Servers,29,HACMP5.1 concept and planning,2019/10/17,Rotating resource group的接管过程,30,HACMP5.1 concept and planning,2019/10/17,Concurrent r

23、esource group,所有的节点共享且可并发访问数据 应用在所有节点上并行运行 有Lock Manager 协调各节点对数据的访问 一个节点失败，会降低cluster 性能，但不会发生接管。 资源（Resources）:Concurrent Volume GroupsApplication Servers,共享盘阵,31,HACMP5.1 concept and planning,2019/10/17,Custom resource group,HACMP5.1 增加的新类型 通过参数设置 ,可以精确定义有关资源组的 startup,failover 和fallback行为的策略 资源（

24、Resources）:Service IP Labels/AddressesVolume GroupsUse forced varyon of volume groups, if necessary falseFilesystems Application Servers 局限性： Custom RGs 只支持 IPAT-via-Aliasing service IP addresses/labels.,32,HACMP5.1 concept and planning,2019/10/17,Custom resource group (con),添加一个custom resource grou

25、p : #smitty hacmpInitialization and Standard Configuration Configure HACMP Resource Groups Add a Resource Group CascadingRotating Concurrent CustomAdd a Custom Resource Group Type or select values in entry fields. Press Enter AFTER making all desired changes.Entry Fields * Resource Group Name * Part

26、icipating Node Names (Default Node Priority) +Startup Policy Online On Home Node O +Fallover Policy Fallover To Next Prio +Fallback Policy Fallback To Higher Pr +,33,HACMP5.1 concept and planning,2019/10/17,Custom resource group (con),34,HACMP5.1 concept and planning,2019/10/17,Custom resource group

27、 (con),35,HACMP5.1 concept and planning,2019/10/17,目录,什么是HACMP? 配置HACMP的规划和考虑 HACMP的安装和配置 HACMP的接管测试,36,HACMP5.1 concept and planning,2019/10/17,需要安装的组件操作系统的补丁HACMP软件HACMP软件的补丁 软件的安装方法NIM 光盘安装本地硬盘安装 验证安装,HACMP软件的安装,37,HACMP5.1 concept and planning,2019/10/17,HACMP软件的配置过程,HACMP配置前的准本工作配置IP地址编辑/etc/ho

28、sts文件编辑/usr/es/sbin/cluster/etc/rhosts 文件编写应用程序的启动/停止脚本创建共享的vg和文件系统配置串口设备 HACMP的Standard配置过程添加Cluster和节点 配置Cluster资源创建并配置Cluster资源组同步HACMP的配置 HACMP的Extended配置过程添加心跳 定制Cluster资源,38,HACMP5.1 concept and planning,2019/10/17,HACMP软件配置方案拓扑图,39,HACMP5.1 concept and planning,2019/10/17,HACMP配置前的准备工作：配置IP地址

29、,test1:/netstat -in Name Mtu Network Address Ipkts Ierrs Opkts Oerrs Coll en0 1500 link#2 0.4.ac.49.f2.d5 77960 0 47805 0 0 en0 1500 100.1 100.1.0.1 77960 0 47805 0 0 en1 1500 link#3 0.6.29.ec.44.d6 33 0 11 0 0 en1 1500 192.168.0 192.168.0.1 33 0 11 0 0 test2:/netstat -in Name Mtu Network Address Ip

30、kts Ierrs Opkts Oerrs Coll en0 1500 link#2 0.4.ac.49.60.23 31138 0 82582 0 0 en0 1500 100.1 100.1.0.2 31138 0 82582 0 0 en1 1500 link#3 0.4.ac.3e.b9.4b 36 0 13 0 0 en1 1500 192.168.0 192.168.0.2 36 0 13 0 0,40,HACMP5.1 concept and planning,2019/10/17,HACMP配置前的准备工作：编辑配置文件,编辑/etc/hosts文件 100.1.0.2 tes

31、t2_boot1 test2 100.1.0.1 test1_boot1 test1 192.168.0.1 test1_boot2 192.168.0.2 test2_boot2 10.1.0.1 test1_svc 10.1.0.2 test2_svc 10.1.0.5 test1_per 10.1.0.6 test1_per 编辑/usr/es/sbin/cluster/etc/rhosts 文件 100.1.0.2 100.1.0.1 192.168.0.1 192.168.0.2,41,HACMP5.1 concept and planning,2019/10/17,HACMP配置前

32、的准备工作：编写脚本,查看节点上的应用服务器的启动/停止脚本 test2:/ha51ls l -rwxr-xr-x 1 root system 65 Apr 13 13:51 start -rw-r-r- 1 root system 31 Apr 13 11:49 start.log -rwxr-xr-x 1 root system 66 Apr 13 14:01 start1 -rw-r-r- 1 root system 31 Apr 13 14:01 start1.log -rwxrwxrwx 1 root system 64 Apr 13 11:48 stop -rw-r-r- 1 ro

33、ot system 31 Apr 13 11:48 stop.log -rwxr-xr-x 1 root system 66 Apr 13 14:01 stop1 -rw-r-r- 1 root system 31 Apr 13 14:01 stop1.log 启动脚本举例： vi start date /ha51/start.log banner “ start app1 “ /tmp/hacmp.out,42,HACMP5.1 concept and planning,2019/10/17,HACMP配置前的准备工作：创建共享的VG和FS,test1vg是共享VG： test1 : hdi

34、sk0 0004383268b07574 rootvg active hdisk3 000438325e22bca7 test1vg hdisk4 00043832125e5aa8 None hdisk5 000438323d0e4487 None test2 : hdisk0 000d29574085126d rootvg active hdisk5 000438325e22bca7 test1vg hdisk6 00043832125e5aa8 None hdisk7 000438323d0e4487 None,43,HACMP5.1 concept and planning,2019/1

35、0/17,HACMP配置前的准备工作：创建串口设备,通过smitty tty命令来添加串口设备：,44,HACMP5.1 concept and planning,2019/10/17,HACMP的Standard配置过程：添加CLUSTER和节点,* Cluster Name ha51tscNew Nodes (via selected communication paths) test2_boot1 test1_boot1 Currently Configured Node(s),通过smitty hacmp命令，按照下列路径来添加Cluster和节点： - Initialization

36、and Standard Configuration - Add Nodes to an HACMP Cluster。,注：这一步很重要，一般我们都是把每个节点的boot1 作为communication path . 当回车以后，系统会自己discover hacmp 的资源，并有详细的信息显示输出。,45,HACMP5.1 concept and planning,2019/10/17,HACMP的Standard配置过程： 添加高可用资源Service IP,通过smitty hacmp命令，按照下列路径来添加Service IP： - Initialization and Standa

37、rd Configuration - Configure Resources to Make Highly Available - Configure Service IP Labels/Addresses - Add a Service IP Label/Address,* IP Label/Address test1_svc Network Name net_ether_02 * IP Label/Address test2_svc Network Name net_ether_02 ,注：如果有多个应用服务器，则添加多个Service IP。,46,HACMP5.1 concept an

38、d planning,2019/10/17,HACMP的Standard配置过程： 添加高可用资源Application Server,通过smitty hacmp命令，按照下列路径来添加Application Server： - Initialization and Standard Configuration - Configure Resources to Make Highly Available - Configure Application Servers - Add an Application Server,* Server Name app1 * Start Script /

39、ha51/start * Stop Script /ha51/stop,注：如果有多个应用服务器，则添加多个Application Server。,47,HACMP5.1 concept and planning,2019/10/17,注意在前面的步骤中我们看到已经有一个共享VG test1vg 存在了，它使用传统的方法： 在test1 节点上创建test1vg , lv,jfs Varyoffvg 在test2 上 importvg Varyoffvg 我们也可以用hacmp的功能去创建test2vg 和文件系统,HACMP的Standard配置过程： 添加高可用资源VG和FS（一）,48,

40、HACMP5.1 concept and planning,2019/10/17,HACMP的Standard配置过程： 添加高可用资源VG和FS（二）,通过smitty hacmp命令，按照下列路径来添加共享VG： - Initialization and Standard Configuration - Configure Resources to Make Highly Available - Configure Volume Groups, Logical Volumes and Filesystems - Shared Volume Groups -Create a Shared V

41、olume Group,Node Names test1,test2PVID 00043832125e5aa8 VOLUME GROUP name test2vg Physical partition SIZE in megabytes 4 Volume group MAJOR NUMBER 49,49,HACMP5.1 concept and planning,2019/10/17,HACMP的Standard配置过程： 添加高可用资源VG和FS（三）,通过smitty hacmp命令，按照下列路径来添加共享FS： - Initialization and Standard Configur

42、ation - Configure Resources to Make Highly Available - Configure Volume Groups, Logical Volumes and Filesystems - Shared File Systems - Journaled File Systems -Add a Journaled File System -Add a Standard Journaled File System,Node Names test1,test2Volume group name test1vg * SIZE of file system 10 *

43、 MOUNT POINT /test1jfsPERMISSIONS read/write Mount OPTIONS Start Disk Accounting? no Fragment Size (bytes) 4096 Number of bytes per inode 4096 Allocation Group Size (MBytes) 8,50,HACMP5.1 concept and planning,2019/10/17,HACMP的Standard配置过程：创建Cluster资源组,通过smitty hacmp命令，按照下列路径来添加资源组： - Initialization

44、and Standard Configuration - Configure HACMP Resource Groups - Add a Resource Group,Cascading Rotating Concurrent Custom* Resource Group Name res1 * Participating Node Names / Default Node Priority test1 test2,注：如果有多个资源组，则按照同样方法添加即可。,51,HACMP5.1 concept and planning,2019/10/17,HACMP的Standard配置过程：配置Cluster资源组,通过smitty hacmp命令，按照下列路径来配置资源组： - Initialization and Standard Configuration - Configure HACMP Resource Groups - Change/Show Resources for a Resource Group (standard),