1、HACMP原理及应用简介,主要内容,Topic 1、几种常见的提高系统可靠性的技术 Topic 2、HACMP的工作原理 Topic 3、HACMP的管理 Topic 4、HACMP应用案例 Topic 5、HACPM troubleshooting Appendix、共享LVM的定义,Topic 1: 几种常见的提高系统可用性的技术,提高系统可靠性的相关技术,容错技术 磁盘阵列技术 热插拔技术 集群技术 灾难恢复技术,容错技术,容错技术是指在硬件和软件出现故障时，仍能完成处理和运算，不降低系统性能，即利用冗余技术，使计算机具有容忍故障的能力。可以通过硬件和软件方法实现。常见的容错技术：冗余C
2、PU、内存、通信子系统、磁盘、电源等； 自动故障检测故障部件、隔离和联机更换故障部件；,磁盘阵列技术,磁盘阵列（DISK ARRAY）是一个由硬盘控制器控制的多个硬盘的相互连接，使多个硬盘的读写同步，减少错误，提高效率和可靠性的技术；RAID（REDUNDANT Array of Inexpensive Disk）是磁盘阵列技术标准，也就是利用多余的磁盘对信息进行冗余保存，从而提高磁盘系统的可靠性。常见的等级有1、0+1、3、5等。,不同等级的RAID技术的比较,热插拔技术,热插拔技术（Hot-Swappable ）以前主要用于磁盘阵列中，在有一个硬盘坏掉的情况下，服务器可以不用关机，直接抽出
3、坏掉的硬盘，换上新的硬盘。现在有些厂家对于其他的部件，也可以采用热插拔技术。如控制卡、电源等。,集群技术,集群（Cluster）技术是利用HA（High Availability）双机热备份软件,通过避免系统的单点故障，来提高客户计算机系统及其应用的可靠性。 集群技术已用于多种平台： UNIX Open VMS Novell Windows NT,灾难恢复技术,必要性数据的高度集中；自然灾害，如水灾、火灾、地震等；其他来自计算机系统以外的问题，如电力系统故障； 灾难恢复技术的两大技术要素： 瞬时复制技术 连续和周期性更新,灾难恢复技术和集群技术的比较,Topic 2HACMP工作原理,HACM
4、P双机系统的工作原理,1.作为双机系统的两台服务器（主机A和B）同时运行HACMP软件 2.服务器除正常运行自己的应用外，同时又作为对方的备份主机（节点关系为Cascading） 3.两台主机系统（A和B）在整个运行过程中，通过“心跳线”相互监测对方的运行情况（包括系统的软硬件运行、网络通讯和应用运行情况等）,HACMP双机系统的工作原理（续）,4.一旦发现对方主机的运行不正常（出故障）时，故障机上的应用就会立即停止运行，本机（故障机的备份机）就会立即在自己的机器上启动故障机上的应用，把故障机的应用及其资源包括用到的IP地址和磁盘空间等）接管过来， 使故障机上的应用能在本机继续运行。,HACM
5、P双机系统的工作原理（续）,5.应用和资源的接管过程由HA软件自动完成，无需人工干预 6. 当两台主机正常工作时，也可以根据需要将其中一台机上的应用人为切换到另一台机(备份机)上运行,HACMP特点,三大特点： 高可用性 表现在可以隔离或减少机器、资源或设备失败带来的影响，防止单点故障：如CPU、内存、控制卡、I/O子系统、通讯子系统。,HACMP(High Availability Cluster Multi-Processing，高可容错、多处理系统集群)是基于UNIX平台处理关键事物、提供高可用性的软件。,HACMP特点（续）,可管理性 正常工作时，各个节点之间可以分担负载，即可以跑不同
6、的应用。这样可以减少系统的管理费用； 在一个节点上，可以管理其他节点的HA配置； 高扩展性支持的节点多达32个； 可以方便地加入新的节点、用户或其他的资源；,Application layer consists of the high available application that use HACMP for AIX services,HACMP for AIX layer provides high available services to client application,RSCT layer(HACMP/ES only) provides greatest scalabili
7、ty and coordination of subsystem for HACMP/ES clusters,AIX layer provides operation system services,LVM layer manages disk space at the logical level,TCP/IP layer manages commuciation of the logical level,A model of an HACMP for AIX Cluster Node,Minimizing Scheduled Down-Time with HACMP,HACMP有关最小化DO
8、WN机时间的几个特性： Dynamic reconfiguration (DARE) DARE resource migration Cluster Single Point of Control (C-SPOC) Dynamic adapter swap for replacing hot-pluggable adapter cards,Cluster Events,HACMP 是基于事件驱动的AIX环境下的集群软件。事件是 Cluster Manager 能够意识到和处理的集群中状态的改变。cluster event 可以由 网卡、网络、节点的变化或集群的重新配置而激活。当Cluster
9、Manager 检测到集群的状态的改变，它将执行相关脚本来处理该事件。,常见的cluster events 如下： node_up and node_up_complete events (a node joining the cluster) node_down and node_down_complete events (a node leaving the cluster) network_down event (a network has failed) network_up event (a network has connected) swap_adapter event (a n
10、etwork adapter failed and a new one has taken its place),Cluster Evnets（续）,C-SPOC Utility,C-SPOC（ Cluster Single Point of Control）工具可以让系统管理员在任何一节点完成对所有节点的管理任务。 Maintain user and group accounts Maintain shared Logical Volume Manager (LVM) components Control HACMP services on a cluster-wide basis.优点：减
11、少管理开销；减少节点状态不一致性的可能性；高效管理逻辑卷和控制集群服务。,消除的潜在的单点故障包括： Nodes Applications Networks and network adapters Disks and disk adaptersHACMP 用以下的方式来处理节点的失败： Disk takeover IP address takeover (with or without hardware address swapping),单点故障,Components of a HACMP Cluster,Node Shared external disks devices Network
12、sPublic network, Private network, Serial networkEthernet, Token-Ring, FDDI,ATM Network AdaptersService network adapter, standby network adapter Clients,Cluster Topology,cluster topology由以下 components 组成： The cluster definition cluster ID 和name 决定了一个cluster。每个 CLUSTER 的cluster ID and name 必须唯一。Cluste
13、r IDs 的范围： 1 - 99999,cluster name 是最大31个字符的字符串。 The cluster nodes The network adaptersThe network modulesSerial, Target mode SCCI, Target mode SSA, Ethernet,Token-Ring,FDDI,SLIP ,SP Switch,ATM,Cluster resource and resource group,HACMP中的资源由硬件和软件组成： Disks Volume Groups File System Network Addresses Ap
14、plication Server 为了有效地利用HACMP的高可靠性，每种资源必须定义在resource group中，resource group可以使相关的资源联系成一个逻辑实体，这样易于配置和管理。,Resource Group有三种不同的节点关系 Cascading Concurrent Rotating,Node Relationship,Cluster Configuration,有两种类型的Cluster configuration: Standby configurations这是传统的冗余硬件配置，其中，有一个或多个空闲的standby(备份）节点，等待着某个主节点离开集群。
15、对应的节点关系为：Rotating、CascadingTakeover configurations这种配置中，每个节点都有应用在跑，承担集群中的部分负载，没有备份的节点。对应的节点关系为：Cascading、Concurrent。,并发存取中各节点的关系,节点A和节点B同时跑相同的应用，拥有相同的资源，对资源有相同的优先级。,采用Cascading方式时，IP地址的变化,两个应用A、B分别绑定两个地址：svcA和svcB，正常运行时，应用A在节点A，应用B在节点B。,采用Cascading方式时，IP地址的变化（续）,当节点A的网络出现故障时，应用A在节点B上重新启动，节点B的备份网卡接管了
16、应用A的地址。现在，用户无论是访问应用A，还是应用B，实际上都是节点B提供的服务,三个节点、两个应用中的Cascading 资源组定义,节点C分别为应用A和应用B的备份，正常情况下，应用A跑在节点A上，应用B跑在节点B上。,非并发存取硬盘的几种配置, Hot-Standby Rotating Standby Mutual Takeover Third-Party Takeover,硬盘接管前，文件系统MOUNT在节点A，此时，节点B不能再MOUNT该文件系统，只有通过NFS访问它。,非并发存取硬盘的接管过程,非并发存取硬盘的接管过程（续）,节点B接管硬盘后，相关的文件系统mount在本地，可以
17、通过NFS export 文件系统,优点：以较低的代价，完成从单机到HACMP的升级。 不足：发生切换时，由于备用机的配置较低，可能影响应用的性能。,Hot-standby configuration,Mutual Takeover Configuration,Cluster Manager可以检测到网络的失败，但不能采取措施恢复不再相连的网络。相关措施：将节点接在两个交换机上，形成冗余链路。,Network Failure,Partitioned Cluster,Partitioned Cluster （续）,集群中如果某组节点不能与其他组的节点通讯，那么这就是一个分区（partition)
18、的集群。导致的问题： 争夺资源引起不可预测的问题。 采取的对策： 利用心跳线组成的逻辑环，来克服节点间由于TCP/IP连接的丢失而引发的数据冲突。,Topic 3 Cluster management,Cluster Daemon,Cluster Manager daemon: clstrmgr（强制的） 维护节点间的心跳线协议，监控节点及其接口的状态，当网络或节点的状态改变时，激活相关的脚本。 Cluster SMUX Peer daemon:clsmuxpd（强制的） 维护集群对象的状态信息，与snmpd相关联。 Cluster Lock Manager daemon:cllockd（可选
19、的） 节点如果是Concurrent Access配置的一部分，则需要启动该进程。,Monitoring the Cluster,/usr/sbin/cluster/clstat HAViewmonitor HACMP through NetView smit show Cluster Services显示HACMP进程的状态log file,Cluster log file,/var/adm/cluster.log /tmp/hacmp.out /usr/sbin/cluster/history/cluster.mmdd /tmp/cm.log /tmp/emuhacmp.log /tmp/
20、cspoc.l.og system error log,Clverify 工具用来检查HACMP修改的AIX系统文件和集群的配置（含拓扑和资源）是否正确，来保证集群能正常工作。运行clverify 工具的三种方式：交互方式、命令行和smit。什么时候需要运行clverify？ 集群环境下，硬件和软件有了改变,Clverify Utility, softwareverifies that the HACMP-specific modifications to AIX system files exist and are correct. It has one option, lpp. clust
21、erallows you to verify the configuration agreement using the topology and config options: topologyverifies that all nodes agree on the cluster configuration. This program has two options, check and sync: checktells you if the nodes are in agreement. syncsynchronizes the cluster topology, if necessar
22、y, so that all nodes agree. configverifies that networks are configured correctly, and that all nodes agree on the ownership and takeover of defined resources. This program has three options, networks, resources, or all:,Clverify 检查内容,Topic 4HACMP应用实例,环境：两台RS/6000 S70 1台7133 磁盘阵列柜(16*36.4GB)AIX V4.3
23、.3 HACMP V4.3两个应用：计费（Sybase数据库）、 WWW（Netscape Enterprise Server),IBM HACMP双机系统结构图例,IBM主机(服务器) A安装Hacmp软件运行WWW服务,共享磁盘阵列 （存储子系统)存放sybase数据和WWW信息数据,A-tty1 心跳线(串口线) b-tty1,Service_ip: 10.17.128.88 boot_ip: 10.17.128.90,IBM主机 (服务器) B安装Hacmp软件运行SYBASE,sStand_ip: 192.168.3.2,Service Network,Standby Network
24、,Service_ip: 10.17.128.89 boot_ip: 10.17.128.91,sStand_ip: 192.168.3.1,HACMP软件包含的软件子集,安装HACMP，需要的软件子集如下：cluster.base（每个做服务器的节点上必须安装的子集）cluster.cspoc （单点控制工具） cluster.adt（含 demo clients及其相关的文件） cluster.man.en_US.data （man pages) cluster.msg.en_US (messages) cluster.vsm (可视化系统管理子集） cluster.haview（安装在n
25、etview网管工作站上） cluster.taskguides（快速创建共享的卷组的指南） cluster.clvm （并发资源管理） cluster.hc（Application Heart Beat Daemon,OPS需要）,HACMP安装配置前需作的准备工作,Step 1、 划分清楚两台服务器主机各自要运行的应用(如A机运行SYBASE，B机运行WWW服务）Step 2、 给每个应用(组)分配Service_ip、Standby_ip、boot_ip（串口的心跳线不需要IP)，如：,HACMP安装前的准备工作（续）,主机A（运行SYBASE):Service_ip: 10.17.12
26、8.88Boot_ip: 10.17.128.90 Standby_ip: 192.168.3.1主机B（运行WWW服务):Service_ip: 10.17.128.89Boot_ip: 10.17.128.91Standby_ip: 192.168.3.2,HACMP安装前的准备工作（续）,Step 3、 按照各主机的应用的要求，建立好各自的磁盘组，并分配好磁盘空间,Step 4、 根据HACMP软件的要求，对服务器操作系统的参数作必要的修改,HACMP双机系统的安装及配置,HACMP(High Availability Cluster Multi-Processing) 的安装配置步骤如
27、下：Step 1、 在两台服务器上分别安装HACMP软件(smit)Step 2、 分别配置两台服务器的Service、Standby和boot IP地址，保证Service 网和Standby网能ping通(smit tcpip)Step 3、 连接HACMP的心跳线（串口线），并保证该心 跳线畅通,IBM HACMP双机系统的安装及配置(续),Step 4、 确定HACMP的Cluster Name or ID、Nodes Name、Adapter Name等，并修改好下面一些系统文件：(1) /etc/hosts(2) /.rhosts(3) /usr/cluster/etc/clhos
28、ts,IBM HACMP双机系统的安装及配置(续),Step 5、配置HACMP TOPOLOGY(smit hacmp)(1) 配置Cluster Name or IDsmit hacmp Cluster Configration Cluster Topology Configrue Cluster(2)配置Cluster Nodes(Configrue Nodes)smit hacmp Cluster Configration Cluster Topology Configrue Nodes,IBM HACMP双机系统的安装及配置(续),(3) 配置Adapterssmit hacmp C
29、luster Configration Cluster Topology Configrue Adapters(4)同步Cluster Topology，若出错，检查原因smit hacmp Cluster Configration Cluster Topology Syncchronize Cluster Topology,IBM HACMP双机系统的安装及配置(续),Step 6、配置HACMP RESOURCES(用smit hacmp命令)(1) 配置Application Server(Name,Start,Stop Script)smit hacmp Cluster Configr
30、ation Cluster Resources Define Application Servers(2)配置Resource Groupsmit hacmp Cluster Configration Cluster Resources Define Resource Group,IBM HACMP双机系统的安装及配置(续),Step 6、 配置HACMP RESOURCES(续)(3)Chnagine/Show Resource for a Resource Groupsmit hacmp Cluster Configration Cluster Resources Chnagine/Sho
31、w Resource fora Resource Group(4)同步Cluster Resources (出错时，检查原因）smit hacmp Cluster Configration Cluster Resources SynchronizeCluster Resources,IBM HACMP双机系统的安装及配置(续),Step 7、 检查HACMP CONFIGURATION(用smit hacmp):smit hacmp Cluster Configration Cluster Verification Step 8、HACMP的启动及关闭（用smit hacmp命令）（1）启动过
32、程：smit hacmp Cluster Services StartCluster Services,IBM HACMP双机系统的安装及配置(续),Step 8、HACMP的启动及关闭（续）（2）关闭过程：smit hacmp Cluster Services StopCluster Services Step 9、 HACMP功能的测试在HACMP配置完成并检查没有错误后，即可按8的方法启动HACMP，进行功能测试。包括应用在同一台服务器的两个网卡能否切换，在两台服务器间能否切换等。可用命令：#netstat -in 来看地址的切换情况,安装HACMP及应用时必须注意的问题：,1、boot
33、-address和service-address 必须在同一个子网;2、有关应用的start script 和stop script在参与的节点中，必须在同一个目录下，要有可执行 权限，且不能放在外置的磁盘阵列上；3、在配置HACMP时，必须先在根目录下创建 .rhosts,Topic 5HACMP Troubleshooting,HACMP Troubleshooting,In general, troubleshooting an HACMP cluster involves: Becoming aware that a problem exists（控制台信息，用户的反映、错误日志） D
34、etermining the source of the problem Correcting the problem, 发现问题后，立即保存当前的日志文件，如/tmp/hacmp.out、 /tmp/cm.log 试着复制问题。用户反映的通常是应用级的问题，如果需要，可以用用户的数据文件重建问题。 保持开放的思维。不要过分猜测问题的原因。测试每种可能性，从测试结果得出结论。 隔离问题，遵循的原则如下：从易到难；每次只做一次改变；不要忽视显而意见的问题。检查plugs, connectors, cables等等。完成检查后，记录测试和结果，以备用。,排除故障的策略,config_too_lon
35、g,这是HACMP中最常见的控制台信息。 当clustmgr进程发现某个状态改变时，它将执相关的事件脚本（event script)。某些情况下，由于脚本的错误或cluster处于特殊的状态，将导致事件脚本被挂起来。过了缺省的360秒， clustmgr 进程将config_too_long写入/tmp/hacmp.out文件。 解决该问题的方法： 1、如果是由于脚本错误引起的，修改该脚本，然后在命令行运行clruncmd，或运行 SMIT Cluster Recovery Aids 2、如果某个脚本的运行时间很长，超过了360秒， 该信息的出现不意味着有问题，等待其执行。,The clust
36、er has been in reconfiguration too long;Something may be wrong.,Highly Available Applications Fail,Problem 高可靠性应用在IP地址接管之后，启动失败。原因是hostname没有设置。. Solution 由于某些应用绑定的是hostname，在HACMP环境中，IP地址接管后，要启动该应用，在应用服务器的脚本中加入如下命令，修改接管节点的hostname: mkdev -t inet0 chdev -l inet0 -a hostname= nnn 这里， nnn 就是接管节点新分配的ho
37、stname。,Cluster Nodes Cannot Communicate,Problem 如果将两个或多个节点连接在同一个网络上，可能会遇到 分区的集群（partitioned cluster），这时，集群中的节点不能相互通讯。 在正常情况下，某节点的 service adapter失败后，Cluster Manager 将激活swap adapter event, 使standby网卡替代service 网卡。如果没有standby 网卡，该节点将从集群中隔离出来，其他的节点也没法与其通讯。 Solution 确保网络的配置无单点故障。,Cannot Find Filesystem
38、at Boot Time,Problem AIX在启动的时候，根据/etc/filesystem 文件中“check=true”的属性，用fsck检查文件系统。如果不能检查某文件系统，AIX报告如下错误：: Filesystem Helper: 0506-519 Device open failed Solution 由HACMP控制的文件系统，出现该错误信息是很典型的，但不意味着文件系统有错。通常情况下，文件系统所在的卷组在系统启动时，都不会激活。如果要去掉该错误信息，修改/etc/filesystems 文件，使共享文件系统的属性不包含 “check=true” 。,“deadman sw
39、itch” 指的是当某节点的AIX 内核扩展时，如果cluster的状态没重设，可能导致其AIX 系统dump或 system panic。这时，另外集群中的另一节点将以有序的方式接管已经挂起来的节点的资源，避免争夺资源。可以通过调整系统性能的方法，来避免deadman switch的发生： 1. Tune the system using I/O pacing. 2. Increase the syncd frequency. 3. If needed, increase the amount of memory available for the communications subsys
40、tem. 4. Change the Failure Detection Rate.,Deadman Switch,在HACMP 集群环境中，如果有大的数据块要写到硬盘上，最好enable I/O Pacing。smit chgsys 设置high-water和low-water两个值，其初始值分别为33和24。,1、Tuning the System Using I/O Pacing,2、Extending the syncd Frequency编辑 /sbin/rc.boot文件，将 syncd frequency 从缺省的60秒提高到30、20或10秒。这样可以通过提高I/O的同步频率，
41、缓解I/O traffic，来减少激活deadman switch的可能性。,改善系统性能，避免Deadman Switch,SMIT Change Show a Cluster Network Module，将 failure detection rate 设置为 “Slow”,3、Increase Amount of Memory for Communications Subsystem AIX 中，相关的参数为thewall，其缺省值为实际内存的25%，最大可以达到实际内存的50% 相关命令：no -o thewall=xxxxx,4、Changing the Failure Detec
42、tion Rate,改善系统性能，避免Deadman Switch（续）,Appendix共享LVM的定义, Creating a new shared volume group Extending, reducing, changing, or removing an existing volume group Importing, mirroring, unmirroring, or synchronizing mirrors of a volume group Creating a new shared logical volume Extending, reducing, changi
43、ng, copying, or removing an existing logical volume (or acopy) Creating a new shared filesystem Extending, changing, or removing an existing filesystem. Adding, removing physical volumes,LVM的日常维护工作,共享卷组的维护工作 Creating a shared volume group Extending a shared volume group Importing a shared volume gro
44、up Reducing a shared volume group Making a copy of a volume group Removing a copy of a volume group Mirroring a volume group Unmirroring a Volume group Removing a shared volume group Synchronizing volume group mirrors.,为并发存取定义LVM,Creating a Concurrent Access Volume Group on a Source Node Import Volu
45、me Group Information on Destination Nodes Vary On the Concurrent Capable Volume Group in Non-concurrent Mode Create Logical Volumes on Concurrent Capable Volume Group on Source Node Vary Off Volume Group on Source Node Change Volume Group to Remain Dormant at Startup on Destination Nodes,Creating a
46、Shared Volume Group on the Source Node Creating a Shared File System on the Source Node Renaming a jfslog and Logical Volumes on the Source Node (保持jfslog和逻辑卷的唯一性） Adding Copies to Logical Volume on the Source Node （不适用于RAID盘） Testing a File System Varying Off a Volume Group on the Source Node Importing a Volume Group onto the Destination Node Changing a Volume Groups Startup Status Varying Off the Volume Group on theDestination Nodes,为非并发存取的硬盘定义LVM,用RAID盘的非并发存取的LVM定义,
