1、 巡检指导手册 （IBM p59x ） 神州数码系统集成服务有限公司 IBM p59x 巡检指导手册 V0.2.doc 指导手册 2 版本修 改 控制 编号 版本 修改 内容 修 改人 审 核人 批 准人 修订 日期 1 1.0 创建 黄红华 2014/01/05 IBM p59x 巡检指导手册 V0.2.doc 指导手册 3 目 录 1 文档说明 . 5 2 巡检准备 工作 5 3 硬件检查 . 5 3.1 检查系统物理状态 5 3.2 检查硬件错误日志 6 3.3 CHECK SYSTEM READINESS 检查 . 7 3.4 查看设备状态 7 3.5 检测设备 7 4 操作系统 检查
2、 8 4.1 检查版本 8 4.2 检查日志 8 4.3 检查文件系统 9 4.4 检查逻辑卷 9 4.5 检查 ROOTVG 镜像 . 9 4.6 检查 PAGING SPACE . 10 4.7 检查 DUMP . 10 4.8 检查网络通讯 11 5 备份与恢 复检查 11 6 系统安全 检查 12 6.1 检查系统登录日志 12 6.2 安全意识 13 7 性能监控 . 13 IBM p59x 巡检指导手册 V0.2.doc 指导手册 4 8 HACMP 检查 . 14 8.1 检查 HACMP 日志 . 14 8.2 HACMP 状态检查 14 8.3 HACMP 配置一致性检测 1
3、4 9 信息收集 脚本 14 10 FIRMWARE 和 HMC 检查 15 10.1 FIRMWARE 检查 . 15 10.2 HMC 检查 15 10.2.1 HMC 版本检查 16 10.2.2 HMC root 设置检查 16 10.2.3 HMC SSH 访问检查 16 10.2.4 HMC Web 访问检查 17 11 附录 . 17 11.1 HMC 设置检查 17 11.1.1 HMC root 访问设置 17 11.1.2 开启 HMC SSH 访问服 务 . 19 11.1.3 开启 HMC Web 登录服 务 . 20 11.2 HMC 上截图方法 20 IBM p59
4、x 巡检指导手册 V0.2.doc 指导手册 5 1 文档说明 本文档主要用于 IBM p59x 服务器的巡检指导 。如在使用过程中发现有错误的地方， 请及时与黄红华联系，邮件： 。 2 巡检准备工 作 第一次巡检一般就是该服务项目的项目启动， 工程师需要与项目经理一起了解服务合 同的内容， 与用户联系， 确认服务内容。 对于重点项目， 在第一次巡检可能增加一些额外 的工作中（如收集整理配置信息等），具体需求需要与项目经理沟通。 巡检出发前应该主动与用户联系何时开始巡检， 巡检的时间根据用户的需要来安排在 工作时间或者非工作时间。 一般来说， 巡检只查看机器的状态， 不会对机器的配置进行修 改
5、， 巡检可以安排在工作时间。 如果用户有别的顾虑， 可以把巡检安排在非工作时间。 如 果合同规定的服务范围包括 HA， 建议用户留 出时间来进行 HA 测试 ， 以确保发生故障时 能够正常切换。 3 硬件检查 3.1 检 查系 统物理 状态 先从外观上检查硬件情况， 检查设备故障灯是否有亮。 各种设备上都有故障指示灯， 通常为橘红色并有 标 记。同时注意服务 器的 控制面板，设备发 生故 障时通常伴有出错代 码， 必须把所有故障代码记录下来。 除此以外还应注意有否其他异常情况 （如硬盘、 风扇IBM p59x 巡检指导手册 V0.2.doc 指导手册 6 异常的声音，电缆破损等）。 3.2 检
6、 查硬 件错误 日志 检查 IBM p59x 服务器的硬件故障的方式有如下三种： 1. HMC Manage Serviceable Events HMC V6 ： Service Applications Service Focal Point Manage Serviceable Events 选择 Reporting MTMS HMC V7 ：Service Management Manage Serviceable Events 选择 Reporting MTMS 注：如果 HMC 连接了多台 IBM Power 服务 器，可以通过“Reporting MTMS ”选择目标 服务器进行
7、筛选。但是对于 p59x 来说，在选 择目标服务器要选择两个：一是带序列号的 服务器 ，二 是 BPA 。 如果只 是选 择带 序列号 的服务 器， 就无 法筛选 出这台 服务 器与 电源 相关的故障信息。 如果这台 HMC 连接了多台 p59x 服务器， 我们通过 “Frame 选择一个 BPA Properties Managed Systems”可以查看 BPA 对应的服务器 序列号。 2. ASMI 登录到ASMI之后，按照如下选项收集信息： System Service Aids Error/Event Log 选中 需要查看内容点击“Show Details“ 3. errpt 登
8、录到 p59x 上的分区 ，使用“errpt d H ” 命令检查硬件错误报告。如有，则应使 用“errpt aj err_id |more ”命令检查详细的 日志。为了准确判断故障，可对硬件设备运 行故障诊断程序，如运行 “diag d hdisk1”、“diag vd hdisk1”。“-v”选项可对 故障记录中的 SENSE DATA 进行分析并给 出 SRN, FRU 等。 用“mail”命令查看有否发给 root 用户的错误报告。 IBM p59x 巡检指导手册 V0.2.doc 指导手册 7 3.3 check system readiness 检查 在 HMC 上提供 check
9、 system readiness 功能， 主要用于 Firmware 升级 之前的检查， 也 可以用于对服务器部分状态的检测。 3.4 查 看设 备状态 登录到 p59x 上的分区 ，可以用如下命令查看设备状态： 用 lsdev Cc Hardware_Name 来检查硬件设 备的状态，Hardware_Name 可以是 processor 、disk、tape、adapter 。 CPU 状态的检查除了 lsdev 之外，还需要用“sar PALL 1 10”检 查一下每个 CPU 是否都在工作。 Memory 状态的检查主 要看总量大小是否有变化， 可用 “lsattr -El sys0
10、 -a realmem” 来检查。如果发现内存总量变小，可用“lscfg -vp|grep -p mem ”来检 查哪些槽位 上的内存有问题。 Disk 状态的检查除了 lsdev 之外， 还需要用 “lsvg vgname ” 检查是否有 状态为 “stale” 的物理分区存在，命令为：“lsvg o|lsvg i|grep STALE ”。 对于磁带机， 可以用 “/usr/lpp/diagnostics/bin/utape -cd rmt0 -n” 命令查 看上次清洗 之后读写的累积时间( 单位为小时) 。 若大于 72 小时， 则不论磁带机黄灯是否亮都 应用清洁带清洗。 3.5 检测
11、设备 如果条件允许的话，建议对所有的硬件使用 diag 进行诊断。 IBM p59x 巡检指导手册 V0.2.doc 指导手册 8 4 操作系统检查 4.1 检查 版本 检查系统的微码版本和操作系统版本， 对应最新的补丁版本， 确认目前版本是否存在 重大缺陷，如果有，建议用户先进行版本升级测试，确认没有问题之后再升级。 检查操作系统版本： 1) 显示 AIX 版本：oslevel 2) 显示 AIX 补丁级别： 对于 AIX V4.3.3 ML8 之前的版本（也可以用于之后的版本）：instfix i|grep ML 对于 AIX V4.3.3 ML8 之后的版本、AIX 5L V5.2 TL
12、08 和 AIX 5L V5.3 TL04 之前 的版本：oslevel r 对于 AIX 5L V5.2 TL08 和 AIX 5L V5.3 TL04 之后的版本：oslevel s 检查服务器微码版本： 1) 对于 AIX V4.3.3 之前 的版本：lscfg -vp | grep -p Platform 或 lscfg -vp | grep -p alter 2) 对于 AIX 5L 版本： 用菜单方式显示微码：lsmcode 不用菜单方式显示微码：lsmcode c 显示所有支持设备的微码级别信息：lsmcode A 4.2 检查 日志 用“errpt d S ”命令 检查系统的软
13、件出错报 告。如有，则应使用“errpt IBM p59x 巡检指导手册 V0.2.doc 指导手册 9 aj err_id |more ”命令 检 查详细的日志。 检查系统中每个用户的 mail。 检查系统启动的日志：alog ot boot 。 检查系统发现控制台的日志：alog ot console 。 4.3 检 查文 件系统 查看有没有“满”的文件系统。文件系统满可导致系统不能正常工作，尤其是 AIX 的基本 文件 系统。 如/ ( 根文件 系统) 满 则会导 致用户 不能 登录。 关键 文件系 统的 使用率不 应该超过 80%(/usr 除外) ， 且剩余空间最好大于 100MB
14、。 如果有 “满 ” 的文件系统则应删 除不用的文 件以释 放空 间，或扩展 文件系 统。 如果系统 有关于 文件 系统错误的 报告则应 用“fsck ”命令对文件 系统进行检查修复。 JFSLOG 的大小与文件 系统的比例应为： 1 个 PP 的 LOG 管理 512 个 PP 的文件系统。 如果 JFSLOG 不够大则 应扩大，但 JFSLOG 不 应超过 256MB 。如果太多的文件系统使用 同一个 LOG 则会影响 性能，应考虑不同的文件系统使用不同的 JFSLOG 。 4.4 检查 逻 辑卷 用“lsvg o|lsvg il |grep stale ”检查是否有 stale 状态的逻
15、辑卷。通常 stale 的逻辑 卷是由于硬盘故障引起的。如有硬盘故障应立即修复，并重新同步逻辑卷。 4.5 检查 rootvg 镜像 为了确保系统的高可用性， 一般建议 rootvg 进 行镜像。除 了 /dev/lg_dumplv 之外， rootvgIBM p59x 巡检指导手册 V0.2.doc 指导手册 10 中其它逻辑卷必须进行镜像。可以通过“lsvg l rootvg ”、“lslv l lvname ”命令检查逻 辑卷是否镜像，并且分布在不同的硬盘上。 4.6 检查 Paging Space 新版本的 AIX （AIX4.3.3 以后）对 Paging Space 的使用机制与旧
16、版本已经不一样。 Paging Space 的大小与 物理内存的大小并没有一定的比例关系或计算的公式。 客户应进行 压力测试以确定 Paging Space 的大小， 若 Paging Space 使用率超过 70% ， 则需要扩大。 某 些数据库厂家或应用开发商可能对 Paging Space 有特殊要求，请咨询相关厂商或开发商。 增加 Paging Space 并不 会提高性能，Paging Space 使用偏高通常是因 为物理内存不足造成 的，所以升级物理内存才是解决之道。 如果 Paging Space 一直 在不断的增长， 说明应 用程序可能存在着内存泄漏的问题， 或 者应用参数设置
17、有问题，需要及时解决。一旦 Paging Space 达到 100% ，系统就可能无法 登录。 Paging Space 设置原则 ： Paging Space 不要设置 在磁盘阵列和外置硬盘上，尽量设置在内置硬盘上，最好 都在在 rootvg 上 Paging Space 不要设置 在 I/O 负荷比较重的硬 盘上 每个硬盘上应该只有一个 Paging Space 所有 Paging Space 的大 小应该一致 Paging Space 也要有 RAID 保护 4.7 检查 Dump 一般情况下， Primary dump device 为/dev/hd6 （ 对于 AIX5L ， 如果系
18、统 内存大于 4GB ，IBM p59x 巡检指导手册 V0.2.doc 指导手册 11 则在安装操作系统时会自动建立专用的 DUMP 设备：/dev/lg_dumplv），Secondary dump device 为/dev/sysdumpnull 。用“sysdumpdev l ”，其输出一般为： primary /dev/hd6 ( 或为/dev/lg_dumplv) secondary /dev/sysdumpnull copy directory /var/adm/ras forced copy flag TRUE always allow dump FALSE dump comp
19、ression ON 系统 DUMP 设备应该有足够大的空间， 可用 “sysdumpdev e ” 命 令估计系统 DUMP 的大小以检验 DUMP 设备是否足够大。操作系统每天会定期的用“/usr/lib/ras/dumpcheck p”命令来检测 dump device 是否满足要求， 如果 dump device 大小 不够，会在错误日志 有错误信息提示。如果 dump device 和 copy directory 空间不够，需 要进行扩充。 4.8 检查 网 络通讯 检查网卡状态、IP 地址 是否正常。用“ping ” 命令检查通信是否正常。 用“netstat rn ”检查路由表
20、是否正常。 检查/etc/hosts 文件， 如果图形登录不成 功或 非常缓慢，说明网 络设 置或/etc/hosts 设置有问题。 如果系统配置 DNS ，请检查/etc/resolv.conf 设置是否正常。 5 备份与恢复 检查 备份包括操作系统备份、 应用软件备份和应用数据备份。 备份工作应该是由用户系统 管理员来负责。 但是我们应该了解用户的备份策略， 有义务提醒用户备份的重要性， 并且IBM p59x 巡检指导手册 V0.2.doc 指导手册 12 给他们提供合理的备份建议。 对于操作系统和应用软件，我们一般建议的备份策略如下： 1、在操作系 统和应 用软件 调整之前 必须进 行备
21、份 ，调整结 束之后 ，要及 时进行新的 备份。 2、如果操作系统和应用软件没有发生更改，一般建议至少每季度备份一次。 3、操作系统和应用软件的备份至少保留最新的 34 个版本，如果有特殊需要，应该 更多。 4、备份的磁 带要有 明确的 标记，要 放置在 主机房 之外的安 全场所 ，其环 境必须适合 磁带的保存。对于一般的 4mm 磁带建议使用寿命不要超过一年。 注：操作系统备份仅备份 rootvg 中 mount 起的文件系统，用户逻辑卷中的数据并不 会备份。一般不建议在 rootvg 上建立裸设备存放用户数据。如果 rootvg 中用户建立的裸 设备，请使用其他方法备份。 对于应用数据，
22、一般建议至少每天备份一次。 对于非常重要的数据， 应该及时备份数 据库归档出来的日志。 备份的磁带在标记后放置在主机房之外的安全场所， 其环境必须适 合磁带的保存。如果数据备份到磁带库，磁带库最好不要和主机放在一个机房里。 对操作系统、 应用软件和数据的备份一定有检验的手段， 以确认备份是可以恢复。 建 议每季度检验一次。 6 系统安全检 查 6.1 检 查系 统登录 日志 运行“last username” 命令检查用户登录记录，看是否有不正常的登录。 IBM p59x 巡检指导手册 V0.2.doc 指导手册 13 运行“who /var/adm/sulog ”检查用户切换记录 ，看是否有
23、不正常的切换。 运行“who /etc/security/failedlogin ”检查是否 有非法侵入某个帐户的企图。 检查 root 用户密码是否有定期更改。 6.2 安全 意识 我们一定要给用户灌输这样的思想：系统的安全是非常重要，并且安全需要管理的。 如果用户基本上没有什么安全设置，可以向其推荐公司的安全解决方案。 7 性能监控 一般情况下，用 sar 、topas 、vmstat、iostat 等 命令进行简单的性能分析，检查是否有 性能瓶颈。通过 sar 、topas 和 vmstat 命令可以 查看 CPU 的利用率 ；通过 topas 、iostat 命 令查看系统 I/O 分
24、布； 通过 topas 和 vmstat 命令可以查看内存使用情况和 Paging Space 使 用情况。 CPU 和 I/O 的使用情况 通过收集的数据很容易判断， 但是内存是否足够， 不是看内存 free 的指标 ， 而是看内 存与 Paging Space 之间 的页交换情况， 如果内 存与 Paging Space 之 间的页交换比较频繁， 就说明内存不够用。 但是具体原因还需要根据应用情况来确定， 在 很多时候可能是由于内存泄漏或者应用参数设置不当造成的。 IBM p59x 巡检指导手册 V0.2.doc 指导手册 14 8 HACMP 检查 8.1 检查 HACMP 日志 HAC
25、MP 最主要的日志有：/tmp/hacmp.out 、/tmp/clinfo.debug、/usr/es/adm/cluster.log 、 /usr/es/sbin/cluster/history/cluster.mmddyyyy 。 8.2 HACMP 状态检 查 通过“/usr/es/sbin/cluster/utilities/cldump ”命令 可以检查 HACMP 状态。 8.3 HACMP 配 置 一致 性检测 可以 HACMP 配置一致性检测来确认 HACMP 配置是否有问题，但是不会检测相关 的脚本是否有问题，因此，对 HACMP 检测的最好办法是模拟故障测试。 HACMP
26、 配置一致性检测的方法如下： smit hacmp Extended ConfigurationExtended Verification and Synchronization HACMP 启动和关闭时检测的菜单是不一样的。 在 HACMP 启动时， 按照缺省值进行 检测就可以了。 在 HACMP 停止时， 缺省情况下是 “Verify and Synchronize”，要 用“ Verify only ”方式进行检测。 HACMP 检测的结果存放在/var/hacmp/clverify/clverify.log 文件中。 9 信息收集脚 本 为了便于大家收集信息，我们提供了信息收集脚本，用
27、于收集系统信息。 IBM p59x 巡检指导手册 V0.2.doc 指导手册 15 get_aix_cfgsh 主要 用于收集 RS/6000 的配 置信息。 get_aix_stat.sh 主要 用于收集 RS/6000 的运 行状态信息，如性能、日志等。 另外，我们还需要通过 AIX 提供的命令收 集相关的信息： snap ac收集 AIX 的配置信息， 会在/tmp/ibmsupt 目录下生成 snap.pax.Z 文件。 在执行该命令之前， 应先备份/tmp/ibmsupt 中 内容， 然后执行 snap r 将旧的内容删除 的。 snap ec收集 HACMP 的配置信息。 HACM
28、P snapshot 通过“/usr/es/sbin/cluster/utilities/clsnapshot -c -i -nsnapshot_name” ，通 过 snapshot 会生成 snapshot_name.odm 、snapshot_name.info 两 个文件，缺省情况下这两个文件存放在/usr/es/sbin/cluster/snapshots 目录下。 HACMP 日志收集通过“/usr/es/sbin/cluster/utilities/clsnap -d/dirname -p2” 将 HACMP 日志收集到/dirname 目录。 10 Firmware 和 HMC
29、 检查 10.1 Firmware 检查 在第一次巡检时我们要检查 p59x 服务器的 Firmware 。 对于 p59x 服务器， 如果 Firmware 版本低于 SF240_417 ，我们都要建议客户将 Firmware 升级到最新的版本（目前是 SF240-418）。从目前 的实践经验来看，低于 SF240-417 版本都存在比较明显的缺陷，如 果是 SF240-417，暂时不需要升级。在建议客户升级 Firmware 之前 要确认 AIX 的版本必 须不低于 AIX 5.3 TL05 。 10.2 HMC 检查 为了提供更有效的支持，建议检查一下 HMC 版本和设置。 IBM p5
30、9x 巡检指导手册 V0.2.doc 指导手册 16 10.2.1 HMC 版本检查 按照 IBM 官方的兼容 列表， 只有 HMC V7.3.5 以后的版本才能兼容 SF240-382 之后的 Firmware 版本。因此建 议 HMC 的版本至少升级到 V7.3.5 SP4。 10.2.2 HMC root 设置检查 在处理与电源有关的故障时，可能会确认 BPC 是否处于冗余状态， 需要有 root 的权 限。缺省情况下，在 HMC 上是无法 su 到 root 用户。IBM 官方是通 过 pesh （需要动态口 令）su 到 root 用户。 我们可以通过更改 HMC 的设置来实现。下面
31、 是检查是否可以转到 root 用户，如果不能转到 root 用户，请参照附录的方法进行设置。 1. 打开终端窗口。 HMC V6 ： 在用鼠标右键点击 HMC 桌面，选择“terminals ”，然后选择“rshterm ”，打开终端 窗口。 HMC V7 ： 在主窗口点击“HMC Management ”，然后点 击“Open Restricted Shell Terminal”， 打开终端窗口。 2. 在终端窗口执行 “su- ” 命令， 如果能够执行， 说明设置已完成； 如果不能执行， 请参 照附录的方法进行设置。 10.2.3 HMC SSH 访问 检查 通过 PuTTY 、Secu
32、reCRT 等支持 SSH 的访问 HMC ，如果不能正常登录，说明 SSH 访问还没有设置，参照附录进行设置。 IBM p59x 巡检指导手册 V0.2.doc 指导手册 17 10.2.4 HMC Web 访问检查 对于 HMC V7 ，可以直接通过 Web 访问 HMC （https:/HMC IP ）； 对于 HMC V6 ， 需要安装客户 WebSM 客户端。 通过 Web 访问， 可以方便截图。 如果不能通过 Web 访问， 请参照附录进行设置。 注：不同的 HMC 版本，会对浏览器的版本有要求。 11 附录 11.1 HMC 设置检查 11.1.1 HMC root 访问设置 1
33、. 获取 HMC root 用户 密码。缺省密码为 passw0rd。如果 root 密码被修改，在 HMC Management Manage User profiles and Access 菜单中修改 root 密码； 也可以在命令行 修改密码：”chhmcusr -u root -t passwd” 。 2. 进入单用户模式 1) 到下面这个画面按“”或“”，HMC V7 到下面这个画面按“e ”也可以。 IBM p59x 巡检指导手册 V0.2.doc 指导手册 18 2) 还是按“e” 3) 在最后面加个“1”回车 4) 到这个画面后在按“b” 5) Linux 启动到单用户模式下
34、，输入 root 用户口令就可以进入系统。 IBM p59x 巡检指导手册 V0.2.doc 指导手册 19 3. 为 hscroot 用户增加 su 命令执行权限，执行如下命令： ln s /bin/su /usr/hmcrbin/su 这样，hscroot 用户就可以执行 su 命令。 11.1.2 开启 HMC SSH 访问 服务 1. 激活 SSH 服务 HMC V7 HMC Management Remote Command Execution，选中方框激活 SSH 服务。 HMC V6 HMC Management HMC Configration Enable or Disabl
35、e Remote Command Execution，选中方框 激活 SSH 服务。 2. 设置防火墙，允许 SSH 服务。 在激活 SSH 服务之后， 如果仍然不能通过 SSH 访问 HMC ， 需要修 改防火墙的设置。 HMC V7 HMC Management Change Network Settings LAN Adapters 选择访问的网卡 （如 eth1）Details Firewall Settings Available Applications Secure Shell Allow Incoming OK HMC V6 IBM p59x 巡检指导手册 V0.2.doc 指
36、导手册 20 HMC Management HMC Configuration Customize Network Settings LAN Adapters 选择访问的网卡（如 eth1 ） Details Firewall Secure Shell Allow Incoming OK 11.1.3 开启 HMC Web 登录 服务 HMC Management Remote Operation， 选择 Enable 激活 Web 服务 。 在上面的设置之后，对于 HMC V7 ，可以直接通过浏览器进行访问；对于 HMC V6 ， 还需要在客户端安装软件包， 详细方法请参见 IBM 硬件信息
37、中心 （可 以搜索 “Installing the Web-based System Manager Remote Client for Java Web Start”）。 11.2 HMC 上截图方 法 发生故障之后， 我们需要获取 HMC 上错误日 志和配置信息， 目前比较常见的方法就 是用手机拍照，但是效果不好。HMC 提供了 如下的截图方法： 1. 在 HMC 上打开终端登 录窗口。 2. 在登录窗口，执行“hmcwin -o c -f ”命令。 3. 用“ ls /home/.screen_capture” 命令检 查hmcwin 命令生成的截图文件。 为执行 hmcwin 命令的用
38、户。 4. 用“convert myfile.xwd myfile.jpg ”将 myfile.xwd 文件转换为 myfile.jpg 。由于 HMC 直接打开的终端窗口为“Restricted Shell Terminal ” ，这条命令不能 直接执行。要执 行这条命令有两种方法： IBM p59x 巡检指导手册 V0.2.doc 指导手册 21 如果打开了 su 到 root 的设置， 执行 “su ” 命令， 然后就可以执行 convert 命令。 用登录软件通过 SSH 登录到 HMC ，就可以 执行 convert 命令。 5. 将 myfile.jpg 文件拷 贝到 U 盘上。 1) 将 U 盘（U 盘的格式要 为 FAT ，不能为 NTFS ）插入到 HMC USB 接口上。 2) 在执行 lsmediadev 命令获得 U 盘的 。 3) 执行 mount 。 4) 用“cp /home/.screen_capture/ ”命令 拷贝截图文件。为执行 hmcwin 命令的用户。 5) 执行“umount ”命令卸载文件 系统，然后拔出 U 盘。
