1、 1/31 HP 服务器上安装和管理 HP 磁盘柜 MSA500G2(Redhat Linux AS3.0 字符环境)目录： 一、磁盘柜硬件安装； 二、驱动和工具软件安装； 三、阵列配置； 四、系统监控 先给服务器安装操作系统 Redhat Linux AS3.0。一、 磁盘柜硬件安装默认的 SCSI 口认不到 MSA500G2 控制器，因此服务器必须插一块 Smart Array642 卡（每台 MSA500G2 都带 2 块 Smart Array642 卡），由于 SA642 是全长的 PCI-X 卡，因此服务器必须能提供全长的 PCI-X 插槽。连接线缆，先开磁盘柜，等 2 分钟后再开
2、服务器。二、 驱动和工具软件安装1、以超级用户 root 登录 Linux 系统，将随盘柜或自己下载的 HP SmartStart 光盘放入服务器光驱中。（最新 SmartStart 下载地址：http:/ t iso9660 /dev/cdrom /mnt#cd /mnt/compaq/csp/linux#ls *.sh l2、执行看到的.sh 文件，例如#./install760.sh在这个过程中会回答一些系统管理问题，一部份是有关 SNMP 有关的，一部份是与管理帐号和安全的，可以过后再配（本文第四节），可以使用默认设置，必须输入的先随便输入。这个过程会安装 HP 驱动（包括网卡驱动）、
3、管理和配置软件。3、检查安装效果#lsmod |grep cciss应该显示 ciss 。如没有：#insmod cciss2/31 用 vi 编辑 /etc/rc.local，加入：insmod ccisscpqacuxe R4、重启服务器#cd /#umount /mnt#reboot三、 阵列配置有三种方式配置阵列： 方法 1：用 HP SmartStart CD 启动服务器，启用 ACU（Array Configuration Utility）配置阵列；（图形界面，最方便使用）； 方法 2：用 Linux 下命令行配置（可以做 ACU 所有工作，又增加改MSA500G2 名称等功能）；
4、 方法 3：在网络环境下，在一台 PC 上用浏览器登录服务器管理界面（System Management Homepage），在里面启用 ACU-XE，界面和方法 1一样。MSA500G2 共有颗磁盘，建议仅定义一个磁盘组（Array），包含颗磁盘，此磁盘组划分成 4 个逻辑盘，分别标记为 logical disk1-4，下图，每个逻辑盘都用到个硬盘的一部分（在操作系统看来是 4 个物理盘）3/31 每个逻辑盘采用 RAID5 模式，第 14 颗硬盘作为热备援盘。当阵列中某个物理磁盘损坏时，自动加入到阵列中，参与阵列，此时系统从其它磁盘读数据，运算后写入此磁盘，此过程称为重构（rebuild）
5、。从以下（一）、（二）、（三）中挑一个方法来配置成上述效果。（一） 方法 11、用 HP SmartStart CD 启动服务器；启用 ACU（Array Configuration Utility）工具（要用到鼠标）：2、ACU 会自动扫描所有的阵列卡（机器内部集成的，Smart Array 642）和MSA500G2；点中 MSA500G2；4/31 3、观察检测到的硬盘，看有没有事先的设置，如果有且数据不用，删除掉。4、先创建磁盘组（Create Array ）:5/31 6/31 5、再分别创建 4 个逻辑盘（Create Logical Drive ）：根据需要配置每个逻辑盘的参数：
6、RAID 级别，条带大小（stripe size），逻辑盘大小(Logical Drive Size ，最后一个用默认 )。ss 是条带大小（ stripe size），单位是 KB；（性能调优： a.混合读写：使用默认； b.主要连续读，例如语音和视频应用： stripe size 调大； c.主要是写：例如图象处理： RAID5 或 6 用小的 stripe size,RAID0 和 1+0 用大的 stripe size）；. raid 级别必须是本控制器能支持的，缺省是 RAID6（ ADG，可损坏任意两颗硬盘，但性能比 RAID5 略低 8%15%）7/31 5、设置备援盘8/31
7、9/31 注：以上配置（ RAID5+热备援）与选择 14 颗硬盘做 RAID6(ADG)相比，磁盘利用率都是（ 14-2） /14； RAID6 可靠性更高，但是性能比 RAID5 低 10%左右。保存，退出 ACU。（二） 方法 2：用命令行的阵列配置1、以超级用户 root 登录 Linux 系统，输入阵列配置命令行#cpqacuxe -stop#hpacucli进入阵列配置命令行模式，标记是“=”；可以敲 help 进行帮助，常见有关术语见下表：全称 缩写 解释 全称 缩写 解释adapterid ai 适配器 ID 号 serialnumber sn 控制器序列号arrayaccel
8、erator aa 缓存cacheratio cr 读写缓存比率logicaldrive ld 逻辑盘，即能被操作系统看见的卷physicaldrive pd 真实的物理硬盘，操作系统不可见chassisname ch 盘柜名字，可自己修改controller ctrl 控制器2、扫描和察看阵列卡= rescan= ctrl all show此时应该可以看到 SA642 和 MSA500G2 两个控制器，可能是这样显示：MSA500G2 in 22K9LYPN44 （sn=xxxxxxxxxxxxxxxxxx xxxxxxxxxxxxx）Smart Array642 in slot 0 (sn
9、=xxxxxxxxxxxxxxxx )3、将冗长的盘柜名字从 22K9LYPN44 改成好用好记的= ctrl ch=22K9LYPN44 modify ch=21cn4、设置目标控制器，这样后面命令都是指针对它，可以减少命令行长度=set target ctrl ch=21cn5、查看控制器和其所有物理磁盘和逻辑盘=show=pd all show=ld all show10/31 6、选择物理盘，组成磁盘组（Array），创建逻辑盘（卷）；一个磁盘组可以划成多个逻辑盘，RAID 级别是在逻辑盘指定的，即允许同一磁盘组的不同逻辑盘各采用不同 RAID 级别。例如本测试里将 14 颗磁盘做进一
10、个磁盘组，再将它划成 5 个大小接近的逻辑盘：=create type=ld drives=1:1-1:13 size=420000 ss=32 raid=5=create type=ld drives=1:1-1:13 size=420000 ss=32 raid=5=create type=ld drives=1:1-1:13 size=420000 ss=32 raid=5=create type=ld drives=1:1-1:13 ss=32 raid=5以上命令行中：. drives 也可以随意选择非连续盘，用逗号（，）分开；. size 后数字的单位是 MB；省略的话是采用所有可
11、用空间做逻辑盘（见以上第4 行）；ss 是条带大小（ stripe size），单位是 KB；（性能调优： a.混合读写：使用默认； b.主要连续读，例如语音和视频应用： stripe size 调大； c.主要是写：例如图象处理： RAID5 或 6 用小的 stripe size,RAID0 和 1+0 用大的 stripe size）；. raid 级别必须是本控制器能支持的，缺省是 RAID6（ ADG，可损坏任意两颗硬盘，但性能比 RAID5 略低 8%15%）7、配置备援盘=add spares=1:148、查看效果=ld all show=ld 1 show=ld 2 show=
12、ld 3 show=ld 4 show9、为逻辑盘启用阵列控制器缓存（如果新控制器或新缓存在，加电后，电池充电期间，缓存会被控制器禁用，一段时间后缓存才可用）= ld all modify aa=enable10、修改阵列控制器缓存的读写比率，默认设为 50% 比 50%，可以根据应用环境自行调整。= modify cr=50/50*11、为物理盘启用缓存（MSA500G2 不支持）= modify dwc=enable其它设置和命令参阅文档HP Array Configuration Utility User Guide的“Using the Command Line Interface”一
13、节。11/31 12、退出=quit#cpqacuxe R（三）方法 3第四章第（二）节配好后，从网上其它计算机访问本服务器的管理网页，:http:/机器名或 IP：2301或https:/机器名或 IP：2381选择 HP Array Configuration Utility;具体配置方法同第(一)节。（四）验证设备名#fdisk /dev/cciss/c0d0 rootlocalhost init.d# fdisk /dev/cciss/c0d0The number of cylinders for this disk is set to 105412.There is nothing
14、wrong with that, but this is larger than 1024,and could in certain setups cause problems with:1) software that runs at boot time (e.g., old versions of LILO)12/31 2) booting and partitioning software from other OSs(e.g., DOS FDISK, OS/2 FDISK)Command (m for help): pDisk /dev/cciss/c0d0: 440.4 GB, 44
15、0402968064 bytes255 heads, 32 sectors/track, 105412 cylindersUnits = cylinders of 8160 * 512 = 4177920 bytesDevice Boot Start End Blocks Id SystemCommand (m for help): q#fdisk /dev/cciss/c0d1#fdisk /dev/cciss/c0d2 #fdisk /dev/cciss/c0d3 如果有 2 个 msa500G2，另外的设备名就是/dev/cciss/c1d0/dev/cciss/c1d1/dev/cci
16、ss/c1d2/dev/cciss/c1d3HP DL380G5 内置 E200 阵列卡配的内置硬盘的设备名是：/dev/cciss/c2d0(如果分了多个逻辑盘就依次增加)/dev/cciss/c2d1设备根据具体应用要求使用；一般先建分区（fdisk 里用 n）;然后再直接使用裸设备（例如 /dev/cciss/c0d0p0 ）；也可做成文件系统（ #mkfs 设备名）四、 系统监控（一） Linux 下基于命令行的察看#cpqacuxe -stop#hpacucli= ctrl ch=21cn show= ctrl ch=21cn ld all show= ctrl ch=21cn ld
17、 1 show= ctrl ch=21cn pd all show= ctrl ch=21cn pd 1 show如果一颗硬盘坏，上述含 pd 命令可看到。此时 ld 看到。详细方法参阅第三章第（二）节。（二） 管理代理，每台服务器必装必配1、验证和配置网络，开放管理端口13/31 （1）判断网卡是否正确被系统识别# dmesg | grep -i eth0如果有返回值，例如：eth0: registerted as PCnet/PCI 说明系统有网卡识别。# dmesg | grep -i eth1如果返回空，则表示系统之有一块网卡。没有 eth1。（2）如何配置网卡地址：netconfig
18、 (缺省是 eth0)设置图形下的设置, 例如：10.2.30.35查看你的设置是否正确。;ifconfig eth0或者 ip addr还可以通过手动的方式制定 IP 地址：例如：ifconfig eth0 10.2.30.35 netmask 255.255.255.0 uproute add default gw 10.2.30.254同样可以达到设置 IP 地址和网关的目的。(3) ping 从外部机器 ping 或者直接连接到 10.2.30.35ping 10.2.30.35此时应该可以通。（5）禁止/设置防火墙功能# service iptables stop或#setup在 f
19、irewall Configuration 里选 Disabled。如果不允许禁止防火墙，在 custom 里将网卡，http，ssh 设为可用，并增加允许端口：2301，2381，280，50000*2、管理 agent 安装在第二章，已经在系统安装了管理代理，并提供一个访问接口 System Management Homepage； 如果修改过用户密码又不记得之前密码，可能需要重新执行第二章的安装。确认 agent 包已经安装：14/31 #rpm q hpasm#rpm q hpsmh3、设置 System Management Homepage 帐号、安全#perl /usr/loca
20、l/hp/hpSMHSetup.pl根据需要设置帐号。账号组别分成管理员、操作员和用户，一般将 linux root 账号加到管理员组。根据需要设置安全机制。15/31 Trust by Certification 最安全，但是限制最大，方便性受到最大影响；另外有基于名字的信任和完全信任。4、设置 SNMP 及管理代理有关配置（1）修改 SNMP 及管理代理有关配置#/etc/init.d/hpasm configure16/31 按照提示，注意“community string”要正确。其中一定要输入“Trap Destination”地址，即安装了管理中心软件 SIM的管理中心服务器的地址
21、，即后文第（三）节的那台服务器（例如：IP为 10.2.30.35）。（2）重启 SNMP 和管理代理进程#/etc/init.d/hpasm stop#/etc/init.d/snmpd stop#/etc/init.d/snmpd start#/etc/init.d/hpasm start5、访问管理代理（System Management Homepage）从网上其它带浏览器的机器，在浏览器里：http:/机器名或 IP：2301或https:/机器名或 IP：2381（三） 管理中心17/31 System Insight Manager(SIM)，负责接收各个服务器和存储信息并负责发
22、起 email 提示报警，同一网络环境只需装一台）1、系统准备HP 提供的 SIM 有 Linux,Windows 和 HP-UX 三个版本，任何一个版本可以跨平台管理安装了主流操作的服务器和存储。本指导手册只介绍Linux 下 SIM 的安装；SIM 操作则三个版本都是一样的。SIM 需要用到数据库，在 Linux 环境中可以用 Oracle 和 PostgreSQL，本指导手册只介绍安装 PostgreSQL。（1） 如果系统已经安装 PostgreSQL，需要备份它和删除它，否则到步骤（2）。#rpm -qa | grep postgresqlTo back up your databa
23、se, execute the following command:# cp rp /var/lib/pgsql /var/lib/pgsql.oldl# rpm e rh-postgresql-devel# rpm e rh-postgresql-lib# rm rf /var/lib/pgsql /usr/lib/pgsql（2） 要求环境检查# rpm -qa | grep ssh#rpm -qa | grep snmp#rpm -qa | grep compat#rpm -qa | grep glib#rpm -qa | grep gdk-pixbuf没有安装则需要这些 Linux 包
24、。2、安装 SIM下载 SIM 并上传到管理中心服务器或使用 SIM for Linux 光盘：#mount /dev/cdrom /mnt/cdrom#cd /mnt/cdrom#cp /mnt/cdrom/HPSIM-Linux*.bin /tmp#cd /tmp#chmod u+x HPSIM-Linux_C.05.*.bin#./HPSIM-Linux*.bin3、初始化 SIM#/opt/mx/bin/mxinitconfig l#/opt/mx/bin/mxstop#/opt/mx/bin/mxinitconfig a这个过程在步骤 14 时间会比较久，可能持续 30 分钟或更长。
25、18/31 可以用#cat /var/opt/mx/logs/initconfig.log看完成情况。4、确认进程都正常ps -ef | grep mx可以看见 mxdomainmgr, mxinventory 和 mxdtf如果没有，用以下方式启动：#/opt/mx/bin/mxstart#rpm -qa | grep snmp5、验证和配置 SNMP 设置（1）确认 SNMP 和管理代理已安装#rpm -qa | grep snmp# rpm -qa | grep hpasm# /etc/init.d/hpasm status（2）验证和配置 SNMP 设置文件# /etc/init.d/
26、hpasm stop# /etc/init.d/snmpd stop# vi /etc/snmp/snmpd.conf （redhat 是此目录，其它 Linux 可能目录不同）找到 trapsink 一行，如果有#号，去掉之前的#号，改成trapsink 10.2.30.35验证或手工添加：rocommunity public 10.2.30.35(这里以管理中心的 IP 是 10.2.30.35 , SNMP 只读 community string 是“public”为例)保存退出 vi.(:wq!)# /etc/init.d/snmpd start# /etc/init.d/hpasm
27、start6、初次使用 SIM 和设置从网上其它带浏览器的机器，在浏览器里：http:/机器名或 IP：280或https:/机器名或 IP：50000用户名和密码是 root 和 root 的密码，如果步骤 3 后改了密码又不记得之前密码，可能需要重新执行步骤 3。以下是成功登录后的画面。19/31 20/31 （1） 配置发现范围点击上图中红圈处；先 enable，再 edit增加要管理的 IP 地址区间，默认一般是所在网段的所有 IP，可以增加例外（exclude）；可以修改自动发现设备的间隔，默认是每天上午 11 点。21/31 再点击 Run Now按键开始搜索。点击右上角的 hom
28、e 链接回到 home 页面。（2） 配置邮件报警设置，发起（From）点击 email 设置链接；22/31 SIM 本身并没有邮件服务功能，这里填写 SIM 所在网络环境中的邮件服务器的真实机器名或 IP，填写发送者（from）的邮箱地址，如果此邮箱需要账号、密码，请钩选“Server Requires Authentication”并填入帐号和密码。23/31 点击OK 并点击右上角的 home 链接回到 home 页面。（3） 配置邮件报警设置，递送目标（To）点击“Set up Automatic event handing”:24/31 使用现有或创建一个事件处理任务：25/31
29、取一个自己喜欢的任务名字：26/31 确定哪些类型事件需要发送邮件报警，一般用默认的“重要未清除事件”：27/31 钩选 “Send e-mail”和“Write to System Log”，在 To:和 CC:处填入发送目标的邮箱地址，多个邮箱用逗号隔离，不能用分号，不能是中文全角。在 Subject 里填入自己定义的邮件主题内容（邮件正文会是具体事件的描述，不能在这里自己设）：28/31 （4）确认 SIM 服务器和 e-mail 服务器网络能够通，需要设置网关要设置网关，需要加路由的要加路由。按 next，“Select time filter”里，如果希望在某段时间不发送，设置它，建
30、议不理会，按 next；看看设置的总结：29/31 参阅文档：HP Array Configuration Utility User GuideHP System Management Homepage Release Notes；System Management Homepage online helpHP System Management Homepage Installation Guide Linux Trap ID and SNMP TrapsHP Systems Insight Manager Installation and Configuration Guide for L
31、inux显示 HP MSA 500 配置信息：1以 root 身份运行 /opt/compaq/hpacucli/bld/hpacucli2输入： ctrl all show MSA500 G2 at M78ELYPN7L (sn: PAB360NX3TQ0BN, csn: M78ELYPN7L)Smart Array 642 in Slot 0 (sn: P9226AJ9SU507S)发现磁盘柜30/31 3输入：ctrl csn=M78ELYPN7L show 指令可以看到一半状态。4输入：ctrl csn=M78ELYPN7L physicaldrive all show 察看物理盘使用
32、，5输入：ctrl csn=M78ELYPN7L logicaldrive all show 察看逻辑卷使用，每个逻辑卷对应 os 看到的一个物理磁盘设备6最后用 fdisk -l 察看分区情况。 HP StorageWorks 模块化智能阵列(MSA)家族采用简单、经济、业界领先的技术，提供卓越的存储性能，同时增强投资保护 HP StorageWorks Modular Smart 500 G2 (MSA500 G2) 专门为集群和存储共享而设计。MSA500 G2 架构降低了复杂性，减少了集群费用和存储共享。它基于熟悉的智能阵列和 HP ProLiant 技术，是一个 Ultra320 S
33、CSI 存储系统，可支持高达 2 TB 的数据容量。 MSA500 G2 提供易于部署、配置和管理的高级数据保护特性。此外，MSA500 G2 还可转换为 SAN 阵列，确保提高可扩展性，提供未来扩展的硬件投资。智能阵列架构为从 MSA500 G2 向 MSA1000 迁移提供了一个快速、轻松的途径，从而提高了可扩展性。MSA500 G2 将阵列控制器托架和驱动器托架结合在一起，可在 1 个 4U 机架安装式机柜中安装多达 14 个 HP 通用磁盘驱动器，提供超过 2 TB 的存储容量。 主要特性与优点 提供新的快速驱动器重建技术：提高 RAID 5 和 RAID ADG 驱动器重建的速度 采
34、用选择性存储演示(SSP)技术：提供多服务器的存储共享(逻辑单元数掩码) 支持 14 个 Ultra 320、Ultra3 和 Ultra2 HP 通用驱动器：提供 2TB 容量(14 个 146.8 GB的 HP 通用磁盘驱动器) 提供覆盖磁盘驱动器的故障前保修：保护 IT 投资 具备从存储设备启动的功能：将所有磁盘转换为外部存储设备，以便充分地利用容量 为 Microsoft、Linux 和 NetWare 提供集群支持 技术规格 HP StorageWorks Modular Smart Array 500 G2 Modular Smart Array 500 G2 接口：连接硬盘驱动器的 Ultra320 SCSI 接口，连接主机服务器的Ultra320 SCSI 接口 最大驱动器数：14 个 1 英寸 Ultra320、Ultra3 或 Ultra2 通用硬盘驱动器(Modular Smart Array 500 G2 机柜) 端口：2 端口 SCSI I/O - 2 个 VHDCI Ultra320 SCSI 端口
