1、 文档 名称： CentOS环境下客户端软件安装配置指南 文档版本： V1.3 文档密级： 内部公开 CentOS 环境下客户端软件安装配置指南 （仅供内部使用） 拟制： LiJing 日期： 2013-01-31 审核： 日期： 审核： 日期： 批准： 日期： 杭州 宏杉科技 有限公司 版权所有 侵权必究 杭州宏杉科技有限公司 文档密级：内部公开 目录 CentOS 环境下客户端软件安装配置指南 i 第 1 章 概述 1-1 1.1 本文适用范围 . 1-1 1.2 客户端软件 1-1 1.3 安装说明 1-1 1.3.1 操作系统版本 1-1 1.3.2 其他要求 . 1-1 第 2 章
2、网络配置 2-1 2.1 网卡配置 2-1 第 3 章 安装和配置 iSCSI initiator 软件 3-1 3.1 安装 iSCSI initiator 软件 3-1 3.2 卸载 iSCSI initiator 软件 3-3 3.3 配置 iSCSI initiator 软件 3-3 第 4 章 设置 CHAP 认证 4-1 4.1 单向 CHAP 认证 4-1 4.2 双向 CHAP 认证 4-3 第 5 章 安装和配置 multipath 软件 . 5-1 5.1 安装 multipath 软件 . 5-1 5.2 卸载 multipath 软件 . 5-3 5.3 配置 mult
3、ipath 软件 . 5-3 5.3.1 在生成多 路径软件时忽略逻辑磁盘 . 5-3 5.3.2 编辑 multipath 配置文件 . 5-4 5.3.3 使用多路径设备 5-7 第 6 章 连接存储设备 . 6-1 6.1 iSCSI 单路径 6-1 6.2 iSCSI 多路径 6-2 6.3 FC 单路径 6-5 6.4 FC 多路径 6-7 第 7 章 使用存储资源 . 7-1 7.1 相关说明 7-1 7.1.1 设备名称 . 7-1 7.1.2 分区方式 . 7-1 7.2 修改客户端磁盘超时时间 7-2 杭州宏杉科技有限公司 文档密级：内部公开 7.3 创建分区和文件系统 7-
4、2 7.4 设置文件系统自动挂载 7-5 7.5 卸载文件系统 . 7-6 第 8 章 常见问题 8-1 杭州宏杉科技有限公司 文档密级：内部公开 修订记录 文档版本 修改时间 修订说明 修订人 V1.0 2013-01-31 初稿 LiJing V1.1 2013-06-21 第一 次修订 LiuHao V1.2 2013-11-29 第二次修订 WuCheng V1.3 2015-05-11 增加 centos7.x相关 内容 及 常见问题 ZhangJingXi 杭州宏杉科技有限公司 文档密级：内部公开 1-1 第 1章 概述 本章主要描述了以下内容： 本文使用范围 客户端软件 安装说明
5、 1.1 本文适用范围 本文适用范围： CentOS 5.X / CentOS 6.X / CentOS 7.X 1.2 客户端软件 本文主要包括在 CentOS 5.X / CentOS 6.X / CentOS 7.X 系统下安装和配置下列软件的详细步骤： iscsi-initiator-utils multipath 多路径软件包 1.3 安装说明 1.3.1 操作系统版本 系统平台及 系统 内核 信息 ： #unamea 操作系统版本 号 ： #cat /etc/redhat-release 1.3.2 其他要求 1. 以 root 用户登录系统； 杭州宏杉科技有限公司 文档密级：内部
6、公开 1-2 2. 确保系统及存储 设备运行正常运行，且网络调试完毕 ； 请参考 第 2 章网络配置 。 补充说明 ： 建议按照配置方法顺序逐步操作，待配置完成后请使用 ping 命令进行查看 ，确保能够连通且没有丢包现象发生。 3. 配置 yum 源 本指导书在安装 iSCSI initiator 和 multipath 软件时需要使用安装光盘，安装之前请将对应版本的光盘插入服务器中，并按如下要求配置 yum 源： 1) 挂载光盘至 /mnt 下 # mount /dev/sr0 /mnt/ 2) 查看挂载情况 # df -h3) 配置 本地 yum 源 # vi /etc/yum.repo
7、s.d/install.repo 补充说明 ： 1.install.repo 为新建文件，默认安装环境中需要手动创建； 2.文件内容如上图所示，其中 baseurl=file:/mnt/将路径配置为本地的光盘 。 注意 ： 执行此步骤时请确保使用的光盘与操作系统版本信息一致。 4) 清理 yum 缓存 杭州宏杉科技有限公司 文档密级：内部公开 1-3 # yum clean all 杭州宏杉科技有限公司 文档密级：内部公开 2-1 第 2章 网络配置 本章节描述了在 CentOS 5.X / CentOS 6.X / CentOS 7.X 环境下安装及配置网络的详细步骤，主要包括以下内容： 网
8、卡配置 2.1 网卡配置 1. 编辑网卡配置文件 使用 vi 编辑器打开 /etc/sysconfig/network-scripts/ifcfg-ethx 文件， x 代表对应网口 # vi /etc/sysconfig/network-scripts/ifcfg-eth0 补充说明 ： 其中： DEVICE：网卡设备名称 HWADDR：物理网卡地址 NM_CONTROLLED：设备是否允许 Network Manager 服务托管 ONBOOT：设备是否随网络服务启动而生效 BOOTPROTO：网卡启动协议 TYPE：网络类型 修改网卡信息，如本机需添加与存储业务口同一网段的 IP： 19
9、2.168.4.199，则将上图内容修改如下： 杭州宏杉科技有限公司 文档密级：内部公开 2-2 2. 重启网络服务 # /etc/init.d/network restart 注意 ： 在 中如果将 NM_CONTROLLED 设置为 yes，则重启网络时需要使用 /etc/init.d/NetworkManager restart 命令重启 NetworkManager 服务，然后再使用/etc/init.d/network restart 命令重启 network 服务。 Centos7.X 重启网络时需要使用 # systemctl restart network。 杭州宏杉科技有限公
10、司 文档密级：内部公开 3-1 第 3章 安装和配置 iSCSI initiator 软件 本章节描述了在 CentOS 5.X / CentOS 6.X / CentOS 7.X 环境下安装及配置 iscsi initiator 的详细步骤，主要包括以下内容： 安装 iscsi initiator 软件 卸载 iscsi initiator 软件 配置 iscsi initiator 软件 3.1 安装 iSCSI initiator 软件 1. 查询是否安装 initiator 软件 # rpm qa|grep iscsi 如果未安装显示如下：如果已经安装显示如下： 2. 安装 iscsi
11、-initiator-utils #yum install -y iscsi-initiator-utils 杭州宏杉科技有限公司 文档密级：内部公开 3-2 补充说明 ： 安装之前请检查光盘是否已经插入且已配置 yum 源，详见 1.3.2 其他要求 。 3. 设置开机自动启动 # chkconfig iscsi on # chkconfig iscsid on 杭州宏杉科技有限公司 文档密级：内部公开 3-3 补充说明 ： 系统中 iSCSI 服务默认为开机自动启动 ， 请使用 chkconfig -list | grep iscsi 检查启动情况。 Centos7.X 检查 启动情况 #
12、 systemctl list-unit-files|grep iscsi， 设置开机自动启动命令 #systemctl enable iscsi.service 和 systemctl enable iscsid.service。 3.2 卸载 iSCSI initiator 软件 1. 卸载 iscsi initiator # yum erase iscsi-initiator-utils3.3 配置 iSCSI initiator 软件 1. 编辑 initiator 名称 # vi /etc/iscsi/initiatorname.iscsi 杭州宏杉科技有限公司 文档密级：内部公开
13、3-4 补充说明 ： initiator 名称是服务器的唯一身份标识，建议使用默认的 initiator 名称。 2. 配置 iscsid.conf 文件 # vi /etc/iscsi/iscsid.conf 补充说明 ： 将文件中的 node.session.timeo.replacement_timeout 缺省值修改为 5， 单路径连接时可不执行此操作； 3. 重启 iscsi 服务 # service iscsi restart 注意 ： 1. CentOS 系统中因 iscsi 服务采用了 懒惰启动方式 ， 安装 iSCSI 服务后需使用iscsiadm 发现 Target 的方式
14、激活 iSCSI 服务 ， 或使用 service iscsid force-start 命令启动服务。 2. CentOS7.X 系统使用 # systemctl restart iscsi.service。 4. 查看 initiator 名称 # cat /etc/iscsi/initiatorname.iscsi 其中 iqn.1994-.redhat:52e48b30c0b1 为 initiator 名称 5. 发现 target # iscsiadm -m discovery -t st -p 192.168.3.109 杭州宏杉科技有限公司 文档密级：内部公开 3-5 补充说明
15、： 其中命令中输入的 192.168.3.109:3260 是目的服务器的 IP 和端口 （端口可以省略，默认即为 3260） ，实际使用时改成所需的 IP。命令完成后，显示存储上各 Target名。在一个 IP SAN 网络中，严禁两台或多台服务器使用相同的 InitiatorName。 6. 连接 target 1) 逐条连接 Target 路径。 #iscsiadm -m node -T iqn.2010-.macrosan.target:2 et:2 -p 192.168.3.109 -l 补充说明 ： 此命令用来连接指定的某一个 Target，其中 iqn.2010-.macrosa
16、n.target:2是 Target name， 192.168.3.109 表示目的服务器业务口的 IP。最后的 -l（英文字母中小写的 L）是表示 login 的意思。 2) 一次性连接指定 Target 的所有路径。 # iscsiadm -m node -L all # blkid /dev/mapper/mpathap1 7. 新增 Target 1) 发现新增 target。 #iscsiadm -m discovery -t st -p 192.168.4.109 2) 连接新增 target。 #iscsiadm -m node -T iqn.2010-.macrosan.ta
17、rget:3 -p 192.168.4.109 l 8. 取消 target 连接 1) 逐条取消。 #iscsiadm -m node -T iqn.2010-.macrosan.target:2 -p 192.168.3.109 u 杭州宏杉科技有限公司 文档密级：内部公开 3-6 # iscsiadm -m node -T iqn.2010-.macrosan.target:3 -p 192.168.4.109 u 2) 取消指定 target 连接。 # iscsiadm -m node -T iqn.2010-.macrosan.target:3 -u 3) 取消所有 target
18、连接。 # iscsiadm -m node -U all 补充说明 ： 条 目 1） 、 2） 、 3）对应 的内容 为 取消连接 target 的 三种方式， 请根据 实际需求使用 相应 命令。 9. 删除 target 信息 1) 永久删除某条 target 信息 。 # iscsiadm -m node -T iqn.2010-.macrosan.target:5 -o delete 2) 永久久删除所有 Target。 # iscsiadm -m node -o delete all 补充说明 ： 条 目 1） 、 2）对应 的内容 为删 除 target 的两 种方式， 请根据 实
19、际需 求使用 相应命令； 删除 target 之前，需要先执行第 8 步 (取消 target 连接 )。 杭州宏杉科技有限公司 文档密级：内部公开 4-1 第 4章 设置 CHAP 认证 本章节描述了在 CentOS 5.X / CentOS 6.X / CentOS 7.X 环境下设置 CHAP 认证的详细步骤，主要包括以下内容： 单向 CHAP 认证 双向 CHAP 认证 补充说明： 1. CHAP 认证只适用于 iSCSI 协议，不适用于 FC 协议。 iSCSI initiator 和 target 之间可以通过 CHAP 协议相互认证，从而提高安全性。如果客户没有明确要求使用 CH
20、AP 认证，则无需设置。 2. CHAP认证的 initiator/target用户密码必须满足：有效字符范围 a-zA-Z0-9.-_:,!#&%*()，12-16 个字 符。 3. Initiator CHAP 认证和 target CHAP 认证的用户密码不能相同。 4.1 单向 CHAP 认证 1. 在服务器端， 启用 CHAP 认证 ， 并设置 initiator 用户名、密码 。 # vi/etc/iscsi/iscsid.conf 打开 图中 带有 标注 的 三行前的注释，以开启 CHAP 认证 功能 ，并 设置相应的用户名和密码，如 ： node.session.auth.au
21、thmethod = CHAP /开启 CHAP 认证功能 node.session.auth.username = initChapUser /设置 initiator 用户名 node.session.auth.password = initChapPasswd /设置 initiator 密码 2. 在存储端，开启 initiator 的 CHAP 认证，并设置 initiator 用户名、密码： 1) 选择“客户端” “ 管理 Initiator” 。 杭州宏杉科技有限公司 文档密级：内部公开 4-2 2) 选中对应的 Initiator，单击“修改” 。 3) 启用 CHAP 认证，
22、并设置 initiator 用户名、密码 。 杭州宏杉科技有限公司 文档密级：内部公开 4-3 补充说明 ： 此处用户名 和密码 分别为 iscsid.conf 中的 node.session.auth.username 和node.session.auth.password 对应 的内容 。 3. 在服务器端，依次执行发现 target、连接 target。 如果设置 CHAP 认证之前，已经连接 target；那么需要依次执行发现 target、取消 target连接、连接 target，从而使 CHAP 认证生效。详细步骤 请查看 第 3 章 安装和配置 iSCSI Initiator
23、软件 。 4.2 双向 CHAP 认证 1. 在服务器端，启用 CHAP 认证，并设置 initiator 用户名、密码。 node.session.auth.authmethod = CHAP /开启 CHAP 认证功能 node.session.auth.username = initChapUser /设置 initiator 用户名 node.session.auth.password = initChapPasswd /设置 initiator 密码 node.session.auth.username_in = targetChapUser /设置 target 用户名 node.
24、session.auth.password_in = targetChapPasswd /设置 target 密码 # vi/etc/iscsi/iscsid.conf 2. 在存储端，开启 initiator 的 CHAP 认证，并设置 initiator 用户名、密码 。 1) 选择“客户端” “ 管理 Initiator” 。 杭州宏杉科技有限公司 文档密级：内部公开 4-4 2) 选中对应的 Initiator，单击“ 修改 ” 。 3) 启用 CHAP 认证，并设置 initiator 用户名、密码。 杭州宏杉科技有限公司 文档密级：内部公开 4-5 补充说明 ： 此处用户名 和密码
25、 分别为 iscsid.conf 中的 node.session.auth.username 和node.session.auth.password 对应 的内容 。 4) 在存储端，开启 target 的 CHAP 认证，并设置 target 用户名、密码 。 补充说明 ： 此处用户名 和密码 分别为 iscsid.conf 中的 node.session.auth.username_in 和node.session.auth.password_in 对应 的内容 。 3. 在服务器端，依次执行发现 target、连接 target。 如果设置 CHAP 认证之前，已经连接 target；那
26、么需要依次发现 target、取消 target 连接、连接 target，从而使 CHAP 认证生效。详细步骤查看 3.3 配置 iscsi initiator 软件杭州宏杉科技有限公司 文档密级：内部公开 5-1 第 5章 安装和配置 multipath 软件 本章节描述了在 CentOS 5.X / CentOS 6.X / CentOS 7.X 环境下安装及配置 multipath的详细步骤，主要包括以下内容： 安装 multipath 软件 卸载 multipath 软件 配置 multipath 软件 5.1 安装 multipath 软件 1. 查询是否安装 multipath
27、软件 # rpm -qa | grep device-mapper-multipath 如未安装则显示如下 如已安装则显示如下 2. 安装 device-mapper-multipath # yum install -y device-mapper-multipath 杭州宏杉科技有限公司 文档密级：内部公开 5-2 补充说明 ： 安装之前请检查光盘是否已经插入且已配置 yum 源，详见 1.3.2 其他要求 。 3. 设置开机自动启动 # chkconfig multipathd on 杭州宏杉科技有限公司 文档密级：内部公开 5-3 补充说明： 在 centos7. x 中，用 syste
28、mctl enable multipathd.service 设置自动启动 . 5.2 卸载 multipath 软件 1. 卸载 multipath 软件 # yum erase device-mapper-multipath5.3 配置 multipath 软件 5.3.1 在生成 多路径 软件时 忽略逻辑磁盘 重要说明 ： 有些机器在其内部磁盘中含有本地 SCSI 卡。不建议在 这些设备中使用DM-Multipath。另外，尽管可以使用 devnode 设置将 /dev/sda 等磁盘设备列入杭州宏杉科技有限公司 文档密级：内部公开 5-4 黑名单，但不能确保重启后 /dev/sda 仍
29、是同一个名称，可以使用对应设备的WWID 并将其列入黑名单；特别地，当设备中还有多个需要忽略的磁盘设备时，也要将其加入黑名单中 。 其他 情况 ： 如虚拟机环境中 不能 查询到系统磁盘的 WWID 名称，设置 时 请使用设备名称 ， 如： blacklist devnode “sda$“ 以下步骤显示如何在配置多路径时修改多路径配置文件来忽略对应的磁盘。 1. 查看非 多路径 设备的 WWID #/lib/udev/scsi_id -whitelisted -device=/dev/sda 35000c5005e7abebf 5.3.2 编辑 multipath 配置文件 1. CentOS5
30、.X 系统中配置如下： # vi/etc/multipath.conf blacklist wwid 35000c5005e7b271b defaults user_friendly_names yes checker_timeout 120 polling_interval 10 devices device vendor “MacroSAN“ product “LU“ path_grouping_policy group_by_prio path_selector “round-robin 0“ path_checker tur no_path_retry 30 prio_callout
31、“/sbin/mpath_prio_alua /dev/%n“ getuid_callout “/sbin/scsi_id -g -u -s /block/%n“ 杭州宏杉科技有限公司 文档密级：内部公开 5-5 hardware_handler “0“ failback 15 multipaths multipath wwid 36001405bedd576bd6b39dfee8d0000d8 /查 询方式同 5.3.1 alias mpatha 2. CentOS6.X 系统中配置如下： # vi/etc/multipath.conf blacklist wwid 35000c5005e7
32、b226b defaults user_friendly_names yes polling_interval 10 queue_without_daemon no flush_on_last_del yes checker_timeout 120 devices device vendor “MacroSAN“ product “LU“ path_grouping_policy group_by_prio no_path_retry 30 prio alua getuid_callout “/lib/udev/scsi_id -whitelisted -device=/dev/%n“ pat
33、h_checker tur path_selector “round-robin 0“ hardware_handler “0“ 杭州宏杉科技有限公司 文档密级：内部公开 5-6 failback 15 multipaths multipath wwid 3600b342095668d2d9132d970ad0000dd /查 询方式同 5.3.1 alias mpatha 3. CentOS7.X 系统中配置如下： # vi/etc/multipath.conf blacklist wwid 35000c5005e7abebf defaults user_friendly_names yes
34、 polling_interval 10 queue_without_daemon no flush_on_last_del yes checker_timeout 120 devices device vendor “MacroSAN“ product “LU“ path_grouping_policy group_by_prio no_path_retry 30 prio alua path_checker tur path_selector “round-robin 0“ hardware_handler “0“ failback 15 杭州宏杉科技有限公司 文档密级：内部公开 5-7
35、multipaths multipath wwid 3600b342095668d2d9132d970ad0000d9 /查 询方式同 5.3.1 alias mpatha 补充说明 ： 其中： user_friendly_names：显示存储设备厂商 polling_interval：路径监测间隔时间，全局参数，对每条路径都有效 vendor： LUN 的制造商 product：产品的 ID path_grouping_policy：选择路径的方式 path_selector：路径的工作方式 path_checker：检查路径的方式 no_path_retry：路径丢失时，一直等待直到路径恢
36、复 prio：获取路径的优先级 getuid_callout：获取 LUN 的 scsi_id hardware_handler： 1 表示 emc 的 LUN failback：路径切换 的时间（秒） queue_without_daemon 及 flush_on_last_del： 解决关于 Linux 服务器对存储端的 Lun创建 PV 后 ， 设备不能成功重启 /关机 ， 或 Linux 系统下强制取消 FC 关联 Lun 后 ， 服务器不能成功重启 /关机的问题。 5.3.3 使用多路径设备 1. 加载 dm-multipath 模块 # modprobedm-multipath 2
37、. 重启 multipath 服务 # /etc/init.d/multipathd restart 杭州宏杉科技有限公司 文档密级：内部公开 5-8 补充说明： 在 Centos7.x 系统中，重启 multipath，用命令 systemctl restart multipathd. 3. 查看多路径状态 # multipath -ll 杭州宏杉科技有限公司 文档密级：内部公开 6-1 第 6章 连接存储设备 本章节描述了在 CentOS 5.X / CentOS 6.X / CentOS 7.X 环境下连接存储设备的详细步骤，主要包括以下内容： iSCSI 单路径 iSCSI 多路径 F
38、C 单路径 FC 多路径 6.1 iSCSI 单路径 1. 使用 GUI 配置存储端 使用 GUI 建立客户端、关联 initiator、创建默认的 target 以及关联 LUN。 详细步骤略。 补充说明 ： 关联 initiator 时需要使用 initiator 名称，请参考 3.3 配置 iscsi initiator 软件。 2. 发现 Target # iscsiadm -m discovery -t st -p 192.168.1.25:3260 其中 192.168.1.25 为存储端业务口 IP 地址 3. 建立 I-T 连接 # iscsiadm -m node -T iq
39、n.2010-.macrosan.target:1 -p 192.168.1.25:3260 -l 4. 查看会话状态 # iscsiadm -m session 杭州宏杉科技有限公司 文档密级：内部公开 6-2 5. 查看存储资源 # fdisk -l 6.2 iSCSI 多路径 1. 查看 iSCSI 状态 # service iscsi status 如果 iSCSI 服务没有运行，请参考 第 3 章 安装和配置 iSCSI initiator 软件 。 2. 使用 GUI 配置存储端 使用 GUI 建立客户端、关联 initiator、创建默认的 target 以及关联 LUN。 详细步骤略。 补充说明 ： 关联 initiator 时需要使用 initiator 名称，请参考 3.3 配置 iscsi initiator 软件 。 3. 发现 Target # iscsiadm -m discovery -t st -p 192.168.1.25:3260 其中 192.168.1.25 为存储端业务口 IP 地址。 4. 建立 I-T 连接 # iscsiadm -m node -T iqn.2010-.macrosan.target:1 -p 192.168.1.25 -l
