1、Netapp 存储日常维护手册Global Technology Integrator Limited Page 1 of 26GTI PROFESSIONAL SERVICESNETAPP 存储日常维护手册TT用户名称:TTNetapp 存储日常维护手册Global Technology Integrator Limited Page 2 of 26目 录1.0 目标_32.0 设备硬件说明_43.0 指示灯说明_ 64.0 设备管理_115.0 巡检及巡检方法_176.0 设备故障应急预案 _18Netapp 存储日常维护手册Global Technology Integrator Lim
2、ited Page 3 of 261.0目标NetApp 解决方案能够助客户有效地简化运作，同时最大限度地降低风险，为那些不断经历变化的企业提供更高的性能和可扩展性。借助于产品、技术和合作伙伴的良好组合，NetApp 解决方案有助于解决最为迫切的 IT 和业务问题，同时最大限度地提高投资回报率。 本指南是为使用 NetApp 存储系统的维护人员编写的基本管理知识，目标是指导维护人员如何进行每天的健康检查。详细的存储系统和命令管理参见随机手册。 在线帮助 http:/ 存储日常维护手册Global Technology Integrator Limited Page 4 of 262.0设备硬件
3、说明2.1 FAS3140 硬件视图前视图后视图电源 电源 控制器 控制器Netapp 存储日常维护手册Global Technology Integrator Limited Page 5 of 262.2 disk shelf DS14mk4 视图前视图7 2 F 7 2 F7 2 F7 2 F7 2 F7 2 F7 2 F7 2 F7 2 F7 2 F7 2 F7 2 F7 2 F7 2 FS h e l f I DS y s t e mL o o p BL o o p AF a u l tP o w e rD S1 4F CN e t w o r k A p p l i a n c e
4、 N e t w o r k A p p l i a n c eN e t w o r k A p p l i a n c eN e t w o r k A p p l i a n c eN e t w o r k A p p l i a n c eN e t w o r k A p p l i a n c eN e t w o r k A p p l i a n c eN e t w o r k A p p l i a n c eN e t w o r k A p p l i a n c eN e t w o r k A p p l i a n c eN e t w o r k A p p
5、l i a n c eN e t w o r k A p p l i a n c eN e t w o r k A p p l i a n c eN e t w o r k A p p l i a n c eM K 4后视图X2X2S H E L FI D1 G b 4 G bAB1 22 G b32GbESH44Gb1GbELP2 G bE S H 44 G b 1 G b E L P电源 电源ESH4 模块 BESH4 模块 ANetapp 存储日常维护手册Global Technology Integrator Limited Page 6 of 263.0指示灯说明3.1 contro
6、ller 指示灯指示灯说明(Power) (fault) (controller A) (controller B) Fault LED 故障灯无故出现为橘色时请查看系统日志信息,联系服务技术支持 GTI3.2 DISK SHELF 指示灯说明Netapp 存储日常维护手册Global Technology Integrator Limited Page 7 of 26Netapp 存储日常维护手册Global Technology Integrator Limited Page 8 of 263.3 ESH4 模块指示灯说明Netapp 存储日常维护手册Global Technology I
7、ntegrator Limited Page 9 of 263.4 电源指示灯说明(指示描述信息见 ESH4 模块卡片)Netapp 存储日常维护手册Global Technology Integrator Limited Page 10 of 263.5 disk 指示灯说明Netapp 存储日常维护手册Global Technology Integrator Limited Page 11 of 264.0设备管理 4.1 Filerview 图形管理接口 Filerview 是 NetApp 提供的图形管理接口，可以方便地实现对 NetApp 的存储设备的管理。启动浏览器访问 IP 地址
8、na_admin。 你需要: 使用 Microsoft IE 或 Netscape Navigator (version 4 以上) URL: http:/filername/na_admin 如果有错误,可能和你的 DNS 有关,你可以用 :http:/ip_address_of filer/na_admin,然后点击 Filerview 进入管理界面,通过 filerview 你可以完成几乎所有的管理任务Netapp 存储日常维护手册Global Technology Integrator Limited Page 12 of 26点击 FILER VIEW 图标进入 FILER VIEW
9、 管理界面，输入用户名和密码可以完成存储设备、卷、设备、网络、安全、LUN、 NDMP、SNMP、SnapMirror 等配置。Netapp 存储日常维护手册Global Technology Integrator Limited Page 13 of 26以下为常用菜单功能说明：分类 操作 实施路径 备注基本管理 显示序列号和版本信息 Filer-Show Status检查软件许可 Filer-Manage Licence系统状态报告 Filer-Report检查日志信息 Filer-Syslog Messages命令行接口 Filer-Use Command Line配置自动邮件通知：发件
10、人、邮件服务器等Filer-Configure Autosupport设置日期和时间 Filer-Set Data/Time设置时区 Filer-Set Timezone关机和重启动 Filer-Shut Down and Reboot系统实时状态 Filer-Show System Status磁盘和空间 磁盘管理 Storage-Disks- ManageNetapp 存储日常维护手册Global Technology Integrator Limited Page 14 of 26管理适配器信息 Storage-Adapters-Report建立 Aggr Aggregate-Add管理
11、 Aggr Aggregate-Manage建立 Vol Volume-Add 在 aggr 建立后管理 Vol Volume-Manage增加限额管理 Volume-Quota-Add快照管理 Volume-snapshotAdd Volume-snapshotconfigure开启和关闭块访问协议 LUNs-Enable/Disable建立 LUN LUNs-Wizard增加主机 WWN LUNs-initiator group-AddiSCSI 安全模式 LUNs- iSCSI- initiatorsecurityiSNS 服务 LUNs- iSCSI- iSNS网络管理 管理网络端口
12、Network- Manage Interface网络基本参数 Network- Configure增加虚端口：可以为Multi 或 SingleNetwork- Add virtual Interface管理 host 文件 Network-Manage Host Files管理网络组 Network-Manage Net Groups配置 DNS 和 NIS 服务 Network-Manage DNS for more information type “help vol “ add destroy online size clone lang options split containe
13、r media_scrub rename status copy mirror restrict verify create offline scrub5.0 巡检及巡检方法 5.1 目测 现场首先进行指示灯和 LCD 面板检查，判断是否有异常情况发生。5.2 硬件状态检查sysconfig r 检查磁盘情况正常情况： 发现所有磁盘，每个机头都有一个或多个 spare disk。非正常情况： 任何一个机头没有一个 spare disk，或有 failed disksysconfig v 检查所有硬件 以上显示结果应该没有 failed,error,warning 等字样.Netapp 存储日常
14、维护手册Global Technology Integrator Limited Page 17 of 265.3 检查网络是否正常使用 ping 存储设备 IP 地址，输入：ping FILERNAMEIP正常情况： 有相应，无丢包。 非正常情况： ping 不通或者丢包严重。ifconfig a 主要网口状态应为 upvif status VIF 所有端口是否正常5.4 检查 Cluster 状态是否正常cf status正常情况： 2 个节点状态应该为 enable非正常情况： 任何一个机头显示非如上所示，就属于非正常情况5.5 检查卷容量是否正常使用 df 检查空间使用状况。正常情况：
15、 capacity 低于或等于 90%。非正常情况： capacity 高于 90%。5.6 性能检查 sysstat x 1 CPU 利用率应该在 80%以下5.7 日志文件检查rdfile /etc/messages仔细检查是否有 failed,error,warning 等字样. 如有,则记录下来Netapp 存储日常维护手册Global Technology Integrator Limited Page 18 of 265.8 收集 autosupport 信息Options autosupport.doit 触发最新 autosupport 信息5.9 如获得更多可信息请访问 ht
16、tp:/6.0 附件:存储设备紧急情况应急预案6.1 存储问题定位于排查6.1.1 物理检测(Power) (fault) (controller A) (controller B) Netapp 存储日常维护手册Global Technology Integrator Limited Page 19 of 26Fault LED 故障灯无故出现为橘色时请查看系统日志信息 ,联系服务技术支持 GTI6.1.2 FilerVIew 检测打开 IE 窗口输入 http:/ip_address_of filer/na_admin,然后点击Filerview 进入管理界面其中： Filer 显示设备名
17、Model 显示设备型号SystemID 设备的 ID 号码（不是 SN）Version 显示设备使用系统的版本Netapp 存储日常维护手册Global Technology Integrator Limited Page 20 of 26Volumes 显示设备的卷信息，如有问题会有报错Aggregates 显示设备 AGGR 信息，如有问题会有报错Disks 显示设备磁盘使用情况，如有磁盘损坏，会有报错Status 绿色代表正常 橙色代表有错误发生红色系统有紧急事件，或可导致紧急事件的隐患，并能显示相应的报错部件的信息6.2 错误定位步骤首先通过设备的物理状态，和网页显示情况可以初步诊断
18、是否是由硬件问题引起例如：若磁盘随坏会有如下症状1：存储系统的面板上会有橙色的灯亮起2：仔细查看磁盘的扩展柜能发现损坏的磁盘上会有橙色的灯亮起3：从 WEB 的管理界面上看见橙色的灯亮起，并在 DISK 的后面显示是具体那块磁盘出现问题6.3信息收集6.3.1 通过 WEB 界面来抓取 messagesNetapp 存储日常维护手册Global Technology Integrator Limited Page 21 of 26进入 WEB 管理界面，选择 Filer 点击 syslog messages 即可看见系统的 log 信息，有助于我们错误的排查和诊断6.3.2 在系统命令行中执行
19、:rdfile /etc/messages 查看 messages 信息例如:raid.config.filesystem.disk.failed:error: File system Disk /aggr0/plex0/rg2/2a.28 Shelf 1 Bay 12 NETAPP X274_S10K7146F10 NA01 S/N 3KS08XSN000075290G9C failed.aggr status r 查看 raid 组信息,会看到 failed 的 disk例如:Broken disksRAID Disk Device HA SHELF BAY CHAN Pool Type
20、RPM Used (MB/blks) Phys (MB/blks)- - - - - - - - -failed 2a.28 2a 1 12 FC:A - FCAL 10000 136000/278528000 137104/280790184Netapp 存储日常维护手册Global Technology Integrator Limited Page 22 of 266.3.3 收集 autosupport 信息Options autosupport.doit 触发最新 autosupport 信息或使用命令 rdfile /etc/log/autosupport/201001020437
21、.0并使用 log 记录的功能手动记录设备的全部信息。6.4信息提交6.4.1 autosupport 设置通过对 autosupport 的功能进行设置能对系统的安全进行全面的保护需要设置 mailhost 和 发邮件报告发送和接收人以及发送方式1：每周会产生设备的周报（weekly report），统计设备运行状态2：在设备运行情况发生问题是，例如硬件损坏，或软件告警等消息时会及时出发 autosupport 给收件人3：若有备件损坏时，会第一时间发送给收件人和 netapp 技术中心，会自动生成备件，并主动与用户联系，第一时间发送出备件。6.4.2 GTI 技术支持我们建议在设备的 au
22、tosupport 的接受人里面添加 GTI 的存储技术团队邮件，当问题发生时，我们会第一时间得到消息，会主动与您联系，第一时间为您排查和解决问题6.4.3 NETAPP800 技术支持中心NETAPP 的全球技术支持中心电话请 010-10-8007131160，语言选择请按 1#中文服务，选择 3#新 CASE 建立，填写 SN 号#进入语音服务每天早 8 点至晚 8 点，由大连的中文技术支持，其余时间由国外技术支持，24*7 小时保障您的安全。 示例 磁盘更换步骤1、关于磁盘所有权的概念介绍 磁盘所有权：在存储系统中每个磁盘必须被分派到一个控制器系统中，每个磁盘也要分派到一个池中（让单机
23、或集群中一个机头所识别到磁盘） 基于硬件的所有权：磁盘所有权是机头 HBA 卡和 shelfHBA 卡的连接位置决定的，插入新盘时系统会自动识别磁盘，使其成为一个热备盘加入到 POOL0 中（在SYNCMIRROR 没有开启时候）。 基于软件的所有权：磁盘所有权是管理员决定的（可以利用命令管理），HBA 卡插槽位置将不影响磁盘所有权。当添加磁盘时候需要分派所有权，否则系统不能马上识别新盘Netapp 存储日常维护手册Global Technology Integrator Limited Page 23 of 26Netapp filer 系列对磁盘所有权的支持如下：存储系列 硬所有权 软所有
24、权FAS2050 支持FAS3020 FAS3050 支持 支持FAS3140 支持FAS3070 支持FAS6000 支持2、磁盘 ID，BAY，shelf ID 概念Shelf ID 可以在后面改变Drive bay 013Netapp 存储日常维护手册Global Technology Integrator Limited Page 24 of 26一、 更换原因：磁盘更换原因会有很多种可能，以下列出了一些常见的问题和错误的 messages:1. 磁盘 failed，被放进 Broken pool 中 aggr status fBroken disksRAID Disk Device
25、HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)- - - - - - - - -failed 5a.50 5a 3 2 FC:B - ATA 7200 635555/1301618176 635858/1302238304rdfile /etc/messages raid.disk.inserted:info: Disk 5a.50 Shelf 3 Bay 2 NETAPP X268_SGLXY750SSX AQJZ S/N 5QD290M8 has been inserted into the system以 DSM
26、K2 ATFC /-FCX 为例子：Shelf ID 为 1 的 shelf 第一个 BAY（0）的磁盘 ID 为 16，如果连接到控制器的 0a 口，则磁盘 ID 为 0a.16.其他磁盘以此类推定位计算公式shelf ID 16 + BAY =磁盘 ID Netapp 存储日常维护手册Global Technology Integrator Limited Page 25 of 262.disk bypass 错误，messages 中没有错误信息sysconfig a Shelf 1: ESH2 Firmware rev. ESH A: 14 ESH B: 14Disk 4b.21 in
27、 Shelf: 1 Bay 5 is bypassed三、更换造作之前确定磁盘的位置的方法1. 首先在系统中确认，利用命令sysconfig r 或者 aggr status r （查看 raid 组中所有磁盘的状态，其中会包括 failed 磁盘的磁盘 ID）以此来定位磁盘的位置如：RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)- - - - - - - - -fialed 0a.170a 2 8 FC:A - FCAL 10000 272000/557056000 274845/5
28、628842962.物理上查看0a 为 路径 ID ：为连接机头 0a 口的 LOOP 的 shelf物理上，failed 磁盘前面的 LED2 指示灯为常亮橘灯状态Netapp 存储日常维护手册Global Technology Integrator Limited Page 26 of 26四、 操作步骤：1 确认 failed 磁盘,热备磁盘，以及当前没有 RAID 重建操作aggr status rrdfile /etc/messages确认磁盘的 failed 在 Broken 池中2 根据查找出的磁盘 ID，进行磁盘位置的定位3 拔出定位的损坏磁盘 之后步骤随时查看 CLI 即时弹
29、出的 messages 信息4 之后插入新的 RMA 磁盘5 如果是 hardware ownership 则磁盘插入会立即成为热备磁盘如果是 software ownership则磁盘插入需要指派 ，看 options 选项 options disk.auto_assign 设置为开启的，磁盘会自动被本地的连接的机头加入到热备磁盘中设置为关闭需要手工指派:disk show n (查看插入的没有所有权指派的磁盘)disk assign 磁盘 ID （加入到本地的机头）6 验证磁盘状态aggr status r （确认磁盘已经指派到热备磁盘池中,Broken 池为空，RAID 组状态正常）7 如果是多路连接可以通过一下命令验证是否多路看到更换磁盘sysconfig a | -v8 整个过程需要记录 LOG 信息五、 操作过程中的以外处理：在更换磁盘过程中可能会有一些意外情况，情按下步骤操作1 如果插入新的磁盘提示报错，不能识别或者识别错误的信息执行aggr status r (保证 RAID 组状态正常，并查看插入出错的磁盘当前的状态)如果当前 RAID 组状态正常，取下磁盘2 联系 GTI 存储的支持工程师，进行进行进一步支持定位出 shelf1 第 2 个磁盘 0a.17 failed
