1、BS3000e 技术专家认证培训, UIT Storage Co., Confidential & Proprietary,提纲,总体概述 产品功能 技术特性 技术指标 系统结构 应用模式 配置管理 产品维护, UIT Storage Co., Confidential & Proprietary,BS3000e总体概述,高可用的中低端iSCSI/FC-SAS/SATA阵列 3U15Bay，单/双控制器，最大容量51TB 适用于追求高可用高性能大容量的存储应用 适用于广电/政府/教育/中小企业等, UIT Storage Co., Confidential & Proprietary,BS30
2、00e产品功能,基本存储功能 单/双控制器 双控制器以Active-Active模式工作 同时支持iSCSI/FC前端连接 RAID 0, 1 , 5, 10 最大51块硬盘，15.3TB SAS或51TB SATA 设备管理 在线硬盘组/卷扩容 快照 链路冗余管理, UIT Storage Co., Confidential & Proprietary,BS3000e技术特性优势,高可用的存储架构 全冗余、热插拔的模块化架构 双控制器可透明切换 链路冗余功能 在线软件升级 在线扩展能力 灵活的海量存储介质选择 支持SAS/SATA同柜混插 扩展3个JBOD，51片硬盘，最大SAS裸容量15.
3、3TB, SATA裸容量51TB 丰富的RAID级别 RAID 0, 1 , 5, 10 丰富的管理方式 Web GUI, CLI, telnet, SNMP, UIT Storage Co., Confidential & Proprietary,BS3000e技术指标, UIT Storage Co., Confidential & Proprietary,BS3000e兼容列表,硬盘 SATA：Seagate，Hitachi； SAS： Fujitsu，Seagate，Maxtor；iSCSI HBA卡 Adaptec 7211C Qlogic 4050C 数据库 Oracle, Syb
4、ase等,主机平台 Windows 2000； Window Server 2003； Windows XP； Redhat Linux； Suse Linux； IBM AIX； HP Unix； SUN Solaris； VMware ESX,与Veritas Storage Foundation HA存在问题, UIT Storage Co., Confidential & Proprietary,BS3000e产品系统结构,模块化设计 阵列柜 控制器模块 磁盘模块 SAS 和SATA 供电模块 风扇模块 背板 风扇挡板, UIT Storage Co., Confidential &
5、Proprietary,BS3000e硬件体系结构,高可靠架构 多存储链路协议 高性能存储控制器 高性能处理器 高性能总线 高性能缓存, UIT Storage Co., Confidential & Proprietary,BS3000e模块化软件架构,软件架构特性：模块化、层次化设计，确保软件高性能、高可靠 多协议支持, UIT Storage Co., Confidential & Proprietary,BS3000e应用模式,IP SAN,FC SAN,iSCSI 1Gb*4, UIT Storage Co., Confidential & Proprietary,BS3000e硬件
6、介绍,系统布局系统指示灯硬件安装, UIT Storage Co., Confidential & Proprietary,系统布局, UIT Storage Co., Confidential & Proprietary,主要部件, UIT Storage Co., Confidential & Proprietary,系统指示灯 - HDM, UIT Storage Co., Confidential & Proprietary,系统指示灯 - 控制器, UIT Storage Co., Confidential & Proprietary,硬件安装 硬盘模块,安装 拆除, UIT Sto
7、rage Co., Confidential & Proprietary,硬件安装 其它模块, UIT Storage Co., Confidential & Proprietary,机柜上架(1),放松底盘固定导轨,将支架连接致至滑动导轨,安装支持导轨,将支持导轨安装至底盘, UIT Storage Co., Confidential & Proprietary,机柜上架(2),将底盘安装至机架上, UIT Storage Co., Confidential & Proprietary,BS3000e的配置与管理,用GUI管理界面进行配置Cache 策略磁盘/磁盘组的状态, UIT Stor
8、age Co., Confidential & Proprietary,BS3000e JBOD,2U 12盘位 全冗余，模块化设计 支持SATA/SAS硬盘混插 每个SAS I/O模块带3个扩展口，1个上连，2个下连, UIT Storage Co., Confidential & Proprietary,BS3000e的JBOD, UIT Storage Co., Confidential & Proprietary,BS3000e与JBOD的连接,SAS Cable 4X,加电顺序：先JBOD，再主柜, UIT Storage Co., Confidential & Proprietar
9、y,GUI管理界面,通过WEB浏览器连到GUI管理界面 控制器的默认IP地址: 192.168.0.1/2 默认的用户名和密码: root/root串口连接可进入CLI界面 115,200/N/8/1 telnet guest/guest su root/root, UIT Storage Co., Confidential & Proprietary,设置向导,6个步骤 网络设置 系统初始化 磁盘组设置 虚拟磁盘设置 主机设置 映射虚拟磁盘, UIT Storage Co., Confidential & Proprietary,网络设置,网络技术(teaming) SLB 802.3ad
10、none 需配置以下网络信息 系统IP 各网口实际IP 子网掩码 网关的IP Jumbo Frame,勿与内部IP冲突! 10.10.10.* & 11.11.11.*, UIT Storage Co., Confidential & Proprietary,网络端口组织方式 - Teaming,基于Broadcom Advance Server Program (BASP) SLB (Smart Load Balancing) 独立于交换机，In/Out流量均由BASP控制802.3ad (Link Aggregation) 与交换机协同工作，In流量由交换机控制，Out流量由BASP控制N
11、one (Teaming Disabled) 不使用teaming配置建议：默认使用SLB；普通直连使用None；直连需要teaming且主机不使用MS initiator时使用802.3ad, UIT Storage Co., Confidential & Proprietary,系统初始化,设置系统名称点击Finish完成设置设置系统时间点击Next进行Date time的设置 建议设置正常时间，方便问题诊断, UIT Storage Co., Confidential & Proprietary,管理磁盘组(Disk Group),磁盘组的操作 创建磁盘组 删除磁盘组 查看磁盘组状态 发
12、现磁盘组 将Orphan盘转换成Spare盘 Takeover 磁盘组,主柜一般RAID配置，建议7(RAID5)+7(RAID5)+1(spare), UIT Storage Co., Confidential & Proprietary,创建磁盘组,输入磁盘组名称 从可用磁盘中选择磁盘 指定RAID级别(0,1,5,10) 指定控制器 Finish完成设置或Advance进入高级选项设置, UIT Storage Co., Confidential & Proprietary,磁盘组的状态,可以选择一个磁盘组来查看状态,创建RAID时，可建VD，可以访问，但不推荐, UIT Storage
13、 Co., Confidential & Proprietary,虚拟硬盘(Virtual Disk)设置,输入名称 选择磁盘组 设置容量大小(GB) 选择Cache Policy (Write through, write back) 选择 Read Ahead Cache策略(Enabled, Disabled) 点击 Finish, UIT Storage Co., Confidential & Proprietary,主机设置,在“Hosts”选项卡中单击 “Add Hosts” 输入主机名 输入iSCSI initiator名字或者FC WWPN, UIT Storage Co.,
14、Confidential & Proprietary,映射虚拟磁盘,择要Present的虚拟硬盘 单击 Presentation 在弹出的界面中选择Present 单击Finish或单击Advanced设置高级选项, UIT Storage Co., Confidential & Proprietary,主机iSCSI连接方式,Apps & File System,iSCSI,TCP,IP,Network Hardware,NIC Card,TOE Card,HBA Card iSCSI,Processed in the Network Card,Processed in the Server
15、,SCSI,Other protocols,Apps & File System,iSCSI,TCP,IP,Network Hardware,SCSI,Other protocols,iSCSI,SCSI,Apps & File System,TCP,IP,Network Hardware,NIC+软件initiator TOE+软件initiator HBA, UIT Storage Co., Confidential & Proprietary,Options,Changing Password Display Refresh System Alert MPIO iSNS Upgrade
16、Inspection Read, UIT Storage Co., Confidential & Proprietary,系统升级,选择System upgrade选项升级大致需要30分钟左右, UIT Storage Co., Confidential & Proprietary,关闭或者重新启动控制器,在管理界面右上角选择 “Shutdown” 显示出 “Controller(s) Shutdown/Reboot 窗口 要关闭控制器,最好两个控制器一起关闭, 以使它们处于同步状态, UIT Storage Co., Confidential & Proprietary,Failover 功
17、能,控制器CM0 宕掉 主机和target之间的连接会断开. Initiator将一直尝试重新连接 CM1检测到这个事件, 开始failover进程. 接管时间大约1分钟 CM1将接管以下资源: CM0的磁盘组 CM0的IP地址 CM0的target名称 主机和target之间的连接恢复. 主机上的应用将继续存取这个VD CM0重新启动之后, 手工做 “Controller Giveback”. 拿回被接管的资源, UIT Storage Co., Confidential & Proprietary,BS3000e的配置与管理,用GUI管理界面进行配置Cache 策略磁盘/磁盘组的状态, U
18、IT Storage Co., Confidential & Proprietary,Cache 策略 写Cache,Write Back Cache 数据先写到cache再写到磁盘 优点 通过减少写磁盘操作的次数来提高性能 缺点 需要电池备份来防止突发事件造成的数据丢失,Write Through Cache 数据直接写到Cache和磁盘上 优点 确保最高级的数据完整, 在连续存取下有最好的性能 缺点 写性能没有提高,Auto Cache 双控制器都正常时用Write back,当一个控制器坏掉时用Write through 优点 平衡性能与数据保护 缺点 由于Mirrored Cache原
19、因, 连续写性能不是最优的, UIT Storage Co., Confidential & Proprietary,Cache 策略 读Cache,Read Ahead Cache算法 一般情况下，启用读Cache 在以小块随机读写为主的应用中，关闭此算法, UIT Storage Co., Confidential & Proprietary,BS3000e的配置和管理,用GUI管理界面进行配置Cache 策略磁盘/磁盘组的状态, UIT Storage Co., Confidential & Proprietary,磁盘的状态,Spare: 硬盘上没有数据Missing: 磁盘槽位是空的
20、Faulty: 磁盘有错误、IN_DG: 1个磁盘组中的正常磁盘成员Faulty_IN_DG: 非健康磁盘组中一个出错的磁盘成员Orphan: 硬盘上有数据，但不属于任何一个磁盘组Not_Owner: 属于其它控制器的磁盘, UIT Storage Co., Confidential & Proprietary,磁盘类型的变化,转成 SPARE: 删除一个磁盘组或者转换一个Orphan 磁盘转成 MISSING: 磁盘被移出转成 FAULTY: 磁盘有I/O错误或者供电不正常转成 IN_DG: 将1个Spare盘加入新的磁盘组. 或者1个 Not_Owner 磁盘通过“Takeover Dis
21、k Groups”转换转成FAULTY_IN_DG: 在一个被降级的磁盘组中的一个IN_DG磁盘有了I/O错误, UIT Storage Co., Confidential & Proprietary,磁盘组的类型,Active: 正常，可以使用 Degraded: RAID5一块盘故障 RAID1一块盘故障 Unhealthy: RAID5两块盘故障 RAID1两块盘故障 RAID0一块盘故障 Inactive: 被deactivate，activate前不能使用, UIT Storage Co., Confidential & Proprietary,磁盘组的类型变化,从一个活动的磁盘组:
22、 变成Degraded的 DG: 在Raid1或RAID5中有1个磁盘错误或移出从一个degraded DG: 变成活动 DG: 在一个Degraded DG中Spare盘重建完成 变成非健康 DG: 更多的磁盘错误导致RAID不能用, UIT Storage Co., Confidential & Proprietary,非健康DG的策略,所有保留在DG中的故障盘的状态是 Faulty_IN_DG属于该DG中的虚拟盘变成只读建议用户尽快备份数据在备份非健康DG中数据的时候避免掉电, UIT Storage Co., Confidential & Proprietary,非健康DG恢复注意事项
23、,该功能主要用于误拔磁盘或者JBOD连接中断命令“dadg s ”执行该操作成功恢复DG后，强烈建议在写盘前检查数据完整性，或者备份数据若发生unhealthy DG的情况，建议用户标识并更换故障盘, UIT Storage Co., Confidential & Proprietary,硬盘组漫游(Roaming),硬盘组可以在系统间漫游，按如下步骤操作,Deactivate DG 拔出DG里的硬盘，不要拔错硬件，以0开始标注 删除 DG 将硬盘插入新盘柜,在新系统中，硬盘将被标为“Orphan” 状态 通过“Discovery DG”发现DG，此时DG为 inactive 状态将DG激活,
24、 UIT Storage Co., Confidential & Proprietary,BS3000e维护,系统状态 Redboot CLI 日志分析 常见问题, UIT Storage Co., Confidential & Proprietary,系统状态,通过LED显示查看硬件状态 如果硬盘灯闪烁,查看“Hardware Status”和“System Health Alert” 一般错误的修正操作参阅手册中的 “Triggers and Corrective Action” GUI 提供直观的硬件状态显示 通过告警 email获得更多的信息 /var/log/messages 包含当
25、前会话的系统日志 /mnt/syslog 包含长期的系统日志信息并存储在flash中, UIT Storage Co., Confidential & Proprietary,系统基本状态, UIT Storage Co., Confidential & Proprietary,硬件状态,单击 Hardware Status 获得系统图形化的显示鼠标停留在某个组件上面以显示更详细的信息, UIT Storage Co., Confidential & Proprietary,显示系统日志, UIT Storage Co., Confidential & Proprietary,iSCSI带宽监
26、控,注意：所显示带宽包括网络开销, UIT Storage Co., Confidential & Proprietary,系统告警, UIT Storage Co., Confidential & Proprietary,邮件告警,注意：可以自定义级别, UIT Storage Co., Confidential & Proprietary,获取技术支持, UIT Storage Co., Confidential & Proprietary,BS3000e维护,系统状态 Redboot CLI 日志分析 常见问题, UIT Storage Co., Confidential & Propr
27、ietary,启动过程,控制器加电 BIOS 开启redboot装入程序 Redboot 装入程序将指定的KDI解压，并装载至内存中，然后开始启动kernel, UIT Storage Co., Confidential & Proprietary,Flash结构,Flash中有双份KDI 备份KDI在升级时先被替换掉 若当前KDI存在问题，可以通过cfg命令指定从备份KDI启动, UIT Storage Co., Confidential & Proprietary,Redboot 命令- cfg,在redboot下直接输入cfg命令，将显示其用法及当前设置 ，如下例所示 (一般使用不需要I
28、P地址) RedBoot cfg Usage: cfg redbootcfg ip=192.168.123.50 host=192.168.123.125 autoboot=1 Current KDI image=0 next KDI image=0 last boot status=OK resetType=0x0 cfg 0.0.0.0 0.0.0.0 1 0 (将本地IP地址及主机IP地址设为0.0.0.0，设 autoboot为enable, 并指向第一份 KDI) cfg 0.0.0.0 0.0.0.0 1 1(将本地IP地址及主机IP地址设为0.0.0.0，设 autoboot为e
29、nable, 并指向第二份 KDI) 确保 autoboot=1, UIT Storage Co., Confidential & Proprietary,Redboot命令-loadpci/go,loadpci 将当前KDI从flash装入至内存 go 使用内存中的KDI进行启动, UIT Storage Co., Confidential & Proprietary,BS3000e的维护,系统状态 Redboot CLI 日志分析 常见问题, UIT Storage Co., Confidential & Proprietary,BS3000e CLI,Linux命令 精减的OS中保留了部
30、分命令 查看内存- cat /proc/meminfo 存储系统命令 da (disk array) dastat used to display system information dahwstat display hardware status dasetup used to set up the network interface daconnstat used to display connection status dadg used to manage disk groups dareboot reboot local or remote controller, UIT Stor
31、age Co., Confidential & Proprietary,恢复出厂设置,系统配置保存在/mnt/flash/etc下面，若此目录不存在，在用串口连接上系统后，将会运行dasetup 删除配置文件 rm rf /mnt/flash/etc 删除日志 rm rf /mnt/syslog/messages*, UIT Storage Co., Confidential & Proprietary,BS3000e维护,系统状态 Redboot CLI 日志分析 常见问题, UIT Storage Co., Confidential & Proprietary,日志分析,日志获取方式 参考
32、前面内容 日志组成-解压后包括以下, UIT Storage Co., Confidential & Proprietary,日志文件,日志文件介绍 chassis.log 系统基本信息 diskuse_ctl0 硬盘使用信息，包括DG/VD/Disk kem_dev.txt 重要日志信息 Messages 完全日志信息 sysuse_ctl0(1).log 系统相关信息 mnt/syslog/* - 完整日志信息，包括历史日志 文件使用Editplus或写字板等工具查看, UIT Storage Co., Confidential & Proprietary,BS3000e的维护,系统状态
33、Redboot CLI 日志分析 常见问题, UIT Storage Co., Confidential & Proprietary,硬盘模块,显示故障 确保所使用硬盘型号在兼容列表中 确定具体故障部件-硬盘/HDM/背板 确定硬盘故障，更换硬盘 无法识别或坏块重映射失败 硬盘故障非永久标识 系统重启后，会尝试重建RAID 出现故障，标记并更换硬盘 警告 硬盘坏块重映射成功，不需要更换硬盘, UIT Storage Co., Confidential & Proprietary,控制器(1),不能启动 连接串口，确认系统启动到哪个阶段 若连BIOS都没进，确认电源/CPU/内存 若停在Redb
34、oot，使用命令进行相关操作 无任何输出，尝试重插拔控制器模块 升级后启动出现checksum error 若停在redboot，且提示checksum error，使用cfg命令，指定备份KDI进行启动, UIT Storage Co., Confidential & Proprietary,控制器(2),不能登陆 配置文件故障，RMA 升级 若失败，请确认KDI是否完整 包含KDI同步过程，勿关机 加电后蜂鸣 非正常关机时，系统花约2分钟时间，保存内存数据, UIT Storage Co., Confidential & Proprietary,控制器(3),风扇/电压故障报错 确认相关部
35、件是否正常工作，若故障，更换相应部件 若正常工作，为KDI的一个bug，目前尚未解决 SNMP 网口断开没有提示 DG规划 若硬盘数较多，可通过DG扩展实现, UIT Storage Co., Confidential & Proprietary,双控相关,发生failover后，须手动giveback，并按需求将DG切换给初始控制器 MPIO选项若开启，主机可以同时看到任意VD CLI下，通过daremote访问另一控制器 若外部IP地址与内部IP冲突，可通过串口重新设置网络(dasetup), UIT Storage Co., Confidential & Proprietary,连接及性能,涉及周边网络 控制器配置/网络接口/网线/交换机/主机网络 控制器配置 RAID策略 盘数量/RAID级别/是否同步中 VD策略 读写Cache策略/VD所属DG状态 各网口连接状态,Jumbo Frame是否启用 控制器软硬件 网络 交换机 端口状态/100Mb or 1000Mb 主机网络 网卡/压力/操作系统/工具(IOMeter),Q & A,
