1、NetApp 存储基础学习汇总（第一部分）目 录一、概述 11.1、介绍 storage appliance11.2、NetApp 主要的软件架构 .3二、设备安装 42.1、Netapp 提供的产品支持文档 42.2、硬件安装 .42.3、软件安装流程 .42.4、全新安装示例 .72.5、通过 CIFS 升级 DataONTAP 92.6、通过 NFS 升级 DataONTAP .102.7、通过软件命令升级 DataONTAP.102.8、重新安装操作系统 .11三、基础管理 113.1、访问 console 端口 123.2、基本的存储配置 .143.2.1、最基本的几个命令来了解你的
2、系统 143.2.2、通过 options 命令和配置文件来管理系统 173.2.3、注册表数据库 183.2.4、配置管理权限的访问(建立管理用户) .193.2.5、关于 adminhost203.2.6、Autosupport 功能 .203.3、进入固件状态执行一些特殊功能 .22五、网络管理 235.1、主机名解析 .235.2、存储不是一个 Router.245.3、配置和管理网络接口 .265.4、配置 VIF .305.5、配置 VLAN 345.6、SNMP 协议支持 .36一、概述1.1、介绍 storage appliance(1)、NetApp 存储协议支持： NFS
3、CIFS FCP(SCSI) iSCSI(TCP/IP) DAFS HTTP FTP NFS-NFS 协议支持 UNIX 客户机 mount 文件系统到本地 mount 点。目前支持 NFSv2、 v3、v4 以及 NFS over UDP 和 TCP。 Common Internet File System(CIFS)支持 windows 系统的客户端共享存储里面的文件系统。 FCP or iSCSI 使存储可以与一个或多个运行异类操作系统的主机通讯在 SAN 的环境里面，你可以配置 LUN 为多协议存取，block 存取或文件存取。DataONTAP 目前支持这些 SAN 协议:NearS
4、tore、FCP for SCSI、iSCSI for TCP/IP。(2)、NetApp 支持的管理服务服务器端需要打开支持:telnet、rsh-远程客户端可以通过 telnet、rsh 连接到 NetApp 存储。 ssh 安全的远程连接，需要 secureadmin支持。RMT-Remote Magnetic Tape protocol(远程磁带库协议)使主机远程的访问存储上的磁带驱动器。SNMP-远程网络管理协议可以使远程管理主机进行网络管理。RIP-Route information protocol 可以使存储查询 RIP 服务器来决定缺省网关。客户机上装上 LDAP 协议提供目
5、录服务。支持 VLAN 协议。用工业标准的 NDMP(Network Data management Protocol)协议可以远程备份或恢复数据到磁盘或者磁带。SMTP 协议用来传送 autosupport 信息。SNTP(Simple network time protocol)协议允许和 NTP 服务器同步时间。WIN（windows interface naming system）协议可以使存储查询 WINS 服务器去解析 CIFS netbios 名。NISDNS 进行名字解析。1.2、NetApp 主要的软件架构NetApp 存储提供了一个复杂的软件架构来保证管理简单和业务可持续性
6、的最大化。包括以下三个主要因素协同工作来提供速度和可靠性： 实时的处理执行机制 WAFL 文件系统包含 NVRAM 和 snapshot RAID 管理器RAID manager-将数据保存在一组磁盘，更加安全。避免磁盘损坏的时候数据丢失。NetApp raid4 包括一块校验盘和多块数据盘，数据条带的写入数据盘，校验信息写入校验盘。如果任意一块盘损坏，则 raid manager 将会重新计算并写入替代坏盘的好盘通过目前存在好盘上面的信息。一种更加安全的保护是 RAID DP 可以忍受两块硬盘损坏而不丢失数据。优点：比其它 RAID 系统执行更加快速因为数据在保存在磁盘前是放在 NVRAM,
7、而且是整合在 WAFL 文件系统里面的，不需要额外的软件和硬件（NetApp 的 raid 是软 raid 实现的） 。WAFL-Write anywhere file layout条带化写数据在多个硬盘上。数据可以写在系统的任意位置并从多个盘读出。NVRAM-非掉电内存。提高了响应速度通过将数据写入受备份电池保护的 cache。写数据的时候，在写入磁盘前，其实数据是先写入一对非掉电内存中的一个，当一个写满，将其中数据正式写入磁盘，然后cache 数据被另一个非掉电内存接管，如此循环。通过这样的机制提高了数据读写的机制并保证在掉电的时候数据部丢失。通过 NVRAM 在数据写入的时候提高速度是非
8、常有效的。Snapshot-WAFL 使用 snapshot 作为一个快速而且简单的备份系统。当采用 snapshot 的时候，它会保留整个文件系统的 picture。Snapshot 不是保留文件系统任何事的一个拷贝。但是它保留了一套文件在它们被更新时刻之前的样子。Snapshot 可以发现和拷贝到常规的文件系统。 Filer 在线情况下就可以按照计划自动创建 snapshot 或者手工创建 snapshot。每个 volume 可以同一时刻保留 255 个快照，这个数值依赖使用什么 DataONTAP 版本。网络服务-提供了使用多种网络协议连接到不同类型的网络。通过 NFS、CIFS、DA
9、S、HTTP 和 FTP 实现文件级的访问，通过 FCP 和 iSCSI 实现块级别的访问。二、设备安装2.1、Netapp 提供的产品支持文档Netapp 存储供货的时候就提供产品文档(CD-ROM 形式)和软件，产品文档包括硬件安装和系统管理指南等信息。这些信息也可以在线的从 http:/ 获得，产品文档里面还附有你购买的软件license。在 CD-ROM 里面包括两种格式的系统软件和系统启动软盘所需要的软件，所以可以被 UNIX 或者windows 的工作站读出。如果你想重装系统软件你就需要这张盘或者去 NOW 网站下载，下载还必须有权限。现在系统启动软件在软盘里面，而不是在 CF 卡
10、里面了。一般设备在工厂里面已经装好了操作系统，所以到货后，不需要重新安装软件，但光盘必须保管好。如果系统启动不了了，可以将系统启动镜像 copy 到软盘，然后软盘启动，再重做系统。2.2、硬件安装通常存储的硬件安装会有以下几步： 将硬件安装在标准的 19 英尺的机架里面 按照硬件指南将控制器与硬盘柜连接 用串口线连接 console 口与终端设备 先给硬盘柜加电，再给控制器加电。2.3、软件安装流程有三种类型的软件安装： 全新安装一个 netapp 存储 升级存储的操作系统 重新配置一个存在的存储无论哪种安装形式，你都需要提前规划好。软件安装和配置流程准备工作:确认和记录网络信息，在执行 se
11、tup 脚本的时候需要交互填入。全新安装:运行 setup 通过命令行或者 WEB 敲入指定的参数、重启、然后确认安装是否成功。重新安装:格式化所有的硬盘、然后从 NOW 网站下载硬件平台适合的操作系统，通过三种方式中的一种传输到存储，运行 setup,敲入指定参数、然后重启机器，然后再敲入 license（因为格式化硬盘了，这些信息会丢失） ，最后验证安装是否正确。升级安装:从 NOW 下载所需要版本,上传到存储、运行 setup、敲入指定参数、重启存储、验证安装是否正确。Setup 脚本的配置 :Setup 脚本会自动运行当存储启动起来但没有检测到/etc/rc 文件的时候，交互式的要敲入
12、一些参数，例如主机名、IP 地址、时区等。Setup 会安装全新版本的/etc/rc,/ect/hosts,/etc/resolv.conf,/etc/hosts.equiv,/etc/dgateways。老版本备份为 filename.bak 形式。这些设置需要重启存储才可以生效。可以随时运行 setup 去修改配置，但不推荐这么做。安装前建立初始配置表:Parameters Your valuesMAC address for the filers built-in Ethernet interface 00:a0:98:00:8d:67Host name Jaf1Password geo
13、de02Time zone GMTFiler location lab4FilerLanguage used for multiprotocol filers Do not setHost name Jaf_station1Administration hostIP address 66.166.149.10Ethernet Interface name e0 (mediatype: 100tx-fd)e1 (mediatype: 100tx-fd)IP address e0e166.166.149.366.166.149.5Subnet mask e0e1255.255.255.0255.2
14、55.255.0Partner IP address Are jumbo frames supported? MTU size for jumbo frames Interface name Number of links Virtual interfaceLink names Interface name Partner name Emulated LAN (ELAN) name ATM LANELANE Configuration Serves (LECS) address Interface name Host IP address Subnet mask ATMS SPANSPartn
15、er IP address Gateway name Router_J5RouterIP address 66.166.149.1Domain name Server address 1 66.166.149.4Server address 2 DNSServer address 3 Domain name Server name 1 Server name 2 NISServer name 3 Windows domain 1 2 WINS servers3 Windows 2000 user Windows 2000 user password Active Directory (comm
16、and-line setup only) VI/IP network device names Cluster network devices that use DAFS Filer volumes to export Authentication for privileged clients DAFSIdle timeout for sessions Location of HTTP directory MAC address 00:30:d3:06:68:f2IP address Enable DHCP(mediatype: 100tx-fd)Subnet mask Gateway RMC
17、 Mailhost 66.166.149.302.4、全新安装示例一个全新的存储一般是以下状态: 包含最新版本的操作系统软件 配置文件预先删除了，让客户自己配置 只有 2 个格式化的文件系统 vol0，其它盘全是 spare 盘。准备好配置表后，开始配置存储：tan setupThe setup command will rewrite the /etc/rc, /etc/exports,/etc/hosts, /etc/hosts.equiv, /etc/dgateways, /etc/nsswitch.conf,and /etc/resolv.conf files, saving the
18、original contents ofthese files in .bak files (e.g. /etc/exports.bak).Are you sure you want to continue? yes NetApp Release 7.3: Thu Jul 24 12:55:28 PDT 2008System ID: 0099908572 (tan)System Serial Number: 987654-32-0 (tan)Model Name: SimulatorProcessors: 1slot 0: NetApp Virtual SCSI Host Adapter v0
19、 3 Disks: 0.3GB1 shelf with LRCslot 1: NetApp Virtual SCSI Host Adapter v1 25 Disks: 25.5GB2 shelves with LRCslot 2: NetApp Virtual SCSI Host Adapter v2 slot 3: NetApp Virtual SCSI Host Adapter v3 slot 4: NetApp Virtual SCSI Host Adapter v4 3 Disks: 0.3GB1 shelf with LRCslot 5: NetApp Virtual SCSI H
20、ost Adapter v5 25 Disks: 25.5GB2 shelves with LRCslot 6: NetApp Virtual SCSI Host Adapter v6 slot 7: NetApp Virtual SCSI Host Adapter v7 slot 8: NetApp Virtual SCSI Host Adapter v8 4 Tapes: VT-100MB VT-100MB VT-100MB VT-100MB Please enter the new hostname tan: Do you want to configure virtual networ
21、k interfaces? n: Please enter the IP address for Network Interface ns0 192.168.0.170: Please enter the netmask for Network Interface ns0 255.255.255.0: Please enter media type for ns0 100tx-fd, auto auto: Please enter the IP address for Network Interface ns1 192.168.0.171: Please enter the netmask f
22、or Network Interface ns1 255.255.255.0: Please enter media type for ns1 100tx-fd, auto auto: Would you like to continue setup through the web interface? n: Please enter the name or IP address of the default gateway 192.168.0.1: The administration host is given root access to the filers/etc files for
23、 system administration. To allow /etc root accessto all NFS clients, enter all below.Please enter the name or IP address of the administration host 192.168.0.102: 192.168.0.103Please enter timezone GMT: Where is the filer located? beijing: What language will be used for multi-protocol files (Type ?
24、for list)?:CLanguage on volume vol0 already set to C (POSIX)Use vol lang to change languageDo you want to run DNS resolver? n: Do you want to run NIS client? n:Setting the administrative (root) password for tan .New password:Retype new password:This process will enable CIFS access to the filer from
25、a Windows(R) system.Use “?“ for help at any prompt and Ctrl-C to exit without committing changes.Your filer does not have WINS configured and is visible only toclients on the same subnet.Do you want to make the system visible via WINS? n: A filer can be configured for multiprotocol access, or as an
26、NTFS-onlyfiler. Since multiple protocols are currently licensed on this filer,we recommend that you configure this filer as a multiprotocol filer(1) Multiprotocol filer(2) NTFS-only filerSelection (1-2)? 1: 1CIFS requires local /etc/passwd and /etc/group files and default fileswill be created. The d
27、efault passwd file contains entries for root,pcuser, and nobody.Enter the password for the root user : Retype the password: The default name for this CIFS server is TAN.Would you like to change this name? n: Data ONTAP CIFS services support four styles of user authentication.Choose the one from the
28、list below that best suits your situation.(1) Active Directory domain authentication (Active Directory domains only)(2) Windows NT 4 domain authentication (Windows NT or Active Directory domains)(3) Windows Workgroup authentication using the filers local user accounts(4) /etc/passwd and/or NIS/LDAP
29、authenticationSelection (1-4)? 1: 3What is the name of the Workgroup? WORKGROUP: CIFS - Starting SMB protocol.It is recommended that you create the local administrator account(TANadministrator) for this filer.Do you want to create the TANadministrator account? y: Enter the new password for TANadmini
30、strator: Retype the password: Welcome to the WORKGROUP Windows(R) workgroupCIFS local server is running. Now type reboot for changes to take effect运行 setup 会影响以下 6 个文件： /etc/rc /etc/hosts /etc/exports /etc/resolv.conf /etc/hosts.equiv /etc/dgateways 2.5、通过 CIFS 升级 DataONTAP第一步:在 windows 客户端映射网络驱动器,下
31、例将filer7c$映射到 G 盘。第二步从 NOW 网站下载合适的操作系统。下载的操作系统是与硬件平台型号有关的。第三步在 windows 客户端解压缩下载的文件。第四步解压缩完成后，在 console 端口敲入 download 命令。这步拷贝了 boot block 到磁盘。第五步确认没有软盘在驱动器里面，reboot 存储。做好不要在 telnet sessions 执行这些命令，因为重启会使telnet sessions 中断。第六步:验证安装,敲入 version 命令2.6、通过 NFS 升级 DataONTAP第一步:通过 unix 客户端可以访问到存储，假设在存储上已经将 v
32、olume 输出。在客户端:$cd /$mkdir NetApp$mount NetApp:/vol/vol0 /NetApp第二步从 NOW 网站下载合适的操作系统。下载的操作系统是与硬件平台型号有关的。第三步展开下载的文件并安装$cd /dldir$cp *tar /NetApp$cd /NetApp$tar xvf 63_sysfiles.tar$./install_netapp /NetApp第四步安装完成后，在 console 端口敲入 download 命令。这步拷贝了 boot block 到磁盘。第五步确认没有软盘在驱动器里面，reboot 存储。做好不要在 telnet se
33、ssions 执行这些命令，因为重启会使telnet sessions 中断。第六步:验证安装,敲入 version 命令2.7、通过软件命令升级 DataONTAP现在讲了三种方式来升级操作系统: 下载.zip 文件，通过 CIFS 升级 下载.tar 文件 ,通过 NFS 升级 下载.exe 文件,通过软件命令升级通过软件命令升级操作系统一般是下面的步骤：第一步将.exe 结尾的合适的系统文件下载到 web 服务器。第二步通过软件命令找到软件并安装它。Software get URL -f destination例如:software get http:/ 从 web 服务器得到安装镜像S
34、oftware list 列出存储上目前可以得到的安装镜像Software delete software_file1 从存储上删除镜像Software install software_file 安装镜像文件到存储上，然后 download,rebootSoftware install http:/ 下载并安装一步完成2.8、重新安装操作系统重装存储意味着格式化所有的硬盘、安装 DataONTAP 软件和重新配置软件。一般这么做比较典型的情况是减少磁盘容量或者重新部署新应用。和全新安装最大的区别就是要格式化所有的硬盘，全新的存储一般已经做好占用 2-3 个盘的根卷(vol0),其它都是 sp
35、are 盘。而当重新安装存储的时候，你就要擦掉硬盘配置和所有的系统配置文件，所有已经存在的数据都要被毁掉，提供一个全新的开始。所以重新安装需要格式化硬盘，然后创建一个传统或灵活的根卷。开始全新安装:第一步 reboot 存储。第二步：Filer 启动的时候按Ctrl+C可以进入固件设置状态，格式化所有硬盘。上图选择 4，就是格式化所有磁盘，然后安装新的文件系统。tan software get http:/jhj/download/setup.exetan software install setup.exetandownloadtanreboot tan versionNetApp Rele
36、ase 7.3: Thu Jul 24 12:55:28 PDT 2008然后执行 setup 来配置存储，但是 setup 过程和打 license 过程是独立的（格式化硬盘后,license 信息丢失） 。三、基础管理3.1、访问 console 端口 通过 terminal 软件直接连接到 console 口。( 通过标准的 RS232 连接到 console 口，线缆是 DB9 serial cable) 通过 telnet(TCP/IP)远程连接到 filer。 通过 rsh 或 SSH 连接到 filer。通过 terminal 软件连接 console 口的参数设置：Bits p
37、er second 9600Data bits 8Parity NoneStop bits 1Flow control NoneConsole 口的访问是有密码保护的。通过 telnet 访问 filer:Data ONTAP (wangjun.) =filer 的名字login: rootPassword:wangjun Sat Dec 12 12:52:18 GMT telnet_0:info: root logged in from host: 192.168.0.100 =从那登陆过来的。wangjun用 Crtl+D 或者 logout telnet 命令退出 filer.wangj
38、un options telnet.enable =目前 telnet 访问是打开的,on 也是缺省值telnet.enable onwangjun options telnet.enable off =在 filer 将 telnet server 关掉，看出现什么结果wangjun options telnet.enable telnet.enable off C:Userswangjuntelnet 192.168.0.180 =客户端通过 telnet 已经连接不上 filer正在连接 192.168.0.180.无法打开到主机的连接。 在端口 23: 连接失败wangjun opti
39、ons telnet.access =在允许 telnet 的基础上可以限制某些主机、某些网段的主机通过某个接口访问等，legacy 是允许任何主机 telnet。telnet.access legacywangjun options telnet.access host!=192.168.0.100 =设置不允许 192.168.0.100telnet 上 filerwangjun options telnet.access host=192.168.0.100 =设置只允许 192.168.0.100telnet 上 filerwangjun options telnet.access h
40、ost=10.42.69.1/24 =允许这个网段的机器访问 filerwangjunoptions ssh.access “host=abc,xyz AND if=e0“ =允许主机 (abc,xyz 通过 e0 口)访问 filerwangjunoptions telnet.access “host=-“ =禁止所有主机访问 filerwangjun options autologout.telnet.enabl =打开 telnet 自动 logout 功能autologout.telnet.enable on =这个值是 off 则下面这个参数设置也没意义wangjun options
41、 autologout.telnet.timeautologout.telnet.timeout 60 =默认 telnet 上后 60 分钟没有操作就自动退出wangjun secureadmin setup ssh =打开 ssh 支持，启动 ssh serverSSH Setup-Determining if SSH Setup has already been done before.noSSH server supports both ssh1.x and ssh2.0 protocols.SSH server needs two RSA keys to support ssh1.x
42、 protocol. The host key isgenerated and saved to file /etc/sshd/ssh_host_key during setup. The serverkey is re-generated every hour when SSH server is running.SSH server needs a RSA host key and a DSA host key to support ssh2.0 protocol.The host keys are generated and saved to /etc/sshd/ssh_host_rsa
43、_key and/etc/sshd/ssh_host_dsa_key files respectively during setup.SSH Setup will now ask you for the sizes of the host and server keys.For ssh1.0 protocol, key sizes must be between 384 and 2048 bits.For ssh2.0 protocol, key sizes must be between 768 and 2048 bits.The size of the host and server ke
44、ys must differ by at least 128 bits.Please enter the size of host key for ssh1.x protocol 768 :Please enter the size of server key for ssh1.x protocol 512 :Please enter the size of host keys for ssh2.0 protocol 768 :You have specified these parameters:host key size = 768 bitsserver key size = 512 bi
45、tshost key size for ssh2.0 protocol = 768 bitsIs this correct? yes Setup will now generate the host keys. It will take a minute.After Setup is finished the SSH server will start automatically.wangjun Sat Dec 12 13:02:26 GMT secureadmin.ssh.setup.success:info: SSH setup is done and ssh2 should be ena
46、bled. Host keys are stored in /etc/sshd/ssh_host_key, /etc/sshd/ssh_host_rsa_key, and /etc/sshd/ssh_host_dsa_key.Fileview 通过 html 和 SNMP 协议可以和 filer 通讯和进行管理，并还可以起一个 telnet session 来进行命令行管理。Fileview 里面同一时刻只允许有一个 telnet session，则否会出下面提示。3.2、基本的存储配置3.2.1、最基本的几个命令来了解你的系统许多命令提供了 filer 的系统配置命令 ,这些命令被用来： 检
47、查系统配置 监控系统状态 校验系统正确的配置。wangjun sysconfig v =查看硬件信息,主要显示了硬件平台、版本、适配器、硬盘等硬件信息NetApp Release 7.3: Thu Jul 24 12:55:28 PDT 2008 =操作系统版本System ID: 0099908572 (wangjun) =system ID、序列号等信息System Serial Number: 987654-32-0 (wangjun)Model Name: Simulator =硬件平台型号 Processors: 1slot 0: NetApp Virtual SCSI Host A
48、dapter v0 =slot0 一般是主板Firmware rev: 4.2.0Host Loop Id: 7ID Vendor Model FW Size16: NETAPP VD-100MB 0042 0.1GB ( 261248 512B/sect) 17: NETAPP VD-100MB 0042 0.1GB ( 261248 512B/sect) 18: NETAPP VD-100MB 0042 0.1GB ( 261248 512B/sect) Shelf 1: LRC Firmware rev. LRC A: 11 LRC B: 11slot 1: NetApp Virtual SCSI Host Adapter v1 Firmware rev: 4.2.0Host Loop Id: 7ID Ven
