1、如何快速构建高性能集群系统,解决方案中心 马少杰,部署规划及硬件安装 Sugon HPC Installer 批量部署操作系统 Clusconf 快速配置集群 Clussoft 快速安装软件,部署规划及硬件安装,千兆交换机,局域网,Internet,路由器,防火墙,远程控制,内网,外网,以太网 交换机,控制台,本地KVM,以太网,光纤网,Infiniband网,KVM管理网,登陆/管理节点,机房环境,并行存储系统,高速Inifiniband交换机,刀片集群,GPGPU节点,计算系统,存储系统,SMP胖节点,2,算例上传 作业提交,10110001101010010001001001001001
2、1000110101001000100100110001101010010001001001100011010100100010010000100100110001101010000100100110001101010000100100110001101010000100100110001101010,高性能计算作业的工作流程,集群配置表,机柜摆放,功耗14KW,功耗10KW,功耗10KW,功耗14KW,功耗14KW,普通风冷单机柜不能超过15千瓦，且各机柜负载最好均衡,控制台放置为中间机柜19U左右,交换机放置中间机柜，如果为上走线，则在机柜上部,原则1：同类相邻 同一种类型节点（硬件、操作
3、系统，用途等）应该是连续的编号 原则2：从多到少 按用途：计算节点、IO节点、管理节点 计算节点内部：刀片最多，GPU节点其次，胖节点最少 原则3：从高到低 高端到低端：八路、四路、双路 内存容量：64G、32G、16G 高度越高：5U、4U、2U、1U 以上原则冲突时，优先级：原则1原则2原则3,节点编号,CB85刀片计算节点：64台GPU计算节点：8台A950八路胖节点：2台A840四路胖节点：2台IO节点：4台A620管理节点：2台A620node1-node64 刀片CB85node65-node72 GPU节点node73-node74 A950node75-node76 A840n
4、ode77-node80 IO节点A620node81-node82 管理节点A620,第一套以太网络，配置为管理网 所有服务器的第一块网卡（eth0）接入同一物理网络，配置为集群管理网。机架式服务器对应第一块网卡eth0；刀片机箱对应第一个网络模块（一般是交换模块）。 管理网络IP地址和主机名规范为： 管理网对应的主机名“node”默认设置为系统主机名。此外，需要根据节点功能，在/etc/hosts中设置主机别名，比如： 10.10.10.1 node1 comput1 10.10.10.10 node10 comput10 10.10.10.11 node11 io1 10.10.10.1
5、2 node12 io2 10.10.10.13 node13 admin1 10.10.10.14 node14 admin2,IP地址,IPMI IP地址设计 IPMI网络IP地址和主机名规范为：刀片管理模块IP地址和主机名规范为：,IP地址设置,第二套以太网络（如果有，配置为备用管理网络或千兆计算网络）Infiniband网ipoIB IP地址和主机名规范为：,IP地址设置,上架、布线、贴标签、上电。,Sugon Installer 批量部署操作系统,Sugon HPC Installer,1 最合理的应用使用场景（每个工程师都有一个Windows笔记本，可随意切换操作系统镜像） 2 最
6、广泛的兼容性（使用KS机制，不存在与系统的raid卡的兼容问题） 3最方便的使用（安装后单一命令修改IP地址）,用于网络批量自动化安装操作系统的软件，帮助简化集群操作系统的安装步骤，摆脱集群操作系统安装时对光盘及光驱的依赖 支持操作系统 Redhat CentOs Suse Windows,1. Sugon HPC Installer 简介,网络安装操作原理,必备条件： 第一，网络中有个放用来系统安装文件的地方，称之为系统安装服务器 第二，客户机的网卡支持远程启动,网络安装过程基于PXE，DHCP，TFTP，HTTP（NFS、FTP）协议,PXE(Pre-boot Execution Envi
7、ronment)是由Intel设计的协议，它可以使计算机通过网络启动。协议分为client和server两端，PXE client在网卡的ROM中，当计算机引导时，BIOS把PXE client调入内存执行，并显示出命令菜单，经用户选择后，PXE client将放置在远端的操作系统通过网络下载到本地运行。,DHCP（Dynamic Host Configuration Protocol,动态主机设置协议）是一个局域网的网络协议，使用UDP协议工作，主要用于给内部网络或网络服务供应商自动分配IP地址。DHCP Server是用来给DHCP Client动态分配IP地址的协议，由DHCP serv
8、er来给PXE client分配一个IP地址。,TFTP（Trivial File Transfer Protocol,简单文件传输协议）是TCP/IP协议族中的一个用来在客户机与服务器之间进行简单文件传输的协议，提供不复杂、开销不大的文件传输服务。它负责把系统安装文件传输到客户端。,HTTP，NFS( Network File System ), FTP 用来共享系统安装源,网络安装操作原理,网络安装操作系统原理图,现有网络安装方式,Suse AutoYast,Redhet Kickstart,异曲同工,Sugon HPC Installer原理,与传统网络安装系统方式类似，需要配置HTTP
9、和FTP服务，通过深度远程启动管理器提供DHCP和TFTP的传输服务，用虚拟光驱加载操作系统镜像。,2. Sugon HPC Installer安装过程,安装Sugon HPC Installer软件 安装虚拟光驱Deamon Tool，装载操作系统镜像 安装IIS，配置HTTP，FTP服务IIS主要是安装在Windows XP和Windows 7上具体介绍必备服务在不同系统上的配置过程,2.1 Sugon HPC Installer安装,2.2 安装虚拟光驱,2.2 安装虚拟光驱,装载镜像,2.3.1 安装IIS (Windows XP),安装IIS (Windows XP),测试是否安装成
10、功单击“控制面板”，双击“管理服务”，得到下图，即安装成功。,配置HTTP服务(Windows XP),配置HTTP服务(Windows XP),测试IIS的HTTP服务是否配置成功通过http:/172.10.16.254/ks.cfg 查看或下载文件,配置FTP服务(Windows XP),搭建FTP服务，端口号默认，目录指向虚拟光驱，FTP账号abc，密码123,配置FTP服务(Windows XP),测试IIS的FTP服务是否配置成功通过输入ftp:/abc:123172.16.10.254可以访问到虚拟光驱根目录即配置成功。,2.3.2 IIS安装 (Windows 7),IIS安装
11、 (Windows 7),测试是否安装成功单击“控制面板”，查看方式改为“小图标”，双击“管理服务”，得到下图，出现“Internet信息服务(IIS)管理器”，即安装成功。,配置HTTP服务 (Windows 7),使用IIS搭建HTTP服务，端口号默认，目录指向D:linstallpxeboot目录。,配置HTTP服务 (Windows 7),点击“Default Web Site”，再点击右边栏的“绑定”，对端口是80的网站编辑，IP地址设为“172.16.10.254”,配置HTTP服务 (Windows 7),测试IIS的HTTP服务是否配置成功通过http:/172.10.16.2
12、54/ks.cfg 查看或下载文件,配置FTP服务 (Windows 7),搭建FTP服务，端口号默认，目录指向虚拟光驱，FTP账号abc，密码123,配置FTP服务 (Windows 7),配置FTP服务 (Windows 7),测试IIS的FTP服务是否配置成功 通过输入ftp:/abc:123172.16.10.254可以访问到虚拟光驱根目录即配置成功。,3. Sugon HPC Installers 使用,第一次安装和配置的过程有点漫长，但是一劳永逸，今后安装系统流程简单，人力物力投资巨少，事半功倍。Sugon HPC Installer的使用超级简单，一目了然。,Sugon HPC
13、Installer使用,Sugon HPC Installer使用,Sugon HPC Installer.msi已自动对系统的IP配置，变为172.16.10.254,客户端通过PXE安装操作系统,安装服务器已经准备就绪，通过BIOS修改需要安装操作系统的客户端以PXE方式启动( Network 方式)，客户端会自动从FTP下载镜像进行系统安装。,客户端从网络启动,客户端通过PXE安装操作系统,客户端通过PXE安装操作系统,如果客户端上有多块网卡，在启运后，操作系统安装过程中会提供需要选择哪块网卡，根据实际情况，选择正确的网卡即可,当遇到ks.cfg文件无法下载时，出现中断，现象如图，需要关
14、闭服务器的防火墙，之后就会自动下载安装，直到完毕，重启,注意点,客户端通过PXE安装操作系统,ip.sh ：用来设置地址的文件，在安装服务器上的d:linstallpxeboot目录下，文件中配置了eth0, eth1两个网卡地址的前3段数字。在启动系统安装服务器前，根据具体需要修改好eth0及eth1的IP地址的前三段数字；客户端系统安装完毕后，登录系统，请执行“./ip.sh 节点号”即可，它会自动配置好IP地址。,系统安装好后配置IP地址,操作系统安装完毕后，红帽5的密码为dawning123456_(下划线为空格)，红帽6的密码为dawning123456，Suse的密码为111111
15、,系统密码,Clusconf 快速配置集群,一个配置和管理集群的命令行工具，使用他可以方便快速的完成对集群的初始配置和后期管理 Clusconf 三类操作（operation） 集群配置操作，用于集群配置 集群管理操作，用于配置完成后的集群管理维护 IPMI操作，使用IPMI相关功能控制集群,clusconf 简介,1 Addding parallel excuting mode,and same results combine 2 Adding ipmi relative operationsclusconf -set-ipmiclusconf -ipmi-infoclusconf -ipm
16、i-poweronclusconf -ipmi-ipoweron (Inteligent Power On)clusonf -ipmi-poweroffclusconf -ipmi-ipoweroff (Inteligent Power Off)3 Adding operation to display cluster infoclusconf -sys-info4 fix bug1) -sync-file create path if there are no parents path in other nodes 2) check os and warning if all of OS i
17、s deferent in the cluster3) error if tab keys used in /etc/hosts4) -adduser|-useraddcan specify the user uid5) -sync-time adding the command to /etc/crontab,clusconf 1.4 changelog,高性能集群三要素,无密码访问配通,统一的用户印象,统一的文件印象,对于普通用户来说，所有节点看到的某一个文件都是相同的文件。通过nfs或者并行文件系统实现。,通过NIS或同步用户信息来实现。,网络全通rsh或ssh无密码访问配通,clusc
18、onf -使高性能集群三要素实现,集群硬件安装到位，线缆连接正常 节点操作系统安装正确。 网络线缆连接正确，节点IP地址配置正确,Clusconf 使用前要求,安装clusconf配置/etc/hosts 文件,Clusconf 安装与配置,1 tar xvzf clusconf-1.4.tgz 2 cd clusconf-1.4 3 ./install 根据提示输入安装路径，默认路径为/opt/clusconf 查看安装路径 载入环境变量 4 source /etc/profile.d/clusconf-env.sh 5 which clusconf查看安装路径,127.0.0.1 loca
19、lhost 10.10.10.1 node1 comput1 10.10.10.2 node2 comput2. 10.10.10.30 node30 comput30 10.10.10.31 node31 io1 10.10.10.32 node32 io2 10.10.10.33 node33 admin1 12.12.12.1 inode1 12.12.12.33 inode33,修改/etc/nfs.cfg (如果使用clusconf 配置nfs 文件系统),clusconf 配置,NFSDIR inode31 /public /public NFSDIR inode32 /publi
20、c2 /public2 # NFSDIR node33 /data1 /data1 # NFSDIR inode40 /data2 /data2 BINDHOME /public/home,修改/etc/ipmi.cfg (如果使用clusconf IPMI相关功能),# ipmiaddr hostname character ipmiusername ipmipasswd 11.11.20.1 node1 comput root superuser 11.11.20.2 node2 comput root superuser 11.11.20.3 node3 io admin admin 1
21、1.11.20.4 node4 io root superuser 11.11.20.5 node5 admin root superuser 11.11.20.6 node6 admin admin admin,clusconf Options(选项) Operation（操作） 选项如下：-h|-help|-help 查看帮助-p|-prefix 标识节点的前缀，默认值为node -n | -snlist标识节点的序号，默认为/etc/hosts 中所有的具有前缀的节点。 -r 标识节点间交互使用ssh或者rsh，默认是使用ssh -s 标识进行操作时使用顺序模式。默认关闭该选项，使用并行
22、模式。 操作分为如下三类操作 配置操作，用于集群初期配置 管理操作，用于集群管理 IPMI相关操作，使用IPMI相关功能,clusconf 使用,-p 和 -n 的使用 clusconf -sync-do hostname 标识的节点为/etc/hosts 中所有的node为前缀的节点 clusconf -p comput -sync-do hostname标识的节点为/etc/hosts 中所有的comput为前缀的节点 clusconf -n seq 1 30 -sync-do hostname标识的节点为node1-node30 clusconf -p inode -n seq 1 30
23、 seq 35 50 55 56 -sync-do hostname标识的节点为inode1-inode30, 加上inode35-inode50，再加上inode55，inode56,clusconf 使用,并行模式与顺序模式 -s 打开顺序模式，默认使用并行模式 并行模式：多节点操作时并行执行，并且自动合并相同的执行结果 顺序模式：多节点操作时顺序执行，并且按顺序显示执行结果。,clusconf 使用,并行模式执行 clusconf -sync-do cat /etc/issue node1,3-5 - Red Hat Enterprise Linux Server release 6.2
24、 (Santiago) Kernel r on an m- node2 - VMware ESX 4.1 (Kandinsky) Kernel r on an m,顺序模式执行 clusconf -sync-do cat /etc/issue Excuting Command cat /etc/issue On the whole Cluster =node1= Red Hat Enterprise Linux Server release 6.2 (Santiago) Kernel r on an m =node2= VMware ESX 4.1 (Kandinsky) Kernel r o
25、n an m =node3= Red Hat Enterprise Linux Server release 6.2 (Santiago) Kernel r on an m =node4= Red Hat Enterprise Linux Server release 6.2 (Santiago) Kernel r on an m =node5= Red Hat Enterprise Linux Server release 6.2 (Santiago) Kernel r on an m,1设置某用户的ssh无密码访问 (-set-ssh username) 按照提示，输入回车即可 2设置所有
26、用户的rsh无密码访问 (-set-rsh) 系统会检查是否已经安装了rsh-server rpm 包，如果没有安装，请安装rsh-server rpm 包，然后再执行此条命令 3按照集群规范设置服务 (-set-service) 会自动关闭防火墙，selinux sendmail 等等不必要的影响并行计算的服务 4设置nfs服务 (-set-nfs) 如果集群要配置nfs，需要修改/etc/nfs.cfg文件，详情查看4.2 配置完成后，每个客户端会产生/etc/nfs.local 文件，系统每次启动时会执行，从而正确挂载nfs文件系统。,Clusconf 配置操作,NFSDIR inode
27、31 /public /public NFSDIR inode32 /public2 /public2 # NFSDIR node33 /data1 /data1 # NFSDIR inode40 /data2 /data2 BINDHOME /public/home,5按照预定的流程一键配置集群 (-set-all) 按照如下流程，一键配置集群 1)-test-net 2)-sys-info 3) -set-ssh root 4) -sync-file /etc/hosts 5) -set-rsh 6) -set-service 7) -set-nfs 8) -sync-user 9) -s
28、ync-time 10) -sync-do “date;df -a“ (verify the setting),clusconf 配置操作,1测试网络 (-test-net) 测试/etc/hosts 表中的Ip地址是否都正常，如果不正常，会自动提示 2显示集群信息 (-sys-info) 显示标识的节点的操作系统，版本，CPU 型号，核心数，内存容量等各个节点信息 3显示cpu负载(-disp-cpu) 显示标识的节点的CPU负载超过5%的进程信息。 4同步集群用户 (-sync-user) 同步标识的节点的用户信息，包括用户、组、密码等信息 5添加一个用户到指定的节点(-useradd|-
29、adduser username) 按照提示添加用户，包括用户名，家目录，用户组，uid，密码等信息，添加完成后自动同步用户信息，并且提示是否配置该用户的ssh 无密码访问，默认按照提示可配置完成 6删除标识的节点的一个用户(-deluser|-userdel username) 删除用户，并自动同步标识的节点的用户信息,clusconf 管理操作,7同步时间 (-sync-time) clusconf -sync-time 同步标识的节点的时间，并将命令添加到当前管理节点的/etc/crontab 中，每日0点自动同步集群时间 8同步文件 (-sync-file file|files|pat
30、h|paths) clusconf -sync-file file|files|path|paths 可以同步标识的节点的单个文件，多个文件，路径，多个路径 9执行相同的命令 (-sync-do command) clusconf -sync-do command 在标识的节点同时执行某个命令，如果选择并行模式，则自动对结果进行筛选。,clusconf 管理操作,确认修改/etc/ipmi.cfg 正确 1 设置ipmi IP 地址(-set-ipmi) 此命令通过ssh/rsh远程登陆到指定节点上修改主机的IPMI地址，IP地址按照ipmi.cfg 编写的为准，子网掩码设置为255.255.
31、0.0，IP地址为静态。 2 显示ipmi信息（-ipmi-info） 通过访问ipmi网络地址，读取指定节点的ipmi的接口的ip地址，子网掩码，以及电源状态信息，并对结果进行筛选显示。 3 IPMI开机(-ipmi-poweron)。 通过访问ipmi的网络地址，对指定节点使用ipmi控制开机，只要集群上电，即可通过此命令对节点批量开机，从而大大简化系统开机流程和工作量。 4 IPMI关机(-ipmi-poweroff)。 通过访问ipmi的网络地址，对指定节点使用ipmi控制挂机，只要集群上电，即可通过此命令对节点批量关机，从而大大简化系统关机流程和工作量。,clusconf IPMI相
32、关操作,# ipmiaddr hostname character ipmiusername ipmipasswd 11.11.20.1 node1 comput root superuser 11.11.20.2 node2 comput root superuser 11.11.20.3 node3 io admin admin 11.11.20.4 node4 io root superuser 11.11.20.5 node5 admin root superuser 11.11.20.6 node6 admin admin admin,5 IPMI智能开机(-ipmi-ipowero
33、n)。 通过访问ipmi的网络地址，对指定节点使用ipmi控制智能开机。智能开机，指的是根据ipmi.cfg 文件定义的节点角色，按照集群开机的顺序IO节点，管理节点，计算节点进行开机，并对开机的结果进行检查。只要集群上电，即可通过此命令对节点批量关机，并且规避了由于开机顺序的依赖关系导致的问题和故障，从而大大简化系统开机流程和工作量。智能开机，需要确认你当前工作节点为管理登陆节点，当前路径为本地路径。 6 IPMI智能关机(-ipmi-ipoweroff)。 通过访问ipmi的网络地址，对指定节点使用ipmi控制智能关机，智能开机，指的是根据ipmi.cfg 文件定义的节点角色，按照集群关机
34、的顺序计算节点，管理节点，IO节点进行关机，并对关机的结果进行检查。只要集群上电，即可通过此命令对节点批量关机，并且规避了由于关机顺序的依赖关系导致的问题和故障，从而大大简化系统关机流程和工作量。 智能关机，需要确认你当前工作节点为管理登陆节点，当前路径为本地路径。,clusconf IPMI 智能开关机,Clussoft 快速安装软件,HPC软件环境自动部署工具Clussoft,HPC软件环境主要包括编译器、常用函数库、并行库、benchmark工具集、各领域应用软件等HPC软件环境部署的困难： 绝大部分软件需要编译，容易出错，对实施人员的技术经验要求较高 软件之间的依赖关系复杂 许多软件需
35、要针对不同的硬件平台做不同的配置和优化 手动安装工作量巨大，重复劳动很多，效率低下Clussoft的设计功能： 提供HPC软件环境的自动部署 将各个软件的编译安装都脚本化，自动解决软件依赖关系、自动针对软硬件平台选择优化配置 解放劳动力，提供部署效率和质量，将HPC软件实施标准化 适合高性能计算云平台的软件快速部署 模块化设计，开发方便,HPC软件环境自动部署工具Clussoft,Clussoft 部分组件： clussoft-base编译器、函数库、并行库等 clussoft-benchmark常用benchmark工具（CPU、内存、网络、I/O等） clussoft-md常用开源分子动力
36、学、Monte Carlo等应用软件 clussoft-qchem常用开源计算化学、物理、材料类应用软件 clussoft-bio生命科学领域常用开源应用软件 clussoft-gpuGPGPU开发环境及应用软件（正在开发） clussoft-mets气象海洋类应用软件（正在开发）总计已支持超过90+个HPC软件,处理器架构 Clussoft广泛支持基于Intel或AMD的x86_64处理器。 操作系统 Clussoft官方支持如下版本Linux操作系统，其它操作系统可能会有部分问题： Red Hat Enterprise Linux 5.3-5.7 for x86_64 Red Hat En
37、terprise Linux 6.0-6.2 for x86_64 CentOS 5.3-5.7 for x86_64 CentOS 6.0-6.2 for x86_64 SUSE Linux Enterprise Server 10.2-10.4 for x86_64 SUSELinux Enterprise Server 11.0-10.2 for x86_64,兼容性,1 tar -xzf clussoft-base-1.0-20120806.tar -C /public/sourcecode 2 cd clussoft-base-1.0,Clussoft使用,3 修改 clussoft
38、.cfg #= SOFTWARE INSTALLATION ROOT DIRECTORY CP_SOFT_DIR=/public/software #= COMPILATION TEMPORARY DIRECTORY =# CP_TMP_DIR=/tmp/clussoft #= SPECIFIC SOFTWARE INSTALLATION DIRECTORY AND/OR ENVIRONMENTS FILE =# CP_INTEL_DIR=$CP_SOFT_DIR/intel/composer_xe_2011_sp1.7.256 CP_INTEL_ENV=$CP_SOFT_DIR/profil
39、e.d/intel-env.sh CP_ACML_DIR=$CP_SOFT_DIR/mathlib/acml-510 CP_ACML_IFORT_ENV=$CP_SOFT_DIR/profile.d/acml-ifort-env.sh CP_ACML_GFORTRAN_ENV=$CP_SOFT_DIR/profile.d/acml-gfortran-env.sh CP_OPENMPI_GNU_DIR=$CP_SOFT_DIR/mpi/openmpi-16-gnu CP_OPENMPI_GNU_ENV=$CP_SOFT_DIR/profile.d/openmpi-gnu-env.sh CP_OP
40、ENMPI_INTEL_DIR=$CP_SOFT_DIR/mpi/openmpi-16-intel 。,Clussoft使用,普通用户使用，只需要修改此路径到自己的家目录即可,HPC软件环境自动部署工具Clussoft,clussoft-base,HPC软件环境自动部署工具Clussoft,clussoft-benchmark,HPC软件环境自动部署工具Clussoft,clussoft-qchem,HPC软件环境自动部署工具Clussoft,clussoft-md,HPC软件环境自动部署工具Clussoft,clussoft-bio,1集群部署前需规划好 2使用sugon installer 方便快速部署各类操作系统，并高效率修改IP，主机名 3 使用clusconf 一键配置集群，高效管理集群 4 使用clussoft 软件库，一键安装各种软件,小结,高性能计算机部署起来这么简单、快捷！,
