1、1,集群系统介绍,2,报告主要内容,文件系统介绍 集群文件系统 常用集群文件系统 Lustre介绍,3,集群的软件体系机构：操作系统： 任何计算机系统的软件基础 并行开发库： 用于集群中进程通信的软件库 作业管理： 调度作业并管理集群系统的资源 系统管理： 管理和监控整个集群系统 开发环境： 开发和调试高效能应用的开发工具 标准应用： 一些标准的高性能应用如CFD 客户应用： 客户特别定制的应用,一 、集群软件体系机构,4,操作系统：并不是每种操作系统都适合集群系统 单任务操作系统：CPU同时只处理任务队列中的一个任务多任务操作系统：基于分时技术的多任务操作系统 多CPU多任务操作系统：在某个
2、时间点上，多个进程同时运行a) 多CPU多任务操作系统+线程 b) 多CPU多任务操作系统+消息传递我们的集群使用多CPU多任务操作系统+消息传递平台。它由SMP和PC服务器组成，以Linux为操作系统，以MPI或PVM这种消息传递方式作为通信方法,二、集群操作系统,5,文件系统是操作系统的重要组成部分，用于存储程序和数据如何在各节点间高效、一致和简捷的实现数据共享是集群系统对文件系统提出的挑战 3.1、分布式文件系统：相当于本地文件系统，有如下特点： 网络透明：对远程和本地的文件访问可以通过相同的系统调用完成 位置透明：文件的全路径无需和文件存储的服务绑定，服务器的名称或地址并 不是文件路径
3、的一部分 位置独立：正是由于服务器的名称或地址并不是文件路径的一部分，所以文件 存储的位置的改变并不会导致文件的路径改变 分布式文件系统可以使集群的节点间简捷地实现共享。但是为了提供性能，分布式文件系统通常需要使用本地的缓存, 它很难保证数据在集群系统范围的一致性。而且往往分布式文件系统中只有一份数据，所以很容易发生单点失效。,三、集群文件系统,6,3.2、并行文件系统建立在共享磁盘上的并行文件系统可以克服分布式文件系统的这些缺点 通过使用在节点共享的存储设备，并行文件系统具有很多优点：高可用性：克服了分布式文件系统中那种服务器端的单点失效的缺点，提高了 文件系统的可用性 负载均衡：有多个访问
4、点，彼此可以协调负载 可扩展性：容易扩展容量和访问的带宽,三、集群文件系统,7,3.3、集群中的数据共享形式集群中使用的数据共享的方法常见的有：rsync是建立在本地文件系统之上NFS和Inteemezzo属于分布式文件系统(确切的说，NFS只是网络文件系统)GFS属于并行文件系统 Backend-database则属于不同于文件共享的另一种形式的共享。,三、集群文件系统,8,rsync是一种简单的文件共享实现方式 集群中的每个节点都有一份数据复本，复本间使用rsync进行同步 因为节点需要的数据就在本地，所以这种方法具有很高的可用性，不会出现单点失效现象适用环境： 需要共享的数据量很小，而且
5、很少更新,三、集群文件系统,rsync方式适用于静态网页和小的FTP站点,9,存储节点通过NFS将自己本地的文件输出，其他节点则把存储节点输出的文件系统mount到本地文件系统NFS方式的存在两个很大的缺点： 性能差：因为所有的文件访问都必须经过网络和NFS服务器，所以在访问流量比较大的情况下，网络带宽和NFS服务器都会成为系统的瓶颈。 单点失效：如果NFS服务器的系统失效或者网络失效都会使得其他节点无法得到数据，从而使整个集群系统瘫痪。,三、集群文件系统,NFS方式适合于共享访问数据量不大的小型集群系统,10,GFS(Global File System)实现了存储设备的网络共享GFS的主要
6、优点在于： 高可用性：一个GFS客户失效，数据还可以通过其他GFS客户访问 扩展性：不需要中心服务器，很容易扩展存储容量和访问带宽 GFS可以将物理上分离的存储设备虚拟为一个存储而且能平衡访问负载GFS实现了文件锁和实时文件系统,三、集群文件系统,11,Intermezzo实现了一个分布式的文件系统它采用C/S模式，服务器拥有权威的数据，客户节点仅有本地缓冲的版本，通过普通的网络进行同步Intermezzo支持断开连接下文件操作，在下次恢复连接时，它会集成本地的改动到服务器上Intermezzo拥有象GFS一样的可用性和可扩展性。但它无法保证数据的实时一致性,三、集群文件系统,12,基于后端数
7、据库的共享是完全不同于文件共享的方式后端数据库系统解决了数据的一致性、性能、可用性和可扩展性问题但是数据库的访问方法要比文件访问复杂的多,三、集群文件系统,13,目前我们集群上用的是Linux自带的NFS(Network File System)文件系统，而不是并行文件系统所谓并行文件系统，是指应用于多机环境的网络文件系统，单个文件的数据采用分条等形式存放于不同的I/O节点之上，支持多机多个进程的并发存取，同时支持元数据和数据的分布存放，并提供单一的目录空间实现一个完整的并行文件系统，需要实现如下两个方面： 实现单一的文件映像，并行文件存放在盘阵上的具体分布情况对于用户来说是透明的，并行文件系
8、统在用户看来是一完整的树型结构，在调用时只要给出文件名即可 采用条和分区技术，支持一个文件数据在多个磁盘之上和多个进程之间的分布，即多个进程并发读写多个磁盘上的数据,四、常见并行文件系统,14,常见并行文件系统有：GPFS IBM的产品，是开源的 PVFS是开源的 Lustre 是 Cluster File System 公司的产品，是开源的 GFS (Red Hat)、IBRIX是商业软件,四、常见并行文件系统,15,5.1 、 GPFS通用并行文件系统GPFS 是 IBM 共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术( VSD )作为这项技术的核心， GPFS 是一个并
9、行的磁盘文件系统，它保证在资源组内的 所有节点可以并行访问整个文件系统，而且针对此文件系统的服务操作，可以同时安全地在 使用此文件系统的多个节点上实现GPFS 允许客户共享文件，这些文件分布在不同节点的不同硬盘上，提供许多标 转的 UNIX 文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行GPFS 也支持 UNIX 文件系统的工具，即：用户可以像使用普通文件系统一样使用基于 GPFS 的文件系统， 唯一不同的在于管理 GPFS 文件系统的命令GPFS 提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点（属于同一个节点组）上的并行应用同时访问同一个文件或者不同的文件,五、
10、开源并行文件系统,5.1.1 GPFS 文件系统优点： 提高系统性能：允许在同一nodeset内的多进程或者应用使用标准文件系统调用，同时访问（并发 读写）同一个文件，通过将 nodeset 内读写操作分布到多个磁盘上，大大增加了文件系统的 带宽，通过整个系统的负载均衡避免了某个磁盘过大的读写数据一致性：允许任意节点通过 各自独立的路径到达同一个文件。即使节点无法正常工作，GPFS也可以找到其它的路径数据安全性：一种日志文件系统，为不同节点建立各自独立的日志。日志种记录metadata的分布，一旦节点发生故障后，可以保证快速恢复数据系统可扩展性：系统资源可以动态调整，可以在文件系统挂载情况下添
11、加或者删除硬盘。可以在不重新启动 GPFS 服务情况下添加新节点管理简单方便：自动在各个节点间同步配置文件和文件系统信息，而且在同一个 nodeset 内，对GPFS 的管理可以在任一个节点上进行,五、开源并行文件系统,17,5.1.2 、 GPFS系统架构,五、开源并行文件系统,GPFS 系统架构如左图所示： GPFS kernel module extension Portability Layer module RSCT daemon GPFS daemonGPFS kernel module extension (mmfs) 核心扩展模块提供与 Linux 核心中 VFS （虚拟文件系
12、统）的接口GPFS daemon (mmfsd) GPFS 守护进程是 GPFS 文件系统的核心进程，多线程进程，负责与其它节点的 GPFS 守护进程通信，来保证数据的一致性,18,5.2 、PVFS并行虚拟文件系统PVFS为Linux集群提供了高性能和可扩展行的并行文件系统 PVFS提供重要的4个功能： 一致性的访问名字空间 支持现存的系统访问方式 数据分布在集群节点不同机器不同的硬盘上 为应用程序提供高性能的数据访问方式,五、开源并行文件系统,19,PVFS逻辑结构视图,PVFS使用了三种类型的节点： 管理节点(mgr)：运行元数据服务器，处理所有的文件元数据（元数据是描述文件信息的文件）
13、 I/O节点(iod)：运行I/O服务器，存储文件系统的文件数据，负责数据的存储和检索 计算节点：处理应用访问，利用libpvfs这一客户端的I/O库，从底层访问PVFS服务器 I/O节点计算节点则一个集群的节点可以提供其中的一种功能，也可以同时提供其中的两种或者全部三种功能,五、开源并行文件系统,20,PVFS的运行机理如左图所示：当打开、关闭、创建或删除一个文件时，计算节点上的一个应用通过libpvfs直接与元数据服务器通信在管理节点定位到一个文件之后，它向这个应用返回文件的位置，然后使用libpvfs直接联系相应的I/O节点进行读写操作，不必与元数据服务器通信，从而大大提高了访问效率,五
14、、开源并行文件系统,21,5.3、Lustre集群文件系统Lustre 集群文件系统（CFS）是一种新兴的集群文件系统软件，显著提高了I/O速度，降低企业购买存储设备的成本集群文件系统已经在大学、实验室和超级计算研究中心等得到广泛应用，而且慢慢进入通用商业计算领域开源的Lustre技术由美国能源部开发，惠普公司提供商业支持，惠普公司发布了可扩展文件系统（Scalable File Share）第2版，此产品是去年年底推出，包含一台服务器和一个软件包，使用Lustre技术来分布集群内的存储服务SFS（Scalable File Share）系统允许集群里的Linux节点能以高达每秒35GB的速度读取数据，而且允许高达 512TB的总存储容量,五、开源并行文件系统,22,五、Lustre 集群文件系统（CFS）,Lustre是基于Linux平台的一个可扩展的集群文件系统，它使用基于对象的（存储）设备管理，用来替代以往的磁盘块管理方法Lustre系统的组件主要有三部分构成：MDS元数据服务器 OSS目标存储服务器 Lustre客户端,23,谢 谢！,汇报结束！,
