1、关于网格模拟器的研究摘 要：网格技术试图将广域分布的各种计算资源、存储资源、仪器设备等集合起来进行有效聚合和共享，并以统一的方式向外界用户提供服务。网格系统的设计是一个非常复杂的系统工程，它需要考虑由于广域共享所引起的许多问题，比如资源的异构性、动态性以及性能等等问题。网格模拟器为帮助网格系统的设计者验证设计方案、测试设计性能提供了极大的便利。通过分析当前一些主流网格模拟器，并对它们进行对比和分类，可以为网格系统研究人员和网格模拟器设计者提供方便。关键字：网格系统 模拟器 分类1 引言随着信息技术的不断发展和更新，人们对计算能力和数据存储能力的需要也越来越大，同时，彼此之间需要更紧密的协同工作
2、和资源共享。网格技术的核心是要实现广域范围内的计算资源、信息资源、存储资源和各种各样的应用、服务以及决策支持系统的共享和聚合。设计一个网格系统是一个非常复杂的系统工程，它需要考虑许多问题。例如，资源广域共享带来的异构性、安全性和网络性能问题；网格中有效的资源管理和调度也将是一个不容忽视的问题；此外，容错能力、可扩展性以及自适应能力都是网格设计者需要考虑的内容。因此，网格系统设计者在实际部署新设计的系统之前需要确保它能够可行并且具有所期望的执行效率。网格模拟器的出现，给研究者带来了新的希望。模拟器的作用是模拟一个网格环境，我们在这个模拟的环境中研究不同的问题，比如可行性和性能问题。通过配置参数，
3、可以更加真实的模拟出现实环境中的各种应用场景，使得模拟结果更具真实性；通过分析在模拟器上试验的结果，网格研究者可以不断的改进设计。在这篇文章中，我们将介绍当前一些有代表性的网格模拟器，对它们的功能、特点以及适用领域进行分析并进行了分类。本文的组织结构如下：第 2 节对各个模拟器进行简单的介绍；第 3 节提出我们自己的网格模拟器的分类法并用它们来比较各个模拟器；第 4 节总结和展望。2 网格模拟器介绍我们搜集了当前所有正在进行的网格模拟器项目，它们包括Bricks， MicroGrid，SimGrid，GridSim ，ChicSim， EDGSim，GridNet，OptorSim 。在本节中
4、，我们试图从项目发起、主要用途以及工作原理等方面来介绍它们。2.1 BricksBricks1由日本东京技术学院主导开发，它是一个对高性能广域计算环境中的各种调度方案进行分析和比较的性能评价系统。到目前为止，该项目已经历两个阶段：第一阶段主要进行基于资源的调度算法的研究；第二阶段开始考虑到数据型密集型应用，将数据的复制算法和调度算法结合起来。图 1 显示了 Bricks 的体系结构图。Bricks 由广域计算环境和调度单元两部分构成。广域计算环境主要由以下三部分实体组成：客户机代表用户提交请求，服务器代表可以获得的资源，网络代表客户机和服务器之间的网络行为。Bricks 采用队列系统来模拟真实
5、环境中这三者的离散事件操作；而调度单元则用来对各种模拟行为进行协调。Bricks 采用“组件化”的设计方法，这使得它的组件可以被替换来测试别的调度算法，而且还可以通过 Bricks 的外部接口将现存的网格计算环境中的组件融合进来。图 1：Bricks 的体系结构图2.2 MicroGridMicroGrid2由美国加州大学圣地亚哥分校并行系统体系结构小组（CSAG）领导开发，它试图通过利用现有的物理资源（比如一个 cluster）来模拟一个虚拟的网格环境来运行真实的网格应用，从而达到更真实的评估网格系统的目的。图 2 显示了 MicroGrid 的体系结构图。MicroGrid 的一个重要组成
6、部分是模拟引擎 MaSSF3，它是建立在并行分布式模拟引擎 DaSSF 的基础上。MicroGrid 首先通过它来实现一个完全可控的虚拟的网格环境，然后在该环境上运行普通的应用或者是基于 Globus2 的网格应用程序，最后分析运行结果。通过这样的方式可以帮助我们做系统设计和网格系统的性能评估。图 2：MicroGrid 模拟的网格系统2.3 SimGridSimGrid4是由美国加州大学圣地亚哥分校网格研究和创新实验室（Grid Research And Innovation Laboratory）主导开发，它的目标是为在网格环境下进行分布并行应用调度研究提供一个合适的模型和抽象（level
7、 of abstraction）并生成准确的模拟结果。SimGrid 目前有两个版本：一个是SG，它提供比较底层的 API 来建立模拟环境，适合于基于 DAG 的集中式调度的模拟；另一个是 MSG，它建立在 SG 之上，提供更面向应用的 API 来建立模拟环境，适合于调度中存在多个独立的调度行为的情况。SimGrid 使用基于 trace-driven 的模拟，它按照真实的网格资源中的访问 trace 记录来模拟网格资源，从而达到更真实的网格模拟。2.4 GridSimGridSim5由澳大利亚墨尔本大学Rajkumar Buyya 领导开发，它的首要目标是通过模拟来研究基于计算经济模型的有效
8、资源分配方法。GridSim 通过资源的 “买”和“卖”来引入“经济模型” ，从而达到控制网格资源的使用的目的。图 3 显示了GridSim 的体系结构。GridSim 是在 SimJava6的基础上开发的，它提供丰富的函数库以支持模拟网格环境中的异构资源（时间共享和空间共享） 、用户、应用程序、用户代理和调度器。网格资源、用户和用户代理被视为不同的实体，它们通过消息事件（输入和输出）来进行通信。除了通过手工编程来实现模拟外，GridSim 还提供了一套图形界面工具Visual Modeler（VM）帮助用户配置网格环境并产生相应的代码。模拟结束后，用户可以调用 GridSim 中的称为 Gr
9、idStatistics的库函数来收集各种模拟的统计数据。图 3：GridSim 模拟的网格系统2.5 ChicSimChicSim78是由美国芝加哥大学分布式系统实验室领导开发，它为我们提供了一个理解大量资源和用户的行为、研究资源分配策略是否可行的有效平台。ChicSim 是建立在并行环境模拟器Parsec9的基础上，主要由 3 个部分组成：站点、网络和驱动器。每一个站点拥有一定数量的相同能力的处理器和有限能力的存储器；站点之间具有有限带宽，一个任务只在单一的处理器上执行并需要在本地提供一定的数据文件；驱动器读取输入文件然后初始化不同的虚拟的网格实体，然后读取工作负载文件并启动用户开始提交作
10、业。图 4 显示了 ChicSim 的体系结构。目前，ChicSim 主要被用来研究分布式环境下不同调度算法对数据密集型应用的性能影响问题。图 4：ChicSim 模拟的网格系统2.6 EDGSimEDGSim10 设计用来模拟欧洲数据网格的性能但是更注重于调度算法的优化问题。图 5 显示了 EDGSim 的体系结构。EDGSim 是在 Ptolemy11的基础上开发的，它主要是模拟欧洲数据网格中的数据密集型任务，这些任务主要是进行数据文件的传输。EDGSim 模拟器通过时钟来产生符合预先给定分布的大量作业，它们需要的数据文件集随机分布在不同 Site 的SE 上。EDGSim 目前主要用来研
11、究数据的局部性原理在调度决策过程中的重要性问题。 Site 0NICCEResourcBkSEReplicaCtogWorkeWorke时 钟 User IntfaceSite 1Site n图 5：EDGsim 模拟的网格系统2.7 GridNetGridNet12模拟器是为了评估模拟数据网格中动态的数据复制策略，该项目是由 IBM 奖学金项目、IBM 阿尔马登研究中心以及美国国家科学基金支撑。该项目提出了一种智能的副本策略，即基于代价估计（cost-estimation）模型的副本决策（replication decisions） 。图 6 显示了GridNet 的体系结构。GridNet
12、 基于模块化的设计，建立在网络模拟器 ns13的基础上。它允许用户指定不同的网络配置，不同的节点类型，不同的网络资源，一个复制算法（策略）和一个计算代价的函数以及其参数。GridNet 的模拟环境主要有以下三类节点：客户端、服务器和缓存节点。客户端负责产生数据访问的请求；服务器端代表一个主要的存储节点；缓存节点代表一个中间存储节点，用来复制一部分存储在服务器上的数据。这三者之间通过 ns 模拟器构建的网络拓扑来互连和通信。 Replica MngerOptimzerDtaMonirReplica outngTbNSodeStorageElmnReplica MngerOptimzerDtaMo
13、nirReplica outngTbNSodeStorageElmn Link图 6：GridNet 模拟的网格系统2.8 OptorSimOptorSim14通过模拟（欧洲）数据网格中各个独立部件之间的交互作用，从而达到评估不同的数据管理策略副本优化算法的性能的目的。OptorSim 以 EDG 的结构为基础，包括了所有必须的部件，但是重点是在数据管理的副本机制上。图 7 显示了 OptorSim 的体系结构。OptorSim 是一个用 Java 实现的基于时间的网格模拟器。用户只需要在模拟开始之前在配置文件中指定网格的拓扑结构和工作列表即可。不同的 ResourceBroker 的调度算法
14、和 Replica Optimizer 的副本管理算法可以在一个参数文件中设定，同时还可以指定其他的参数，比如任务的文件传输模式，初始化的文件分布，处理时间和网络的拥塞程度等。模拟结束之后，会有一些统计数据输出。 User IntfaceResourc BokerJob excution seRplaMgrComputingElecOtimseStorageElmnJob excution seRplaMgrComputingElecOtimseStorageElmnJob excution seRplaMgrComputingElecOtimseStorageElmn图 7：OptorSim
15、 模拟的网格系统3 网格模拟器的分类在第二部分我们介绍了当前一些主要的模拟器，在这一部分我们试图从以下两个方面来对它们进行分类：一、 从模拟的网格环境来分类。网格模拟器的主要作用是试图模拟一个可控的网格系统，研究人员可以在这个可控的环境中研究不同设计的性能问题。由于各个模拟器产生的背景不同，侧重点各不相同，所以模拟的网格系统一般也具有比较大的差异性。二、 从使用模拟器的角度来分类。不同的模拟器，除了用途有区别之外，还有用法的不同。比如，有些模拟器构建一个网格系统需要用户使用提供的 API 编程来实现；有些模拟器则只需要通过配置一个文件等。3.1 网格系统的模拟在研究网格环境的模拟之前，我们需要
16、研究一下网格系统本身。图 8 显示了一个真实的网格系统。从图中，我们抽象出以下四类实体，它们是构成网格环境的主要组件：网格用户、网格应用、网格中间件和网格资源。因此，我们可以从这四个方面来进行网格环境的模拟。MainfrmesWorkstaionsServ资源层中间件应用层 计 算 资 源 存 储 资 源HubRouter网 络 资 源用户层 网 格 安 全 数 据 管 理资 源 管 理信 息 服 务 仪 器 设 备图 8：网格系统3.1.1 网格用户的模拟网格用户的模拟，主要是模拟用户的访问特性（比如到达率）来访问网格、提交作业。支持用户访问特性的模拟是为了更接近于真实的网格环境。单个用户的
17、访问特性可能是毫无规律的，但是整体的访问特性却可能符合某种分布规律。前面介绍的模拟器中有些支持用户特性的模拟，请见表 1（其中“”表示模拟器具有该项特性，下同） 。表 1：网格用户的模拟模拟器 用户的访问特性Bricks MicroGridSimGrid GridSimChicSim EDGSim GridNetOptorSim 3.1.2 网格应用的模拟网格模拟器中运行的网格应用主要从以下两个方面考虑：1） 应用的真实性；大多数模拟器使用虚拟的应用程序，少数模拟器可以使用真实的网格应用程序。真实的网格应用可以使得我们试验的结果更接近真实情况，但这也需要更多的时间来完成一个应用程序，因为应用程
18、序是真实的，而资源却是通过有限的物理资源模拟的；虚拟的网格应用，通过理论计算来考虑应用的时间花销，这样更适合大量试验的模拟。2） 应用的类型；模拟的应用类型可以分为“计算”型和“数据”型。有些模拟器模拟的应用仅和 CPU 资源相关，我们把这类应用称为“计算” ；还有一些模拟器模拟的应用仅和数据相关，比如数据文件的传输等，我们把这类应用称为“数据” 。表 2 显示了网格应用的模拟。表 2：网格应用的模拟模拟应用 器模拟Bricks MicroGrid SimGrid GridSim ChicSim EDGSim GridNet OptorSim真实性 虚拟 真实 虚拟 虚拟 虚拟 虚拟 虚拟 虚
19、拟计算 类型 数据 3.1.3 网格中间件的模拟网格中间件的模拟是网格环境模拟的关键。网格中间件的作用就是实现广域范围内资源的共享和聚合，为上层应用统一的服务。网格中间件的模拟主要集中在以下几个部分：1） 信息服务；主要是网格资源的信息收集、查询和监控等。网格模拟器模拟的信息服务目前主要有两种组织方式：一种是集中式；一种是分布式。2） 作业调度；主要是完成将用户的作业请求调度到合适的资源上。根据信息服务的组织方式不同，作业调度也可以分为两大类：集中式调度和分布式调度；其中分布式调度还可以分为 P2P 对等方式和分层方式调度。 3） 资源管理；主要是资源的分配策略；为了体现资源的异构性，有些模拟
20、器提出了资源的“时间共享”和“空间共享”概念。 “时间共享”类似于分时操作系统，多任务之间分时间片进行调度；“空间共享”表示只有当一个资源上的作业执行完后，才可以调度下一个作业。4） 数据管理；目前的网格模拟器主要考虑“副本管理”和“数据缓存”两部分。表 3 显示了不同网格模拟器的网格中间件的模拟策略。表 3：网格中间件的模拟信息服务 作业调度 资源管理 数据管理分布中间件模拟器 集中 分布 集中 P2P 分层时间共享空间共享副本管理数据缓存Bricks MicroGrid SimGrid GridSim ChicSim EDGSim GridNet OptorSim 3.1.4 网格资源的模
21、拟网格资源的模拟是网格环境模拟的基础。网格资源主要包括计算资源、存储资源以及连接它们的网络环境，其中网络环境的模拟可以体现资源的广域分布特性。网格资源的模拟主要可以包括以下几个部分：1） 计算资源的模拟；模拟计算能力；2） 存储资源的模拟；模拟存储能力；3） 网络环境的模拟；主要包括三个方面：网络带宽、网络拓扑以及由于网络通信导致的网络延迟。表 4 显示了模拟器的网格资源模拟。表 4：网格资源的模拟网络环境资源模拟模拟器计算资源 存储资源带宽 拓扑 延迟Bricks MicroGrid SimGrid GridSim ChicSim EDGSim GridNet OptorSim 3.2 模拟
22、器使用特性分类目前的网格模拟器根据如何帮助用户建立模拟环境可以主要分为四类：1） 是否基于库；有些模拟器是在现有的模拟库的基础上开发的，有些模拟器则是独立开发的；2） 是否可视化；主要指是否可以通过图形化界面来创建网格模拟环境；3） 开发语言；不同的模拟器使用的开发语言不同；4） 模拟环境的实现；有些模拟器提供 API，需要用户编程来实现网格模拟环境；有些模拟器则只需要用户通过配置文件来生成网格环境；表 5 显示了模拟器的不同特性。表 5：模拟器使用特性No 模拟器 是否基于库 可视化 开发语言 模拟实现1. Bricks 否 不支持 Java API2. MicroGrid 基于 massf
23、 不支持 C 配置文件3. SimGrid 否 不支持 C API4. GridSim 基于 SimJava 支持 Java API5. ChicSim 基于 Parsec 不支持 C 配置文件6. EDGSim 基于 Ptolemy 不支持 Java 配置文件7. GridNet 基于 ns 不支持 C+ 配置文件8. OptorSim 否 不支持 Java 配置文件4 总结和展望本文首先介绍了当前一些主流的网格模拟器，对它们的主要用途、工作原理以及体系结构进行初步分析；然后按照我们自己提出的分类标准对它们进行比较。通过研究这些模拟器，我们更加相信网格模拟在网格研究中的辅助作用。我们将会继续
24、关注网格模拟器的发展，并对这些模拟器进行更深入的分析和比较；除此之外，我们希望能借鉴这些模拟器的优点，设计一个通用的网格模拟器。参考文献1 Atsuko Takefusa. Bricks: A Performance Evaluation System for Scheduling Algorithms on the Grids. JSPS Workshop on Applied Information Technology for Science, 2001.2 Hyo J. Song, Xin Liu, Dennis Jakobsen, Ranjita Bhagwan, Xianan Zh
25、ang. The MicroGrid: a Scientific Tool for Modeling Computational Grids. Proceedings of Super Computing 2000, 2000.3 Xin Liu and Andrew Chien. Traffic-based Load Balance for Scalable Network Emulation. Proceedings of the ACM Conference on High Performance Computing and Networking, 2003.4 Henri Casano
26、va. SimGrid: A Toolkit for the Simulation of Application Scheduling. Proceedings of the First IEEE/ACM International Symposium on Cluster Computing and the Grid, pp. 430-437, 2001.5 Rajkumar Buyya and Manzur Murshed. GridSim: A Toolkit for the Modeling and Simulation of Distributed Resource Manageme
27、nt and Scheduling for Grid Computing. The Journal of Concurrency and Computation: Practice and Experience, Volume 14, Issue 13-15, Wiley Press, 2002.6 Fred Howell and Ross McNab. SimJava: A Discrete Event Simulation Package For Java With Applications In Computer Systems Modelling. First Internationa
28、l Conference on Web-based Modelling and Simulation, Society for Computer Simulation, 1998.7 Kavitha Ranganathan and Ian Foster. Identifying Dynamic Replication Strategies for a High Performance Data Grid. Proceedings of the International Grid Computing Workshop, 2001.8 Kavitha Ranganathan and Ian Fo
29、ster. Decoupling Computation and Data Scheduling in Distributed Data-Intensive Applications. International Symposium of High Performance Distributed Computing, 2002.9 Rajive Bagrodia, Richard Meyer, Mineo Takai and Yu-an Chen. Parsec: A Parallel Simulation Environment for Complex Systems. IEEE Compu
30、ter, Vol. 31(10), pp. 77-85, 1998.10 EDGSim.http:/www.hep.ucl.ac.uk/pac/EDGSim/edgsim.html.11 Ptolemy.http:/ptolemy.eecs.berkeley.edu/ptolemyII/index.htm.12 Houda Lamehamedi, Zujun Shentu, Boleslaw Szymanski, and Ewa Deelman. Simulation of Dynamic Data Replication Strategies in Data Grids. Proceedin
31、g of 12th Heterogeneous Computing Workshop, 2003.13 NS network simulator. http:/www.isi.edu/nsnam/ns/.14 William H. Bell, David G. Cameron, Luigi Capozza, A. Paul Millar, Kurt Stockinger, Floriano Zini. OptorSim - A Grid Simulator for Studying Dynamic Data Replication Strategies. International Journ
32、al of High Performance Computing Applications, 2003.Research on Grid Simulation ToolsAbstract. Grid technology tries to integrate the computing resources, storage resources, devices and equipments, etc. over the wide area network into a uniform and efficient service entity. Designing a grid system i
33、s very complex because there are many factors constrained, i.e. the dynamic, heterogeneous of global resources and efficiency of the whole system. The grid simulator provides a great facility to help the designer in verifying the design and performance. This paper gives a topical overview of the recent progress on grid simulation tools, and tries to compare and categorize them. Key words: grid system, simulation tools, taxonomy
