1、摘 要作为一种新型的分布计算技术,网格计算将地理上分布的、异构的资源用高速网络连接在一起,集成一台高速的超级计算机。分析了网格计算的意义、体系结构、资源管理、任务管理与任务调度、高速通信和安全等核心技术,以及网格应用实例和 OGSI,并在资源管理方面提出了一种类似于搜索引擎技术组织局部资源,各局部资源管理系统通过 P2P 结构互连,实现任务迁移,达到负载平衡,并保证用户提交的任务在一组密集的资源集合上运行。关键词：网格计算技术；计算节点；超级计算机；超处理能力；资源管理1.1.1 AbstractGrid computing is a new distributed technology, w
2、hich connects distributed and heterogeneous resources with high-speed network integrating a super computer of processing capacity. The paper not only explain significance and architecture of grid computing, but also expand on several kernel technology such as OGSI, resource management,task managemen
3、t, task scheduling , high rate communication, security, ect. Aiming at the particularity of the grid computing environments, We designed a mechanism similar to technology of search engine with which we may registry, discovery, locate resources in Grid. The whole model of resource management is built
4、 by connecting task manager in local resource management system and others with P2P model. Task may migrate among task managers in order to balance load. Task users summit may be executed in relatively tight resource sets, which will not only decrease the total communication overheads of the whole t
5、ask but also enhance the performance of system.Key words: grid computing technology；computing knot； supercomputer；super processing capacity；resource management目 录第 1 章 引言1第 2 章 网格系统的特点32.1 异构性 32.2 动态性 32.3 资源广泛分布与共享 32.4 自相似性 42.5 管理的多重性 4第 3 章 网格体系结构53.1 织女星网格体系结构 53.2 五层沙漏结构 53.3 开放网格服务体系结构(OGSA)
6、 53.3.1 Globus 技术 73.3.2 开放网格服务基础结构(OGSI)7第 4 章 网格计算关键技术84.1 高速通信与安全技术 84.2 资源管理 94.3 任务管理与任务调度 9第 5 章 网格应用模式11第 6 章 网格技术面临的挑战13第 7 章 结语15参考文献 17浅谈网格计算技术第 1 章 引言信息化的浪潮下,人类的应用需求正朝着高性能、多样化、多功能方向发展,需要计算能力更强大的计算机。当前,许多大规模科学计算不仅需要一台超级计算机,更需要多种机器组成、多个系统合作、多个科学仪器设备相连的网络虚拟超级计算机。这些需求鼓励人们在互联网基础上把现有的利用率不高的分散在不
7、同地理位置的、异构的、动态的资源通过高速网络连接在一起,整合成一台虚拟的超级计算机,其中每一台参与计算的计算机就是一个“节点”,而整个计算是由成千上万个“节点”组成的“一张网格”,这种计算方式叫网格计算。这样组织起来的“超级计算机”有两个优势,一个是数据处理能力超强；另一个是能充分利用网上的闲置处理能力。网格可以实现计算资源、数据资源、信息资源、知识资源等的全面的共享。从而建立一个能够实现区域或全球合作或协作的虚拟科研和实验环境,支持以大规模计算和数据处理为特征的科学活动。网格的发展,除了国家在高科技领域的竞争之外,应用也是网格发展的重要驱动。网格发展满足科学研究或者复杂问题求解,满足对海量实
8、时计算和海量资源的管理的需求。另外,网格技术是为了解决高性能计算资源的闲置和利用率问题,通过共享,资源发挥自身的价值。利益是网格发展的基本动力。在商业领域,推动网格计算的基本动力是实在的利益。众多的企业正逐步认识到网格如何可以帮助它们解决实际问题。以计算资源为例,如今,大多数企业平均只利用了计算资源总量的 20%到 30%,那就意味着大部分企业浪费了近 70%的已经购买的计算资源。网格计算不仅可以自动实现资源分配,使 80%到 90%的资源能够被企业利用,在提高生产效率上同样能够发挥作用。根据内部研究,我们发现网格可以把机械工程师的效率提高 5 倍。在网格的帮助下,工程师们同时提交 5 个任务
9、,并且比以往更快,质量更有保证。网格计算的另一大好处就是使资源可用。用户只需向网格提交指令和资源请求,网格引擎便会选择最适合的系统即当前负荷最小的系统来运行,根本不需用户操心究竟是哪台机器在执行,整个系统对用户非常友好。就这样,工作很快完成了,用户感到满意,公司也节省了开销。网格同时也能够把分散的系统联合在一起。过去,公司总得为不同的应用购置单独的系统,如今,网格可以替我们应付不同厂商的系统,自动协调。故障免除是网格环境的一大优势。当网格中的一个系统瘫痪了,其他可用的系统会替它自动完成任务。不同于大型机时代,那时一旦主机出现问题所有的应用程序和用户都会被影响。今天更加聪明的网格可以把任务转送到
10、网格可用的系统,绕开故障的机器。检查点迁移使得应用程序能够从检查点恢复数据,避免丢失。你看,网格计算的优点很多,解决了很多企业必须面临的问题。所以网格计算在市场上流行也不足为怪了。作为一种新兴的造价低廉而数据处理能力强的网格系统的建立,有利于各计算中心的资源共享,充分利用硬件和软件资源超强的计算模型,网格计算必将对计算机的应用及各行各业的信息化产生重大影响。网格技术,在节约成本的同时,还将使其在基础研究、汽车、大型水电工程、石油勘探、气象气候、航空、交通、金融、医疗等领域发挥空前的作用。第 2 章 网格系统的特点2.1 异构性高速网络连接起来的各种资源是异构的,网格环境中具有各种不同类型的资源
11、,而且每类资源有不同的属性。2.2 动态性网格环境下的一些资源本身具有动态性,例如,CPU 在处理任务的时候,每个时刻的负载可能不相同；网络的链路带宽的流量每时每刻都在变化中；内存的占有量随着进程状态的变化而变化。在整个网格环境下,随着计算资源、数据资源等的不断的加入和撤消、故障等原因,网格系统下的局部环境也在动态的改变着。2.3 资源广泛分布与共享网格系统的目标的是连接地理位置不同的异构计算机、异构数据库,贵重仪器等用高速网络连接起来,把它们整合成一个虚拟系统。进行科学研究的时候,中国、美国和欧洲的科学家分别通过本地的计算机利用网格系统共享科学研究成果,相互交流并对下一步的研究工作做出部署。
12、网格系统通过计算（computation）、协作(collaboration)、通讯(communication),借助于互联网技术,将计算协作和通讯融为一体,网格成为解决方案的新模式。更值得一提的是,网格计算是分布式的架构,类似于输电网,网格将计算与数据资源传送到任何需要它的地方。网格计算还能充分地利用组织内的系统资源。在许多公司,总有很多资源是被闲置的。习惯上,我们总是购进独立的整机来支持一些具体的运用,然而由于空间的阻隔,不可避免使得大量单独的系统成为一个个无联系的孤岛。在大量资源闲置的同时,总有用户不停地寻找更多的计算资源,以应付过于沉重的并发请求。而网格则可以将闲置的资源收集起来,以
13、实现更高的利用率。借助网格,把所有的计算资源联网,无论桌面电脑、服务器、存储器还是数据库,从宏观上统一调配,把计算资源分配到最需要的地方。由于网格做到了计算资源按需分配,彻底改变了传统计算的一整套核算体系,使网格计算成为不可阻挡的趋势。网格计算能够完成过去难以想象的复杂运算,并能长期执行。由于能够充分利用现有设备提高投资回报,出现对网格的需求是预料中的。随着网格的出现,一些需要高强度运算的应用可以在一个合理的价格水平上获得更多的支持,至于那些更加复杂的计算则会更大程度上依赖网格。对一些团体或组织而言,借助网格这种新的方式便可以引入更复杂精确的计算和分析,过去不敢想象的事如今可能会变得轻松平常。
14、2.4 自相似性网格的局部和整体之间存在着一定的相似性,局部往往在许多地方具有全局的某些特征,而全局的特征在局部中也有一定的体现。例如,我们可以建立一个校园网格,所有的校园网格可以组成一个大的教育网格,现阶段教育网格节点学校北京大学、华中科技大学、清华大学等 12 所高校,另外,教育网格将在未来连接中国的 100 所重点高校,接入新网格计算项目的各所大学将通过中国教育和科研计算机网（Cernet）连接到一起。其中,中国教育科研网格(ChinaGrid)项目是“十五”国家“211 工程”公共服务体系“中国教育科研网高速地区网和重点学科信息服务体系建设”项目中的重要建设内容。它是迄今为止由政府推出
15、的最宏大的网格工程,该项目由 12 所大学联合推出,到网格建成时,它将在教育科研网上把全国 100 所 211 建设重点大学的资源广泛共享。ChinaGrid 的目标是在 2005 年建立聚合能力超过15 万亿次量级的教育科研网格,形成世界上最大的超级网格之一,并争取在网格计算的基础研究和应用研究方面走在世界前列。2.5 管理的多重性网格环境下的局部资源既属于个人或机构,由个人对其资源作相应的管理和维护,又要在网格系统作整体部署的时候,由网格管理员根据系统里任务的情况统一调度网格环境下的资源。第 3 章 网格体系结构网格体系结构是构造网格的一个大的框架,是构建网格系统的基础。主要是关于如何建立
16、一个网格,其主要内容有：构成整个网格系统的各部分、每个部分的功能、各部分间的相互关系及网格有效运行的机制。网格体系结构一般可以分为：积木块结构、层次结构、概念空间结构、混合结构。目前,比较有影响的几种体系结构有：国内的织女星网格体系结构、五层沙漏结构、开放网格服务体系结构 Open Grid Services Architecture（OGSA）等。3.1 织女星网格体系结构织女星网格体系结构的设计原理是依据一个完整的计算机系统一般都由计算机硬件、操作系统和应用系统三部分组成,织女星网格硬件资源路由器,是区别其它体系结构的标志,资源信息通过资源路由器组织,路由器接收资源请求,并转发该信息,直到
17、找到其所需的资源。3.2 五层沙漏结构五层沙漏结构是以协议为中心的沙漏型体系结构。按照沙漏模型的原理,少量的核心协议（资源层和连接层）形成了协议层次结构中的一个瓶颈,对于其最核心的部分,要实现上层协议（沙漏的顶层）向核心协议的映射,同时实现核心协议向下层协议（沙漏的底层）的映射。资源层和连接层促进了单独的资源的共享。3.3 开放网格服务体系结构(OGSA)OGSA 是一种以服务为中心的结构,一切都是服务(一个服务就是一个网络可达的、并提供某些能力的实体：计算资源、存储资源、网络、程序、数据库及其他类似的资源)。OGSA 是由 Global Grid Forum（全球网格论坛）（GGF）的 Op
18、en Grid Services Infrastructure（开放网格服务基础架构）（OGSI）工作小组于 2002 年 6 月制定的。开放式的网格服务体系 OGSA 是一个由节点和连线构成的框架。该框架的节点是网格服务,而网格服务之间的连线是网格服务相互交流时所用的语言。网格服务是特殊的网络服务专供用来维持和管理网格体系。OGSA 网格也为五层结构,其结构同五层沙漏结构相似,自下而上为结构层、连接层、资源层、汇聚层及应用层。但 OGSA 结构较五层沙漏结构有着以下特点：1 以服务为中心的模型如果说五层沙漏结构是以协议为中心的“协议结构”,其试图实现的是对资源的共享,则 OGSA 就是以服务
19、为中心的“服务结构”,其实现的是对服务的共享。OGSA 将一切看作服务,并定义了“网格服务”,该服务提供了一组接口,这些接口明确遵守特定的惯例,解决服务发现、动态服务创建、生命周期管理、通知等问题。因此,网格是可扩展的网格服务的集合。2 统一的 Web Service 框架Web Service 描述了一种新出现的、重要的分布式计算范式,定义了一种技术,用于描述被访问的软件组件、访问组件的方法以及找到相关服务发现方法,解决了发现和激发永久服务的问题。OGSA 是符合标准的 Web service 框架的。但是在网格中,大量的是临时服务,因此OGSA 对 Web service 进行了扩展模仿,
20、使得它可以支持临时服务实例,并,提出的是网格服务（Grid Service）的且能够支持创建和删除。3 突破科技应用领域正如 Web 技术一开始是科学协议而出现的,但是后来却在商业领域大量使用一样,OGSA 将原来主要在科技领域应用的网格技术转移到工商业领域。OGSA 面向服务的特点允许我们在不同的层次虚拟化资源,因此相同的机制与抽象可以应用于多个组织之间的分布式网格支持的协作,或者是跨越多个特点的主要环境。OGSA 被称为是下一代的网格体系结构,是基于 Web Service 概念和技术结合 Globus 的网格系统结构上的一种演变,即在 Globus 基础上,结合最新的 Web Servi
21、ce 技术提出来的,现以成为事实上的标准。OGSA 的主要目标为：1 跨分布式异构平台管理资源。2 交付无缝的服务质量（Quality of Service,OoS）。网格的拓扑结构通常十分复杂,而且网格资源的交互往往是动态的。有一点很重要,即网格可以提供健壮的后台服务,比如授权、访问控制和委托。3 为自治管理解决方案提供公共基础。网格可以包含许多资源,还有大量的配置组合、交互以及状态与故障模式的改变。对于这些资源来说,一些智能自动调节与自治管理方式是必不可少的。4 定义开放的、已公布的接口。OGSA 是一种由 GGF 标准团体进行管理的开放式标准。为了不同资源的互操作性,网格必须构建在标准接
22、口及协议之上。5 利用行业标准的集成技术。OGSA 的创始者很有远见地利用了现有解决方案。OGSA 的基础是 Web 服务。3.3.1 Globus 技术Globus 是一种用于构建计算网格的开放体系结构、开放标准工具。它使您熟悉构建、部署和管理网格领域。Globus 对资源管理、安全、信息服务及数据管理等网格计算的关键理论进行研究并提供了基本的机制和接口。该项目早已开发出了能在各种平台上运行的网格计算工具软件（Toolkit）支持网格计算和网格应用的一套服务和软件库。帮助规划和组建大型的网格试验平台,开发适合大型网格系统运行的大型应用程序。目前,Globus 工具包机制已经被应用于全球数百个站点和几十个主要的网格计算项目：NASA 网格(NASA IPG)、欧洲数据网格（Data Grid）和美国国家技术网格(NTG)等。3.3.2 开放网格服务基础结构(OGSI)开放网格服务基础结构(OGSI)是开放网格服务该体系结构的基本组件,用于为 OGSA 软件组件提供最大的互操作性。OGSI 引入了一种网格服务的交互模型。通过提供发现、生命周期、状态管理、创建与销毁、事件通知以及引用管理的接口,OGSI 为软件开发人员提供了一种统一的建模和与网格服务进行交互的方式。不论开发人员正在开发的是网格服务还是应用程序,OGSI 编程模型都会为网格软件提供一种一致的交互方式。
