1、1,网格计算技术 Grid Computing,桂小林 西安交通大学计算机科学与技术系 2006.5.8,新一代互联网络应用技术,2,引子,网格（Grid）技术是近年来兴起的一门信息新技术，它代表了继Internet技术和Web技术之后的第三次技术浪潮。 本课程书结合国内外在网格计算技术、网格信息服务技术方面的最新发展状况，系统介绍网格技术的基本概念、基本方法和基本技术。 具体包括：网格技术的产生背景和目标，网格的基本概念和特征，网格的发展历程，网格的体系结构（包括OGSA和OGSI），网格家族的主要成员（包括P2P、语义Web、知识本体论、智能代理和内容分发网络等）的基本工作原理，网格计算技
2、术（包括网格并行计算与科学计算），网格通信技术，网格应用调度技术，网格安全技术和网格信息服务技术。,3,频度,4,热度,5,1988 1993 1995 1998 2000 2002 2005,同构计算,异构计算,元计算,网格计算,普适计算,计算规模,计算模式的演变,6,参考书目,桂小林，网格技术导论，北京邮电大学出版社，2005Cerami E. Web服务精髓. 陈逸，译. 北京：中国电力出版社, 2003Marcus R. Great Global Grid: Emerging Technology Strategies. New York: Wiley Press, 2002,7,第一
3、章：网格的基本概念,网格的用途 网格的概念 网格的本质 网格的目标 网格需要解决的问题 网格的机遇与挑战 网格的理想,8,计算资源存在极大浪费,据估计，全球大型超级计算机系统在大量时间内（约60%）处于闲置状态，UNIX家族服务器也只有30% 左右的时间在处理用户应用，而个人桌面计算机则每天有一半以上的时间处于关机状态。另据一些专业媒体披露：网络上的大量工作站和服务器的利用率也仅仅使用了其20左右的能力；就像科研院所这样使用计算机频率高的单位，其计算机及其资源的利用率也仅为25左右。 如果这样的情况出现在一个企业内部的其它事务上，那肯定是不难以容忍的。例如，如果一家电视机制造工厂的生产流水线有
4、50以上的空闲，一家航空公司有60% 的飞机在地面待机，一家汽车制造商 50% 的组装厂被闲置，或者一家旅游连锁店有 85% 的房间是空置的，那么企业的利润将会受到严重影响，而且这种情况在一个正常的企业内也是不允许的。,9,网络上很多资源无法发现和共享,目前，在Internet上通过FTP提供了大量的文件共享，通过网页提供大量的文本共享。互联网上，这两方面的共享资源每天都在飞速增长，不可能有哪个单一的服务器或者搜索引擎能够掌握所有资源。 根据专家估计，现在每年互联网都会增加1018字节以上的内容，但大概只有1012字节能为公众所用，只相当于总量的百万分之一，即便是某些功能强大的搜索引擎也只能查
5、找其中约108字节的内容。,10,网格的用途,网格聚合广域计算资源 网格共享广域信息资源 总的来讲,是应用需求推动着网格技术的产生和发展。 最初，网格被认为是支持广域高性能计算的，通过高速网络互连的跨管理域的、异构的软硬件资源协作体。 现在，网格与Web服务结合，可以提供信息资源共享、发现与检索服务。,11,网格聚合广域计算资源,随着计算机网络的迅速发展，带宽的日益增长，聚集网络上各种机器提供统一资源服务现已成为一种趋势。使用单一的机器构成完整而独立的计算机存在明显不足：当一个机器为很多作业提供运行服务时，其它机器却处于空闲状态。这会导致资源的巨大浪费。 PC集群（Cluster of PC，
6、PCs）、工作站机群（Network of Workstations，NOWs）是共享网络机器资源的典型例子。然而，PCs和NOWs共享的机器通常具有相同的体系结构，即包括相同的CPU、相同的操作系统配置，而网络中大部分其它体系结构的机器却无法实现共享。 想象一下，如果一个组织内能够在晚上使用其所有的空闲计算机、服务器、工作站来运行通信密集型、计算密集型任务，将会怎么样呢？它们会完成得更好更快，企业可能因此更快地将产品推向市场，同时削减其用于信息环境建设上的大量开支，企业也因此从中获取更多利润，竞争力自然增强。,12,网格共享广域信息资源,网格最早从高性能计算发展而来，后经历元计算到网格计算，
7、再到现在的网格信息服务。 网格不仅支持旨在聚合计算资源的高性能科学计算，而且支持分布式资源的协作与共享；不仅综合了对科学计算、并行计算以及工程计算等各种业务的支持，即解决计算密集型的重大挑战性的问题，同时还构成事务处理、信息交流、电子商务、远程教育、远程医疗、数字图书馆等新型应用的基础。,13,14,网格的概念,网格（Grid)是一种新技术，也是一种新思想, 不同的组织和个人有不同的定义。 它具有新技术的两个主要特征： 其一，不同群体使用不同的名词来称谓它； 其二，网格的精确含义和内容还没有固定，而是在不断变化。 网格（Grid）技术起源于20世纪90年代初由美国政府资助的分布式超级计算（Di
8、stributed Supercomputing）项目I-WAY。 从1993年开始，高性能计算技术和互联网技术进一步融合，酝酿产生了继因特网、Web之后的第三大技术浪潮。 “网格”这一术语的思想则源于日常生活中公共设施的应用，Ian Foster出版的著作中最早将它称之为“网格”。,15,网格的概念,2002年7月，Ian Foster在What is the Grid? A Three Point Checklist中，认为网格必须同时满足三个条件： (1) 在非集中控制的环境中协同使用资源； (2)使用标准的、开放的和通用的协议和接口（也就是指Globus）； (3) 提供非平凡的服务。
9、 可见，这三个条件要求非常严格，这样像P2P(Peer to Peer)、SUN Grid Engine、Condor、Entropia、MultiCluster 等都被排除在网格之外。 而另一些人则赞同广义的“网格观”，并把它称作巨大全球网格（Great Global Grid，GGG），它不仅包括计算网格、数据网格、信息网格、知识网格、商业网格，还包括一些已有的网络计算模式，例如对等计算P2P、进化计算等。,16,网格的概念,Ian Foster的定义：“网格计算是动态多机构虚拟组织中的一个协调的共享资源和解决问题的过程”。 IBM认为：网格就是“服务”、“业务”（Services） 我们
10、认为：网格是分布式异构资源的协作体。 显然，网格这一概念也是“与时俱进”的。,17,网格的本质,作为新一代网络计算与应用技术，网格的本质不是它的规模，而是充分利用互联网络中的现有软硬件资源，支持广域环境上的计算、数据、存储、信息和知识资源的共享、互通与互用，消除资源孤岛，以较低成本获得高性能。 网格要解决的问题可以概括为：如何在动态、异构虚拟组织间利用网格资源来协同的解决某一问题，如复杂计算问题和信息服务问题。,18,网格的目标,网格的目标是将地理上分布的、系统上异构的多种计算资源通过高速网络连接起来，协同解决大型应用问题，进行广域信息资源的分布共享，最终把整个因特网整合成一台超级虚拟计算机。
11、 网格需要为用户提供统一的编程与应用接口，屏蔽硬件边界、进程通信和同步的复杂性，为用户提供单一的虚拟机器。,19,网格的目标（2）,（1）降低应用成本低 利用因特网中的各种已有软、硬件资源支持各种应用，不仅可以节省应用成本，而且可以带动各学科研究水平的快速提高。 （2）屏蔽资源的分布性 网格资源通常是跨管理域的资源，这些资源属于不同的组织，信任关系不容易事先确定。,20,网格的目标（3）,（3）屏蔽资源的异构性 每个系统可能具有不同的数据表示 每个系统可能安装不同体系结构的处理器 每个处理器可能有不同的处理器速度 每个系统的内部消息可能有不同的通信速度 每个系统可能采用不同的通信协议 任何两个
12、系统间的消息通信带宽可能不同 （4）保证资源自治性、动态性和扩展性,PC X86,Sun Sparc,IBM RS6K,21,网格的目标（4）,（4）保证资源自治性、动态性和扩展性 网格首先要保证网格结点的自治性。自治性是指网格系统不因影响节点的原有功能，节点有自愿加入和退出网格的权力。 网格资源的动态性需要网格具有自适应性。对于临时性加入的网格资源，通过信息传感器来发现其可用性。 网格的扩展性要解决网络节点增多、资源规模扩大、应用增加等情况下，不降低网格性能的问题。,22,1.4 网格需要解决的问题,网格要解决的问题可以概括为：如何在动态、异构虚拟组织间利用网格资源来协同的解决某一问题，如复
13、杂计算问题和信息服务问题 虚拟组织的协作 资源共享的无缝性 资源协同的应用求解 异构性的自适应,23,网格的机遇与挑战,表1.1 互联网三次浪潮形成的技术标准和原型,没有标准，就难以竞争。我国在技术标准文档的制定方面，远远落后于西方国家。在因特网发展的30多年历史中，出现了3180个技术标准文档（RFC）。我国科技界仅参与了一个技术标准文档的制定，那就是1996年3月（因特网第一个标准制定27年后，TCP/IP协议制定22年后）牵头制定的中文字符编码标准（RFC 1922）。万维网（Web）发展至今也近10多年了，出现了46个技术标准，我国参与制定的技术标准还一个也没有.,24,网格的理想,正
14、如元计算专家L. Smarr和C.E. Catlett所认为的那样：“最终，除了一台摆在桌面上的计算机外，用户将觉察不到对其它计算机资源的使用，因为系统拥有了通过网络延伸并获得任何所需计算资源的能力”。,25,小结,网格带来的挑战的核心问题是如何为网格提供一致操作环境，进行分布式协同计算、广域资源的获取，以支持用户无处不在地操作网格，实现资源共享、协同计算与应用服务。 在网格的面对的挑战中，需要关心网格协议的制定、协同计算模型的建立、网格开放体系结构、并发通信模型、资源动态管理与监测、任务调度算法和多编程环境协同等技术。 通过这些技术的研究，可以提高网格的用户可操作性，降低使用门槛，吸引更多用
15、户加入到网格中来，从而壮大网格的规模，提高资源聚集度，以支持广域资源的融合与共享、分布式协同计算与应用服务。,26,第二章：网格的历史,桂小林 西安交通大学 计算机科学与技术系,27,引子,网格是应用需求的产物。网格起源于分布式高性能计算，后来经历了异构计算、元计算到网格计算三个阶段。 由于人类对计算机性能的需求永无止境，在诸如预测模型的构造和模拟，工程设计和自动化，能源勘探，医学，军事等领域内对计算能力提出了极高的、具有挑战性的要求。 而传统的计算模式已经难以适应日益增长的应用需求，计算模式发生改变成为必然。 计算模式从基于同构系统的并行计算演变到基于异构环境的分布式计算，再从分布式计算演变
16、到元计算和网格计算。,28,元器件的发展,元器件的发展，无疑是过去几十年来推动计算机技术发展的重要动力，也是最活跃、最具影响的因素。 尽管元器件制造技术在不断改进，集成电路的设计方法不断更新，但在未来十年内，元器件的速度不可能继续以以往的速度继续提高(在过去10年里，CPU的主频每18个月就提高一倍)。 据SIA(Semiconductor Industry Association)预测，目前集成电路制造的主导技术-CMOS技术，在2010年左右可能达到极限。 如果没有理论与技术上的重大突破，那么提高元器件的速度最终将受到光速和氢原子直径的限制。 而另一方面，人类对计算机系统性能的需求永无止境
17、，应用领域需要计算机解决的问题越来越复杂，规模越来越大。,29,体系结构的发展,过去40年来，科学家提出了很多并行处理技术，如流水线、向量化和陈列等；设计了各种计算机系统，如对称多处理机(Symmetrical Multi-Processors，SMP)，大规模并行处理机(Massive Parallel Processors，MPP)等，它们都极大地提高了计算机系统的整体速度。 但由于SMP、MPP的处理器往往是同构的，而应用任务可能包含复杂的内在并行行（性，对吗？）(如SIMD、MIMD和向量等)，不同的并行性可能适合不同的处理机来运行。 在SMP或MPP系统中，大部分应用程序仅能获得其峰
18、值性能的一小部分。,30,同构计算系统的不足,传统的同构计算系统通常在一个给定的机器上使用一种并行编程模型，不能满足多于一种并行性的应用需求。 单一类型的机器经常花费大部分的时间在不适合其执行的代码上。任何一类同构系统都有其固有的局限性。 向量机器使用交错存储器，流水线ALU，从而导致可达每秒百万浮点的性能。如果应用程序不能开发出这些特性，则系统性能将严重下降。 由Amdahl定理可知，并行计算系统对于不适合其执行的并行任务往往将花费大量的额外开销。如果映射大部分任务(或子任务)在不合适的机器上运行，将引起计算系统的机器性能的下降，并使编程人员的调度努力失去意义。 研究和开发支持多种内在并行应
19、用的计算系统是摆在我们面前的重大挑战，其目的是提高计算效率，获取应用程序峰值性能的大部分。,31,异构计算系统的优势,异构计算系统支持具有多内在并行性的应用，它可以提高应用程序实际执行性能与其峰值性能的比。 计算系统的异构性并不是一个新概念，几种专门的协处理器已经用于提高计算机系统的吞吐量。 I/O处理器和浮点处理器是其中的典型代表，它们是增强系统性能的一个异构化方法。 一个异构系统通常包括若干异构的计算节点、互连的高速网络、通信接口以及编程环境等。 图2.1给出一个典型的异构计算环境，该异构计算环境包括PC、工作站机群、超级计算机等。,32,图2.1 一个典型的异构计算环境,33,异构计算系
20、统的优势,异构计算环境具有实现Petaflops (1015Flops/s)性能的潜力。Why？ 通过下面的例子而窥见一斑： 例如，某个复杂的应用问题中，假设其包括30%的向量代码，15%的MIMD代码，20%的SIMD代码，25%的数据流代码和10%的串行代码。 如果在单机上执行，将花费25个时间单位； 如果在超级向量计算机上运行，其性能可比串行执行时提高一倍； 如果在图2.1中所示的异构计算环境（包含PASM、Cray Y-MP、CM-5、MPP、IUL等机器）上运行，其性能可同比提高20倍以上。,34,35,异构计算系统的优势,表2-1：不同嵌入并行行的应用在不同环境上的执行性能比较,3
21、6,异构计算系统的分类与不足,基于异构计算环境的异构处理可分为粗粒度异构处理和细粒度异构处理。 细粒度异构是按指令分配和调度，通信开销太大； 而粗粒度异构是按指令块进行调度，通信开销可以容忍，是具有开发前景的一种异构处理。 粗粒度的异构处理又称为元计算(Metacomputing，Metacomputation)，,37,几个定义,定义2.1 一个异构系统是指异构的且非均一的系统，它由不同类型的节点构成，在同一类型的节点中，这些节点的处理能力可能相同也可能不相同。 定义2.2 一个异构均一系统是指异构的且均一的系统，它由不同类型的节点构成，在同一类型的节点中，所有节点的处理能力均相同。 定义2
22、.3 一个同构系统是指同构且均一的系统，它包含同一类型的节点，每个节点均具有相同的处理能力。 定义2.4 一个同构非均一系统是一个同构的且非均一的系统，它包含同一类型的节点，在这些节点中，有一些节点的处理能力各不相同。,38,元计算,粗粒度的异构处理称为元计算(Metacomputing)。 异构计算环境得以成功地应用在高性能计算领域，主要得益于网络通信实施的高速发展。 每一个公司都有着大量的未被开发的异构计算能力。 当每个2GHz的奔腾处理器开机闲置，等候键盘指令的时候，这种潜力就非常明显。 充分利用Internet网络上的这些节点和通信媒介，建立广域异构计算机系统来支持分布式高性能计算将变
23、得不再昂贵。因为，使用现有计算机硬件，通过现有互联网络，研发元计算系统可节省大量硬件成本。,39,元计算的研究目标,元计算系统总体上应该制定如下目标： 提供单一映像空间 保证用户站点自治 提供强力安全服务 支持高效容错功能 支持统一资源管理 保证延迟可容忍,40,元计算环境,41,元计算系统的关键技术,异构数据通信模型 在元计算系统中，由于参与计算的节点是异构的主机节点，当在异构节点间通信时，同一数据信息在不同的节点上将会出现理解上的歧义性。 统一资源管理 单一映像文件系统将地理上分散的异构资源映射成一个单一入口的虚拟机器。目前，构造单一映像文件系统一般使用虚拟目录技术，将各种分散的地理资源映
24、射到逻辑的文件系统上。,42,元计算系统的关键技术（2）,任务调度算法 通常，一个应用程序的调度过程包括四个方面：（1）应用类型分析与任务分解；（2）机器选择；（3）任务映射与调度；（4）应用结果收集与返回。 安全与容错 认证 、传输、容错（自动修复） 和信任,43,元计算的扩展网格,分布式计算，扩展到 信息共享服务计算服务 + 信息服务 网格服务元计算提供“分布式计算”服务,44,元计算的扩展网格,信息服务,45,网格术语的历史渊源,“网格计算”的概念最早出现于1995年的I-WAY项目中，其中网格一词是借鉴电力网（Electronic Power Grid）的概念而提出的。 当网络用户接入
25、Internet以后，就如同电力用户将插头插入电力网那样接入WAN、LAN，可以得到“随你所需”的电力那样得到计算与信息资源的供应，而不必知道电力（计算机和信息资源）来自何处。,46,Electrical Power Grid,Computational Grid,47,网格 好比 电力网格,48,表2.2 电力网格与计算网格的组成比较,49,网格的研究现状,50,网格研究现状,网格技术的发展到目前为止基本上可以划分为以下3个阶段： （1）萌芽阶段：在上世纪90年代早期，主要是千兆网的测试床，以及一些元计算的实验系统； （2）早期实验阶段：在上世纪90年代中期到晚期，比如I-WAY项目，还包括
26、一些学术性的软件项目，如Globus、Legion，还有一些应用实验； （3）迅速发展阶段：2002年以来，出现了大量的应用社团和项目，主要基础设施的开发和使用。,51,政府计划,52,外国政府计划,PACI计划 由美国自然科学基金会支持，是80年代的超级计算中心项目的继续，其目标是试验未来1015年美国社会的信息基础设施。PACI计划支持了两个联盟，即Illinois大学超级计算机应用中心牵头的NCSA和Sandia大学超级计算机中心牵头的NPACI，其下各连100多个结点。 ASCI计划 美国能源部为核武器储存和虚拟核爆研究而发展的计划。以Los Alamos、Sandia和Livermo
27、re三个国家实验室作为超级结点，至2004年达到每秒100万亿次的计算能力，以满足全系统、全物理、全三维的模拟的需要。,53,HPCMP网络 美国国防部建立的高性能计算的基础设施，供全国各地4000多名军事科技人员面向国防研究和开发使用。该网包括4个主计算中心，13个分中心，数十个远程中心。四个主中心1998年共装备了23套计算机，速度从20亿5000亿次，它集成了HPCMP的大部分计算能力。 Griphyn 2000年9月，美国国家科学基金会（NSF）的计算机与信息科学与工程学部（CISE）宣布资助网格物理网（Grid Physics Network，简称Griphyn）大型科研项目。该项目
28、旨在使用网格技术处理和解释由高能物理和天体物理实验中产生的海量数据，进而发现并共享科学知识；使用网格技术处理粒子加速机与天体物理学的庞大数据；大型网络上的自动故障感应软件，能自动找出并修复网络上的数据,54,中国政府计划,2002年，中国政府则启动863计划的“高性能计算”专项支持网格的研究，目标是开发国产网格软件，提出国内的网格计算标准草案。 2003年初教育部则通过“ChinaGrid”计划支持十二所大学建立教育网格平台，并支持五大应用网格的研究。,55,2003年12月，国家自然科学基金委员会通过其重大研究计划“以网络为基础的科学活动环境”来支持网格计算理论、关键技术及其应用中间件的研究
29、，实现生物信息、地理信息和计算能力的在线共享、互通与互用。 2005年7月国家自然科学基金委员会启动第2期网格重大专项。 2004年5月，国家科技部启动“国家科技基础条件平台专项项目”，旨在以资源整合为主线，以信息化、网络化带动实物资源共享为工作重点，实现科技发展急需且现有基础条件较好的若干领域的资源共享平台，如大型科学仪器设备共享平台、科学数据共享平台和科技文献资源建设与共享服务平台等。,56,学术研究,目前计算机领域的各种国际会议已经将网格的相关研究问题作为讨论内容的主题之一，并在会议各讨论专题中占有相当大的部分。 在政府的支持下，学术界现有各种网格系统或原型正在研究与开发，其中以美国的G
30、lobus、Legion、Condor，欧洲的MOL、Globe等较为成功。 I-WAY/,57,I-WAY,I-WAY是一个大规模的广域计算测试平台。 它连接着为100多位用户服务的美国超级计算机结点。在主要研究问题中，有安全性、实用性及网络协议这几个方面。 在这个计划中，Sandia的大型并行因特网和坐落于Oak Ridge的使用千兆ATM网络技术的国家实验室的网络连接在一起。,58,Globus,Globus工程以I-WAY和I-Soft作为基础，是多个研究机构合作的研究成果，目的是提供可视的、可靠的和一致的访问高性能计算环境的手段。 Globus的研究分三步走：首先开发计算网格需要的高
31、级工具与基本技术，然后利用这些技术和工具构建大规模的计算网格，最后在构建的网格上运行实际的应用，获得性能结果，评估计算网格的效率，并提出改进网格性能的方法。 Globus通过“bag of services”提供不同服务，使用不同高级工具支持资源管理服务、信息服务、安全服务、远程数据访问服务、通信服务和执行管理服务等。,59,60,61,Legion,Legion工程强调工作站簇(或机群)上的并行任务的高效运行。 使用C+的扩充性语言Mentat实现。支持基于认证的用户安全服务、面向对象的虚拟文件服务和MMPS通信服务。 与Globus提供“bag of services”相反，Legion围
32、绕Legion对象模型进行组织，Legion的每个部件都用一个对象来表示，缺少必要的灵活性。 Legion的公共对象编程模型允许用户和工具软件编写者使用各种服务来有效使用超级计算环境：调度程序，I/O服务，应用程序组件等。,62,Legion,63,64,NetSolve,NetSolve系统由美国田纳西大学和Oak Ridge国家实验室联合开发的一个网络化科学计算工具。 这些机器位于局域网、广域网或者全球网络中，并且可以被不同的机构和组织管理。此外，NetSolve 系统能够支持在异构环境中的不同体系结构、不同操作系统和不同的内部数据表示的机器上实现同一时间交互。 NetSolve使用智能代
33、理技术实现，通常被称为网格中间件，NetSolve担当着一个将应用或用户与硬件和需要完成有用任务的软件联系在一起的粘合层的角色。 NetSolve系统有三个主要组成部分：NetSolve 客户端、NetSolve 代理、NetSolve 计算资源（或服务）。,65,Jack Dongarra dongarracs.utk.edu dongarra cs.utk.edu University Distinguished Professor,66,MOL,MOL是Northrhine-Westphalian(北莱茵河-威斯特伐利亚)的研究专案组实现的元计算机的雏形。 MOL不是基于特定的编程模式工
34、作，它被设计为一个包含多种软件模块的开放的、可扩展的软件系统，每一个软件模块都完成诸如资源管理、工作控制、任务通讯、用户接口等任务。 MOL工程致力于集成现有的软件模块成一个开放的可扩展的环境。 MOL目前支持的是运行在局域或广域网络连接的诸如Parsytec GC、Intel Paragon、IBM SP2以及Unix工作站等构成的高性能计算系统。,67,Globe,Globe是荷兰Vrije大学发展起来的，与Globus和Legion也有一些相同的研究目标和属性。 Globe是运行在现有主操作系统和网络协议之上的中间件超级计算系统，支持灵活的程序执行，使用一个单一的对象模型和体系结构，并使
35、用类对象来抽象执行细节。 Globe对象物理地分布在许多节点上，导致Globe加载部分对象到调用方的地址空间。但是，Globe不提供核心(基本)对象模型抽象执行程序，也不注重安全性和站点自治。,68,Polder,Polder元计算环境是由荷兰的阿姆斯特丹大学，核能以及高能物理国家研究中心、Delf 科技大学和Wisconsin大学共同开发的元计算实验床。 其目的是将这几个机构的各种异构的计算资源组织起来，提供单一的使用界面、统一的存取方式和计算环境。 其结构模型使得研究人员可以方便的将其工作重点放在负载共享和平衡、任务迁移、远程存取等。,69,Polde CrossGrid,In the P
36、older Computing Environment, we we aim to achieve an optimal mapping of computational problems onto parallel and distributed computer systems. NameP.M.A. Sloot (Peter)GroupInstituut InformaticaE-mail (science.uva.nl)slootPhone+31 20 525 7537 RoomF.213 AddressInformatics Institute Kruislaan 403 1098
37、SJ Amsterdam Tel: +31 20 525 7460 / +31 20 525 7462 Fax: +31 20 525 7490 / +31 20 525 7419 Homepagehttp:/staff.science.uva.nl/sloot/,70,ChinaGrid,71,ChinaGrid,72,KING,73,商业应用网格产品,惠普推出了eSpeak万维网服务平台； IBM用它的WebSphere平台和一系列中间件实现万维网服务； 微软的路线是通过其.Net计划和C语言实现万维网服务； Sun则通过Open Network Environment（Sun ONE）计
38、划和Java平台来实现它。,74,网格的发展趋势,网格标准化趋势 技术融合趋势 大型化趋势应用化趋势,75,Thanks！,76,第三章 兴旺的网格家族,网格家族 计算网格 数据网格 信息网格 对等计算 普适计算 知识网格 智能代理 Web服务 内容分发网络,77,网格家族,由于网格起源于高性能计算，所以首先介绍计算网格和拾遗网格。它们是高性能计算技术、异构处理技术和元计算技术等的必然发展产物。随着各种新技术的发展，网格的研究重点集中到智能信息处理上，主要关注如何消除信息孤岛、知识孤岛，实现信息资源和知识资源的智能共享。因此有必要介绍数据网格和信息服务网格。 根据当前国内外对网格技术的研究状况
39、，从研究的侧重点上，网格家族的主要成员有:计算网格、拾遗网格、数据网格、信息网格、P2P、智能代理、CDN、Web服务、语义网、本体论、SDN、e-Service、e-Science和RTEC等。,78,计算网格,计算网格(Computational Grid)聚合网络上分布的各种同构与异构的计算机、工作站、机群(NOWs)、群集(COW)、数据库、高级一起和存储设备等，形成对用户相对透明的、虚拟的高性能计算环境。计算网格被定义为一个广域范围内的一体化的集成与协同计算环境。它的主要目标是利用网络中现有的软硬件资源，实现高性能计算环境的有效聚合，支持广域分布的高性能协同计算，解决大规模的科学计算
40、问题。 拾遗网格(Scavenging Grid)是计算网格的一种特殊表示形式。它有聚合大量的PC桌面系统的计算能力，获得高性能的计算服务。,79,数据网格,数据网格(Data Grid)负责容纳和提供对跨组织数据的协作访问能力。数据网格允许这些不同组织之间共享其数据，协作共享数据的管理和保证数据访问的安全性。用户只要有权访问数据，就不必关心数据的位置。数据网格主要是为数据密集型应用而构建，它更侧重于数据的存储、传输和处理。 数据网格的核心是元数据管理和存储资源管理。数据网格为用户提供一体化的数据共享服务环境。在计算网格的基础上，扩充数据管理功能，实现与信息有关的各种服务后，形成数据网格。数据
41、网格的关键技术是元数据目录服务、数据存储与移动服务。,80,数据网格的关键技术,数据网格的软件框架(1)网格目录服务(2)安全认证服务(3)数据存储与移动服务(4)调度服务 数据网格的目录服务 数据存储与传输服务(1)网格数据存储服务(2)网格数据传输服务(3)网格数据的统一访问接口(4)网格数据的副本管理技术,81,信息网格,信息网格(Information Grid)是在计算网格的基础上，利用数据挖掘、信息融合和搜索引擎等技术而构建的。信息网格也称为信息服务网格，主要研制一体化的智能信息处理平台，消除信息孤岛，方便用户发布、处理和获取信息。信息网格包含计算网格的全部功能，重点拓展了广域信息
42、共享服务。 信息网格的目标是数据与信息的聚合，实现网络资源的搜集与共享，并利用单一映象技术完成信息的单一映象和有效融合，便于使用网格引擎来实现资源的获取。为用户提供信息搜集、信息登记、信息发现、信息预订和信息搜索等服务。,82,对等计算,对等计算模式(Peer-to-Peer Computing)简称P2P，强调打破Client/Server(C/S)或Browser/Server(B/S)的主从模式，用对等模式或无服务器模式实现超级服务器的功能。 P2P在加强网络上人们的信息交流、文件交换、分布计算等方面大有前途。它另一个重要特点是改变互联网现在的以大网站为中心的状态，重返“非中心化”，并把
43、权力交还给用户。对等计算是一种常与网格计算相关联并容易混淆的常见分布式计算模型。实际上，有人认为对等计算是另一种形式的网格计算。,83,P2P模式与C/S模式的差别,P2P模式的每一个对等点具有相同的地位，既可以请求服务也可以提供服务，同时扮演着C/S模式中的服务器和客户端两个角色，还可以具有路由器和高速缓冲存储器的功能，从而弱化了服务器的功能，甚至取消了服务器。 P2P技术可以使得非互连网络用户很容易地加入到系统中。 在P2P模式的网络中，每一个对等体可以充分利用网络上其他对等体的信息资源、处理器周期、高速缓存和磁盘空间。 P2P是基于内容的寻址方式，这里的内容不仅包括信息的内容，还包括空闲
44、机时、存储空间等。 P2P中的每一个对等体通常没有固定的IP地址，并且可常常从网络上断开。 P2P中，信息的存储及发布具有随意性，缺乏集中管理。,84,P2P的主要特点,P2P模式最主要的有点就是资源的高度利用率。 在P2P网络中，每个对等体都是一个活动的参与者，每个对等点都向网络贡献一些资源。因此，对等点越多，网络的性能越好，规模越大。 基于内容的寻址方式处于一个更高的语义层次。将创造一个更加精练的信息仓库和一个更加统一的资源标识方法。 信息在网络设备间直接流动、高速及时，降低了中转服务成本。 在P2P网络中，即使只有一个对等点存在，网络也是活动的，节点所以者可将其信息随意发布到网络中然而P
45、2P不易于管理，其网络中数据的安全性难于保证，且由于对等点可以随意地加入或退出网络，会造成网络带宽和信息存在的不稳定。,85,P2P的关键技术,拓扑一致性和资源定位技术 互操作性、数据描述和交换协议 安全加密技术 QoS技术,86,P2P的应用范畴,对等计算 协同工作 搜索引擎 文件交换,87,普适计算,普适计算(Ubiqutious/Pervasive Computing)强调把计算机嵌入到日常生活和工作环境中，使用户能方便地访问信息和得到计算服务。计算机不是以单独的计算设备形态出现，而是以信息设备的形式出现。普适计算按照用户的个性需求进行定制，并以嵌入式产品的方式呈现在人们的工作和生活中，
46、像手持设备(如手机、PDA等)，或可穿戴设备。 在普适计算建立的信息融合空间中，可以“随时随地”“透明”地获得数字化的服务。,88,知识网格资源描述框架,在现今的社会中，信息无处不在，从这些信息中获取有用的信息并不是件容易的事。通过建立元数据目录实现广域信息访问是一种常见的方法。元数据是关于数据的数据或关于信息的信息。W3C提出的用于描述Web资源的资源描述框架(Resource Description Framework，RDF)是一个用来描述元数据的标准。下面是一个简单的RDF的例子:(指明被描述资源的URI)Tim Bray(被描述资源有一个叫Author即作者的属性，其值是Tim Br
47、ay)(被描述资源有一个叫Home-Page即主页的属性，其值指向另一资源)(结束标志),89,知识网格语义网,简单地说，语义网(Semantic Web)或称语义Web，是一种智能网络，它不但能够理解人类的语言，而且还可以使人与电脑之间的交流变得像人与人之间的交流一样轻松。语义网能使机器理解含语义的文档和数据。实现语义Web的一个关键技术就是RDF。RDF有两大关键技术:URI和XML(eXtensible Markup Language)。URI是Web资源的唯一标识，它是更常用的统一资源定位符URL的超集。XML作为一种通用的文件格式定义了RDF的表示语法，这样就可以方便地用XML来交换
48、RDF的数据。,90,知识网格语义网,Tim Berners Lee在XML2000大会上提出的语义Web体系 结构可以描述如下:第一层:Unicode与URI是整个体系结构的基础。第二层:XML+NS(Namespace)+XML Schema负责从语法上表示数据 的内容和结构，通过使用标准的格式语言将网络信息的表现形式、 数据结构和内容分离。第三层:RDF+RDF Schema提供的语义模型用于描述Web上的信息 和类型。第四层:Ontology Vocabulary(本体词汇层)负责定义共享的知识，描 述各种信息之间的语义关系，揭示信息本身和信息之间的语义。第五层:Logic(逻辑层)负
49、责提供公理和推理原则，为智能服务提供 基础。第六层:Proof(证明层)负责提供认证功能。第七层:Trust(信任层)负责提供信任机制。,91,知识网格知识本体,使用RDF定义资源和资源间的关系仅仅是知识网格的第一步。知识本体(Ontology)建立在RDF之上，为RDF提供解释。 在网格研究中，Ontology是描述概念及概念之间关系的概念模型。通过概念之间的关系来描述概念的语义。 为适应在不同领域的应用，Ontology的表示方式也各式各样。具体来说包括4大类:非形式化、半非形式化、半形式化、形式化语言。可以用自然语言来描述，也可以用框架、语义网或逻辑语言来描述Ontology. 构造On
50、tology的标准中最有影响的是Gruber提出的5条规则:明确性和客观性、完全性、一致性、最大单调可扩展性、最小承诺。,92,智能代理,IBM认为，智能代理(Intelligence Agents)是具有一定的独立性和自主性的软件实体，在工作中能够使用相关用户的目标、期望来代表用户或其他程序执行某一组操作。而OMG认为，智能代理是一个特殊的、实现应用自治通信功能的计算进程。智能代理一般分为广义的智能代理和狭义的智能代理，所谓广义的智能代理包括人类、物理世界中的移动机器人和信息世界中的软件。所谓狭义的智能代理则专指信息世界中的软件。 软件至少要具有一定的自主能力才可被称为智能代理。信息学科中所说的智能代理通常指狭义智能代理。 智能代理的特征:智能性、协作性和机动性。,
