GOS逻辑结构.ppt

1、GOS逻辑结构,GOS简介（2）,回顾“简介（1）” GOS Host Environment GOS核心 社区 网程和网程容器 网格路由器 异常机制 安全机制 GOS系统 网格文件系统 批作业应用子系统 GOS应用 GOS网格门户,回顾“简介（1）”,织女星网格系统软件叫网格操作系统（Grid Operating System，GOS。 GOS设计认为从用户的角度看来，网格是一台虚拟的超级计算机，也就是说，网格更强调体系和结构上的统一。 一方面，GOS需要研究功能无关的网格系统软件结构问题；另一方面，GOS需要提供分布式资源的有序组织功能，并使最终用户和开发用户易于使用这些资源。 具体来说，

2、即解决网格资源管理、网格用户管理和网格安全三个方面的问题,GOS针对上述问题，提出了自己的解决方法。 首先，借鉴传统计算机系统的构造方式确定网格系统软件与硬件和应用之间的关系。网格系统软件组织并管理分布式的网格资源，为网格使用环境及网格应用提供了简单且友好的资源访问界面 其次，对于互联网上海量无序的资源，提出三层资源地址空间模型EVP作为资源管理的基础，使散乱的资源局部化，有序化。 再次，提出网格级进程（网程，grip）作为系统级抽象，一方面成为用户访问资源的代理，一方面也为用户屏蔽资源访问的技术细节，如资源定位、资源访问和安全机制等。,GOS外部特征,GOS部署（单点）,GOS部署（多点）,

3、主要内容-逻辑结构,回顾“简介（1）” GOS Host Environment GOS核心 社区 网程和网程容器 网格路由器 异常机制 安全机制 GOS系统 网格文件系统 批作业应用子系统 GOS应用 GOS网格门户,GOS Host Environment,目前支持基于J2SE之上的axis+tomcat的宿主环境。 Axis本质上就是一个SOAP引擎，提供创建服务器端、客户端和网关SOAP操作的基本框架。 由于AXIS本身是基于JAVA语言开发的项目，并且是以Web应用形式发布的，因此它运行时需要一个应用服务器作为支撑。GOS选用的是Tomcat。,主要内容,回顾“简介（1）” GOS

4、Host Environment GOS核心 社区 网程和网程容器 网格路由器 异常机制 安全机制 GOS系统 网格文件系统 批作业应用子系统 GOS应用 GOS网格门户,GOS核心,GOS核心 社区 网程和网程容器 网格路由器 异常机制 安全机制,社区,社区 GOS中，以社区作为资源、用户、策略等信息的非运行时、持续存储的系统信息点 信息使用者能够获取访问资源所需信息； 信息提供者能够利用规则、策略和信息类型等提供信息。,用户管理 提供用户代理证书管理，基于角色的用户管理，并通过核心安全机制支持社区访问控制机制。 用户管理包括用户注册/修改/审批/删除，用户角色和组的增加/修改/删 服务管理

5、 提供有效服务到虚拟服务映射管理。 服务管理包括有效服务的注册/更新/删除，虚拟服务接入/修改/删除，以及有效到虚拟服务的映射的建立和解除。,策略管理 提供虚拟服务的访问控制策略管理。 将用户角色和其能访问的虚拟服务（达到服务操作级别）建立访问控制映射关系，提供增加/修改/删除功能的管理接口。 服务访问授权 支持基于令牌的虚拟服务授权机制。根据用户身份和请求资源的访问控制策略动态签发基于SAML的授权令牌 日志 社区独立的运行时日志功能。,网程和网程容器,网程(grip)是代表用户身份的运行时结构。 网程可以存储用户信息，虚拟或物理服务地址信息，以及授权信息。 并在访问物理服务时，向物理服务传

6、送用户身份和权限信息。,客户端只提供5个方法调用,在这些方法调用后面，grip容器服务接收请求，并将之相应地转发到社区服务或路由服务。 当一个grip 在某个grip容器服务中产生后，它将在grip控制模块中保留登录用户及绑定服务的信息，直至close操作被调用,在一个grip生命周期中，用户可以随时随地地访问它。 当用户通过一个grip调用binding服务时，grip首先将虚拟地址解析成物理地址，然后invoke真实服务。 最后，grip将调用结果返回并缓存起来供随后查询之用。,用户交互及认证 提供最终用户交互访问的接口，及uid/pass方式的登录所在社区的接口，网程会从用户登录社区中获

7、取该用户的proxy证书和profile。 通用安全服务调用 根据用户请求资源的需求（有效/虚拟/物理），自动从用户登录社区中获取相应的令牌。 调用虚拟服务时，先通过路由器定位物理服务地址，然后依调用方式的不同，可将用户登录社区id、proxy证书和令牌随服务调用请求发送到物理服务端，并得到调用结果。 伪异步服务调用 调用物理服务时，用户可指定服务的调用方式，同步方式为等待服务调用结果，伪异步方式为不等待服务调用结果，用户需要通过查询结果接口得到上次该服务调用的结果。 日志 网程和PT独立的运行时日志功能。,路由器,资源路由器（router）是通过全局唯一的虚拟服务地址定位物理服务地址的Web

8、 服务。 GOS中通过资源路由器存储和管理全局资源，并完成虚拟资源到物理资源的转化。 服务路由器可互联成任意的拓扑结构，但其更新机制可维护服务定位的单一系统映像性质。,虚拟服务到物理服务映射管理 提供物理服务的注册/更新/移动/删除功能。 全局物理服务定位 提供物理服务地址的全局单系统映象的定位功能。 路由器信息dump和list 提供用户缺省连接的路由器中本地注册信息和邻居路由器地址信息的dump功能，以及全局路由器地址信息的list功能。 路由器互联与定时路由信息更新 提供路由器之间互联的功能，并支持互联路由器之间全局路由器地址信息的定时更新功能。 日志,异常机制,为了使GOS 的异常机制

9、体系化，GOS 异常机制对Java异常、第三方类库异常以及axis异常的统一封装，使客户端能够通过GOS 异常还原出错信息，并能够精确定位客户端和服务端产生异常的代码细节。 GOS 异常机制提供服务端异常的封装和抛出功能，还提供客户端异常捕获和解析功能。 GOS 异常按GOS的软件体系划分为三类，即核心层异常、系统层异常和物理层异常。,安全机制,GOS 安全机制在社区的功能辅助下，通过axis 的handler-chains机制提供安全通信、用户认证、虚拟服务授权，以及访问控制（社区访问控制和物理服务端访问控制）功能。,如上图所示，从Web服务客户端发出的SOAP消息通过客户端的handler

10、-chains处理（签名并加入社区id、proxy证书和授权令牌，或它们的任意组合，称为GOSContext）后，在服务端可配置不同的handler组合对应不同种情况。,如客户端使用证书签名，未使用授权令牌，那么服务端只需要配置WSSecurityHandler和ACHandler； 若客户端使用proxy证书签名，未使用授权令牌，则服务端需要配置WSSecurityHandler、ACHandler和GetAttachmentsHandler、VerifyCertsHandler 因为代理证书不是标准的WS-Security实现的一部分，因此，在GOS 安全机制实现中放到了SOAP的附件中携

11、带。,证书 每个GOS的用户均需要获得由GOS信任CA签发的X.509格式的证书，以标识该用户身份； 每个接入和注册到GOS 中的服务均需要获得X.509格式的证书，以标识该服务的身份； 目前，GOS 并不包含CA的功能模块。用户和服务提供者需要通过其它CA申请或获得相应的证书。,认证 物理服务端认证 提供用户证书认证功能； 提供用户代理证书认证功能。 社区用户登录认证 提供uid/pass登录认证功能； 提供代理证书登录认证功能。,授权 虚拟服务授权 提供基于令牌（社区授权权威签名的SAML文档）的服务操作级授权功能。 资源授权 提供基于令牌的文件级授权功能。 验证授权 提供服务端验证（验证

12、SAML文档签名）的功能。,访问控制 物理服务端直接访问控制 提供社区访问控制功能； 提供物理服务端直接访问控制功能。 基于授权令牌的访问控制 提供物理服务端基于授权令牌的访问控制功能。 通信安全 提供用户透明的消息签名/验签机制； 通过TLS（HTTPS）协议进行传输层加密。,主要内容,回顾“简介（1）” GOS Host Environment GOS核心 社区 网程和网程容器 网格路由器 异常机制 安全机制 GOS系统 网格文件系统 批作业应用子系统 GOS应用 GOS网格门户,GOS 系统,GOS 系统是构建在GOS 核心之上的系统功能部件，类似于操作系统中的系统软件 目前已经开发完成

13、的部分包括网格文件系统和网格批作业应用子系统。 GOS 系统可由用户扩展或定制。,网格文件系统,网格文件系统是基于GOS 核心的功能构建的，具有三层地址空间结构并最终体现为客户端开发库的文件操作接口。 文件在网格的三个层次分别对应为物理文件、虚拟文件和有效文件。,批作业应用子系统,为了更好地支持高性能计算，同时满足CNGrid的用户要求，GOS开发了一套用于作业提交、记帐的批作业应用子系统。 通过该系统，CNGrid的各个节点可以将各种本地资源无缝的集成到CNGrid网格平台中，实现异构分布资源的全网格共享。,批作业应用子系统,6个系统服务 批作业管理系统接口模块 5个应用,6个系统服务,用户

14、映射服务子模块(UserMapService) 资源元信息服务子模块(ResMetaInfoManagementService) 批作业元调度子模块(ScheduleAdvice) 记帐服务子模块(Account Service) 记帐汇总服务子模块（CongregateAccount Service） 批作业服务子模块（Batch Service）,批作业管理系统接口模块,批作业管理系统子模块 批作业驱动子模块(PBS_Driver) 批作业日志处理探针子模块(LSF_Driver),5个应用,应用 用户映射应用子模块(UserMapApp) 资源元信息应用子模块(ResMetaInfoMa

15、nagementApp) 记帐应用子模块(AccountApp) 记帐汇总应用子模块(CongregateAccountApp) 批作业应用子模块(BatchApp) 其他 监控数据提供摸块 (MDP) Ganglia2,层次结构图,部署结构图,用户映射服务 (UserMapService),对网格用户，全局的userDN与它在某一节点的userName存在对应关系，把用户的全局userDN与它在某节点的userName建立联系的过程，称为“用户映射”。 一个userDN和一个节点nodeID，和用户在此节点的userName组成三元组（userDN，nodeID，userName），称为一条

16、映射记录。 每条映射记录还有addTime和updateTime属性，标名此映射记录建立和更改的时间信息。 用户映射服务的主要功能提供用户映射记录的增、删、改、查服务接口。,资源元信息服务,ResMetaInfoManagementService 资源元信息管理应用是通过网程调用相应的批作业资源元信息服务实现对资源元信息以及资源类型信息的增删改查等管理功能。具体功能包括： 对资源类型信息进行增加、删除、修改和查询 对资源元信息进行增、删、改、查 资源元信息服务的最终目的是为了实现网格节点上的裸资源（没有封装成标准Web Service）的无缝集成、共享与调度。,批作业元调度 (sheduleA

17、dvice),批作业元调度服务为作业的调度提出建议 它使用平台监控服务提供的数据，对所注册节点的处理器、存储器、磁盘容量等做综合评测，按照空闲程度对注册节点进行降序排序，并把排序结果返回给用户。,记帐服务 (Account Service),批作业记账服务以作业为中心，记录每次作业调度的调度号，提交者，起止时间，当前状态，使用的资源（cpu时间，内存，磁盘等），并根据资源价格信息对已经完成的作业计算应付金额。,记帐汇总服务（CongregateAccount Service）,通过调用往各系统中的所有的节点的记账信息进行汇总，实现最终记账信息的汇总功能。 是一个部署在主节点上面的网格服务，他通过主节点的记账服务守护进程每天在一个设定的时间进行记账汇总。 记账汇总服务队最后的记账数据汇总之后存放在记账汇总数据库中，通过记账汇总服务提供的接口，可以对这些信息进行增、删、改、查等操作。,批作业服务（Batch Service）,批作业服务是一个以网程非安全方式调用的服务，负责接受作业提交、作业状态查询请求，并将这些请求以合适的方式转发给下层批作业系统。,GOS应用,GOS网格门户,