分享
分享赚钱 收藏 举报 版权申诉 / 4

类型基于并行文件的分层Web服务器群.doc

  • 上传人:dzzj200808
  • 文档编号:2309847
  • 上传时间:2018-09-10
  • 格式:DOC
  • 页数:4
  • 大小:105.50KB
  • 配套讲稿:

    如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。

    特殊限制:

    部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。

    关 键  词:
    基于并行文件的分层Web服务器群.doc
    资源描述:

    1、基于并行文件的分层 Web 服务器群王燮 1 王 鹏 2,1 向 令 1 黄松林 1(1.成都信息工程学院并行计算实验室 四川,成都 610225; 2. 电子科技大学 四川 成都 610054)摘 要:构建了并行文件 Web 服务器机群。该机群采用分层结构,每层节点均作为调度器(最后层除外) 和数据服务器。各层节点对外提供数据服务,并根据预设的计量标尺判断数据服务是否过量,并将过量工作转移至下层节点。建立了基于 ajax 和 vml 技术的监控服务器,对所有节点性能进行实时监控。关 键 词:分层 Web 服务器;计量标尺;并行文件 I/O;MPI 中图法分类号: TP393 文献标识码: A

    2、随着 Web2.0 的兴起和传统 Web 的不断发展,各企业以及个人对 Web 服务器的性能要求越来越高。目前 Web 服务器大都采用昂贵的专用服务器,如浪潮 NL380D。现有的 Web服务器机群中,只是对数据服务进行了简单的平衡。这两种传统的 Web 服务,其 Web 请求调度带来的额外开销成了它们的瓶颈,限制其规模的扩大。为了实现低成本下为客户提供高效的 Web 服务这一目标,本文提出基于并行文件和分层拓扑的 Web 服务器模型,利用多层结构对繁重的 Web 请求/ 响应分而治之。通过对各节点的负载均衡,大幅提高了Web 服务的性能。同时对所有节点进行实时监控,实现对各节点更有效的管理。

    3、1并行相关技术及并行文件 I/O高性能计算技术大多采用并行技术,现有的并行技术中以 MPI 最为流行。MPI(Message Passing Interface)是目前最重要的一个基于消息传递并行编程工具,它具有移植性好,功能强大,效率高等许多优点,而且有多种不同的免费,高效,实用的实现版本,几乎所有的并行计算机厂商都提供对它的支持,成为了事实上的并行编程标准。MPI-2 提供并行文件 I/O ,能够方便的实现文件的并行读写。基于这些原因,本文选用了 MPI-2 作为服务端系统的开发平台。2. 基于并行文件分层式 Web 服务器模型2.1 Web 服务器拓扑结构图 1. 基于并行文件的多层 W

    4、eb 服务器负载均衡模型【注:1,接收用户请求。2,分析消息中包含的文档大小,并行文件 I/O。3,溢出数据传至下层节点。4,响应客户请求。 】服务器节点采用分层结构。如图 1 所示,系统由多层分布式的服务器组成,每层由多个节点构成(除根节点外),上层节点是下层所有节点的父节点 ,下层节点有多个父节点,每层节点数目根据实际需要决定。层数和各层节点数均可扩展,增加层内节点数目或服务深度即可提升系统处理大批量请求的能力。由于调度服务器可能在下层搜寻负载最轻的调度节点和进行并行 I/O 操作,为降低该节点的工作强度,同层节点数目不宜过多。当然,其规模应以实际需求和单个服务器性能而定。2.2 分层 W

    5、eb 服务器的调度策略所有节点既是数据服务器,除末层外又作为调度服务器。凡调度服务器均预设有计量标尺,用于判断当前节点的数据服务是否过量。节点的调度或数据服务均在本地进行,过量数据部分则传递至下层作相应处理。根节点至末层节点, 计量标尺值则呈递增趋势(同层间各标尺值应相同) ,使得各节点总的工作量趋于一致,负载更加均衡。为实现服务器在繁忙状态也能及时响应所有请求的这一目标,我们采用了计量标尺式调度策略。每次调度时调度服务器需要完成四项工作:分析用户请求所要求返回用户浏览器的所有文档的大小,并将数据返回给用户;计算当前溢出的数据文档大小相对下层服务器节点数的平均值;以中得到的平均值为标准对溢出服

    6、务队列的文档作并行 I/O处理,并采用不连续数据发送方式进行消息传递;调度转移,同时准备接收父节点新发来的消息。以上四步中,步必须在服务队列有溢出才执行。服务器与浏览器之间约定文档的类型需在其头部进行描述,在进行文档并行 I/O 时,各子文档头部同样需要做类似标记,便于事后数据的整合。通过调度服务器基于内容发起的调度,所有子层节点协同响应,且各节点需要处理的累计文档大小相同。建议服务队列的存储采取小文档优先原则,这样既能减轻消息传递的通讯量,还有利于可能出现的文件的递归式并行 I/O。2.3 分层 Web 服务器的 MPI 实现本文提出的分层式 Web 服务器模型是建立在并行文件 I/O 和

    7、MPI 的消息传递机制基础之上的。并行文件 I/O 是并行计算中最复杂的一种并行计算方式,最基本的并行 I/O 操作,包括指定显式偏移的并行文件读写,使用独立文件指针的并行文件读写和共享文件读写三种主要类型。MPI-2 提出了一套并行 I/O 的标准接口,明确了对文件的各种并行操作和管理方法,所有子节点的进程可以用其提供的方法来对单一文件进行访问。例如 MPI_FILE_OPEN 是一个组调用(即通信域中的所有进程都必须按给定的文件名来执行它,各个进程使用的文件名要相同,给定的打开方式也要相同,但是各个进程传递给正在运行时的信息可以互不相同) ,该调用返回一个文件句柄,以后各个进程通过文件句柄

    8、就能具体操作文件 6。目前最重要的并行编程模型是消息传递和数据并行,MPI 的消息传递是目前使用最广泛的并行编程方法之一,已被成功应用于高性能数值计算领域。由于发送操作和接收操作在处理器对之间进行,被称为点到点通信操作,能高效的完成各调度服务器节点的消息传递工作。数据并行即将相同的操作同时作用于不同的数据,数据并行编程模型提供给编程者一个全局的地址空间,这种形式的语言本身就提供并行执行的语义,对于编程者来说,只需要简单地指明执行什么样的并行操作和并行操作的对象,就实现了数据并行的编程 6。2.4 性能分析采用分层 Web 均衡策略,系统能动态的根据各服务节点实际负载进行分层调度,能最大程度的提

    9、高资源利用率,同时实现较高的服务器性能。通过数据的本地服务有效减少了昂贵的消息传递操作,避免了通讯造成的等待时间;而数据的并行服务又大大缩短了相对单机服务器返回大文件所耗用的更长的服务时间;基于并行文件 I/O 操作,实现了对任意文档,无论类型、大小均可平均分配至子网各数据服务器节点上。层间异步有序、协调工作,层内协同完成服务,部分资源出现故障不会影响到系统的其他服务。合理设定标尺能有效控制每台节点的具体工作量,实现了在大量请求下 Web 服务器负载的自动均衡而且使系统具有良好的扩展性。3. 机群监控系统该模型中设有一个监控服务器,如图 1 所示。该监控服务器采用了 B/S 模式,利用ajax

    10、 异步请求和 vml 技术(画各种状态图)对所有节点进行实时监控。其访问权限可设只对内网,也可设外网访问。所有节点将自己被监控的数据发送至监控服务器,监控服务器将数据存入数据库中保存,同时将数据发送至客户端,使系统管理员能对系统进行实时监控。监控服务器根据管理员的请求,与指定节点建立 SOCKET 连接,使监控服务器能够控制节点运行各种命令(如kill 节点的进程),然后根据管理员提交的命令对节点进行管理。即实现了一个基于 B/S终端。4. 总结本文讨论了调度和数据服务协同化,提出了一种采用分层 Web 服务器模型,该模型采用分层结构及并行文件读取基础可以达到很高的性价比,实现了低成本、高性能

    11、服务器部署方法。理论上只需合理设定各调度节点计量标尺值、调整并行粒度大小和控制系统规模,即可适应高强度的数据服务,为解决大数据量 Web 服务器的负载均衡问题提供了一种新的思路。本文作者创新点: 1.提出了分层结构 Web 服务器架构。2. 首次采用并行文件 I/O 读写和基于消息传递的并行编程函数库 MPI 完成数据传递。3.提出了计量标尺的概念。参考文献:1 Zhang XL,Barrientos M,Chen JBSeltzer M.HACC : An architecture for cluster-based Web serversC.Proceedings of the 3rd U

    12、SENIX Windows NT Symposium,1999:155-164.2 Yang CS, Luo MY. Efficient support for content-based routing in web server clustersC.Proceeding of the 2nd USENIX/IEEE Symposium on Internet Technologies and Systems,1999.3 徐忻,吴介一. Web 服务结构模型的研究与实现J. 微计算机信息,2006,(5-3):103-105。4 Cohen A, Rangarajan S, Slye H.

    13、 On the performance of TCP splicing for URL-aware redirectionC. Proceedings of the 2nd USENIX Symposium on Internet Technologies and System, 1999:117-125.5 杜增凯.基于内容的分布式 web 服务器调度算法J.软件学报,2003,Vol.14,No.12.6 都志辉.高性能计算之并行编程技术MPI 并行程序设计M.清华大学出版社 北京,2001 第一版基金资助:国家重大基础研究规划项目 (973)(编号 G1999054000) ;电子科技大

    14、学博士后基金作者:王燮(1970- ) ,男,汉族,讲师,研究方向为并行技术及应用。Email: 通讯地址:成都信息工程学院(航空港校区)软件工程系办公室 邮编 610225王 鹏(1975- ) ,男,汉族,博士,电子科技大学博士后, 2004-2006 年任中电集团某并行 SAR 地面数据站主持师,研究方向为并行技术及应用向 令(1983- ) ,男,土家族,工程师,研究方向为并行数值计算。黄松林(1986- ) ,男,汉族,工程师,研究方向为并行技术及应用。Hierarchical Web Server Cluster Based on MPIWANG Xie1 WANG Peng2,

    15、1 XIANG Ling1 HUANG Song-lin1 (1.Parallel Computing Laboratory, Chengdu University of Information Technology, Sichuan, Chengdu, 610225; 2. University of Electronic Science and Technology of China, Sichuan, Chengdu, 610054)Abstract:A novel parallel web server cluster is proposed in our study. A hiera

    16、rchical structure is adopted in this cluster. Each node of every layer is used to serve as scheduling server (except the last layer in this part) and data server. Data service is provided and judged by it according to pre-scheduled gauge. It can also diagnose the data service s work by the gauge and then transfer the overdone part to the node of next layer. A kind of monitor and control server is established based on ajax and vml technology to supervise every node timely. Key Words: Hierarchical Web Server Clusters;Measurement Threshold;Parallel File I/O;MPI

    展开阅读全文
    提示  道客多多所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    关于本文
    本文标题:基于并行文件的分层Web服务器群.doc
    链接地址:https://www.docduoduo.com/p-2309847.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    道客多多用户QQ群:832276834  微博官方号:道客多多官方   知乎号:道客多多

    Copyright© 2025 道客多多 docduoduo.com 网站版权所有世界地图

    经营许可证编号:粤ICP备2021046453号    营业执照商标

    1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png 10.png



    收起
    展开