1、中国移动集团级重点研发项目结题汇报报告,2011年11月6日,项目名称:基于弹性云计算架构的计算资源池服务模型研究,一. 课题目标实现情况,目 录,二、主要研究成果(整合后),1.1 研究背景及目标,研究背景: 2011年与集团研究院联合进行了大云的研究与应用测试项目,在了解云计算和对云计算的处理能力方面有了较为深刻的认识。但大云目前还不能广泛的应用于无线音乐基地的生产环节,主要的原因之一就是对云资源不能实现动态分配,应用中需要建设多个云,不符合IT设计要求。如果将云看做一个较大的计算资源,是否可以将这些资源动态分配给指定的应用程序去解决目前应用的困境?基于此,我们在去年研究的基础上,需要对基
2、于弹性云计算架构的计算资源池服务模型进行深入研究。研究意义:(1)利用廉价的、弹性的云计算架构,形成强大计算能力,用于用户行为分析等数据挖掘类大型运算,并具有无限扩展能力(2)利用该项目的研究成果,逐步改变现有IT建设模式,减少系统建设中对小型机的依赖,节约IT投资。,1.1 研究背景及目标,1,2,3,云计算资源申请,云计算资源动态配置,云计算资源调度,扩展云架构的API,实现外部应用可以根据需要调用API申请云计算资源。申请成功后,申请应用可以调用申请到的计算资源进行计算,研究相关计算资源分配模型,开发相关应用程序实现根据用户申请,自动动态配置云计算所需的资源,实现对动态配置的云计算资源的
3、使用,主要包括云内部处理应用对配置资源的调度、外部API对动态分配资源的调度,4,云计算资源池模型,设计并实现对云计算资源的管理模型,在云的基础上形成计算资源池模型,开发计算资源池管理和维护相关的API实现对云计算资源的动态配置,1.2 主要研究内容研究总体框架,1.2 主要研究内容项目难点及解决方案,实现对多台PC服务器的虚拟化,并保障虚拟化平台的稳定性和良好的可操作性,以及实现虚拟平台的相关监控工作研究和开发计算资源控制模型,实现对资源的监控、调度和动态配置;开发资源控制模型,并将其与大云进行整合第三方程序如何申请和使用计算资源,在使用结束时如何回收计算资源解决大云计算资源的动态配置问题,
4、1.2 主要研究内容主要技术方案及技术,主要技术方案是建立计算资源管理模型用于识别、管理和分配计算资源,同时可实现将计算资源整合到云计算架构,实现云对分配资源的可利用。在对大云的资源配置完成后可以调动大云利用分配资源进行相关计算工作。在计算完成后实现对资源分回收和管理:,主要的关键技术有:计算资源识别、计算资源管理、将计算资源动态整合到大云上、调度大云在可控的范围内完成相关运算、对大云占用资源进行回收等,1.2 主要研究内容项目创新点及专利点,将CPU、内存等硬件资源封装为“计算资源”,引入“计算资源池”概念,对多个计算资源进行管理。将计算资源池与大云关联,实现大云在计算资源上的弹性配置,适应
5、不同应用需求。开发对计算资源和计算资源池管理、调度的相关工具,实现大云弹性支撑能力形成可供第三方调用的API工具集,将计算资源池模型与大云封装,为第三方应用程序提供计算支持,1.3 目标完成情况总结,在该项目工作中1)解决了3项公司在市场发展和生产运营中存在的关键问题(通过研究院大云1.5的BC-EC产品解决,并在其基础上进行了并行计算的测试)2)研究和提出了0项关键技术点的决策建议。3)挖掘了国内专利申请0项,其中,专利族0个,实现应用的专利0件,专利风险评估报告0份。4)输出企业标准0个,国际标准文稿0篇。5)完成新技术试验1项6)初步估计对企业绩效的贡献情况为通过大云BC-EC的计算资源
6、管理,实现了虚拟机资源的分配;在其基础上进行并行计算的适用场景研究测试,总结出了适合并行计算的服务器类型(数据仓库、ETL、WEB、数据挖掘等服务器)。,1.3 目标完成情况总结,项目进度执行情况表可作为附件,1.3 目标完成情况总结项目执行情况,1.3 目标完成情况总结关键点及完成时间,1.3 目标完成情况总结试点应用,使用BC-EC对计算资源池进行管理:,物理机(10.25.115.9),数据仓库(10.25.115.21),ETL接口机(10.25.115.22),WEB展现(10.25.115.23),数据挖掘(10.25.115.24),分配情况:,分配:CPU:2核内存:0.5G
7、存储:1.0TB,分配:CPU:8核内存:2.0G 存储:2.5TB,分配:CPU:6核内存:0.5G 存储:0.2TB,分配:CPU:8核内存:1.0G 存储:0.3TB,计算要求高存储要求大内存要求大,计算要求低存储要求较大内存要求小,计算要求较高存储要求小内存要求小,计算要求高存储要求小内存要求较大,1.3 目标完成情况总结试点效果,物理机系统资源状况,数据仓库服务器资源状况,WEB服务器资源状况,数据仓库服务器几乎24小时CPU占用高I/O利用率高内存使用率高,WEB服务器ETL服务器数据挖掘服务器分时段占用资源且单服务器资源占用率低,通过测试工具,模拟业务运营、分析、数据ETL等功能
8、,测试虚拟机与传统模式下的执行效率对比发现:数据仓库服务器执行效率仅为传统模式的68%WEB服务器、ETL服务器、数据挖掘服务器执行效率为传统模式的98%通过对物理机及各虚拟机系统资源监控发现:,1.3 目标完成情况总结试点结论,适合用于虚拟化并行计算的服务器类型、原因,不适合用于虚拟化并行计算的服务器类型、原因,服务器类型,适合的原因,WEB服务器,ETL服务器,数据挖掘服务器,其他资源占用率低或存在错时高资源占用的服务器,单服务器资源占用率低,资源占用高峰可以错时协调,数据仓库服务器,计费结算服务器,占用率高且无资源占用谷点的服务器,服务器类型,不适合的原因,单服务器资源占用率高,无资源占
9、用谷点不可调配,或,且,项目对企业绩效贡献的量化路径图,1.4 项目企业绩效贡献和特征指标,1.4 项目企业绩效贡献和特征指标,项目特征指标的年度预期数值表,一. 课题目标实现情况,目 录,二、主要研究成果(整合后),2.1 xxxx,说明:此处需要展示的是牵头单位将各子课题研究成果进行整合后的整体研究成果。,20,结束,谢谢大家!,pOXLp7v0djZKylHSJr3WxBmHK6NJ2GhiBeFZ7R4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGZ7R4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tg
10、KQcWA3PtGshLs50cLmTWN60eo8Wgqv7XAv2OHUm32WGeaUwYDIAWGMeR4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGZ7R4I30kA1DkaGtgKQcWA3PtGZ7R4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGshLs50cLmTWN60eo8Wgqv7XAv2OHUm32WGeaUwYDIAWGMeR4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGZ7R4I30kA1DkaGhn3XtKknBYCUDxqA7FHYi2CHhI92tgKQcWA3PtGshLs50cLmTWN60eo8Wgqv7XAv2OHUm32WGeaUwYDIAWGMes02GshLs50cLmTWN60eo8Wgqv7XAv2OHUm32WGeaUwYDIAWGMes02dLPqafkFGlzcvv2YiRQYHbhR8AI1LKULh3xvjDzkEAMGr8xbwF1bH1oIM30E7xp,