1、云在我们身边,软件学院 王永贵,,辽宁工程技术大学软件学院,云计算,,辽宁工程技术大学软件学院,1.1 云计算的定义,美国国家标准与技术研究院(NIST)给出的定义: 云计算模型能以按需方式,通过网络,方便的访问云系统的可配置计算资源共享池(比如:网络,服务器,存储,应用程序和服务) 。同时它以最少的管理开销及最少的与供应商的交互,迅速配置提供或释放资源。,,辽宁工程技术大学软件学院,1.2 身边的云计算,云计算已经不再被认为只是概念炒作,身边的云计算正提供越来越多的服务。例如 (1)Webmail服务,使用网页浏览器在互联网上阅读或发送电子邮件、拥有海量的消费者、整合网络日历、即时通信、音乐
2、盒、相册、新闻、博客、天气预报、理财、网络硬盘等多种服务等已具有鲜明的云计算特点; (2)网络搜索服务,目前,搜索引擎是互联网网民使用最广泛的服务,尽在在我国就有近3亿搜索引擎用户; (3)电子商务服务,据相关调查表明,2009年我国总计有1.3亿消费者在网上购物,成交额高达2670亿元,即没3个网民就1个有网购行为; (4)网络相册服务,很好地解决了与朋友、家人们一起在网站、社区、讨论区分享照片的问题。3G时代的到来,使得手机抓拍的照片能第一时间上传到网络,很多“抢鲜版”的新闻图片正是这样产生的。 (5)社交网络服务。,,辽宁工程技术大学软件学院,1.5 云服务与水电服务的异同,信息资源也可
3、以同其他生产和生活资源一样,采用服务方式提供,这种服务需要像水、电、气、银行等系统那样实现集约化基础上的公用化,云计算正是实现这一重要变革的核心技术载体。云服务与水、电等服务相比,有着丰富和复杂的内涵,如表所示:,,辽宁工程技术大学软件学院,1.3 云计算与网格计算的比较,云计算与网格计算之间最明显的相似点在于“资源共享”和“虚拟计算”,即两者都强调以某种虚拟化方法对互联网上的资源进行共享并提供给用户以获得更合理的利用。关于两者的差异,可将其归纳成表1所示的五个方面:,表1 云计算与网格计算的差异,,辽宁工程技术大学软件学院,1.4 云计算的发展动力,挑战旧体系的创新动力,互联网经济的形成,I
4、T成本控制的要求,IT服务质量与服务交付速度的要求,带宽不再是障碍,分布式计算、集群技术、虚拟化技术等关键技术的逐渐成熟,专业化分工的趋势,云计算,,辽宁工程技术大学软件学院,1.6 云计算的5个基本特征,,辽宁工程技术大学软件学院,1.7 云计算的8个常见特征,,辽宁工程技术大学软件学院,1.8 云计算特征总结,EC2 & S3,Cloud Computing:“这是一种计算方式,它能将大量灵活弹性的IT相关能力打包成服务提供给使用互联网技术的外部客户“,“重要的是结果. 我不关心它是如何做的.“,“我不想支付固定投入成本,我更愿意支付弹性使用费,就像用电一样.“,“这带来了规模经济性,效率
5、和动态共享.“,采集模式 服务,商业模式 按需计费,技术模式 可扩展的,弹性的,可共享的,访问模式 互联网,“ 我想随时随地访问.“,,辽宁工程技术大学软件学院,1.9云计算服务的“生态循环”,类比于水循环的云计算的“生态循环”(水库:资源库),过渡页,2.云计算的应用模式,,辽宁工程技术大学软件学院,2.1 云计算的服务模式,Infrastructure as a Service (IaaS),Platform as a Service (PaaS),Software as a Service (SaaS),软件交付的模式:采用多租赁(Multitenant)方式通过浏览器把程序传给成千上万
6、的用户。在用户眼中看来,这样会省去在服务器和软件授权上的开支;从供应商角度来看,这样只需要维持一个程序就够了,这样能够减少成本,平台交付的模式:可以看成是SaaS的延伸。这种形式的云计算把开发、部署环境作为服务来提供,可以创建自己的应用软件并部署在供应商的基础架构上运行,然后通过网络从供应商的服务器上传递给用户,Computer交付的模式:也称为硬件即服务,或效用计算(Utility Computing),指的是最基本的计算资源、存贮资源、网络资源,用虚拟化的方法以租用方式提供给客户,,辽宁工程技术大学软件学院,2.2 云计算的4种部署模式,企业独立拥有或独立承租的云系统在特定社区内共享的云系
7、统,如:由某公司及其合作伙伴共同承建并分享使用的云系统面向公众开放租售的大规模云系统由以上三种云系统中的两种以上的云系统共同配合而提供IT能力的混合型云系统,公有云,社区云,私有云,混合云,,辽宁工程技术大学软件学院,2.3 云计算的核心业务能力,防火墙,虚拟化存储,负载均衡,平台API,虚拟化网络,虚拟化服务器,基础设施即服务,平台即服务,SaaS营运支撑平台,数据库即服务,平台软件即服务,SaaS,On-Demand,SaaS,PaaS,IaaS,,辽宁工程技术大学软件学院,2.4 云计算关键技术需求,关键技术需求,高可用,On-Demand (提供与计费),面向服务,易伸缩,虚拟化,易管
8、理,灵活性,安全性,,辽宁工程技术大学软件学院,2.5 云计算的应用实例,通过网络访问计算资源 软件作为服务 E.g. Siebel on Demand, S 平台作为服务 E.g. Google Apps, F 基础设置作为服务 E.g. Amazon EC2, Rackspace 按需求/自服务 按远近快速安装 弹性能力 随收随付,SaaS,PaaS,IaaS,互联网,,辽宁工程技术大学软件学院,SAAS的应用实例,特点 多客户共享单一应用 专门的SaaS供应商来提供和管理 多用户 只需通过浏览器/手持设备即可享受服务 应用场景 客户管理系统(CRM) 财务计划 (Financial Pl
9、anning) 人力资源(Human Resources) 文字处理(Word Processing) etc. 市场代表 SalesForce Oracle CRM On-Demand Google Apps,i.e.,Gmail.Google Doc Zoho Office Workday(ERP),,辽宁工程技术大学软件学院,PAAS的应用实例,特点 强化客户的黏度,为客户或第三方提供开放的API或开发平台,通常包括数据库、中间件、开发工具等。用户必须在指定的平台上开发 通常基于虚拟化和网格的计算架构 通常包括服务管理功能 计费 自我配置 多租户 可使供应商变为多应用提供者(如:Sale
10、sForce籍此跨出单纯的CRM服务) 市场代表 Google App Engine: Python Java Amazon web services Sales Force的F: Apex Microsoft Azure.Net CogHead(为SAP收购): Flex,NS-BOS,,辽宁工程技术大学软件学院,IAAS的应用实例,特点 硬件及相关的软件作为服务 机器/存储/网络/防火墙/路由器/负载均衡 操作系统,虚拟机,文件系统均衡 基于网格计算 虚拟化 集群 动态资源提供 用于虚拟的数据中心 市场代表 Amazon EC2 & S3: The New York Times 使用成百上
11、千台 Amazon EC2(Amazon Elastic Compute Cloud) 实例在 36 小时内处理 TB 级的文档数据。如果没有 EC2,The New York Times 处理这些数据将要花费数天或者数月的时间 AWS S3(Simple Storage Service)提供存储资源,AT&T Synaptic Hosting,,辽宁工程技术大学软件学院,典型云计算服务提供商分析,,辽宁工程技术大学软件学院,典型云计算服务提供商分析,,辽宁工程技术大学软件学院,2.6 中国移动的云计算方案,CMCC云计算架构,架构层,平台层,应用软 件层,SaaS,PaaS,IaaS,运营管
12、理,故障管理,计费管理,性能管理,配置管理,安全管理,定制代码,虚拟和操作系统层,开放API,数据挖掘,信息搜索,并行计算,海量存储,支付,计费,硬件平台,存储平台,用户状态,通信,位置,内容分发,mSpaces,Web Hosting,OPhone,MobileMarket,IDC,OA,网管,业务支撑系统,绿色数据中心,云应用,应用代码,第三方软件,数据挖掘,任务调度,HA,云平台,,辽宁工程技术大学软件学院,2.6 中国移动的云计算方案,CMCC BC 1.0技术架构,系统管理 / CloudMaster,海量数据分布式文件系统 HyperDFS,网管系统,mSpaces,IDC,。,开
13、源的Linux操作系统 基于Xen的虚拟机,分布式并发控制/ GlobalLock,平台安全管理/ CloudSecurity,结构化海量数据管理 HugeTable,并行程序设计和开发环境 MapReduce,数据挖掘工具库 BC-PDM,搜索引擎核 BC-MSE,云存储中间件 BC-MCSS,云计算应用层,中国移动内部的新型IT支撑系统IDC, mSpaces, email等互联网应用,云计算能力层,数据挖掘工具库:挖掘应用的算法工具云存储中间件:提供海量对象存储能力搜索引擎核: 提供基本的搜索引擎能力,云计算平台层,MapReduce:MapReduce并行程序框架HugeTable:结
14、构化数据存储HyperDFS:海量数据的分布式文件系统CloudMaster: 云计算平台系统管理,虚拟化资源层,构建在海量同质化的PC与不可靠硬盘上 使用开源的Xen提供计算资源的虚拟化运行于开源的Linux系统之上,业务支撑 系统,管理信息 系统,对象存储系统 oNest,,辽宁工程技术大学软件学院,2.6 中国移动的云计算方案,CMCC BC 1.0在技术架构中的映射,架构层,平台层,应用软 件层,SaaS,PaaS,IaaS,运营管理,故障管理,计费管理,性能管理,配置管理,安全管理,定制代码,虚拟和操作系统层,开放API,数据挖掘,信息搜索,并行计算,海量存储,支付,计费,硬件平台,
15、存储平台,用户状态,通信,位置,内容分发,mSpaces,Web Hosting,OPhone,MobileMarket,IDC,OA,网管,业务支撑系统,绿色数据中心,云应用,应用代码,第三方软件,数据挖掘,任务调度,HA,云平台,数据挖掘工具库 BC-PDM,系统管理 CloudMaster,安全管理 CloudSecurity,云存储中间件 BC-MCSS,搜索引擎核 BC-MSE,并行程序设计和 开发环境 MapReduce,结构化海量数据管理 HugeTable,海量数据分布式 文件系统 HyperDFS,对象存储系统 oNest,分布式并发控制GlobalLock,,辽宁工程技术大
16、学软件学院,2.6 中国移动的云计算方案,CMCC 云计算平台和应用关键技术研究和开发,分布式文件系统 HyperDFS,结构化数据管理系统 HugeTable,云计算平台 与应用,A,B,并行数据挖掘工具 BC-PDM,D,云计算管理系统 CloudMaster,C,在开源Hadoop DFS基础上,改进分布式文件系统,提高性能、可靠性和可管理性 修订Bug,开发高可用的多NameNode系统,结合经分和网管系统需求,在开源Hbase基础上,开发结构化海量数据管理系统HugeTable 提供部分SQL操作和索引能力 提高性能和系统可靠性,为了提高大规模数据中心管理效率,降低运营成本,解决商业
17、化系统只能管理到硬件资源、网络和商用数据库的问题,开发CloudMaster系统 管理硬件资源 管理分布式环境中的数据和计算 提供虚拟化资源管理和调度,结合经分和网管需求,开发并行数据挖掘工具BC-PDM 在开源界出于领先地位,,辽宁工程技术大学软件学院,2.7 中国电信的云计算方案,,辽宁工程技术大学软件学院,2.7 中国电信的云计算方案,,辽宁工程技术大学软件学院,2.8电子邮箱服务中心的构建,电子邮件管理平台的逻辑架构,,辽宁工程技术大学软件学院,2.8 电子邮箱服务中心的构建,邮件管理平台对用户邮件服务响应的流程图,,辽宁工程技术大学软件学院,2.8 电子邮箱服务中心的构建,邮件系统物
18、理部署拓扑图,,辽宁工程技术大学软件学院,2.9 搜索服务中心的创建,图1 传统的搜索引擎,,辽宁工程技术大学软件学院,2.9 搜索服务中心的创建,图2 新一代的搜索引擎,过渡页,3.云计算的研究,,辽宁工程技术大学软件学院,3.1 云计算的体系架构,架构的主体部分为由多台服务器(服务器池)按照分布式共享机制构成的计算云团,直接与服务分析、监控测量和服务器配置等组件组成的工具模块(或子系统)紧密相连接,这些工具模块又与服务分类设备和系统管理器相连接,系统管理器又与系统监控测量设备是紧密互通的,用户经过用户交互界面与服务分类设备和系统管理器传送服务需求信息,调度利用系统内的资源,从而使系统交互有
19、机协同运作,实现云计算“按需供应服务”。,,辽宁工程技术大学软件学院,3.2 绿色云体系架构,消费者/经理人,云消费者或经理人在世界上任何地方向云提交服务请求。 绿色服务分配器,作为云基础设施和消费者之间的绿色服务接口。 虚拟机,根据输入请求可以动态地启动或关闭物理机上的多个虚拟机,从而提供了在同一台物理机上依据不同的服务请求需求来配置资源分区的灵活性。 物理资源与基础设施管理,底层物理计算服务器提供硬件基础设施用于创建虚拟化资源来满足服务需求。,,辽宁工程技术大学软件学院,3.3 云环境下的绿色任务调度算法设计,基于绿色云架构的设计,将服务器具有的能量看作一种系统资源进行资源管理和分配,提出
20、了三种绿色任务调度算法: 1)最短任务优先给能量最少的服务器以最优速度处理(简称STF-OS)算法; 2)最长任务优先给能量最少的服务器以最优速度处理(简称LTF-OS)算法; 3)随机任务给能量最少的服务器以最优速度处理(简称RT-OS)算法。 算法流程图如右图,,辽宁工程技术大学软件学院,3.4 绿色任务调度算法的实验分析,在模拟实验中也实现了利用最大速度的三种常规任务调度算法:(1)最短任务优先给能量最少服务器以最大速度处理的(简称STF-MS)算法,(2)最长任务优先给能量最少服务器以最大速度处理的(简称LTF-MS)算法,(3)随机任务给能量最少服务器以最大速度处理的(简称RT-MS
21、)算法。 在云计算仿真平台CloudSim2.1 上做了扩展仿真实验,准备了三种方案组合,方案1利用100项任务和5台服务器,方案2利用500项任务和10台服务器和方案3利用1000项任务和20台服务器。表1到3分别显示各方案中的任务调度的能量消耗,单位焦耳。 实验结果统计情况如下面三个图:,,辽宁工程技术大学软件学院,3.4.1 方案1的统计结果图,,辽宁工程技术大学软件学院,3.4.2 方案2的统计结果图,,辽宁工程技术大学软件学院,3.4.3 方案3的统计结果图,,辽宁工程技术大学软件学院,3.4.4 基于期限T的算法的算法统计图,在规定时间T内完成所有的任务调度,STF-OS、LTF-
22、OS和RT-OS算法比STF-MS、LTF-MS和RT-MS算法能够节省更多能量,大约平均节省J的能量。统计结果显示,六种算法从最好到最坏的排列顺序是STF-OS、LTF-OS、RT-OS、LTF-MS、RT-MS和STF-MS。,,辽宁工程技术大学软件学院,3.5 基于改进蚁群算法的云环境任务调度研究,针对蚁群优化算法( ACO) 在解决大规模的组合优化问题时容易陷入搜索速度慢和局部最优的缺陷, 进行算法的改进; 结合遗传算法全局收敛的优点, 将遗传算法融入到蚁群优化算法的每一次迭代中, 加快其收敛速度, 并引入逆转变异策略, 避免了蚁群优化算法陷入局部最优; 深入研究了改进的蚁群优化算法在
23、云计算环境中的任务调度策略, 并通过扩展云计算仿真平台CloudSim 实现了模拟仿真; 实验结果表明, 此算法能够缩短云环境下的任务平均运行时间, 提高了资源利用率。,,辽宁工程技术大学软件学院,3.5.1基于蚁群优化算法的任务调度算法,云环境下, 基于蚁群优化算法的任务调度算法执行流程图如下:,,辽宁工程技术大学软件学院,3.5.2 仿真实验结果,为验证本算法的优越性, 在本次实验中, 我们分别采用了CloudSim 现有的轮循( Round Ro bin, RR) 调度算法、ACO 算法及MACO 算法进行任务调度。各任务平均执行时间如图所示。从总体上看, RR 算法随着任务数量的增加,
24、 所花费的时间也就越多。而ACO 算法, 开始时信息素较少, 任务执行的较慢, 后期随着信息素的不断增加, 正反馈性增强,时间增加幅度小于RR 算法。改进的ACO 算法, 显然比前两种算法执行时间要短, 效率要高。,任务平均执行时间对比,过渡页,4.云计算的发展前景,,辽宁工程技术大学软件学院,4.1 企业云能力的进化,私有云演进,烟囱式,网格,物理 专有 静态 异构,虚拟化 共享服务 动态 标准化应用,App1,App2,App3,App1,App2,App3,Private IaaS,Private PaaS,,辽宁工程技术大学软件学院,4.2 电信运营商云能力构建策略,私有云入手,尝试云
25、计算技术,积累经验 IaaS能力构建作为基础,先解决基础资源云化问题 然后以构建PaaS能力作为私有云建设的核心 Platform是企业应用的基础 企业内部应用不会一夜之间革命,需要连续性和逐步演进 以目前的中间件层为基础,补充缺失的云能力,实现满足要求的Platform 层 重点是实现自动化按需开通能力和可管理性,实现云的弹性 构建公有云成为云运营商 以商业运营为目的,构建于可靠平台之上,,辽宁工程技术大学软件学院,4.3 企业引入云计算的主要收益,解耦并分离“业务服务”与其运行的“基础架构平台”(虚拟化) 客户能够灵活选择业务服务、开发环境、基础架构等开箱即用的IT能力,且能够根据使用付费
26、而不需要签订长期合同 基于一个大规模的共享资源池,能够以弹性方式按需的满足业务对IT能力的需求 帮助客户从资产成本转换为运营成本 基于运营效率的提升及快速发布能力来帮助降低成本,,辽宁工程技术大学软件学院,4.4 云计算发展的10大挑战及相应的机会,,辽宁工程技术大学软件学院,4.5 云计算发展的大背景,互联网技术的迅猛发展与应用的深入、大众参与计算以及软件作为服务等促成了计算从单机向以互联网为中心的云计算方式演进,如图所示:,,辽宁工程技术大学软件学院,4.6 我国云计算云计算实施情况,国内主要省市云计算实施情况,,辽宁工程技术大学软件学院,4.7云计算的发展历程,软件产业的服务化,,辽宁工程技术大学软件学院,4.8 云计算的价值,助力互联网和物联网,成为人类感知与认知的工具; 云计算推动了产业向服务业的转化: (1)云计算推动了IT产业向服务业转型; (2)云计算推动现代服务业发展,加速信息化和工业化的融合; (3)云计算催生崭新商业模式,产生众多信息服务提供者; 云计算促进绿色计算; 移动互联网上的云计算来得更快。,,Thank You !,