1、,1,云计算技术,河南理工大学 计算机学院 物联网系 晁 浩 13623879927 ,2,该课程介绍目前信息技术领域热点“云计算”的现状及其发展,探讨云计算的主要技术发展及趋势。 课程主要内容包括:云计算概述,Google云计算,Amazon云计算AWS,微软云计算Windows Azure等,课程概述,3,通过本课程的学习,同学们应该了解云计算概念,知识体系,目前云计算领域的主要技术,掌握云计算基本理论原来与当今的云计算技术及最新发展。,课程要求,4,教材 参考书籍,1.让云触手可及 1.微软云计算实践指南 赵立威等 电子工业出版社 2.云计算 Michael Miller等著 姜进磊等译
2、 机械工业出版社,5,平时成绩30:出勤作业 期末成绩70 期末考试形式:开卷考试或考察(暂定)。,成绩评定,大数据与云计算,第 1 章,目 录,大数据时代,云计算大数据的计算,云计算发展现状,云计算实现机制,云计算压倒性的成本优势,7,1.1大数据时代,8,全球数据总量变化图,1.1大数据时代,9,为什么全球数据量 增长如此之快?,一:数据产生方式的改变,二:人类的活动越来越依赖数据,1.人类的日常生活已经与数据密不可分,2.科学研究进入了“数据科学”时代,3.各行各业也越来越依赖大数据手段来开展工作,1.1大数据时代,11,何谓大数据?,13,1C,4V,数据的来源及格式多样,数据格式除了
3、传统的结构化数据外,还包括半结构化或非结构化数据,比如用户上传的音频和视频内容。而随着人类活动的进一步拓宽,数据的来源更加多样。,对数据的处理和分析的难度大。,数据增长速度快,而且越新的数据价值越大,这就要求对数据的处理速度也要快,以便能够从数据中及时地提取知识,发现价值。,在成本可接受的条件下,通过快速采集、发现和分析,从大量、多种类别的数据中提取价值的体系架构。,1.1大数据时代,14,目 录,大数据时代,云计算大数据的计算,云计算发展现状,云计算实现机制,云计算压倒性的成本优势,G=f(x),大数据与云计算的关系,我们的目标,云计算,大数据,1.2云计算大数据的计算,16,云计算长定义,
4、云计算短定义,云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。,云计算是通过网络按需提供可动态伸缩的廉价计算服务。,18,这些资源池称为“云”。 “云”是一些可以自我维护和管理的虚拟计算资源,通常是一些大型服务器集群(包括计算服务器,存储服务器和宽带资源)云计算将计算资源集中起来,并通过专门软件实现自动管理,无需人为参与。用户可以动态申请部分资源,支持各种应用程序的运转,无需为繁琐的细节而烦恼,能够更加专注于自己的业务。,19,云计算的核心理念是资源池,这与早在2002年提出的网格计算池的概念非常相似。之所以将这些
5、资源池称为“云”,一是因为它在某些方面具有现实中云的特征:云一般比较大;云的规模可以动态伸缩,边界是模糊的;云在空中飘忽不定,无法也无需确定它的具体位置,但它确实存在于某处。二是因为云计算的鼻祖之一Amazon公司将大家曾经称为网格计算的东西,取了一个新名称:弹性计算云(Elastic Computing Cloud),并取得了商业上的成功。,20,在动态、多机构参与的虚拟组织中协同共享资源和求解问题,同时使用多种计算资源解决计算问题的过程,将需要巨大计算能力的问题分成许多小部分进行处理,最后综合结果,分布式计算,并行计算,网格计算,云计算,云计算的7个特点,1.2云计算大数据的计算,21,2
6、2,“云”具有相当的规模,Google云计算已经拥有100多万台服务器,Amazon, IBM, 微软和Yahoo等公司的“云”均拥有几十万台服务器。“云”能赋予用户前所未有有的计算能力,超大规模,23,虚拟化,云计算支持用户在任意位置,使用各种终端获取服务。所请求的资源来自“云”,而不是固定的有形的实体。应用在“云”中某处运行,但实际上用户无需了解应用运行的具体位置,只需要一台笔记本或者一部手机,就可以通过网络服务来获取各种能力超强的服务。,24,高可靠性,“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机更加可靠。,25,通用性,云计算不针
7、对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一片“云”可以同时支撑不同的应用运行。,26,高伸缩性,“云”的规模可以动态伸缩,满足应用和用户规模增长的需要,27,按需服务,“云”是一个庞大的资源池,用户按需购买,像自来水、电和煤气那样计费。,28,极其廉价,“云“的特殊容错措施使得可以采用极其廉价的节点来构成云;“云”的自动化管理使数据中心管理成本大幅降低;“云”的公用性和通用性使资源的利用率大幅提升;“云”设施可以建在电力资源丰富的地区,从而大幅度降低能源成本。因此,“云”具有前所未有的性价比。(Google),将软件作为服务 SaaS(Software as a Servic
8、e),将平台作为服务 PaaS(Platform as a Service),将基础设施作为服务 IaaS(Infrastructure as a Service),针对性更强,它将某些特定应用软件功能封装成服务 如:Salesforce online CRM,对资源的抽象层次更进一步,提供用户应用程序运行环境 如:Google App Engine Microsoft Windows Azure,将硬件设备等基础资源封装成服务供用户使用 如:Amazon EC2/S3,云计算按服务类型大致分为三类:,专用,通用,1.2云计算大数据的计算,29,目 录,大数据时代,云计算大数据的计算,云计算发
9、展现状,云计算实现机制,云计算压倒性的成本优势,31,微软紧跟云计算步伐,推出了Windows Azure操作系统,国外云计算的先行者,亚马逊的云计算称为Amazon Web Services(AWS),谷歌是最大的云计算技术的使用者,率先在全球提供了弹性计算云EC2(Elastic Computing Cloud)和简单存储服务S3(Simple Storage Service),为企业提供计算和存储服务。,收费的服务项目包括存储空间、带宽、CPU资源以及月租费。,AWS服务的种类非常齐全,全球用户数量已经超过100万,32,33,34,国内云计算崛起代表企业,35,存储服务为特色,多处拥有
10、云计算数据中心,游戏托管为特色,国际上 云计算产品最全,提供类似AWS服务,专门支撑智能硬件大数据免费托管,目 录,大数据时代,云计算大数据的计算,云计算发展现状,云计算实现机制,云计算压倒性的成本优势,36,1.4云计算实现机制,37,管理中间件层和资源池层是云计算技术的最关键部分,SOA构建层的功能更多依靠外部设施提供。,1.4云计算实现机制,38,均衡使用云资源节点,检测节点故障并试图恢复或屏蔽之,并对资源的使用情况进行监视统计,云计算的管理中间件层,执行用户或应用提交的任务,包括完 成用户任务映象(Image)的部署和管理、任务调度、任务执行、任务生 命期管理等,实现云计算商业模式的一
11、个必不可 少的环节,包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等,保障云计算设施的整体安全,包括身份认证、访问授权、综合防护和安全审计等,1.4云计算实现机制,39,简化的IaaS实现机制图,服务目录是用户可以访问的服务清单。,系统管理模块负责管理和分配所有可用的资源,其核心是负载均衡。,配置工具负责在分配的节点上准备任务运行环境。,监视统计模块负责监视节点的运行状态,并完成用户使用节点情况的统计。,用户交互接口向应用以Web Services方式提供访问接口,获取用户需求。,1.4云计算实现机制,40,目 录,大数据时代,云计算大数据的计算,云计算
12、发展现状,云计算实现机制,云计算压倒性的成本优势,42,全球企业IT开销发展趋势,Source: IBM Corporate Strategy analysis of IDC data, Sept. 2007,1.5云计算压倒性的成本优势,43,中型数据中心和特大型数据中心的成本比较,1.5云计算压倒性的成本优势,44,美国不同地区电力价格的差异,1.5云计算压倒性的成本优势,“信息时代核电站”Google数据中心,某典型网站的流量数据,提供弹性的服务,在超大资源池中动态分配和释放资源,资源利用率达到80%左右,是传统模式57倍,云计算平台的规模极大,比较容易平稳整体负载,1.5云计算压倒性的成本优势,46,云计算将计算变成了大众用得上和用得起的“水和电”,云计算较之传统方式的性价比优势,1.5云计算压倒性的成本优势,47,1.大数据现象是怎么形成的? 2.新摩尔定律的含义是什么? 3.云计算有哪些特点? 4.云计算按照服务类型可以分为哪几类? 5.云计算技术体系结构可以分为哪几层? 6.在性价比上云计算相比传统技术为什么有压倒性的优势?,习题:,百度排名首位的大数据资料和交流中心,百度排名首位的云计算资料和交流中心,终生免费的智能硬件大数据托管平台,终生免费的环境大数据共享平台,