1、,大数据与云计算,大数据与云计算,第一章,目录,大数据时代,云计算大数据的计算,云计算发展现状,云计算实现机制,云计算压倒性的成本优势,2,1.1大数据时代,3,全球数据总量变化图,1.1大数据时代,4,为什么全球数据量增长如此之快？,一：数据产生方式的改变,二：人类的活动越来越依赖数据,1.人类的日常生活已经与数据密不可分,2.科学研究进入了“数据科学”时代,3.各行各业也越来越依赖大数据手段来开展工作,1.1大数据时代,6,何谓大数据？,8,1C,4V,数据的来源及格式多样，数据格式除了传统的结构化数据外，还包括半结构化或非结构化数据，比如用户上传的音频和视频内容。而随着人类活动的进一步拓
2、宽，数据的来源更加多样。,对数据的处理和分析的难度大。,数据增长速度快，而且越新的数据价值越大，这就要求对数据的处理速度也要快，以便能够从数据中及时地提取知识，发现价值。,在成本可接受的条件下，通过快速采集、发现和分析，从大量、多种类别的数据中提取价值的体系架构。,1.1大数据时代,9,目录,大数据时代,云计算大数据的计算,云计算发展现状,云计算实现机制,云计算压倒性的成本优势,G=f(x),大数据与云计算的关系,我们的目标,云计算,大数据,1.2云计算大数据的计算,11,云计算长定义,云计算短定义,云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需
3、要获取计算力、存储空间和信息服务。,云计算是通过网络按需提供可动态伸缩的廉价计算服务。,云计算的7个特点,1.2云计算大数据的计算,13,将软件作为服务SaaS（Software as a Service）,将平台作为服务PaaS（Platform as a Service）,将基础设施作为服务IaaS（Infrastructure as a Service）,针对性更强，它将某些特定应用软件功能封装成服务如：Salesforce online CRM,对资源的抽象层次更进一步，提供用户应用程序运行环境如：Google App Engine Microsoft Windows Azure,将硬
4、件设备等基础资源封装成服务供用户使用如：Amazon EC2/S3,云计算按服务类型大致分为三类：,专用,通用,1.2云计算大数据的计算,14,目录,大数据时代,云计算大数据的计算,云计算发展现状,云计算实现机制,云计算压倒性的成本优势,16,微软紧跟云计算步伐，推出了Windows Azure操作系统,国外云计算的先行者,亚马逊的云计算称为Amazon Web Services（AWS）,谷歌是最大的云计算技术的使用者,率先在全球提供了弹性计算云EC2（Elastic Computing Cloud）和简单存储服务S3（Simple Storage Service），为企业提供计算和存储服务
5、。,收费的服务项目包括存储空间、带宽、CPU资源以及月租费。,AWS服务的种类非常齐全,全球用户数量已经超过100万,17,18,19,国内云计算崛起代表企业,20,存储服务为特色,多处拥有云计算数据中心,游戏托管为特色,国际上云计算产品最全,提供类似AWS服务,专门支撑智能硬件大数据免费托管,目录,大数据时代,云计算大数据的计算,云计算发展现状,云计算实现机制,云计算压倒性的成本优势,21,1.4云计算实现机制,22,管理中间件层和资源池层是云计算技术的最关键部分，SOA构建层的功能更多依靠外部设施提供。,1.4云计算实现机制,23,均衡使用云资源节点，检测节点故障并试图恢复或屏蔽之，并对资
6、源的使用情况进行监视统计,云计算的管理中间件层,执行用户或应用提交的任务，包括完 成用户任务映象（Image）的部署和管理、任务调度、任务执行、任务生 命期管理等,实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等,保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等,1.4云计算实现机制,24,简化的IaaS实现机制图,服务目录是用户可以访问的服务清单。,系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。,配置工具负责在分配的节点上准备任务运行环境。,监视统计模块负责监视节点的运行状态，
7、并完成用户使用节点情况的统计。,用户交互接口向应用以Web Services方式提供访问接口，获取用户需求。,1.4云计算实现机制,25,目录,大数据时代,云计算大数据的计算,云计算发展现状,云计算实现机制,云计算压倒性的成本优势,27,全球企业IT开销发展趋势,Source: IBM Corporate Strategy analysis of IDC data, Sept. 2007,1.5云计算压倒性的成本优势,28,中型数据中心和特大型数据中心的成本比较,1.5云计算压倒性的成本优势,29,美国不同地区电力价格的差异,1.5云计算压倒性的成本优势,“信息时代核电站”Google数据中心
8、,某典型网站的流量数据,提供弹性的服务，在超大资源池中动态分配和释放资源,资源利用率达到80%左右，是传统模式57倍,云计算平台的规模极大，比较容易平稳整体负载,1.5云计算压倒性的成本优势,31,云计算将计算变成了大众用得上和用得起的“水和电”,云计算较之传统方式的性价比优势,1.5云计算压倒性的成本优势,32,1.大数据现象是怎么形成的？2.新摩尔定律的含义是什么？3.云计算有哪些特点？4.云计算按照服务类型可以分为哪几类？5.云计算技术体系结构可以分为哪几层？6.在性价比上云计算相比传统技术为什么有压倒性的优势？,习题：,中国最大的大数据资料和交流中心,中国最大的云计算资料和交流中心,终身免费的智能硬件大数据托管平台,终身免费的环境大数据共享平台,
