1、Google云计算原理,研究院 黄兵,2,Reached Our Goal,3,提 纲,TM Forum 对云态度,4,4,We have a dream,愿景:计算机的服务能力可以作为一种商品进行流通。就像水、电、 气一样取之方便，费用低廉,5,云计算定义,图：云计算概念模型,云计算:是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够按需获取计算力、存储空间和信息服务。,6,云计算服务的部署形式,IaaS基础设施云 (代表：亚马逊的S3),SaaS 应用云 （代表：salesforce的CRM）,PaaS 平台云 （代表：Google App Engine）,
2、X as a service,7,Amazon 云计算,1GB数据存放1个月为0.15美元,每个服务器租用1小时为0.1美元,Amazon的IaaS云计算思路,弹性计算云EC2为企业提供计算服务,简单存储服务S3为企业提供存储服务,Amazon的IaaS运用实例,亚马逊IaaS应用案例：纽约时报,使用亚马逊云计算服务,效果：在不到 24个小时的时间里处理了1100万篇文章 费用：累计花费240美元,利用自己服务器,时间：数月时间 费用：多得多的费用,8,9,Google 云计算,Google的云计算思路,“浏览器操作系统”,10,隶属PaaS的Google云计算,Google 云计算PaaS,
3、属于部署在云端的应用执行环境支持Python和Java两种语言通过SDK调用Google的各种服务。如Google Map、Mail等用户可快速、廉价（可免费使用限定的流量和存储）地部署自己开发的应用（如创新的网站、游戏等）在下一章将具体介绍GAE具体的应用,11,Google 云计算SaaS,隶属SaaS的Google云计算,提供在线“Word、Excel、PPT”,提供在线MAP,提供在线日历管理,Google云计算平台技术架构分布式文件系统 Google Distributed File System并行数据处理 MapReduce分布式锁 Chubby结构化数据表 BigTable,G
4、oogle如何实现云？,12,将在第二章详细介绍,13,云计算概念入门,Q&A,14,提 纲,TM Forum 对云态度,4,Google云计算原理,1,2,3,4,15,16,17,Google设计GFS的动机,Google需要支持海量数据存储的文件系统 购置昂贵的分布式文件系统与硬件？,是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？,GFS的设计思路,GFS设计原则： 机器失效不能视为异常现象 能应付对大型/超大型文件处理 支持大量用户同时访问GFS组成 GFS集群:一个的Master和多个ChunkServer（块服务器）组成，并可以多客户端Client访问GFS设计要点
5、每个文件拆成若干个64M文件块Chunk组成 每个Chunk都由Master根据其创建时间指定Chunk Handle(64) 文件块被保存在ChunkServer本地磁盘中 缺省情况下3处热备份Chunk块文件,18,GFS的设计思路,Client职责 包含文件系统的API 负责和ChunkServer和Master通信 代表应用程序进行读写操作 Client和Master进行元数据操作 Client和ChunkServer进行文件数据操作 Master职责 负责管理所有文件系统的元数据 元数据包括：命名空间，访问控制信息，文件到Chunk的映射信息等ChunkServer职责 负责存储ch
6、unk文件块 Linux文件系统,19,20,GFS的系统架构,应用程序,GFS客户端,GFS数据块服务器,Linux文件系统,GFS主服务器文件命名空间,Chunk 2EEE,/foo/bar,GFS数据块服务器,Linux文件系统,标注：,数据信息,控制信息,文件名，chunk索引,向数据块服务器发指令,返回数据块服务器状态,Chunk句柄和位置,Chunk句柄，查找数据,返回数据信息,21,Question,文件为什么要被化分为64M？,Answer：1、可以减少Client和Master的之间的交互，减少Master的负载2、客户端可以在一个Chunk中完成许多操作3、可以减少TCP三
7、次握手时间。另外这些信息都要被Master管理的缺点：有冗余,GFS架构的特点,采用中心服务器模式Master 可以方便地增加Chunk Server Master掌握系统内所有Chunk Server的情况，方便进行负载均衡 不存在元数据的一致性问题不缓存数据 必要性：Client流式读取，非重复读写 可行性：Master本身管理多个Server，很复杂,22,GFS容错机制,Chunk Server容错 每个Chunk有多个存储副本（默认是3个），分别存储于不通的服务器上每个Chunk又划分为若干Block（64KB），每个Block对应一个32bit的校验码，保证数据正确（若某个Bloc
8、k错误，则转移至其他Chunk副本）Master容错 三类元数据：命名空间（目录结构）、Chunk与文件名的映射以及Chunk副本的位置信息前两类通过日志提供容错，Chunk副本信息存储于其它Chunk Server。这样Master出现故障时可恢复,23,24,GFS实验效果图,ChunkServer 1,ChunkServer 2,ChunkServer 16,Master,Client 1,Client 2,Client 16,路由器 1,路由器 2,Master,Google云计算原理,1,2,3,4,25,并行计算基础,摩尔定律正在走向终结 单芯片容纳晶体管的增加，对制造工艺提出要求
9、 CPU制造18nm技术，电子泄漏问题 CPU主频已达3GHz时代，难以继续提高 散热问题（发热太大，且难以驱散） 功耗太高,26,未来的发展：多核,27,什么样的问题适合并行计算？,斐波那契序列(Fibonacci) X计算URL访问频率 Y,Map函数处理日志中web页面请求的记录，然后输出(URL,1)。Reduce函数把相同URL的value值都累加起来，产生(URL,记录总数)结果。,Google为什么需要MapReduce？,Google拥有海量数据，并且需要快速处理什么是MapReduce？,28,Google MapReduce 架构设计师 Jeffrey Dean,Jeffe
10、ry Dean设计一个新的抽象模型， 使我们只要执行的简单计算，而将并行化、容错、数据分布、负载均衡的等杂乱细节放在一个库里，使并行编程时不必关心它们这就是MapReduce,29,Google 并行运算编程模型,Map,Map,Map,原始数据 1,原始数据 2,原始数据 M,Reduce,Reduce,结果 1,结果R,1、在编程的时候，开发者需要编写两个函数：Map:(in_key, in_value)Reduce:(key,value 1,value 2)2、Map操作产生结果是对3、在Map，Reduce之间系统把同一Key归类到Reduce3、Reduce操作对相同的Key进行归类
11、处理,30,MapReduce实现机制,用户程序,(1)分割,(1)分割,(1)分割,Master,工作机M,工作机M,工作机M,工作机R,工作机R,(2)指派Map,(2)指派Reduce,片段1,片段4,片段3,片段2,输入文件,(3)Read,(4)本地存储,输出文件0,输出文件1,Map状态,本地存储,Reduce状态,输出文件,(5)远程读取,(6)写入文件,31,单词计数 体现M/R算法,Hello World Bye World Hello China Bye China Hello Si-tech Bye Si-tech,输入数据：,MapReduce,Hello ：3 Bye
12、 ：3 China ：2 World ：2 Si-tech：2,Map(Key,Value) for( each world world in value)collect(world,1); ,Reduce(Key,Value ) int count = 0;for(each w in value)count +;collect(Key,count); ,1),32,Hello World Bye World Hello China Bye China Hello Si-tech Bye Si-tech,2),分割,分割,分割,Hello World Bye World,Hello China
13、 Bye China,Hello Si-tech Bye Si-tech,KEY VALUE,KEY VALUE,KEY VALUE,3),Hello World Bye World,Hello China Bye China,Hello Si-tech Bye Si-tech,MAP,MAP,MAP,33,4),Map输出,Fold,Fold输出,34,Fold输出,5),Reduce输出,Reduce,MapReduce容错机制,背景 MapReduce设计初衷：由普通PC组成的集群来处理超大规模的数据，所以有效的错误保障机制是必不可少Worker容错 Master周期性的ping每个wo
14、rkerMaster容错Master周期性的将Master的数据结构的写入磁盘，即检查点（checkpoint）Master数据结构包括: Map和Reduce任务的状态（空闲、工作中或完成)，以及Worker机器(非空闲任务的机器)的标识。,35,Google云计算原理,1,2,3,4,36,37,提 纲,TM Forum 对云态度,4,38,GAE部署云应用,Q&A,课堂演示部署过程,39,提 纲,TM Forum 对云态度,4,TMF See Sunny Future In Tele Management World American,40,TMF简介,1、电信管理论坛 ,非盈利联盟组织
15、2、会员遍布全球195个国家，700+会员公司3、我们公司也是会员，享受会员权利4、业界广泛使用的eTOM,SID,TAM,NGOSS,TMF最新框架技术,结束语,云计算的出现并快速发展，一方面是虚拟化技术、分布式计算等技术发展的结果， 另一方面也是互联网应用不断丰富趋势的体现。目前，虽然有Amazon、Google、IBM、Microsoft等在推，但云计算还没有一个统一的标准。云计算平台已经为很多用户所使用， 但是云计算在行业标准、数据安全、服务质量、应用软件等方面也面临着各种问题，这些问题的解决需要技术的进一步发展。现有的研究大多集中于云体系结构、云存储、云数据管理、虚拟化、云安全、编程模型等技术,41,42,云计算,Thank You !,Q&A,
