1、Google云计算原理2Reached Our Goal认识 云 计 算 （理解）理解 Google 云 计 算 实现 原理 （ 难 点）可独立在 GAE上开 发 云服 务应 用了解 TMF？以及云未来的 发 展 （了解）3初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度44We have a dream 愿景愿景 :计算机的 服务能力 可以作为一种商品进行流通。就像水、电、 气一样取之方便，费用低廉5云计算定义图：云计算概念模型云计算 :是一种商业 计算模型。它将计算任务分布在 大量计算机构成的 资源池 上，使各种应用系统能够 按需 获取计算力、存储
2、空间和信息服务。6云计算服务的部署形式IaaS基础设施云(代表：亚马逊的 S3)SaaS 应用云（代表： salesforce的 CRM）PaaS 平台云（代表： Google App Engine）私有云(数据中心 内部网 )公共云(服务提供商 互连网 ) 混合云(公共和私有 )X as a service7Amazon 云计算1GB数据存放 1个月为 0.15美元每个服务器租用 1小时为 0.1美元1. Amazon的 IaaS云计算思路弹性计算云 EC2为企业提供计算服务简单存储服务 S3为企业提供存储服务2. Amazon的 IaaS运用实例亚马逊 IaaS应用案例：纽约时报使用 亚马
3、逊云计算服务效果： 在不到 24个小时的时间里处理了 1100万篇文章费用： 累计花费 240美元利用自己服务器时间： 数月时间费用： 多得多的费用 89Google 云计算1. Google的云计算思路应 用 向互联 网迁移数据 向互联 网迁移计 算能力向互 联 网迁移存 储 空 间向互 联 网迁移 “ 浏览器操作系统 ”102. 隶属 PaaS的 Google云计算Google 云计算 PaaS属于部署在 云端 的应用执行环境支持 Python和 Java两种语言通过 SDK调用 Google的各种服务。如 Google Map、 Mail等用户可快速、廉价（可免费使用限定的流量和存储）地
4、部署自己开发的应用（如创新的网站、游戏等）在下一章将具体介绍 GAE具体的应用11Google 云计算 SaaS3. 隶属 SaaS的 Google云计算提供在线 “ Word、 Excel、 PPT”提供在线 MAP提供在线日历管理Google云计算平台技术架构分布式文件系统 Google Distributed File System并行数据处理 MapReduce分布式锁 Chubby结构化数据表 BigTable12Google如何实现云？Google云云 计计 算算 应应 用用MapReduce BigTableGFSChubby将在第二章详细介绍将在第二章详细介绍13云计算概念入门
5、Q&A14初识云计算1Google云计算原理2GAE平台部署云服务3提 纲TM Forum 对云态度415Google云计算原理分布式文件系 统 GFS并行数据 处 理模型 MapReduce分布式 锁 服 务 Chubby分布式数据 库 BigTable1234Google云云 计计 算算 应应 用用MapReduce BigTableGFSChubby1617Google设计 GFS的动机Google需要支持 海量数据存储 的文件系统 购置昂贵的分布式文件系统与硬件？是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？1. GFS设计原则：机器失效不能视为 异常现象能应付对 大型
6、/超大型 文件处理支持 大量用户 同时访问1. GFS组成GFS集群 :一个的 Master和多个 ChunkServer（块服务器）组成，并可以多客户端 Client访问2. GFS设计要点每个文件拆成若干个 64M文件块 Chunk组成每个 Chunk都由 Master根据其创建时间指定 Chunk Handle(64)文件块被保存在 ChunkServer本地磁盘 中缺省情况下 3处热 备份 Chunk块文件 18GFS的设计思路4. Client职责包含文件系统的 API负责和 ChunkServer和 Master通信代表应用程序进行 读写 操作Client和 Master进行 元数
7、据 操作Client和 ChunkServer进行 文件数据 操作5. Master职责负责管理所有文件系统的 元数据元数据包括： 命名空间 ， 访问控制信息 ， 文件到 Chunk的映射信息等6. ChunkServer职责负责存储 chunk文件块Linux文件系统19GFS的设计思路20GFS的系统架构应 用程序GFS客 户 端GFS数据 块 服 务 器Linux文件系 统GFS主服 务 器文件命名空间Chunk 2EEE/foo/barGFS数据 块 服 务 器Linux文件系 统 标注：数据信息控制信息文件名， chunk索引向数据块服务器发指令返回数据块服务器状态Chunk句柄和位
8、置Chunk句柄，查找数据返回数据信息21Question 文件为什么要被化分为 64M？Answer：1、可以减少 Client和 Master的之间的交互，减少 Master的负载2、客户端可以在一个 Chunk中完成许多操作3、可以减少 TCP三次握手时间。另外这些信息都要被 Master管理的缺点： 有冗余l采用中心服务器模式 Master可以方便地增加 Chunk ServerMaster掌握系统内所有 Chunk Server的情况，方便进行负载均衡不存在 元数据 的一致性问题l不缓存数据必要性： Client流式读取，非重复读写可行性： Master本身管理多个 Server，很
9、复杂22GFS架构的特点lChunk Server容错每个 Chunk有多个存储副本（ 默认是 3个 ），分别存储于不通的服务器上每个 Chunk又划分为若干 Block（ 64KB），每个 Block对应一个32bit的校验码 ，保证数据正确（若某个 Block错误，则转移至其他 Chunk副本）l Master容错三类元数据：命名空间（目录结构）、 Chunk与文件名的映射以及 Chunk副本的位置信息前两类通过 日志 提供容错， Chunk副本信息 存储于其它 Chunk Server。这样 Master出现故障时可恢复23GFS容错机制24GFS实验效果图ChunkServer 1 C
10、hunkServer 2ChunkServer 16MasterClient 1Client 2Client 16路由器 1 路由器 2Master25Google云计算原理分布式文件系 统 GFS并行数据 处 理模型 MapReduce分布式 锁 服 务 Chubby分布式数据 库 BigTable1234Google云云 计计 算算 应应 用用MapReduce BigTableGFSChubbyl摩尔定律正在走向终结 单芯片容纳晶体管的增加，对制造工艺提出要求CPU制造 18nm技术，电子泄漏问题CPU主频已达 3GHz时代，难以继续提高散热问题（发热太大，且难以驱散）功耗太高26并行计
11、算基础未来的发展：多核27什么样的问题适合并行计算？l 斐波那契序列 (Fibonacci) Xl 计算 URL访问频率 YMap函数处理日志中 web页面请求的记录，然后输出 (URL,1)。 Reduce函数把相同 URL的value值都累加起来，产生(URL,记录总数 )结果。lGoogle拥有海量数据，并且需要快速处理l什么是 MapReduce？28Google为什么需要 MapReduce？Google全球 Web数据邮 件数据地 图 数据卫 星照片Google MapReduce架构设计师Jeffrey DeanJeffery Dean设计一个新的 抽象模型 ， 使我们只要执行的
12、 简单计算 ，而将 并行化、容错、数据分布、负载均衡 的 等杂乱细节放在一个库里，使并行编程时不必关心它们这就是 MapReduce29Google 并行运算编程模型Map MapMap 原始数据 1 原始数据 2 原始数据 MReduce Reduce结果 1 结果 R1、在编程的时候，开发者需要编写两个函数：Map:(in_key, in_value)Reduce:(key,value 1,value 2)2、 Map操作产生结果是对3、在 Map， Reduce之间系统把同一 Key归类到 Reduce3、 Reduce操作对相同的 Key进行归类处理30MapReduce实现机制用 户 程序(1)分割(1)分割(1)分割Master工作机 M工作机 M工作机 M工作机R工作机R(2)指派 Map (2)指派 Reduce片段 1片段 4片段 3片段 2输入文件(3)Read(4)本地存储输 出文件 0输 出文件 1Map状态 本地存储 Reduce状态 输出文件(5)远程读取(6)写入文件
