1、2014年 5月 27日星期二 罗小平 数据中心能源领域高级架构师 数据中心建设规划交流 1 专业服务 技术和业务范围 z 管理 hosting服务 z 管理 Cloud服务 z 管理通信服务 z 管理安全服务 z 管理存储服务 Layer 4 应用 实施 设计 规划 运维 提升 z 集成测试 z 集成评估 z 基础设施设计 z IT架构设计 z 网络优化 z 安全评估 z IT架构实施 z 集成管理实施 z 门户和邮件 z 虚拟桌面 z 商业应用 z 应用开发平台 z Web hosting平台 z 配置服务 Layer 3 平台及中间件 z 地板布局 z 电力系统 z 制冷系统 z 布线系
2、统 z 消防系统 z 物理安全 Layer 1 数据中心基础设施 z 计算 z 存储 z 网络 z 安全和业务连续性 Layer 2 数据中心 IT解决方案 云计算系统 z 安全规划 z IT架构规划 服务生命周期 z 整合 z 搬迁和数据迁移 z 灾难恢复和备份 数据中心服务概述 2 提 纲 2 大数据、云计算解决方案 3 模块化数据中心建设规划 1 IT及数据中心发展趋势 4 数据中心基础设施解决方案 3 新的时代已经开始,如何赢得未来 CIO最关注大数据和云计算 Virtualization DC Consolidation Big Data Cloud Computing 10 20
3、30 (%) 0 China Worldwide Gartner: Top IT Spending Priorities in 2013 信息技术正以前所未有的方式改变着我们的生活,为生活带来极大的便利 企业 IT应用已远远落后于个人, CIO需要新的技术进行 IT变革,实现更加敏捷的应用,创造更多商业价值 4 趋势 1:大数据激发商业潜能 2 nd数据平面 1 st 数据平面 Video Images Web Social Events Email Docs 传统数据仓库 ( DW+DM) (小型机 +关系 DB+高端存储) UPS 节省运营成本 /年 运输路线 530 万公里 汽 油 65
4、 万加仑 Verizon 创新业务模式 Precision Market Insights 为媒体、广告商、零售等提供消费者的流动、消费习惯等信息 TXU Energy 创新营销方案 Free Nights “亲,晚上再洗衣服洗碗吧,晚上用电不要钱。” Free Charges from 10 p.m. to 6 a.m. 非结构化数据、数据流 CRM/ERP 传统报表 分析 结构化数据 实时营销 情绪指数 脉络关系 客户挽留 趋势预测 Hadoop集群 X86服务器 数据挖掘 大数据通过对数据更大的掌控力来创造商业价值, 促进 IT从支撑系统向 业务系统 转变 5 趋势 2:云计算推动产业变
5、革 部件 &终端 网络服务 云服务 IT服务 云基础设施硬件 云内容 云 OS - 9% $ 1.7万亿 (27%) $2.0万亿 (18%) -4% $1.6万亿 (25%) $2.3万亿 (21%) +13% $3.0万亿 (48%) $6.7万亿 (61%) 电信运营商和互联网公司向 IT云服务商转型 2 2012年到 2020年, ICT市场的变化 Source: Gartner; IDC; Euromonitor 设备商品化,价值转移到结合用户体验的内容 /服务 1 云基础设施成为 ICT的核心支撑,企业需要有清晰的云战略 6 趋势 3: IT基础架构更加开放,产业走向融合 Amaz
6、on, 1530 Rackspace, 440 AT&T, 376 Verizon, 262 IBM, 63 VMware, 105 互联网公司、电信运营商、 IDC服务商、传统 IT公司均进入云服务领域 IBM在美国中情局合同的竞争中输给了 Amazon,引发产业对互联网技术和传统 IT技术的再思考 开源 、 分布式架构 、 软件定义架构 ,是互联网设计的核心理念 2012年主要 IAAS服务商收入 (M$) Google的 IT平台核心设计 模块化数据中心 定制化服务器 分布式、开源软件 7 金融 创新大数据 华为 IT战略:聚焦融合,提供商业敏捷的解决方案 . 大数据解决方案 云计算解决
7、方案 数据中心机房基础设施 服务器 存储 网络 虚拟化 大数据分析 数据 中心 统一管理 基础架构的演进 政府 智慧城市 媒资 IP全台网 运营商 混合云 敏捷 融合 IT和互联网的融合 用互联网的开放思维设计产品 计算 /存储 /网络 /软件的融合 打破独立产品架构,突破性能瓶颈 数据平面的融合 完整生命周期设计,减少数据搬移 大数据的智能化 提供商业决策、提升服务水平、提高商业价值 云的弹性按需 快速获取资源,缩短业务上线时间 8 空间不足 , 电力 /制冷问 题 业务快速变化的 云时代数据中心的挑战:能耗高、业务变化快和管理费用攀升 Source = April 2009 Computi
8、ng Infrastructure Trends: IDC 客户面临的最大挑战: 设备增长引起的部署空间、电力 /制冷问题 业务快速变化的应对 电源和制冷成本及管理维护费用逐年大幅飙升 9 工信部:到 2015年末,新建大型云计算数据中心的能耗效率( PUE)值达到 1.5以下 数据中心趋势:建设高效、低 PUE的数据中心 PUE=1.08 雅虎“鸡窝式”数据中心,纽约洛克 港 自然风直接冷 却 极 少时间( 1%)开启空 调 http:/www.thegreengrid.org/ PUE=1.215 中移动,哈尔滨仓储式数据中心 热转轮,全分散直流供电 间接自然冷却 10 数据中心趋势:应对
9、业务快速变化的模块化架构 基础设施模块化 计算资源模块化 网络架构的标准化、模块化 虚拟化技术,加速计算资源标准化 服务器按台部署 、整 柜部署 万兆端口应用,减少网络层次,实现 网络与服务器的标 准化匹配 UPS系统 制冷系统 机柜系统 配电系统 供配电模块 DC= 3+2 室外空调模块 数据机房模块 装修系统 消防系统 数据中心模块 供电模块 室外空调模块 消防、装修 标准接口 模块化部件 模块化子系统 模块化数据中心 UPS Battery PDU BMS UPS BMS 11 . . 数据中心趋势:模块化数据中心已是主流趋势 腾讯微模块数据中心 华为 建造 2005年 2006年 SU
10、N Black box SGI Ice Cube 2007年 IBMPMDC HP 40POD 思 科集 装箱 UCS 2008年 2009年 2010年 2011年 谷歌俄勒冈 州数 据中心 微软芝加哥数据中心 华 为 模块化数据中心 2012年 12 数据中心趋势:大型中高密机房将智能管理带入快速发展期 Page 12 数据中心正走向 5kW/R拐点,密度升高带来管理难度、能耗加大,客户期望通过智能管理系统提升管理和能源效率 激增的数据中心管理服务需求也大幅提高 DCIM重要性 行业报告对 DCIM市场预测极为乐观, CAGR 42% DCD 5kW规则 -客户关注点的变化 Source:
11、 451 Research,2013 运营管理 整体策略 基础设施 升级费用 Source: DCD能源需求报告 2012 关注度 功率密度 13 数据中心技术发展趋势 -密封通道、行级制冷、高效 UPS将成为主流 密封通道 , 2 年 行级制冷 , 2 年 高效 UPS, 2 年 Source: Gartner, 2012 Gartner Hype Cycle(发展规律周期): 14 提 纲 2 大数据、云计算解决方案 3 模块化数据中心建设规划 1 IT及数据中心发展趋势 4 数据中心基础设施解决方案 15 大数据,商业增值 通过新的处理模式,发挥大数据价值 . 云计算 基础架构 大数据
12、1 16 如何真正发挥大数据的价值? 应用、平台、基础设施的多维支撑,才能真正发挥大数据的商业价值 应用: 开放合作 平台: 跟随开源,商用化增强 基础设施: 基于通用,实现优化 “ 大数据 是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的,海量、高增长率和多样化的信息资产 ” Gartner 大数据计算 大数据存储 App Engine/API 服务封装 MapReduce 分布式 并行处理架构 Hbase 非关系型 数据库 HDFS 分 布式文件系统 MPP-DB 分布式关系型数据库 建模算法中间件 面向 End用户的应用 精准营销、 App应用商店 、行为分析 面向合作的
13、应用 增值应用、行业市场的应用 面向管理分析的应用 BI、 CRM、计费、SQM、 Campaign 17 采用开放式大数据平台、保持开放创新,是业界的共同选择 传统大数据平台公司加入 Apache Hadoop开源生态系统 开源生态系统继续保持活力,相关创新日趋加速 2010Q2,发布 InfoSphere BigInsights 2011Q4,放弃自研平台,发布 HDInsight 2011Q2,发布 Greenplum HD 2011Q2, LexisNexis Risk Solutions High Performance Computing Cluster will be offer
14、ed as open source code pitting it against Hadoop. 但是为时已晚,HPCC将被迫局限在较小的市场 2008Q3, Facebook贡献 Hive项目,成为 Apache社区正式项目。2013Q2,宣布秋季将会开源 Presto,新的高性能数据分析引擎 贡献测试套件 YCSB, 并行计算调度框架 YARN 贡献高性能 SQL查询引擎 Impala With a redesigned fully distributed API, HDFS integration and a wide range of new machine learning too
15、lkits, GraphLab is now faster, more scalable, and more powerful than ever before. 18 以开源为基础,以可持续为目标,客户呼唤企业级大数据平台 “ 我们把大数据应用视作是生命线,一定是采用大数据平台企业版,搞开源软件不是我们的主业。在选合作伙伴的时候,我们一定考虑门当户对,因为强有力的合作伙伴才能保证 35年的供应、合作安全 ” 某银行 CIO 企业级大数据平台 安全 版本配合 配置 Hadoop HBase 日志 性能调优 基线 选择 补丁选择 采纳社区精华,去除开源 Bug 谨慎选择稳定基线版本 评估高版本补
16、丁影响范围评估和回合策略 采用数万个测试用例,确保企业版本稳定性 19 金融应用场景 电信应用场景 在开放、合作、贡献宗旨下,为客户 提供企业级大数据 平台 运营商详单查询 经营分析、精准营销 银行数据全生命周期分析实时明细、精准营销 在线征信与风控等 大企业 Web页面 点击行为、 系统日志分析 大数据管理 维护平台 建模、算法中间件 Native API/SQL/App Engine服务封装 流处理 非、半结构化处理 大数据基础设施 金融等保、远距离容灾、 Hbase增强、定制化能力提供、 OM能力保证 企业通用应用场景 20 云,随您所需 “DC2分布式云数据中心”,云的最佳解决方案 .
17、 大数据 基础架构 云计算 2 21 IMSVASEPC 电信业务云 企业 /政府专有云 公有云服务 IaaSSaaS 分布式云数据中心有效支撑企业的 SOA变革 标准化硬件 计算资源池 网络资源池 存储资源池 业务与平台解耦,软件与硬件解耦,可扩展性大大增强 企业解放生产力和技术创新的基础,大数据 /移动办公/SAAS应用的最佳承载平台 资源不受限 IT即服务 可服务性能力提升,服务水平可衡量,企业应用商店 创新无止境 ERPCRMEMAIL 软件定义的分布式云数据中心是企业云战略的基石 22 企业 /政府专有云 公有云服务 电信业务云 z 避免单一厂商捆绑 z 完善的生态链支撑 z 满足
18、NFV的标准化流程 z 跨运营商的 Federation z 互联网架构带来更低成本 z 兼容 AWS等公有云接口 Vodaplex公有云项目,基于 OpenStack,并且支持AWS服务接口 DT cloud IMS/EPC ,要求必须基于 OpenStack的NFV框架 国家电网项目,选择基于OpenStack的第二家厂商,避免 VMware捆绑 基于 OpenStack的开放架构是云数据中心的理想选择 23 传统 IT硬件利旧(池化)效率 池化调度 业务适配 安全可靠 高效管理 服务能力 互联互通 业务感知的弹性扩缩 大规模分布式存储 基于 SLA的调度优化 传统办公和生产业务 VDI/
19、SAAS等新业务 QoS保障 企业关键应用的可运营性 DAAS(桌面运营) 行业安全标准合规 企业级高可用性( HA/FT) 电信级可靠性标准 多租户安全隔离 基于 SLA的可靠性度量 企业应用快速部署和迁移 多数据中心远程统一管理 兼容 VMware RESTFUL开放接口 兼容 NFV标准框架 OpenStack框架 定制化接口适配 企业应用商店和统一门户 行业资源共享 业务快速部署 多租户统一管理 分权分域,用户自助服务 基于 SLA的服务等级 计费和运营接口适配 可量化衡量的服务等级 关键能力优化,保障开放架构持续可用 企业 /政府专有云 公有云服务 电信业务云 云操作系统和管理运营平
20、台是分布式云数据中心的核心模块 24 精简 IT,无忧演进 开放的融合架构, 支撑未来 10年演进和扩展 . 大数据 基础架构 云计算 基础架构演进 3 25 传统架构面临挑战,无法满足企业信息化高速发展的要求 x86服务器 融合存储、大数据存储 封闭开放 传统 IT架构 ecosystem相对封闭,前期采购成本和后期维保费用居高不下 产业的高速发展推动 IT基础架构从封闭走向开放和融合 大型机 /小型机 Unix OS Oracle/IBM 专用存储设备 26 业务需求首先催熟计算和存储的演进 关键业务 x86替代条件成熟(小型机的全面替换):可靠性相当、性能更高、产业链日臻完善 存储走向融
21、合:打破数据孤岛,避免数据和设备强耦合,为大数据商业增值创造必备条件 开源数据库技术门槛高:需要产业链更多厂家的推动和支持 x86与小型机的对比 Xeon E7 vs Power7 最高 112%性能 28%系统成本 统一存储 SAN和 NAS融合 数据生命周期融合 存储介质融合 - 成本 风险 + 商业机会 容灾 存储 备份 归档 分析 27 I O E x86 服务器 开源 数据库 分布式 存储 x86 小机 Oracle 统一存储 SAN/NAS 融合 企业关键业务 x86渗透 +统一存储 企业增值业务、互联网融合 跨越式一步到位 + 保持数据库、中间件不变 从 2012年开始仅采购 x
22、86服务器,当前小型机向 x86迁移比例 62% 存储资源实现平台化运营管理 基于开源软件,自研数据库 计算平台 100% 采用 x86服务器 从集中式存储转型到分布式存储 根据应用场景,选择合适的节奏和方式 28 精简 IT ,无忧演进 开放的融合架构,支撑未来 10年演进和扩展 云,随您所需 “DC2分布式云数据中心”,云的最佳解决方案 2 1 . 大数据 基础架构 云计算 基础架构演进 3 大数据,商业智能 基于开源,超越开源,轻松驾驭大数据 小结:基于融合架构的大数据、云计算解决方案,助力商业成功 29 云计算时代需要高品质的数据中心网络 数据大集中 高密网络,业 务和数据大集 中, 需要 更可靠,无阻塞的 数据中心 无法区分物理网络和虚拟网络的故障,定位经验无法适用于云计算时代数据中心网络 , 希望数据中心网络有快速恢复的能力? 孤岛式 IT系统 业务分散,孤岛之间相对独立,资源利用率低,维护困难 网络故障快速定位,业务快速恢复 云计算时代需要的品质云网络:可靠的软硬件平台,无阻塞无间断的交换能力