中国电信云计算建设指导意见.pdf

1、 （ 内部材料，请勿外传 ） 2013年网络发展工作会参阅材料之 二 中国电信 云计算 建设指导意见 (2013 年 ) （征求意见稿） 网络发展部 业务网络规划处 2013年 3月 i 目 录 1 前言 . 1 2 云计算规划目标与发展思 路 2 2.1 云计算体系规划背景 . 2 2.2 云计算体系规划目标 . 2 2.3 云计算体系规划思路 . 3 2.4 云计算体系规划要点 . 3 2.5 规划期内云计算体系实施目标 . 4 2.6 近期云计算工作目标 . 4 2.7 云计算工作分工界面 . 5 3 云资源池部署思路与建设方案 . 7 3.1 资源池体系架构 7 3.2 资源池体系化部

2、署 8 3.3 资源池集约化部署 9 3.4 资源池建设原则 9 3.5 资源池关键部署方案 . 10 3.6 资源池单节点部署方案 . 10 3.6.1 资源池计算资源部署方案 . 11 3.6.2 资源池存储资源部署方案 . 13 3.6.3 资源池网络资源部署方案 . 15 3.6.4 资源池安全备份部署方案 . 16 3.7 资 源池多节点部署方案 . 17 3.8 资源池纳管方案 19 3.9 资源池接口方案 20 4 业务平台云化迁移 22 4.1 业务平台云化迁移指导方案 22 ii 4.1.1 云化迁移总体方案 22 4.1.2 业务平台云化迁移思路 . 23 4.1.3 方案

3、评估阶段的关注点 . 25 4.1.4 方案设计阶段的关注点 . 25 4.1.5 迁移实施方案的两种模式 . 26 4.1.6 数据库云化迁移的注意点 . 28 4.2 云资源池承载能力 29 4.3 业务平台应用软件开发要求 31 4.4 集团资源池承载省业务平台要求 . 33 4.4.1 省公司业务平台接入集团资源池上线前评估 . 33 4.4.2 省公司业务平台接入集团资源池流程指导 . 34 5 附件 . 36 5.1 表 4 各类存储组网方式比较 . 36 1 1 前言 随着中国电信新三者战略（智能管道主导者、综合平台提供者、 内容 和 应用参与者）和集约化运营战略的提出，云计算的

4、地位日益重要，成为当前全网各类 平台整合和集约的最为重要手段，将成为未来智能管道和综合平台的统一 IT引擎。 IT技术和产业发展正在朝着 X86化（标准化和通用性高，能够兼容主流操作系统，成本较低）、虚拟化（服务器、存储、网络虚拟化，实现资源整合，满足快速部署，提升资源利用率，降低成本）以及分布式化（通用硬件分布式部署， 通过 软件实现可靠性和并发访问能力，满足海量数据低成本存储与计算需求）等趋势 。 应积极利用经过验证已经成熟的 云计算 技术 进行商用部署 ，以提升资源池的 集约能力、承载能力 和 部署效率。 业务网络整体正在向“省集中、管理集中、资源集中、监控 集中，提升资源利用率”方向演

5、进， 云资源池 首先需要满足业务网络的演进目标，通过不断深入实践，实现业务平台的各个层次资源（基础设施、能力、数据、 第三方公共 软件 等 ）的整合集约，显著提升资源池的运营效率，支撑各类业务产品的快速部署和集约运营，实现产品与资源的分离。 目前，在 集团层面 ，已 部署北京、上海两个 云资源池 节点，承载集团级业务平台和专业公司平台，并且试点为部分省级公司平台提供资源 ； 在省公司层面，已有22个省公司部署云 资源池， 承载省级业务平台、部分基地平台以及省内属地化云产品。全网 集中部署的 云资源池 管理平台已 经 上 线，将 逐步 统筹管理全网资源池。 云资源池 将朝着体系化、集约化方向发展

6、。本指导意见在 承接集团战略和业务网络演进方向的基础上，结合目前 云资源池 建设现状，提出中国电信云 资源池 的发展目标和思路 、 云资源池 建设部署方案、业务平台迁移 云化方案与要求，用于指导各省公司的云 资源池建设 和业务平台云化 工作。 集团公司根据云计算发展战略，统一规划了云数据中心资源池、业务平台资源池、 IT专业资源池，本文件重点描述业务平台资源池指导意见。 2 2 云计算规划目标与 发展 思路 2.1 云计算体系规划背景 首先， 云计算体系规划 要承接集团 公司 发展战略 ，支撑综 合平台落地，提升集约运营能力 。 一方面， 改变传统资源提供方式，利用云计算技术支撑差异化产品部署

7、，进一步夯实综合平台的资源基础 ； 另一方面，实现各类平台 IT基础资源整合集中，统一管理，提升效率，降低运营成本 。 其次，云计算体系规划要顺应技术产业发展趋势。目前 IT技术产业的 应用 发展趋势主要包括三个方面： (1) X86化 :X86服务器 硬件具有通用性， 计算能力大幅提升，能够满足大多数应用需求，成本较低 ，正在逐步替代部分小型机。 (2) 虚拟化： 服务器、存储、网络虚拟化 技术 已经成熟，为资源按需分配提供 了技术保障 ，正在 IT领域获得广泛深 入的应用。 (3) 定制化： 服务器定制化已经成为一种趋势，能够有效降低设备采购及运营成本 ， 形成与 业务 特征相匹配的资源配

8、置方式 。 最后 ，云计算体系规划 还 要 满足业务网络演进 需求 ， 一方面为业务平台 硬件资源集约共享提供 手段和 条件，加快业务平台 基础硬件资源 整合；另一方面 能够 提供更好的 业务 承载能力，提升业务产品部署效率，有效支撑产品规模扩展与新产品快速部署。 2.2 云计算体系规划 目标 云计算体系规划 的 4 个 目标： (1) 实现 资源 集约化 ： 推进业务平台 基础硬件 资源整合集中，提升业务平台池化比例，实现资源统一分配、管理和监控，优化资源池 体系 和 布局 ，提升全网资源调配能力 。 (2) 提升 资源利用率 ： 积极增强资源共享、调配和 弹性 伸缩能力，优化资源分配机制

9、，加强资源使用 情况 后评估，整体提升业务平台资源利用率 。 (3) 增强 资源池承载能力 ： 对于新建平台，积极引导 软件 厂商开发 符合 资源池 特3 点 的应用软件与数据库 ； 对于扩容平台， 积极改造 并向云资源池迁移。继续提升业务平台 资源池硬件部分的 池化能力，增强 第三方 公共 软件 的 池化 能力 ， 将 资源 集约共享向更高的层面发展 。 (4) 支撑 产品快速部署 ： 实现项目与资源分离， 支撑 产品集约 部署 ，建立和完善资源运营体系，满足产品按需快速部署需求 。 2.3 云计算体系规划 思路 云计算体系应做到 整体规划、统筹部署 ，形成全网资源 统筹 管理、灵活调度 ：

10、 (1) 整体规划： 集团公司统一对业务平台和云数据中心资源池进行整体规划 。 (2) 统筹部署： 全网 资源池统筹满足对外云产品和对内业务平台的资源需求 。 其中， “ 4+2”云数据中心 （ 4 个区域云数据中心和 2 个低成本云数据中心） 统筹满足无属地化要求的云产品资源需求，未来重点加强内蒙古低成本 云 数据中心 的 使用 ； “ 1+N” 业务平台 资源池 （ 1 个集团层面资源池和 N 个省 公司层面资源池） 统筹满足集团、省公司业务平台资源需求和有属地化要求的云产品资源需求 。 (3) 统筹 管理： 全网 云 产品 服务统一管理；全网 云 资源统一调度 、 分权分域管理 。 (4

11、) 灵活调度： 实现 产品服务对资源 的 灵活调度 ， 以及 与业务量相匹配的资源动态调度 。 2.4 云计算 体系 规划要点 云计算体系 规划需要重点考虑以下三个关键要素： (1)资源池容量与节点规划： 根据业务发展、业务平台整合需求，确定未来 3年的资源需求，包括计算、存储、网络、安全和 第三方公共 软件等；基于资源需求进行资源池容量规划，进而 对 资源池节点布局和节点机房进行规划。 (2)资源池应用承载规划： 根据业务规划和网络规划，对 已有业务平台应用软件改造 和 新型应用软件开发部署等方面进行规划。 (3)资源池资 源部署规划： 包括计算、存储、网络、安全、虚拟化软件、第三方公共软件

12、等软硬件资源发展规划。 4 2.5 规划期内云计算体系实施目标 规划期内云计算体系需要实现以下目标： (1) 基本完成全网 业务平台 资源池 化，资源利用率达到较高水平 。 规划期末，除个别无法池化的业务平台 外 （例如数据库采用小型机的平台、含有特殊设备的平台等），业务平台资源的池化比例达到 90%以上 。 规划期末，资源池忙时平均利用率达到 50%以上（只统计承载业务平台的资源，不包括开发测试资源 ， 云化资源需评估虚拟机 CPU利用率 ），资源利用率波动范围在 40%60%之间 。 (2) 加强 全网资源 统筹 管理， 实现 资源集约共享 。 完善 云计算 资源管理 体系 ， 兼顾 全网

13、资源 统筹管理与运营单位 分权分域管理 需求 。 2013 年实现 对 集团 的 北京、上海资源池，广东、上海、江苏、浙江、福建、四川、江西 等 省公司资源池的统一管理； 2014 年实现 对 其它省公司资源池的统一管理。 2.6 近期 云计算 工作 目标 2013 年 云计算体系 的 工作 目标 包括 ： (1) 构建安全完备的资源共享体系，支撑产品快速部署 。 继续扩大 业务平台 资源池 规模，完善资源池容灾备份机制。 2013年 业务平台 资源池 新增物理服务器 1191台（达到 2365台），云数据中心新增物理服 务器 3012台（达到 3280台） 。 资源池规模较大的 省份 ，逐步

14、具备资源容灾备份能力。 尽快启动资源池扩容工程，满足新产品快速部署要求。 2013年上半年各省 公司 上报资源池扩容方案，集团 公司 完成批复，参加今年第一批IT集采。省公司资源池将统筹满足省内新产品上线和有属地化要求的客户定制产品资源需求。 (2) 加快大型平台云化迁移，提升资源集约共享水平 。 2013年平台池化占比达到 40%，新建平台全部纳入资源池，已有平台加快云化迁移。 各省在 2013年短信、彩信、 WAP网关等省级平台项目常规扩容工程中积极实施平台云化迁移， 力争年底完成。 5 继续推进平台云化、资源集约管理试点，提升资源集约共享水平。 集团公司今年将继续在 广东、上海、江苏、浙

15、江、福建、四川、江西 7省组织 ISMP、领航 平台 、 UDB等管理 类型 平台的云化试点，完善全网统一的资源管理平台，实现 集团 公司 和部分省公司 资源 的 统一呈现，支撑各省公司对本省资源的分权分域管理。 (3) 加快定制化服务器引入，提升效率降低成本 。 集团公司统筹定制化服务器引入 的 相关工作， 通过规模引入定制化服务器，力争服务器采购和运营成本降低 15%， 主要思路 如下 ： 降低能耗： 引入高压直流、冷热通道密闭、共享 电源等技术降低机房总能耗 15%-25%。 减少投资：通过全局优化、简化功能、减少冗余部件等方式实现投资成本降低 5%-10%。 匹配业务：面向规模大且单一

16、 的 业务引入定制化服务器，避免部分资源瓶颈或过度配置 。 提高效率：定制化远程管理、远程监控、前维护等功能，提高运维效率和资源利用率 。 目前， 定制化服务器 主要针对具有一定规模且典型的领域进行引入，主要引入场景为云数据中心、 业务平台 资源池 、大型互联网应用等典型领域。 初期引入的 定制化服务器类型为高密度单机计算型服务器和整机柜计算型服务器、存储型服务器等。 定制化服务 器的推进采用 先现场 测试 、后商用部署 的方式。 2013年上半年，集团 公司 统一组织制定定制化服务器产品模型、技术规范要求，协调厂商进行定制开发，并在总部 组织集中测试 。 2013年下半年，根据 测试 情况在

17、云数据中心、 业务平台 资源池 、 IT系统等领域逐步 规模 引入定制化服务器 。 2.7 云 计算工作 分工界面 云 计算工作 分工界面如下： 6 (1) 在建设 界面 方面，集团资源池、统一 的 业务平台 资源池 管理平台（包括各个资源池适配层模块）由集团负责建设，省 公司 资源池由各省建设，各省建设方案需上报集团审批。 (2) 在投资 界面 方面，资源池硬件及虚拟化软件、资源池管理 工具由资源池项目投资，操作系统、数据库、中间件、备份以及应用软件由各业务平台项目投资，后续随着技术发展， 逐步 实现 第三方公共软件的 资源池化 后，该 第三方公共 软件 将 由 资源池 提供 。 (3) 在

18、系统集成方面， 资源池集成由资源池项目负责， 业务平台集成由业务平台项目负责。 (4) 在安全设备方面， 防火墙等资源池安全防护设备由资源池项目负责， DDoS、IDS、 IPS 等公共安全设备由 相关 安全工程负责 ， 纳入 SOC 管理 体系 实现统一管理 。 (5) 在运维 管理 方面，资源池建设完毕后，应由各资源池维护单位进行统一维护，部署在资源池上的业务平台由业务平台维护人 员进行维护。资源池维护单位负责物理设备及虚拟机的日常维护，业务平台维护单位负责操作系统、数据库、中间件及应用软件等的维护。 7 3 云资源池 部署思路与建设方案 3.1 资源池体系架构 云资源池 体系 架 构 由

19、云服务管理平台、云资源管理平台和资源池 三个层次 构成 ： (1) 云服务管理平台对云产品服务 进行 管理，并与 CRM、计费等支撑系统对接，实现云产品 服务 的统一 订购、管理和 计费 等功能 。云服务管理平台通过 与云资源管理平台 对接 实现 对 资源的 调度请求 。 (2) 云 资源管理平台通过统一的接口对资源池进行管理，并 通过分权分域方式提供给 不同 层面的 运维人员 进行 资源 池管理。 为屏蔽各资源池差异，在各资源池部署 适配层 ， 适配 计算、存储、网络 等方面 的 不同厂商技术， 实现云资源管理平台对各资源池的 统一对接， 通过调用 API 的方式 完成管理 分配 操作指令，

20、并上报资源池状态。 (3) 资源池 由 集团资源池 和各省 资源池 构成。集团资源池 包括 业务平台 资源池及云数据中心 资源池 ， 统一承载集团业务平台及集团 统筹 部署 的 无属地化要求的 云产品 ，各省 资源池 统一承载各省业务平台及有属地化需求的云产品 。 (4) 在接口方面， 云服务管理平台与 CRM、计费等支撑系统对接，实现云产品 的开通、计费等功能； 云资源管理平台与电子运维系统对接， 实现 电子 工单的自动流转 ； 云资源池 的监控由业务平台综合网管实现，集团资源池与集团业务平台综合网管系统对接，省 公司 资源池 与省级业务平台综合网管系统对接 。 8 图 1 云资源池 体系

21、3.2 资源池 体系化 部署 根据集团 公司 统一规划，中国电信 云资源池 将在资源布局、资源管理和运维管理等方面形成体系 化 ： (1) 资源体系化 ：在 集团层面 ， 统一部署集团 云资源池 ，承载集团业务平台和专业公司平台，试点承载部分省公司平台；统一部署云数 据中心满足无属地化要求 的 云 产品 需求，并重点向内蒙古 低成本 云数据中心集中。 在 省 公司 层面 ,规模较大 的 省公司统一部署省级资源池，统筹满足业务平台和有属地化 要求的 云产品资源需求 。 9 (2) 管理体系化。 建立全网统筹的 云资源管理 体系 ，实现全网资源 统筹 纳管 ，并提供 分权分域 的 资源管理 手段

22、。 (3) 运维体系化。 集团和省级资源池分别与集团和省级业务平台综合网管系统 /业务平台集中监控系统衔接，实现资源池的运维与保障。 部署在资源池上的业务平台根据可研批复结果进行资源申请分配。 3.3 资源池集约化 部署 云资源池 应在 资源 建设、资源部署和资源管理上实现集约化 ： (1) 建设集约化 ： 集团公司统筹 规划资源池发展，各省 公司 负责本省资源池的具体 规划；集团公司 制定全网资源池建设指导意见，各省公司根据集团建设指导意见，制定本省资源池的具体实施方案，并上报集团审批。 (2) 资源集约化 ： 逐步实现 资源规模集约，以集团 公司 、省公司为单位实现业务平台池化 和 资源集

23、约 。 在 省 公司 ， 以 业务平台 核心 机房 节点 为基础 实现资源的 规模集约 ，发挥资源共享优势 。未来，逐步实现全网 资源 集约，集团资源池 将 承载更多 的 省级平台， 并 以 统筹部署的 低成本 资源池为 基础 承载更多应用 。 (3) 管理集约化 ： 形成 集约的产品管理和资源管理两套体系 ， 在资源规划、资源申请、资源维护等方面实现统筹集约 。 资源池项目以集团 公司 和 省 公司 为单位统一 规划 ， 由集团 公司 统一审批 方案 ，实现项目与资源分离； 资源池资源由 集团 公司 和省 公司分别对各自资源进行 分配。 3.4 资源池建设原则 云资源池 建设应遵循以下原则：

24、 (1) 资源池部署原则 ： 资源池原则上应集约部署在 1个机房节点，到达一定规模（ 100台物理服务器以上）并且空间不足，再考虑启动第二节点建设 ， 原则上 多节点局址选择在同城， 第二节点建设方案 需另行报批。 (2) 资源池分区原则 ： 原则上应根据业务类型（开发测试平台、非核心业务平台、核心业务平台、云产品 等 ）对资源池以集群 或物理机 为单位进行分区设置 。 10 (3) 内外部资源隔离原则。原 则上内外部资源应隔离部署，规模较大的资源池 （大于 2个集群） 以集群 为单位 隔离，规模较小的资源池 （ 2个集群以内） 可以物理机为单位隔离。外部客户如需进入机房操作维护，应从物理上进

25、行机房隔离，或将相应的资源部署在 IDC机房 。 3.5 资源池 关键部署方案 资源池 的 关键 部署方案 主要 包括： (1) 资源池 单 节点部署方案：包括资源池节点内的计算、存储、网络、安全备份等部署方案 。 (2) 资源池 多节点 部署方案：由 2个或以上节点构成的资源池的节点组网方案和节点间 协同方案 。 (3) 资源池纳管方案：集团 公司 、省 公司 资源池和云数据中心资源 池的资源 纳管方案 。 (4) 资源 池接口方案：资源池与管理平台、网管系统等的接口方案 。 3.6 资源池 单 节点部署 方案 云资源池 节点纵向部署包括三个层次： (1) 网络层：部署网络路由、 汇聚、交换

26、、 安全防护、负载均衡等 设备 。 (2) 计算层：部署各类计算能力，包括 X86 虚拟服务器集群、小型机集群、 X86物理服务器集群，一般以集群方式部署，集群内资源使用同一共享存储，可实现统一调度 。 (3) 存储层：部署各类存储能力，包括 FC-SAN、 IP-SAN 等共享存储、分布式对象存储、离线磁带存储等 ， 各类存储通过 FC 网络、以太网、 IP 网络等与计算层的计算集群连接。 11 图 2 资源池节点部署 架构 资源池节点横向部署以“集群”为 单位。集群是资源池建设的最小单元，同一虚拟服务器集群内可实现虚拟服务器 热迁移等虚拟化 软件 核心功能。集群一般由多台服务器通过一对交换

27、机进行连接，采用 FC SAN 或 IP SAN 等方式连接共享存储，一个集群的设备必须在同一机房甚至同一 LAN 内，尽可能采用同构 软硬件 。虚拟服务器集群的规模及可实现的功能受虚拟化软件的限制。 集群的扩展包括纵向扩展和横向扩展两种方式。纵向扩展指 增加集群内资源数目（服务器、磁盘）或增加资源能力（服务器处理 能力、存储 容量），规模较 小 的资源池可采取纵向扩展模式。横向扩展指根据需求增加集群的数目， 规模较大的资源池以集群横向扩展为主。 3.6.1 资源池计算资源部署方案 云资源池 计算资源部署如下图所示： 12 图 3 基于计算类型的计算资源分区 资源池建设以支持虚拟化技术的 X8

28、6 服务器为主体，利用不同虚拟化软件可进一步形成不同虚拟机集群；针对特殊需求，也可在资源池中引入 X86 物理服务器或小型机 ，从而形成在同一资源池节点内虚拟资源、物理资源和小型机等三类计算资源共存，这三类采用不同技术架构的 计算资源相互之间不能实现资源的共享及调度，因此 在 部署上 要 相对独立，构成不同的计算资源区域。 各种不同的计算资源首先通过各自的管理工具实现管理，并开放接口给统一的管理平台（通过资源池适配层）实现计算资源的集中管理 分配 。不同计算资源区域内按照集群部署模式进行单元部署。 在基于计算类型分区部署 的 基础上，可根据承载的业务类型进一步划分计算资源： 初期建议划分为“开

29、发测试区”及“生产区”。开发测试区 主要满足 业务开发测试要求，配置及环境调整较频繁，不需要考虑太 高 的稳定性，可配置中低端的物理服务器、虚拟服务器和小型机等计 算资源 ； 生产区则以稳定、可靠为首要目标，可配置稳定性、可靠性较高的物理服务器 、 虚拟服务器 和小型机等计算资源。 随着资源池规模逐步扩大且引入核心业务平台（例如短信、 彩信、 WAP 等 平台） ，可考虑将生产区再细分为“非核心业务 平台 区”、 “核心业务 平台 区” 以及“云产13 品区” 等 ，为核心业务 平台 在中断恢复时间、网络安全防护、处理性能等方面提供更高保障，例如提供高性能的物理服务器和小型机承载数据库。 业务

30、部署时首先考虑使用 X86 虚拟化计算资源，对于有特殊外设需求 的 可考虑使用 X86 物理 服务器 进行 整机承载，对于有高计算性能要求（ 超过 X86 虚拟化资源池中单台 物理 整机性能的 50%）或特殊数据库需求（如 Oracle RAC），可将特殊需求部分部署在 X86 物理机资源或小型机资源上。虚拟机部署时应根据业务特点统筹规划，尽量避免同一台服务器上运行的虚机忙时集中。 图 4 基于业务类型的计算资源分区 3.6.2 资源池 存储 资源部署方案 目前 业务平台 资源池 存储方案以 共享存储为主，经过多维度比较，主要推荐以下几种 存储方式 ： (1) FC-SAN：高性能、高成本，作

31、为中高端 存储使用 。 (2) IP-SAN：性能稍低、成本适中，作为中、低端存储使用 。 (3) 分布式对象存储：价格低，作为海量数据存储 和对外出租 使用。 (4) 磁带库 ： 作为 传统离线备份手段 使用 。 一般地， 同一资源池节点内不同类型的存储资源将共存，但由于不同技术架构的存储资源相互之间不能实现资源的共享，因此部署上相对独立，构成不同的存储14 资源区域。对于同一技术架构的不同存储厂商的存储 可 采用基于主机、网络和设备层的虚拟化技术整合为可统一访问和管理的存储能力。 各种不同的存储资源首先通过各自的管理平台实现管理，并开放接口给统一的管理平台（通过资源 池适配层）实现存储资源

32、的集中管理 与分配 。 资源池备份功能建议由资源池统一提供，由资源池统一提供备份软件，各业务平台提出备份策略，由资源池管理人员统一配置。 图 5 基于存储类型的存储资源分区 根据业务类型划分为“开发测试”、“非核心业务平台”和“核心业务平台”、“云产品区”四个不同的存储区： (1) 核心业务 平台 区：推荐采用 FC SAN（配置 FC或 SAS磁盘），采用 Raid0+1冗余保护方式 ， 关键数据可采用磁带存储进行备份 。 (2) 非核心业务 平台 区：可考虑采用 FC SAN（配置 SATA磁盘）或 IP SAN，采用Raid5冗余保护方式。对于互联网等需要大容量存储的业务，可使用分布式存

33、储 ， 对于部分需要数据备份的应用可采用磁带库存储备份数据 。 (3) 云产品区：根据不同产品 需求 配置存储类型，例如云主机业务可配置高端存储和中低端存储，云存储业务以分布式存储为主 。 (4) 开发测试区：根据业务类型和需求配置各类存储 。 15 图 6 基于存储类型的存储资源分区 3.6.3 资源池网络 资源部署方案 资源池节点网络模型 应 尽量扁平化。现 阶段建议采用二层网络结构设计资源池节点网络，分为核心汇聚层和业务接入层网络，如下图所示。业务接入层由接入交换机组成，向下连接各类计算集群，将集群内流量控制在接入层内，向上与核心汇聚层交换机连接。核心汇聚层主要由核心交换机组成，防火墙、

34、负载均衡等网络服务设备旁挂或串接核心交换机。核心汇聚层是流量转发的核心，实现外部网络与资源池节点的流量转发以及节点内集群间 的 流量转发。 16 图 7 资源池网络架构模型 3.6.4 资源池安全备份 部署方案 (1) 安全隔离方案 云资源池与外部网络的安全隔离通过防火墙等安全设备实现，同时可借助机房的 DDoS 防护设备加强安全防护。资源池的防火墙应支持多租户技术，能虚拟出多个可独立配置使用的虚拟防火墙。 云资源池安全隔离主要包括几个方面： 内外部资源隔离：对内承载业务平台的资源和对外出租的资源实现物理上的隔离，同一台物理主机不应同时承载业务平台资源和对外出租资源 ， 对于业务量较大的省份，

35、建议分别由不同集群提供 ， 同时应使用 VLAN、防火墙（虚拟防火墙）对内外部资源进行网络隔离。 17 内部资源隔离：不同的业务平台 通过 VLAN 方式实现网络上的隔离； 对于关键平台，可采用 物理（ 虚拟 ） 防火墙进行隔离防护，其余业务平台可 利用虚拟化软件安全模块或软件防火墙进行 访问 隔离防护。 对外出租业务的安全防护：不同 租户 通过 VLAN 进行隔离，并通过软件防火墙等方式进行隔离。此外，可根据客户需求部署 WAF、 IPS、 IDS 等安全设备。 (2) 备份方案 资源池（单节点） 备份系统 包括 虚拟机镜像备份及部署在资源池上的业务系统备份。 虚拟机镜像备份包括所有数据文件

36、 备份 、 操作系统文件 备份或 虚拟磁盘文件 备份 。 虚拟机 镜像备份需要备份软件调用虚拟化软件的 API 实现。部分虚拟机的整机备份需要通过快照方 式实现。 资源池上的业务平台备份与原来业务平台备份实现基本一致， 各业务平台提出备份策略，由资源池管理人员统一配置。 资源池备份系统需要支持全量备份、增量备份等多种备份方式。 资源池 备份介质包括磁带库、虚拟带库等，对于有条件的省份，关键系统备份的介质建议采用虚拟带库。 资源池本地备份目前主要有 LAN 备份、 LAN Free 备份两种。 LAN 备份针对所有存储类型都可以使用， LAN Free 备份只能针对 SAN 架构的存储。为保障业

37、务，在 SAN 架构中，建议采用 LAN Free 备份方式。 3.7 资源池 多节点 部署方案 资源池 多 节点布局应考虑集约化和规模效应， 对于有 多个业务网机房的 省公司 ，应尽量 将资源池 集中 部署 到 2-3 个 业务网 核心机房，几个节点间的规模应大致相当 ，且 以负载分担为主， 可设置互备机制，实现关键数据异地灾备 。 建议选择 下图所示多 节点组网方式 。现阶段，在资源池规模普遍不大的情况下，可选择星型结构组织多节点的网络建设，同时通过链路捆绑增强节点到超级核心间链路故障保护和链路18 带宽扩展。未来随着资源池规模扩大和二层广域互联技术的标准化，通过整合超级核心设备，网络结构

38、向环形结构组织调整。 图 8 多节点资源池的网络架构 耦合度高的业务平台宜放在同一个资源池节点内，避免增加跨机房流量，同时保障业务性能。对于同一业务平台跨多资源池节点部署，为保障网络和业务的运行可靠，必须保证进出资源池流量统一。建议现阶段多节点资源池出口路由器采用集中设置，多节点内部资源池服务器地址 应 统一分配，避免服务器地址冲突。 多节点广域二层网络主要用于满足虚拟机在线业务迁移需求。现阶段跨节点的二层互联技术可以选择光纤直联（传输波分）、 MPLS核心网（ VPLS）、 IP网（ VPLS over GRE、 L2TP、 OTV） 。 目前基于 MPLS和 IP网络的二层互联技术标准尚不

39、统一，现阶段不建议大规模部署跨节点的二层网络，如确有需求建议选择光纤直联（传输波分）方式实现节点间的二层网络互联，对于采用其他方式实现跨节点互联的，需向集团上报方案。 多节点服务站点选择和 DNS部署建议如下：在资源池边缘和广域网（ ChinaNet、CN2以及 DCN）或在广域网内可考虑部署 DNS设备，通过 DNS和四七层设备（负载均衡器 LB），解决多节点下的资源多路径访问、负载分担、故障冗余等问题。对于采用分布式部署的应用平台，要求外部访问请求必须支持 DNS域名方式，避 免 IP锁定的情况。 19 3.8 资源池 纳管 方案 全网资源池 统筹 管理，各省资源池不可单独建设省级资源管理

40、平台。 云资源管理平台具备以下功能： (1) 资源管理：云资源管理平台 作为集约化资源管理平台，可实现云资源池的异构化管理，能够针对业务平台云化需求，实现资源配置 统一 管理。 (2) 流程衔接 ：云资源管理平台 与各省资源池采取“接口模式”，可有效实现集中化资源管理，同时保证省公司 对资源 管理的灵活性。 (3) 分权分域： 通过 分权分域 的管理手段 可有效实现隔离管理。 图 9 云资源管理平台架构 后续集团将进一步完善云资源管理功能与性能，加强全网云计算资源池的集约管理，逐步实现全网资源动态调度、按需分配。各省应根据集团纳管要求和计划，积极配合集团推进 云资源池 的统一纳管。 20 图

41、10 云资源管理平台分权分域示意图 3.9 资源池 接口 方案 云资源池 与 业务平台综合网管系统 、 IT 系统 、 电子运维系统有相关接口。 资源池 与业务平台综合网管系统 的分工界面如下 ：集团 /省级资源池通过适配层与集团云资源管理系统对接，实现资源管理功能；与集团 /省级 业务平台综合网管系统对接，实现资源监控。 适配层（或虚拟化专业管理软件的接口）采集各类性能信息：主要包括虚拟机、物理机、虚拟网络设备、存储设备的主要性能信息，并将采集的性能数据全部提供给业务平台综合网管系统和 云资源 管理平台。业务平台综合网管系统主要负责接收虚拟机、物理机、网络设备、存储设备主动发出的各种 tra

42、p类告警信息；接收适配层（或虚拟化专业管理软件的接口）提供的原始性能数据 ，设置相应的非 trap 类告警阈值、告警级别，并产生、分发告警；同时向云 资源 管理21 平台提供告警的数量、级别等汇总信息，并提供跳转链接到业 务平台综合网管系统进行处理。 资源池 与 IT 系统、电子运维系统的分工界面 如下： 资源池需求管理、申请审批由省内 IT 系统 或 电子运维系统完成，审批完毕后，由各省资源 池 管理员手动或通过电子工单 方式 在 云资源 管理平台进行资源分配。由于 各省资源审批流程差异较大，初期各省通过线下流程、 OA流程或资源系统实现审批 ， 手工提交工单，后续由管理平台提供统一接口，与

43、各省电子运维系统对接，实现工单自动流转。 22 4 业务平台 云化 迁移 4.1 业务平台 云化 迁移 指导方案 各省公司应根据集团要求并充分结合省内实际情况积极 实施 省内业务平台云化迁移。 现阶段， 基于传统建设模式的业务平台 已无法满足移动互联网模式下 的 业务量弹性变化需求，以及业务快速增长对处理能力增 长的需要，造成资源浪费，维护成本高 ，存在主要问题如下： (1) 资源按峰值配置，独立不共享，服务器利用率低 ； (2) 大量使用小型机，或 SAN 存储，成本高 ； (3) 业务系统部署扩容环节多、周期长 。 4.1.1 云化迁移总体方案 业务平台云化迁移方案 总体上分为平台整体云化

44、和平台部分云化两种。 整体云化方案 是指业务平台的所有模块均部署在云资源池上， 业务平台在 软件设计上 应符合 云资源池 技术要求 和资源管理 原则 ， 在业务部署上应根据实际业务量动态分配资源 ， 在网络设计上， 依托云资源池的统一 网络进行平台 承载。 部分云化方案 是指业务平台的部分模块由云资源池提供资源并纳入资源池管理平台进行管理， 业务平台 在 软件 设计上 应根据 业务平台 功能模块、体系架构等特点进行相应模块的云化部署 ，在网络 设计上，云 资源池网络作为业务平台网络的实现分支。 省公司 应 综合考虑 业务平台 模块构成、业务流量 以及平台运行、维护需求 等因素 ，选择平台整体云

45、化或者部分云化 方案。 考虑到 选择部分云化方案会带来额外的网络设计、业务逻辑设计等问题， 建议 优先选择整体云化方案。 云化 总体 方案选择要求如下： (1) 新建平台原则 上采用整体云化方案设计、建设。 23 (2) 现有平台具备整体 云化 迁移条件的， 应 结合扩容改造工程进行整体云化迁移。 (3) 扩容平台 的 新增 硬件需求 原则上 由 云资源池 统一进行提供 。 部分云化 /整体云化选择策略 ： (1) 对于业务割接复杂，部分模块扩容频繁的平台可选择部分云化，如平台云化割接需全国其他网元配合的系统 ， 其中频繁扩容部分资源可 由 资源池 提供 。 (2) 对于业务割接相对便利，比如

46、可带地址 迁移 或者通过负载均衡以及 DNS 完成网络割接的，可选择整体云化，重要系统可形成原节点、云节点双节点互为备份。 4.1.2 业务平台云化迁移思路 业务平台云化迁移 应 以 “安全、高效”为 前提 ， 确保业务平台平滑部署在资源池上。 业务平台云化迁移工作总体上可以分为三个阶段： 24 第一阶段：方案评估阶段。 收集业务现状，包括计算资源、存储资源、网络资源、负载均衡资源、防火墙资源 、 操作系统、数据库、中间件 以 及相关业务特点等信息，然后根据以上信息进行业务 平台 云化的可行性评估。 (1) 评估业务是否适合部署在云 资源池 上 。 (2) 评估 计算、网络和存储的基础架构部件

47、需求 。 (3) 收集 业务平台 服务器性能及使用效率数据 。 第二阶段：方案设计阶段。 根据上一阶段对业务现状的 评估、分析， 形成完整的 业务平台迁移方案 ， 包括组网 方案 、 软硬件部署 方案 等 ， 同时提出 资源申请。根据 资源申请要求 提出 部署需求 ，包括主机资源（ CPU、内存、操作系统、主机存储等 ）、存储空间（容量、 IOPS 等 ）、网络要求 、 其它特殊要求等。 (1) 云化总体思路及方案 (2) 基础资源方案设计 (3) 系统配置参数规划 (4) 软件系统设计 (5) 网络配置方案设计 (6) 迁移方案设计 (7) 备份方案设计 (8) 高可靠性方案设计 第三阶段：

48、方案实施 阶段 。 按照 对业务影响最小的原则实施迁移，完成业务 平台 在 资源池上的部署 、测试、加载、运行 。 同时根据 业务平台安全规范 ， 针对业务平台在资 源交付期 、 业务部署期 、 业务运行期全流程进行安全基线扫描和加固。 (1) 软件兼容性测试 (2) 网络 连通 测试 、安全加固 (3) 性能测试 、功能测试 (4) 迁移部署 25 4.1.3 方案评估阶段的关注点 业务平台云化迁移方案评估是综合性的评估工作，既包括平台各模块对资源池的软硬件适配性评估，也包括平台运行过程中各个环节 对 云资源池运行、管理的适配性评估。 表 1 给出了平台复杂度评估的一些考量指标，但 平台复杂

49、度并不取决于某一个单项内容，需要综合考虑应用系统、数据库以及系统关联 等 特点。 表 1 平台复杂性评估指标 简单 中等 复杂 应用系统特点 非分布式应用 分布式应用 分布式应用 相关文档、安装流程齐全 相关文档、安装流程齐全 相关文档、安装流程不齐全 开发 /测试环境与生产环境一 致且可用 开发 /测试环境与生产环境一致且可用 开发 /测试环境与生产环境不一致 或需要重新搭建 系统模块数量 50个 数据库特点 模式简单 (200张表） 非分布式数据库 非分布式数据库 分布式数据库（集群） 数据库 逻辑模型简单（没有存储过程 和 约束条件 ） 有数据库逻辑 (1TB) 交易量小（ 1笔 /秒） 交易量中等 （ 2 10笔 /秒 ） 交易量大 （ 10笔 /秒 ） 系统关联度 业务平台相对独立，与其它应用系统基本没有数据交互 业务平台有少量的关联系统（ 5个），主要运行批量类任务，与关联系统形成松耦合关系 业务平台关联的其它系统较多（ 5 10个），主要运行实时交易 类任务，与关联系统形成紧耦合关系 4.1.4 方案设计阶段的关注点 (1) 资源配置 平台各个功能模块应采用轻量化的设计，如采用虚拟化架构，计算资源的需求不超过 4 核，内存要求不超过 16G。 单模块的性能（最低