1、天津市教育“三通两平台”区县云数据中心方案技术建议书技术建议书杭州华三通信技术有限公司 目录1 项目建设背景 32 本期项目建设范围及目标要求 .32.1 本期天津市“三通两平台”区县云计算数据中心建设目标 .32.2 建设原则 43 本期项目方案设计要点 44 “三通两平台”区县云计算数据中心总体部署方案 .54.1 区县云计算数据中心设计 .64.1.1 区县云计算数据中心整体设计 .64.1.2 融合数据中心设计 .74.1.2.1 网络与安全融合设计 .114.1.2.2 网络与计算融合设计 .144.1.2.3 计算与存储融合设计 .204.1.3 区县云计算数据中心计算资源池设计
2、.214.1.3.1 计算资源池的关键设计思路 .214.1.3.2 新建计算资源池 234.1.3.3 利旧设备计算资源池 .264.1.3.4 计算资源池总体容量评估 .274.1.3.5 行政管理权限设计 .274.1.3.6 业务快速部署设计 .284.1.3.7 典型业务保障设计 .304.1.3.8 业务迁移设计 324.1.3.9 业务编排自动化设计 .354.1.4 区县云计算数据中心存储池设计 .414.1.4.1 零存储方案的实现 .414.1.4.2 零存储方案的特点和价值 .434.2 区县下属学校云节点设计 .444.2.1 应用集中带来的挑战 .444.2.2 云点
3、解决方案架构 .454.2.3 云点方案关键-VSR .454.2.4 云点统一资源管理 .464.2.5 云点业务部署 .474.3 市级综合管理平台设计 .474.3.1 市级综合管理平台总体设计 .474.3.2 H3C OpenStack 云管理平台 .484.3.2.1 H3C OpenStack 云管理方案 485 本次方案推荐设备及设备说明 .505.1 推荐设备详细列表 .505.2 推荐设备说明 515.2.1 核心交换机 515.2.2 统一基础架构系统 .545.2.3 云计算软件 581 项目建设背景上世纪九十年代以来，通过一系列重大工程和政策措施，教育信息化发展奠定了
4、一定的基础。随着教育模式的改革和新技术的不断涌现，信息化教学的应用不断拓展和深入，教学资源不断丰富，教育信息化在促进教育公平、提高教育质量、创新教育模式领域的支撑和带动作用初步显现。教育信息化十年发展规划明确提出了信息化目标，即建成人人可享有优质教育资源的信息化学习环境，基本形成学习型社会的信息化支撑服务体系，基本实现所有地区和各级各类学校宽带网络的全面覆盖，教育管理信息化水平显著提高，信息技术与教育融合发展的水平显著提升。2 本期项目建设范围及目标要求2.1 本期天津市“三通两平台”区县云计算数据中心建设目标全面落实教育部新时期教育信息化的战略部署，推进我市义务教育现代化建设的整体水平，为最
5、终全面实现“十二五”教育信息化的标志工程“三通两平台”打下坚实的基础。为实现这一目标，有以下两个关键性要点：完成 16 个区（县）教育信息化基础设施及应用建设，为各区（县）最终实现“三通两平台”打造可管、可用、可运维的信息化基础环境系统，形成统一规范的标准。探索并最终形成天津市基础教育信息化资源建设模式和应用格局，建立可持续发展的科学机制,并打造一套能够为该机制服务的信息化基础系统；2.2 建设原则“三通平台项目”是以“促进优质教育均衡发展，提升教育教学质量”为导向，以“提升办学水平，提高教学质量，建立可持续的资源和管理公共服务平台，实现优质资源班班通、网络学习空间人人通”为核心目标，深层次应
6、用信息技术，加快教育现代化步伐，整体提升教育信息化的水平与效益的建设项目。整体方案的设计应遵循以下原则：（1 ）可靠性原则教育云数据中心基础平台有高度的稳定性、可靠性，保证上层业务应用的高可用。因此，要考虑设备与线路质量、网络结构冗余，平台及应用的 HA、数据容灾备份等设计因素。（2 ）先进性原则云计算已成为时下各行各业信息化建设的热门，利用云计算技术可以提升设备的利用率、让业务部署更加弹性与灵活、降低系统的运营成本，因此构建教育公共信息云平台是非常必要的，保证整个系统的先进性与灵活性。（3 ）可扩展性原则在“三通两平台”建成后，要求不在影响业务应用的前提下，系统可以进行顺利扩展或平滑升级。因
7、此需要采取模块化、标准化的设计来满足迅速扩展与兼容的要求。（4 ）建设与服务的持续性原则对于“三通两平台”建设的方案设计与设备选型，要充分考虑供应厂商的持续服务能力，优先考虑大厂商的主流方案与产品，避免设备停产及厂商倒闭导致无法持续服务，同时也需要考虑厂商设备的升级换代向下的兼容性与业务应用的适应性，避免造成投资浪费。3 本期项目方案设计要点1) 教育云平台建设方案需遵循“统一规划、统一标准、分级分权、兼容差异”的业务部署原则。2) 教育云平台建设采用全虚拟化全融合云中心基础架构，满足业务承载与管理方面的完备性要求。3) 教育云平台建设要求实现资源编排的自动化，能够满足各区县、各学校 IaaS
8、 基础资源的便捷交付。4) 教育云平台建设要求充分发挥云计算的技术优势，能够满足典型业务的重点保障。5) 教育云平台建设要求尽量避免重复建设，多途径实现利旧设备在教育云中的方案价值。6) 教育云平台建设要求规划和应用好云、管、端资源，最大程度支撑业务系统的创新部署与应用.7) 教育云平台建设能够满足综合运维管理的规划需求，实现多级云的可视化管理要求。8) 教育云平台建设需要考虑延伸服务，实现现有业务的迁移及整体方案的部署交付。4 “三通两平台 ”区县云计算数据中心总体部署方案根据本期工程的需求和建设目标,天津市基础教育信息化“三通两平台”区县级云计算数据中心整体建设方案如上图所示。整个平台由市
9、教委综合管理平台、区县云计算数据中心、区县下属学校云节点三部分组成，区县云计算数据中心与市教委综合管理平台通过天津教育科研网互联，区县云计算数据中心与区县下属学校通过校校通建设的教育科研外延网互联，区县云计算数据中心同时提供 Internet 接口。天津市教委综合管理平台市教委统一管理平台，用于管理各区县的云数据中心所有软硬件设备，在区县云计算数据中心出现故障时可第一时间告警，对于各区县的公共基础应用平台可以直接下发应用模板，并基于该应用模板将需要的网络资源（如网段、VLAN 号） ，安全策略（防火墙、IPS）等可以通过自动化编排工具实现一体化下发，从而实现天津市教育公共基础应用业务的快速部署
10、。区县云计算数据中心各区县的基础教育集中资源池，完成市教委统一的公共基础应用部署，并实现本区县内特色应用及各重点学校的校本系统部署。并可以将业务直接推送到学校云节点，实现分布式业务系统访问。区县下属学校云节点各重点学校的路由、业务部署一体化设备，用于连接区县的教育科研外延网和Intenet，也可以部署学校自己的特色应用。4.1 区县云计算数据中心设计4.1.1 区县云计算数据中心整体设计区县云计算数据中心总体逻辑拓扑结构如上图所示。整个平台由新建计算资源池、利旧资源计算池（如果原有服务器需要利旧） 、存储资源池、管理中心四部分组成，网络出口与电子政务外网相连。新建计算资源池服务器采用刀箱服务器
11、方式，在刀箱中部署两路和四路的刀片服务器，并且部署存储刀片。利旧设备计算资源池则采用各区县原来已有的机架式服务器，存储采用零存储方案，将刀箱中的存储刀片和利旧的机架服务器上的磁盘虚拟成一个聚合的存储资源池。4.1.2 融合数据中心设计云计算不仅是技术，更是服务模式的创新。云计算之所以能够为用户带来更高的效率、灵活性和可扩展性，是基于对整个 IT 领域的变革，其技术和应用涉及硬件系统、软件系统、运维管理等各个方面。IaaS（基础架构即服务）作为云计算的硬件支撑平台，将基础架构进行云化，从而更好的为应用系统的上线、部署和运维提供支撑，提升效率，降低 TCO。同时，由于 IaaS 包含各种类型的硬件
12、和软件系统，因此在向云迁移过程中也面临前所未有的复杂性和挑战。那么，云基础架构包含哪些组件？主要面临哪些问题？有哪些主要的解决方法呢？一、 数据中心基础架构网络安全、服务器、存储等硬件设备作为承载业务的重要 IT 基础设施，承担着稳定运行和业务创新的重任。数据中心出现故障的情况几乎不可避免。因此，数据中心解决方案需要着重关注如何尽量减小数据中心出现故障后对关键业务造成的影响。为了实现这一目标，首先应该要了解数据中心出现故障的类型以及该类型故障产生的影响。影响数据中心的故障主要分为如下几类： 硬件故障 软件故障 链路故障 电源能耗问题 机房空间利用问题 网络设计问题数据中心的故障类型众多，但故障
13、所导致的结果却大同小异。即数据中心中的设备、链路或 server 发生故障，无法对外提供正常服务。导致这些问题的主要原因是在数据中心中硬件基础架构层次复杂，网络本身就有出口路由器、核心交换机、接入交换机，要保证安全，在数据中心前端还需要提供防火墙、IPS 等安全设备保证数据中心业务层面的安全性，在服务器的后端还必须有专用的存储网络，如下图所示：数据中心的任何一个业务的提供都依赖于这些设备的可用性，当任一单点出现故障时，都会导致数据中心业务无法对外交付。多个层次的设备如果不是一个厂商的，又会导致例如互联互通、故障排查等问题，比如当某个业务无法提供正常服务时，这个问题是由于网络引起的？安全设备引起
14、的？服务器设备引起的？存储设备引起的？通常把问题定位清楚就需要好几天的时间。随着服务器、存储、网络规模的增加，硬件成本也水涨船高，同时管理众多的基础设施的维护成本也随着增加。传统 IT 基础设施建设往往采用机架式设备，一整套设施至少需要占用 1 个机柜的空间，各设备之间通过繁杂的线缆连接，维护较为困难。同时传统情况下服务器的利用率长期保持在 20%以下，各设备间分开供电与散热，带来了大量的空间、电力、能耗等方面的浪费。缓解这些问题最好的方式有二：一是在数据中心中采用紧凑的架构设计、例如网络和安全的融合，安全设备通过插卡的方式部署在核心交换机上，又例如分布式存储，存储池直接采用服务器上的磁盘。
15、二是冗余设计，可以通过对设备、链路、Server 提供备份，从而将故障对用户业务的影响降低到最小。但是，一味的增加冗余设计是否就可以达到缓解故障影响的目的？有人可能会将网络可用性与冗余性等同起来。事实上，冗余性只是整个可用性架构中的一个方面。一味的强调冗余性有可能会降低可用性，减小冗余所带来的优点，因为冗余性在带来好处的同时也会带来一些如下缺点： 网络复杂度增加 网络支撑负担加重 配置和管理难度增加因此，数据中心的基础架构设计要考虑多方面的问题。在采用紧凑型架构、高可靠设备组件、提高网络的冗余性的同时，还需要加强网络构架及协议部署的优化，从而实现真正的优化。二、 云计算数据中心硬件资源联动如上
16、图所示，云计算技术的引入实现了应用和服务器之间的松耦合，主要解决了原来非云计算模式下的单个系统硬件高配低用、硬件资源利用率、业务系统难以实现 HA、系统故障难以快速回复等问题，云计算架构在传统基础架构计算、存储、网络硬件层的基础上，增加了虚拟化层、云层： 虚拟化层：大多数云基础架构都广泛采用虚拟化技术，包括计算虚拟化、存储虚拟化、网络虚拟化等。通过虚拟化层，屏蔽了硬件层自身的差异和复杂度，向上呈现为标准化、可灵活扩展和收缩、弹性的虚拟化资源池； 云层：对资源池进行调配、组合，根据应用系统的需要自动生成、扩展所需的硬件资源，将更多的应用系统通过流程化、自动化部署和管理，提升 IT 效率。云基础架
17、构资源池使得计算、存储、网络以及对应虚拟化单个产品和技术本身不再是核心，重要的是这些资源的整合，形成一个有机的、可灵活调度和扩展的资源池，面向云应用实现自动化的部署、监控、管理和运维。云基础架构资源的整合，对计算、存储、网络虚拟化提出了新的挑战，并带动了一系列网络、虚拟化技术的变革。传统模式下，服务器、网络和存储是基于物理设备连接的，因此，针对服务器、存储的访问控制、QoS 带宽、流量监控等策略基于物理端口进行部署，管理界面清晰，并且设备及对应的策略是静态、固定的。云基础架构模式下，服务器、网络、存储、安全采用了虚拟化技术，资源池使得设备及对应的策略是动态变化的,如下图所示。由于部署了虚拟化，
18、一台独立的物理服务器变成了多个虚拟机，并且这些虚拟机是动态的，随着应用系统、数据中心环境的变化而迁移、增加、减少。例如上图中的Server1，由于某种原因（例如 Server1 负载过高） ，其中的某个虚拟机 VM1 迁移到同一集群中的 Server2。此时如果要保持 VM1 的业务访问不会中断，需要实现 VM1 的访问策略能够从 Port1 随着迁移到 Port2，这就需要交换机能够感知到虚拟机的状态变化，并自动更新迁移前后端口上的策略。这是一种简单的计算虚拟化与网络融合联动的例子。事实上，云基础架构融合的关键在于网络。目前计算虚拟化、存储虚拟化的技术已经相对成熟并自成体系，但就整个 IT
19、基础架构来说，网络是将计算资源池、存储资源池、用户连接组一起的纽带，只有网络能够充分感知到计算资源池、存储资源池和用户访问的动态变化，才能进行动态响应，维护网络连通性的同时，保障网络策略的一致性。否则，通过人工干预和手工配置，会大大降低云基础架构的灵活性、可扩展性和可管理性。4.1.2.1 网络与安全融合设计如上图所示，本次项目在区县云计算数据中心中，采用紧凑的网络安全融合设计，在数据中心内部，网络安全架构只分为核心层和接入层，核心层采用两台模块化交换机S10508，负责数据中心内、以及数据中心内和数据中心外的数据的交换和路由，接入层负责所有服务器的接入。新建计算资源池的服务器采用刀箱的方式，
20、因此不需要为新建计算资源池准备单独接入交换机，从刀箱的交换刀片接入核心交换机即可，对于利用利旧的机架服务器搭建的利旧设备计算资源池，则单独准备服务器接入交换机和利旧服务器存储接入交换机，管理服务器也准备相应的接入交换机。对于数据中心的安全防护，则通过部署防火墙、IPS 和 NetsStream（网络流量分析）设备来提供全面的 2-7 层的安全防护，有效抵御来自于区县中小学、教育科研网其它节点、Internet 上的木马、病毒、漏洞等攻击，同时，部署负载均衡设备来提供数据中心出口的智能选路，所有防火墙、IPS 等安全设备以插卡的方式部署在核心交换机的业务插槽上，已减少网络出口的层次。基于紧凑型的
21、网络架构，核心交换机成为数据中心网络中最关键、最重要的部件，数据中心核心交换设备的可靠稳定尤为重要。尽管可以通过架构、策略、配置等的调整和优化等多种手段降低核心设备的故障几率以及影响范围，但若要解决最根本的设备本身的软硬件故障，则必须选用数据中心级的网络设备。本次采用的数据中心级核心交换机 S10508 应具备以下特征：1) 控制平面与转发平面物理分离传统的园区网交换机一般采用“Crossbar+共享缓存”的交换架构，引擎板继承担控制平面的工作，同时也承担数据转发平面的工作，跨槽位的流量转发报文需要经背板到引擎板的 Crossbar 芯片进行转发。这种架构限制了设备的可靠性和性能： 可靠性限制
22、：引擎需要承接数据转发平面的工作，因此在引擎出现主备倒换时必然会出现丢包。此外引擎 1 1 冗余，也使得 Crossbar 交换网只能是 11 的冗余，冗余能力无法做的更高。 性能限制：受制于业界当前 Crossbar 芯片的工艺以及引擎 PCB 板卡布线等制造工艺，将 Crossbar 交换网与 CPU 主控单元集中在一块引擎板上的结构，一般单块引擎的交换容量不可能做的太高。数据中心级交换机产品将控制平面与转发平面物理分离，一般有独立的引擎板和交换网板，同时采用 CLOS 多级交换架构，大大提高设备的可靠性及性能。如下表所示为 CLOS 架构与传统的 Crossbar+共享缓存交换架构对比。
23、图 3 Crossbar 架构也 CLOS 架构逻辑实现Crossbar+共享缓存 CLOS 多级交换结构 1，单平面交换；2，交换矩阵和控制统一，即引擎承担了交换和控制双重功能；1，多块交换网板共同完成流量交换2，控制和交换硬件分离转发能力受限于交换网片的交换能力和PCB 单板制造工艺，单引擎达到1TB 以上就很难提升。多块交换网板同时分担业务流量，相当于 N 倍于单级交换的能力，可实现5 10TB 交换容量可靠性引擎倒换会丢包 控制平面与转发平面硬件物理分离，引擎切换时不影响转发，可实现零丢包冗余能力引擎 11 冗余，双引擎负载分担式无冗余引擎 11 冗余，交换网板 N+1 冗余表 2 C
24、rossbar 与 CLOS 交换架构对比2) 虚拟化能力数据中心的复杂度越来越高，需要管理的设备也越来越多，设备的虚拟化可将同一层面（核心、汇聚、接入）的多台设备虚拟化为一台，进行设备的横向整合，简化设备的配置和管理。3) 绿色节能数据中心是企业能耗的主要部门，同时高的能耗将会带来高的发热量，影响设备的电子器件的稳定性，将到据中心设备的稳定运行。选用低能耗设备降低发热量是提高可靠性的一个方面，另一方面设备本身的散热风道设计的合理与否？能否更好的配合机房的空调循环？也影响着数据中心的可靠性。为更好的配合机房冷热风道的布局，机柜中发热量较大的设备最后是前后散热的风道设计。但普通的横插槽设备一般是
25、左右散热的方式，因此应优先考虑采用竖插槽的设备，实现前后散热。在核心交换机上部署各类安全插卡，如下图所示：如上图所示，数据中心通过部署网络安全融合方案，通过安全插卡的方式在一台核心交换机中完成了安全功能部署，从而取代了过去像“串糖葫芦”似的串联部署在网络中的大量安全设备（比如防火墙、IPS、LB 等） 。从交换机任何一个端口进来的数据，都会通过背板和内部高速接口进入这些安全插卡进行分析和过滤，保证最终从出端口转发出去的数据流将是干净的、安全的、可靠的。由于各板卡之间都是通过内部数十 GE 的高速接口处理，转发效率要远远高于过去多个安全设备之间的交互方式。因此，网络安全融合后的一体化方案不仅降低
26、了设备数量，减少了网络的故障点和部署与维护成本，同时提升了数据交互的效率。4.1.2.2 网络与计算融合设计本次区县云计算数据中心中，新建计算资源池采用基于融合基础架构的刀箱式设备UIS，如下图所示：融合基础架构 UIS 设备对于区县云计算数据中心作用有以下两个方面：一、 简化机房硬件架构层次融合基础架构设备 UIS 通过在一个刀箱中集成了服务器、存储、网络、虚拟化软件等设备，大大提高了服务器的利用率，减少了空间、电力、能耗等方面的消费。经测试统计得出，采用融合基础架构设备，可以提升至少 3 倍的服务器利用率，降低至少 75%的空间占用，减少至少 27%的电力消耗，降低初始购买和后期运维成本。
27、融合基础设施 UIS 能够改善数据中心环境，共享服务池可在运行中随时调用，提高业务环境的灵活性，加速实现应用程序的价值。融合基础设施充分利用现有的技术投资，消除数据中心的技术设备冗积问题，化繁为简。通过统一的管理，所有资产都成为资源池的一部分，能够分割、组合、变化，动态适应任何业务、负载或应用的需求。这些资源的使用也经过优化，帮助区县教育局提高利用率，降低使用能耗和成本。H3C UIS 统一基础架构，通过将计算、网络、存储访问和虚拟化统一到一个综合系统中，进行集中管理，并使用 H3C 自主研发的虚拟化平台、云管理系统等软件进行协调，解决了上面提到的问题。二、 实现网络与计算之间的感知联动服务器
28、虚拟化技术的出现使得计算服务提供不再以主机为基础，而是以虚拟机为单位来提供，同时为了满足同一物理服务器内虚拟机之间的数据交换需求，服务器内部引入了网络功能部件虚拟交换机 vSwitch（Virtual Switch） ，如下图所示，虚拟交换机提供了虚拟机之间、虚拟机与外部网络之间的通讯能力。IEEE 的 802.1 标准中，正式将“虚拟交换机”命名为“Virtual Ethernet Bridge” ，简称 VEB，或称 vSwitch。邻 接 交 换 机物 理 服 务 器A p pV MA p pV MA p pV MA p pV MA p pV MA p pV M软 件 V E B （ 亦
29、 称 为 v S w i t c h ）123vSwitch 的引入，给云计算数据中心的运行带来了以下两大问题： 网络界面的模糊主机内分布着大量的网络功能部件 vSwitch，这些 vSwitch 的运行、部署为主机操作与维护人员增加了巨大的额外工作量，在云计算数据中心通常由主机操作人员执行，这形成了专业技能支撑的不足，而网络操作人员一般只能管理物理网络设备、无法操作主机内vSwitch，这就使得大量 vSwicth 具备的网络功能并不能发挥作用。此外，对于服务器内部虚拟机之间的数据交换，在 vSwitch 内有限执行，外部网络不可见，不论在流量监管、策略控制还是安全等级都无法依赖完备的外部硬
30、件功能实现，这就使得数据交换界面进入主机后因为 vSwitch 的功能、性能、管理弱化而造成了高级网络特性与服务的缺失。 虚拟机的不可感知性物理服务器与网络的连接是通过链路状态来体现的，但是当服务器被虚拟化后，一个主机内同时运行大量的虚拟机，而此前的网络面对这些虚拟机的创建与迁移、故障与恢复等运行状态完全不感知，同时对虚拟机也无法进行实时网络定位，当虚拟机迁移时网络配置也无法进行实时地跟随，虽然有些数据镜像、分析侦测技术可以局部感知虚拟机的变化，但总体而言目前的虚拟机交换网络架构无法满足虚拟化技术对网络服务提出的要求。为了解决上述问题， 本次项目 H3C 的解决思路是将虚拟机的所有流量都引至外
31、部接入交换机，此时因为所有的流量均经过物理交换机，因此与虚拟机相关的流量监控、访问控制策略和网络配置迁移问题均可以得到很好的解决，此方案最典型的代表是 EVB 标准。802.1Qbg Edge Virtual Bridging（EVB）是由 IEEE 802.1 工作组制定一个新标准，主要用于解决 vSwtich 的上述局限性，其核心思想是：将虚拟机产生的网络流量全部交给与服务器相连的物理交换机进行处理，即使同一台物理服务器虚拟机间的流量，也将发往外部物理交换机进行查表处理，之后再 180 度调头返回到物理服务器，形成了所谓的“发卡弯”转发模式，如下图所示：EVB 标准具有如下的技术特点： 借
32、助发卡弯转发机制将外网交换机上的众多网络控制策略和流量监管特性引入到虚拟机网络接入层，不但简化了网卡的设计，而且充分利用了外部交换机专用 ASIC 芯片的处理能力、减少了虚拟网络转发对 CPU 的开销； 充分利用外部交换机既有的控制策略特性（ACL、QOS、端口安全等）实现整网端到端的策略统一部署； 充分利用外部交换机的既有特性增强了虚拟机流量监管能力，如各种端口流量统计，Netstream、端口镜像等。EVB 标准中定义了虚拟机与网络之间的关联标准协议，使得虚拟机在变更与迁移时通告网络及网管系统，从而可以借助此标准实现数据中心全网范围的网络配置变更自动化工作，使得大规模的虚拟机云计算服务运营
33、部署自动化能够实现。CVM 产品是 H3C 为数据中心云计算基础架构提供最优化的虚拟化管理解决方案，该产品通过将数据中心 IT 资源的整合，不仅能够达到提高服务器利用率和降低整体拥有成本的目的，而且能简化劳动密集型和资源密集型 IT 操作，显著提高系统管理员的工作效率。下面以 CVM 和 H3C iMC（智能管理中心）产品为例简单描述使用 EVB 后虚拟机的创建过程。如上图所示使用 EVB 标准后，虚拟机创建过程可以大致分为如下五步： 网络管理员将可用的网络资源通过 H3C iMC 的图形界面录入 iMC 数据库中； 服务器管理员在通过 CVM 产品创建虚拟机之前，CVM 产品会自动通过 RE
34、ST API接口查询 iMC 中可用的网络资源； 服务器管理员在 CVM 产品上创建虚拟机，在指定虚拟机的 CPU、内存、硬盘等计算参数的同时，指定步骤二中的某个网络资源；当服务器管理员将创建虚拟机的请求提交之后，CVM 产品会首先创建虚拟机，其过程同市场上主流的虚拟化产品，不再赘述；虚拟机创建成功后，CVM 会将该虚拟机与其所使用网络资源的绑定关系通知给 vSwitch； vSwitch 会通过 EVB 标准中的 VDP(VSI Discovery and Configuration Protocol)协议将虚拟机及网络资源的绑定关系通知给接入交换机 接入交换机将根据网络资源的编号向 iMC
35、 发送请求，iMC 收到请求后会将该网络资源对应的网络配置下发到接入交换机上，从而完成了整个虚拟机的创建过程。通过上述过程，虚拟机不但拥有了 CPU、内存、硬盘等计算资源，还拥有了相应的网络资源并据此自动接入网络。虚拟机迁移过程基本与上述过程类似，稍有区别的是：如果迁移前后的接入交换机不同，系统会在迁移之前的接入交换机上删除该虚拟机的相关网络配置，从而达到 “网络配置跟随”的目的。通过上述的举例可以看出：EVB 不仅简化了虚拟化结构，并使得网络参与虚拟化计算，变革了原来交叠不清的管理界面和模式，关联了虚拟机变化(创建、迁移、撤销、属性修改等)和网络感知，这些都是通过确定和简单的技术如 Mult
36、i Channel 和协议如 VDP 来实现的。这些技术与协议将会如同 ARP、DHCP 等标准的网络协议一样为云计算数据中心 IT 基础设施所认识和支持，成为虚拟化环境中的标准和基础协议。CVM 上对虚拟交换网络的管理实现如下图所示：4.1.2.3 计算与存储融合设计如上图所示，在本次项目建设中，存储池采用服务器刀箱中的存储刀片，通过零存储技术，将多个刀片存储虚拟为一个共享存储，H3C 零存储技术方案融合了计算虚拟化和存储虚拟化，在一个硬件平台上同时提供计算资源和存储资源，从而能够构架无需专门共享存储设备的新型数据中心。H3C 零存储技术方案提高了服务器资源利用率，减少数据中心设备占用的物理
37、空间，并且存储容量能够按需扩容，极大提升了数据中心基础架构的弹性。H3C 零存储技术方案的逻辑架构图如下。它充分利用了提供计算虚拟化的服务器的磁盘驱动器资源，从而在数据中心中虚拟出一个共享存储 vStor。vStor 在功能上与物理共享存储完全一致；同时由于 vStor 与计算完全融合在一个平台上，用户无需象以往那样购买连接计算服务器和存储设备的 SAN 网络设备（FC SAN 或者 iSCSI SAN） 。4.1.3 区县云计算数据中心计算资源池设计4.1.3.1 计算资源池的关键设计思路层次化的资源池分区设计：层次化的计算资源池架构资源池划分方式：依照业务业应的不同类型，云平台的资源池划分
38、通常有以下几种方法：单一资源池所有的业务应用均在同一个资源池中，这种方式比较简单，适合业务应用不多，物理服务器数量也不多，通常在 20 台以下的情景。在这种模式下，一个资源池内的业务按照不同的业务类型划分 VLAN 与安全域，可实现不同业务的访问控制。如下图所示：根据用户接入类型划分资源池处于安全与网络隔离的考虑，对于不同用户接入类型的业务划分不同的资源池。如面向 Internet 用户的业务应用划分到一个资源池，面向内网用户的业务应用划分到一个资源池。这样不同的资源池之间可以实现更为严格的安全控制。如下图所示：根据业务属性划分资源池对于常见教育业务应用来说，业务应用的架构通常是分层部署的，由
39、 WEB 层、APP 层与 DB 层构成，实际部署时也分为 WEB 服务器、应用服务器和数据库服务器，中小型应用通常会将 WEB 与 APP 部署在一台服务器上，而数据库服务器单独部署。对于这种业务应用可以将 WEB、APP 划分到一个资源池中，数据库划分到一个单独的资源池中，通过轻载、高配的方式保证数据库访问的高性能与高可靠。对于一些核心的生产类数据库，可以部署在高配的物理服务器或小型机上。此外，对于虚拟桌面这类应用，需要单独划分资源池，避免也业务应用的虚拟机产生冲突。如下图所示：结合天津市目前的业务现状，以及现阶段的业务应用规划情况，建议采用方案 2 或方案 3。计算资源池规模设计1、现有
40、业务负载评估1）服务器资源统计（利旧涉及）：数据中心内的多台服务器硬件资源的整理评估。以此为依据评估将这些独立的服务器整合为资源池后，资源池内可调配的计算能力。主要关注 cpu、内存、网络等关键性指标。2）业务负载统计:梳理当前数据中心内的各业务系统的实际负载情况，包括 CPU 利用率、磁盘 I/O、网络 I/O、内存利用率等指标梳理各业务关键程度。业务关键程度决定了服务器整合比，可靠性，SLA 设计等云计算平台的关键指标计算资源池中最重要的两个性能指标为 CPU 和内存的规模设计：2、计算资源池规模计算方法CPU 规模规划计算方法：每台物理服务器 CPU 的平均值（MHz）平均 CPU 数量
41、（路/颗）=标准化的每台物理服务器 CPU 平均值（MHz）高峰时 CPU 利用率平均值（百分比）标准化的每台物理服务器 CPU 平均值（MHz）=高峰时 CPU 利用平均数（MHz）同时运行的虚拟机数量（业务数量）高峰时 CPU 利用平均数（MHz）=高峰时 CPU 总利用数（MHz）4.1.3.2 新建计算资源池依据上一章节，本次项目区县云数据中心内的资源池划分主要考虑业务维度来进行。从大的业务功能划分来看，区县数据中心内的业务分为两个大的功能区块。公共基础应用资源区：市教委统一规划并推送的业务资源，管理权归市教委。本地应用资源区：区县自主业务资源区，内部根据具体业务，又分为区内基础应用资
42、源区和区属学校特色应用资源区。服务器容量规划单台服务器所能支持虚机数量的决定因素主要取决与两方面：服务器的硬件配置CPU 性能 -多核高主频技术使得 CPU 成为性能瓶颈的可能性越来越低内存大小-做为硬指标的内存，配置越高，所能支持的虚机数量越多应用负载大小由于物理服务器资源自身的最大限制，应用负载越大，所能同时运行的虚机数量越少建议将不同应用访问特性的应用混合部署在同一物理服务器上灵活运用 DRS 和 VMotion 技术可将物理机与虚机的比率关系调到最优考虑到 HA 及 DRS 所要求的资源冗余，所有运行虚机在正常负载下，总体资源使用率不超过三分之二会比较合适在部署虚拟化时，对物理服务器的
43、硬件配置需要考虑以下因素：可用的 CPU 目标数量尽可能多，单台服务器建议配置 6 个以上的 CPU 核。超线程技术并不能提供等同于多核处理器的好处；建议关闭 CPU 的超线程功能使用具有 EM64T 能力的 Intel VT 或 AMD V 技术的 CPU 可以同时支持运行 32 位和 64位的虚拟机采用同一厂商、同一产品家族和同一代处理器的服务器组成的集群，可以获得最好的虚拟机迁移兼容能力内存资源往往比 CPU 资源更会成为潜在的瓶颈，尽可能采用最大容量的内存条（单条8GB 效果优于两条 4GB） 。虚拟机资源分配1、虚拟机 CPU 分配原则：尽量使用最少的 vCPUs，如果是单线程应用，
44、无需多线程处理。虚拟 CPU 数量不要等于或超过物理 CPU 核数，如双路双核的服务器配置，虚机最多使用两个虚拟 CPU2、内存分配原则：内存总量为在资源评估后，计算虚拟机评估结果所需实际内存尽量避免大于物理内存的总和。因为应用程序而产生的更多内存需要用磁盘内存来解决，会导致系统性能下降。关键应用可考虑固定内存的方法以保证性能的稳定性虚拟机的物理分布同一个资源池内的虚拟机在物理服务器上的分布，要尽可能考虑平衡负载的原则，即保证资源池内的物理服务器 CPU、内存资源占用率均衡，避免某单台物理服务器上的负载特别高，而其它处于闲置状态。个别业务应用可能会存在某个时段负载突发上升的情况，如考试成绩查询
45、系统，对于这类应用，需要部署 DRS(动态资源调度) 和 DRX（动态资源扩展）：通过动态资源调度（DRS）集群的部署，可以解决单个虚拟机负载过高时，位于同一台物理服务器上的其它业务应用虚拟机不会被“饿死” 。通过动态资源扩展（DRX）集群的部署，可以解决当单个虚拟机负载超过物理服务器性能后，快速克隆多个同样业务的虚拟机，配合负载均衡（LB）设备，完成对负载的分担。4.1.3.3 利旧设备计算资源池本期项目建设前，部分区县已有服务器资源，为遵循尽可能避免重复建设，保护现有投资的原则，考虑通过两步实现原有设备资源的充分利旧。步骤一：将原有设备资源向云迁移迁移后业务规划仍跑原有业务，纳入区内基础应
46、用资源池管理；空闲资源作为整体资源池的一部分，灵活调用；步骤二：充分利用现有业务资源的存储空间通过 H3C 零存储解决方案，将现有业务资源的存储资源纳入整体存储资源池，实现以下两个功能：为现有业务资源提供存储资源服务；为本地其它业务资源提供存储扩展服务；H3C 零存储解决方案融合了计算虚拟化和存储虚拟化，将计算和存储集成到一个硬件平台，形成可横向扩展（Scale-out）的云计算基础架构。运行在这种架构上的虚拟机不仅能够像传统层次架构那样支持 vMotion、DRS、快照等，而且数据不再经过一个复杂的网络传递，性能得到显著提高。由于不再需要集中共享存储设备，整个数据中心架构得以扁平化，大大简化
47、了 IT 运维和管理。利用 H3C 零存储解决方案构建数据中心，有效利用服务器资源，降低能源消耗，帮助企业实现 IT 环境的节能减排。4.1.3.4 计算资源池总体容量评估天津市教育“三通两平台”区县云计算数据中心计算资源池总体容量取决与两部分，一是当前规划承载的业务子系统数量需要多少台虚拟服务器，业务子系统包括教委计划下发的公共基础服务系统和区县基础应用系统及分配给区属学校的特色应用资源系统；二是计划预留给将来扩展的基础资源。通常服务器的平均利用率在 5-15%之间，而部署到云平中采用虚拟架构整合后，服务器的平均利用率可达到 50%-60%，单台服务器承载的虚拟机个数理论上为 CPU 核数乘
48、以1.5 倍，以两路 6 核服务器为例，最优配置为 2*6*1.5=18，考虑到服务器负载情况，2 路 6核服务器单台最佳承载虚拟机个数为 10 个左右。按照经验值，区县公共管理平台和公共资源平台所需虚机大约为 60 个，区属学校所需虚机约平均每学校 2 个，按每个区平均 60 个学校算，学校共需 120 个虚机，总共需要 180个虚机，每个数据中心再预留 20 个虚机。如采用 2 路 6 核服务器，则所需的服务器数量为（60+120+20 ）/10=20 台。4.1.3.5 行政管理权限设计天津市基础教育区县级数据中心支撑环境是为区县级教育云服务平台提供基本保障，也要满足天津市教委应用平台在
49、区县级教育行政部门的部署，因此区县级云计算中心需要同时满足市教委和区县教育局自身的两级管理。H3C CAS 软件可以将区县云计算数据中心的资源划分为两个资源池，一个由市教委进行直接管理，方便新上线业务、业务新增模块的快速下发，一个由区县教育局进行自管理和资源分配，但是由市教委进行统一监控协调。如下图所示：4.1.3.6 业务快速部署设计在传统的业务部署模式下，一个业务在多个区域大范围上线需要应用使用方各自部署业务，耗费大量精力和时间。H3C 云彩虹解决方案，在市教委教育云平台和区县教育云平台间建立两级云联动机制，通过网络，由市教委向区县，实现业务模板快速推送，保证业务短时间内在多区域大范围上线。快速上线业务分类新建上线业务：例如，新建管理应用和部分试点教学应用；短期上线业务，例如，幼儿园招生系统、资源评比系统等在每年在固定时间内上线的教学和管理应用；市-区县云平台的对接市-区县云平台的对接可实现两级平台的分级管理，平台对接后市云平台不仅可以监控本地的云资源与业务运行状况，也可以监控到部署在公共资源池中的区业务运行状况；区云平台可以监控到本地的云资源。如下图所示：市-区两级平台对接的部署过程主要分为两步：在市平台中为区云平台创建对接账户以及为其绑定相应的资源（包括计算、存储、网络资源、管理用户等）市平台为添加组
