1、 XXX 市人民医院超融合虚拟化平台 XXXX人民医院数据中心建设方案XXX 市人民医院超融合虚拟化平台 目录一、 需求分析 .51.1 目前数据中心现状 .51.2 需求汇总 .6二、 数据中心建设规划技术方案 .7第一阶段数据中心建设基础架构规划 82.1、建设超融合架构数据中心 92.1.1 现有业务系统分类 .102.1.2 中心机房超融合虚拟化平台建设 .102.1.3 超融合虚拟化平台实施规划 .132.1.3.1 机柜冗余设计 .132.1.3.2NTP 时间服务 .132.1.3.3 命名规则 .132.1.3.4 虚拟化主机配置表 .162.1.3.5 物理主机网络端口规划
2、.182.1.3.6 虚拟机创建规划 .182.1.3.7 模板配置 .182.1.3.8 数据副本数量选择 .192.1.4 超融合架构介绍 .192.1.5 虚拟化软件的选择 .252.1.6 虚拟化平台虚拟机安全 .252.1.7 业务系统迁移方法 292.1.8 系统培训及知识转移 312.2、业务系统整合 322.2.1 中心机房业务系统整合 .322.2.2 东区机房业务系统整合 .342.2.3 脑科机房 HIS 系统整合 .342.2.4 脑科机房其他系统整合 .342.3、虚拟化平台灾备系统建设 352.3.1 容灾系统基本概念和指标 .352.3.2 容灾建设的工作内容 .
3、362.3.3 灾难备份/恢复方案应该具备的特点 .372.3.4 现有系统环境分析 .382.3.5 容灾系统设计 .382.4、建设数据中心统一备份平台 402.4.1 利用超融合平台的优势进行本地备份 .402.4.2 使用备份一体机进行统一冷备份 .412.5、超融合系统的技术优势 472.5.1 横向扩展优势 .492.5.2 性能优势 .50XXX 市人民医院超融合虚拟化平台 2.5.3 可靠性 .512.5.4 易于部署 .512.5.5 集中管理 .522.5.6 自动故障恢复 .542.6、建设数据中心统一云管理平台 542.8、项目预算清单 57XXX 市人民医院超融合虚拟
4、化平台 首先非常感谢 XXX 人民医院对的信任。也希望凭借自身多年在各个行业的云平台建设以及容灾项目实施中的项目管理、基础架构咨询、技术实现的经验，协助 XXX 人民医院建设高效可靠的 IT 基础架构系统，成功地完成新建数据中心的咨询和实施，降低 XXX 人民医院业务系统的运营风险。一、 需求分析在 “互联网 +”时代 ， 传统行业模式被极大颠覆，极致、高效的客户体验成为各行业关注的焦点；坚持以人为本，全面提升医疗信息化水平，增强医院综合就医能力，建立以患者为中心的医院诊疗服务系统和管理系统，成为开展智慧医疗和智慧医院建设的重大挑战！随着 XXX 市人民医院业务的增长，对于 IT 信息系统的要
5、求不仅仅是满足业务系统的正常要求。而且在数据的安全性，数据的分层管理、备份、远程灾备等方面也提出更高的要求。1.1 目前数据中心现状XXX 人民医院目前共有三个机房，分别是中心机房、东区机房和脑科机房。其中中心机房规模最大，共有45台服务器设备，东区机房共有7台设备，脑科机房共有11台设备。中心机房已经建立了比较完整的数据中心基础架构支撑平台，HIS 核心数据库部署在中心机房，采用东软的解决方案，数据库运行环境是Oracle 10g，运行在安腾架构的 Rx9800上，中心机房其他服务器设备以 HP 388和580，以及 Lenovo RD 630为主。PACS 系统一套 6节点的 Isilon
6、 存储和3节点容灾存储，专门存放非结构化的影像数据。东区机房是中心机房的灾备机房，包括2台 HP 388G7、2台 HP 580G7、1台HP rx2600和2台 Lenovo RD 630，其中 rx2600是核心 HIS 数据库的备机。脑科机房是较为独立的系统，拥有独立的 HIS 系统，采用东华的解决方案，以 HP XXX 市人民医院超融合虚拟化平台 DL388G7和 DL580G7为主。三个机房中设备启用时间在2007-2013年左右，大部分已经不在质保期，并且除关键业务外，其余业务系统无本地高可用和容灾保护。同时各个业务系统相对独立，各自具备单独的服务器、存储、网络资源，部分服务器和存
7、储系统已经不在保修范围或停产，原有平台竖井式架构搭建，随着时间的累计，架构越来越复杂，且存在资源浪费的现象，运维和管理的难度也逐渐增大。1.2 需求汇总针对此次数据中心建设，我们仔细分析了医院三个机房现有业务系统的 IT架构，结合新建院区数据中心建设，概括汇总需求如下： 大部分业务系统设备启用时间在2007-2013年左右，大部分已经不在质保期，且很多设备已经快达到设备寿命，软件版本过低，存在版本更新的需求，系统运维依赖第三方厂商，系统运维存在隐患，因此存在系统更新换代的需求。 数据中心各业务系统相互独立，当系统规模大时，一旦出现业务系统需要更新的情况，每个业务系统均需要进行更新操作，中心机房
8、现有40多个业务系统，将会产生大量的操作，给运维人员带来巨大的压力，增加系统风险，因此存在系统加快业务更新响应速度的需求。 由于在系统层面现有数据采用竖井式架构，在存储层面，采用统一存储架构，系统横向扩展性已经快接近瓶颈，随着新业务的上线，系统复杂度大幅增加。即使继续采用竖井式架构也将面临如何整合数据的难题，因此存在降低系统复杂度的需求。 各业务系统独立的设计导致在设计容灾系统时需要对各业务系统分别考虑，如果采用软件层的解决方案，会造成系统复杂度提升，如果采用存储层的解决方案，会大幅提升系统建设成本，因此存在全系统保护的需求。XXX 市人民医院超融合虚拟化平台 现有中心机房和脑科机房的 HIS
9、 系统存在整合需求。 医院新的数据中心将在一年后开始建设，存在统一规划分步分批建设的需求。 目前绝大部分系统都采用传统竖井式架构，亟需更加灵活、扩展能力强的架构。 能够满足核心业务系统数据本地高可用，无论发生计划内或计划外异常情况，业务不中断，最大化确保业务持续运行，同时保证数据安全。 本地分级存储：实现数据分级管理，使存储资源得到最有效的利用，不同级别不同成本的资源为不同价值和要求的数据服务，提高资源的利用率。构建统一、合理的、高可扩展的基础架构。 目前核心 HIS 数据库尚无数据备份，因此系统存在本地数据备份需求。 在本地高可用建设的基础上，建设跨机房的容灾系统，实现同城应用级别灾备；能够
10、实现“从无到有、从有到优、统筹规划、分步实施”，不仅仅考虑防止物理灾难风险，同时要能够防止逻辑灾难风险； 灾备系统尽可能采取简单、成熟、高效的技术实现手段； 最大化程度利旧原有数据中心服务器、存储等资产，保护已有投资。二、 数据中心建设规划技术方案综合以上现状分析，结合数据中心建设方法论及最佳实践，建议采用分步分批的建设方式，使用扩展能力强，功能丰富的超融合基础架构方案，来满足医院业务系统高可靠性、高可用性、业务连续性、数据安全、数据备份、数据及应用容灾需求。建议 XXX 人民医院的数据中心建设采用三步走的设计建设思路，数据中心第一期建设超融合架构数据中心，进行业务系统的整合，并对核心业务的应
11、用系统也进行整合，可选同时搭建灾备系统平台。第二期建设多种类型的虚拟化平台并通过统一的云管理平台进行管理，并建设多站点之间的灾备系统。第三XXX 市人民医院超融合虚拟化平台 期建设医院大数据平台，并在云平台上搭建 SDN 软件定义网络解决方案。第一阶段数据中心建设基础架构规划本次数据中心建设基础架构规划如下：图1：基础架构规划拓扑1）建设超融合基础架构平台，在中心机房建设一套超融合集群，并对现有系统进行评估，将除 HIS、PACS 等核心业务系统外的其他系统都迁移至超融合平台，打破原有竖井式架构的束缚，并将原来运行这些业务系统的设备进行淘汰，解决现有机房设备达到使用寿命而存在的潜在隐患，降低整
12、体能耗成本。2）进行业务系统集中整合，目前 XXX 人民医院核心 HIS 数据库仍然运行在安腾架构的 rx9800小型机环境中，并使用 Oracle 10g 的 RAC 方案，由于Oracle 和 Redhat 早已停止了对安腾架构的支持，现有的核心 HIS 数据库面临极大的隐患，同时不同机房中的 HIS 系统采用不同的软件解决方案，因此建议新数据中心的建设规划中，将 HIS 系统进行整合迁移测试，此部分工作量比较大，可以分阶段实施。3）搭建灾备系统，在脑科机房搭建超融合灾备平台，与中心机房超融合平台共同构建互备的虚拟化灾备系统，两个机房超融合平台上运行的系统数据以XXX 市人民医院超融合虚拟
13、化平台 主备方式进行读写，当一个机房存储设备发生故障时，数据存储动态切换到灾备机房，确保核心数据安全性和业务连续性。4）建设统一的数据备份平台，目前中心机房的核心 HIS 数据库尚没有数据备份，在进行 HIS 系统整合后，建立统一的核心业务系统数据备份平台，使核心业务系统不仅有本地高可用保护，还有数据备份保护能够在故障时实现快速的数据恢复。以下分别阐述各部分的技术方案。2.1、建设超融合架构数据中心设计原则在方案设计中我们将遵循以下总体原则：以业务需求为导向技术架构最终是为业务服务的，因此技术架构的设计一定要以业务的需求为导向，充分考虑非功能需求，例如系统的重要程度、安全要求、业务连续性等。提
14、高资源利用率现已经部署了大量的服务器，资源使用率低是较突出的一个问题，因此在项目中，提高资源利用率成为一个重要的任务。动态扩展性在 IT 发展趋势中，动态基础架构已经成为 IT 基础架构的发展方向。使 IT 基础架构成为一个动态、灵活、具有弹性的 IT 基础架构，同时在 IT 实时地运营过程可进行灵活的资源动态调整。资源扩展要体现在计算资源和存储资源的同时扩展。高可用性应用系统的高可用性是保障服务等级的重要因素，在架构设计中应该以软件定义为主，借助软件的分布式架构满足高可用性要求，实现系统架构和平台架构的无单点故障、无单点瓶颈问题，保障新一代的业务系统健壮性。XXX 市人民医院超融合虚拟化平台
15、 安全性在系统设计中，安全性是一个非常重要的问题。在架构中需要考虑到虚拟化架构内外部的安全，包括数据安全等问题，以保证整个系统长期安全稳定的运行。2.1.1 现有业务系统分类建议数据中心所有服务器分区分域部署，并在用户网络和数据中心网络中间实施合理的安全防护，例如部署硬件的防火墙并设置相应的安全策略。针对现有医院系统进行梳理，可以将医院系统分为六大类，分别是核心业务系统应用、核心 HIS 数据库、医疗信息系统、行政后勤系统、安全运维系统和 PACS 系统，其中 PACS 系统由于新购 Isilon，将保持原有架构以避免投资浪费。除核心 HIS 数据库外，其他四大类系统都将迁移至超融合平台，以最
16、大程度提高系统的使用率。目前中心机房现有系统共 45 个，除核心 HIS 数据库和PACS 外，其他业务系统共有 37 个左右，为提高系统可用性，设计 4-5 个业务系统运行在一台超融合节点上，因此如果所有非核心业务系统迁移，建议配置8 个超融合节点满足需求。同时东区机房的业务系统也迁移至中心机房超融合平台上，由于东区机房系统体量较小，因此不需额外添加超融合节点。从存储容量上看，除核心 HIS 数据库和 PACS 系统外，其余系统数据量约为14TB，因此可选择 8 个 HX5510 超融合节点，96TB 裸容量，整个集群可用容量为 48TB(RF2),每增加一个节点相应增加计算资源和存储资源，
17、不同类型的节点可以并存在同一集群。系统迁移至超融合平台后的数据中心耗电量大幅下降，超融合集群每年的耗电量约为 3 万度，每年将节省 20 多万电费。2.1.2 中心机房超融合虚拟化平台建设超融合架构在数据中心中承担着计算资源池和分布式存储资源池的作用，极大地简化了数据中心的基础架构，而且通过软件定义的计算资源虚拟化和分布式存储架构实现无单点故障、无单点瓶颈、弹性扩展、性能线性增长等能力；在虚拟化层可以自由选择 Hypervisor 的品牌，包括 VMware vSphere、MicroSoft Hyper-v 和 KVM；而且通过简单、方便的管理界面，实现XXX 市人民医院超融合虚拟化平台 对
18、数据中心基础架构层的计算、存储、虚拟化等资源进行统一的监控、管理和运维。超融合基础架构形成的计算资源池和存储资源池直接可以被云计算平台进行调配，服务于 OpenStack、Cloud Foundry、Docker、Hadoop 等IAAS、PAAS 平台，对上层的业务系统等进行支撑。同时，分布式存储架构简化容灾方式，实现同城数据双活和异地容灾。现有的超融合基础架构可以延伸到公有云，可以轻松将私有云业务迁到公有云服务。新的中心机房拓扑图如下所示：图3：超融合基础架构图基于超融合技术搭建虚拟化集群，用于承载核心业务系统和支撑系统。方案超融合节点配置如下：Lenovo HX 5510 超融合系统，软
19、硬件一体出厂预装，三年原厂服务，每节点配置 2 颗 E5 2630 V4 处理器，256 GB DDR4 内存，可扩展到 768GB，配置 1块 64GB SSD 作为虚拟化层安装部署空间，2 块 480GB SSD 硬盘作为读写缓存及热点数据存储空间，6 块 2TB 热插拔硬盘，8 个节点可用容量 48TB（两份副本存储），12Gb SAS RAID 卡，2 块双端口万兆光口，冗余电源；支持数据本地化、热点数据自动分层、在线重删、压缩、快照、克隆、支持多种虚拟化平台。通过软件方式自动将本计算存储一体化服务器及其它计算XXX 市人民医院超融合虚拟化平台 存储一体化服务器中的所有节点的本地磁盘空
20、间整合成一个整体存储空间提供给虚拟化软件使用（实现传统架构中集中存储的功能），单节点故障时不会影响整个存储空间的使用且数据不会发生错误或丢失。软件自动将经常访问的数据放在 SSD 磁盘上，而将不常用的数据放在 SATA 磁盘上，无需手工干预；节点优先使用本地 SSD 磁盘进行 IO 吞吐，多数据副本:可以实现数据保留 2 份甚至3 份，充分保护数据，当发生硬件失效时不会影响数据正常访问；不使用 Raid 技术：不使用传统的 Raid 技术保护数据，避免由于磁盘故障导致整个 Raid 组性能降级，从而影响业务正常运行。提供内存、SSD、SATA 不同性能层面的重复数据删除功能，并且使用几 k到十
21、几 k 的粒度保证重复数据删除的效率和效果。具备跨地域的远程数据容灾能力。支持同步、异步等多种容灾方式，在线集群伸缩，一键升级。超融合系统对网络设备的要求：每个节点提供 2 个或 4 个万兆以太网光纤接口，每节点同时标配 4 个千兆以太网接口，后端万兆和千兆网络冗余配置，建议千兆网络用于管理网络，网络采用两层架构，下图为推荐的网络拓扑图：XXX 市人民医院超融合虚拟化平台 2.1.3 超融合虚拟化平台实施规划2.1.3.1机柜冗余设计推荐将8个超融合节点分别部署到4个机柜中，每个机柜部署两个节点，最大化做到故障域的隔离。每个机柜双路供电，实现真正的供电冗余。2.1.3.2NTP 时间服务对于虚
22、拟化平台，时钟同步是容易被忽略的一个问题，严重的可能会影响业务系统操作系统及数据层面的一致性，因此建议在此次项目中配置时钟服务器，一般有两种做法，第一种是在超融合系统或集群之外部署一套基于 Redhat linux 的 NTP 服务器，作为整个集群的时间源，第二种是部署单独的 NTP 网络服务器设备。2.1.3.3命名规则XXX 市人民医院超融合虚拟化平台 创建数据中心，并在数据中心中创建文件夹，在文件夹中创建群集，将ESXi 主机加入到群集中，在群集中根据应用需求创建各种应用池，该应用的虚拟机运行在这个池中。数据中心命名规划项目 命名规则 实例命名数据中心 lcrm+ “-”+“内容” lc
23、rm-DataCenter文件夹 qdrbs +“-”+“内容” lcrm-“ ”集群 “内容”+“-”+“数字” HCI Cluster 1ESXi ESXi+“数字”虚拟机 “资源池名称”+“-”+“虚拟机名称” OA - xxxvCenter 中的数据中心架构的规划数据中心架构以下可以划分多个文件夹，文件夹可以包括多个群集，每个群集可以包括多台虚拟化主机，根据应用的实际需求，来划分资源池，每个资源池可以包括多个虚拟机。数据中心 群集 ESXi 主机 虚拟机 备注vCenterServeer.Lcrm-DataCenterHCI-VMware vCenter 可以将所有 VMware ES
24、X 主机及其虚拟机组织到群集和资源池中，从而大大简化了资源管理工作。群集是虚拟基础架构管理中的一个新概念，它不仅具有多个主机服务器的强大功能，还可以方便地管理单个实体。由多台独立主机聚合形成的群集将资源集中在一起，具有内在的高可用性，可显著降低管理工作的复杂性。现在，虚拟机部署可从单个 VMware ESX 主机扩大到群集范围，这样虚拟机便可使用群集中的所有资源。vCenter 可以为虚拟机选择最适合的主机，并可以在情况发生变化时在群集内部移动虚拟机。根据 VMware vSphere 技术白皮书的建议，由于本虚拟化服务器平台XXX 市人民医院超融合虚拟化平台 vCenter Server 监
25、控的主机的个数是三台，所以配置 vCenter Server 的规格如下。vCenter/SQL 服务器规格虚拟机名称 vCPU 内存 硬盘/存储 网卡vCenter Server 4vCPU 8G C：50G/（OS）1 块千兆网卡（VMnetwork1）VC-SQL 4vCPU 8GC：50G/（OS）D：100G/（数据库）1 块千兆网卡（VMnetwork1）vCenter Server 的安装部署，需要安装部署在 windows Server 2008 R2的操作系统上，并且安装部署 VMware vCenter Server5.1 和 SQL Server 2008 R2 版本。v
26、Center/SQL 服务器安装虚拟机名称服务器IP 地址操作系统软件 主机名 用户名 口令VC-SQL x.x.x.xwin 2008 R2 企业版Win SQL Server 2008 R2VC-SQL administrator PsswordvCenter Serverx.x.x.xwin 2008 R2 企业版VMware vCenter Server5.1vCenter administrator Pssword用户角色权限管理（可选）通过对管理员的角色分类，让不同角色的管理员只赋予他们管理自己职责内环境的权限。建议将虚拟平台的管理员分为以下几个等级：类别 权限 人员XXX 市人民
27、医院超融合虚拟化平台 管理员为所有 vCenter Server 用户和 vSphere 环境中的所有虚拟对象添加、移除和设置访问权限和特权用作青岛报业传媒集团虚拟服务器系统总管理员虚拟机超级用户允许用户与虚拟机进行交互、更改虚拟机硬件和执行快照操作的一组特权。授予的特权包括： 已调度任务特权组的所有特权。 全局项目、数据存储和虚拟机特权组的选定特权。 没有文件夹、数据中心、网络、主机、资源、警报、会话、性能和权限特权组的特权。虚拟机用户允许用户与虚拟机的控制台进行交互、插入媒体和执行电源操作的一组特权。不要授予允许更改虚拟机的虚拟硬件的特权。授予的特权包括： 已调度任务特权组的所有特权。 全
28、局项目和虚拟机特权组的选定特权。没有文件夹、数据中心、数据存储、网络、主机、资源、警报、会话、性能和权限特权组的特权资源池管理员允许用户创建子资源池、修改子资源池的配置但无法修改在其上授予了角色的池或群集的资源配置的一组特权。还允许用户将权限授予子资源池并将虚拟机分配给父或子资源池。授予的特权包括： 文件夹、虚拟机、警报和已调度任务特权组的所有特权。XXX 市人民医院超融合虚拟化平台 资源和权限特权组的选定特权。 没有数据中心、网络、主机、会话或性能特权组的特权。必须在虚拟机和数据存储上授予其他特权以允许置备新虚拟机数据存储用户允许用户消耗数据存储上的空间的一组特权，数据存储上授予了此角色。要
29、执行空间消耗操作（如创建虚拟磁盘或执行快照），用户还必须为这些操作授予适当的虚拟机特权网络用户如果同时也在虚拟机或主机上授予了分配的适当权限，则将允许用户将虚拟机或主机分配给网络的一组特权ESXi 主机命名规范esxi+“数字”.“域名”，如 ；ESXi 主机的本地数据存储命名规范：esxi+“数字”+local，如 esxi01local；ESXi 主机用户名口令：每台虚拟主机，在安装 vSphere 的过程中都需要创建密码，用户名是 root初始口令为：Pssword.2.1.3.4虚拟化主机配置表以下是每台虚拟化主机的配置信息，包括主机的名称，根用户名为 root，口令 Pssword，
30、主机的服务编号，物理机所属的群集，本地磁盘的命名，物理服务器在机柜的位置；假设每台主机有4个千兆网口，4个万兆网口，八块网卡命名为 vmnic0 vmnic1 vmnic2 vmnic3 vmnic4 vmnic5 vmnic6 vmnic7，并在这,八块网卡组成的标准虚拟交换机上创建 PortGroup：Management Network、VMnetwork、VMotion。项目 内容 网段主机网卡备注XXX 市人民医院超融合虚拟化平台 主机名称 密码：Pssword服务器位置 机柜 1 自下而上 HX01 服务编号：所属集群 Server 本地数据存储 ESXi-01-LocalMan
31、agement Network x.x.x.xvMotion x.x.x.xvSwithc0Private-Lanx.x.0 x.x.x.xvmnic0vmnic1对应交换机端口为 Access 模式Private-Lanx.x.1 x.x.x.xPrivate-Lanx.x.4 x.x.x.xPrivate-Lanx.x.6 x.x.x.xPrivate-Lanx.x.12 x.x.x.xPrivate-Lan10.10.21 x.x.x.xvSwithc1Private-Lan10.10.24 x.x.x.xvmnic2vmnic3对应交换机端口为 Trunk 模式vSwithc2 Pub
32、lic-Lan-x.x.x.x x.x.x.xvmnic4vmnic5vSwithc3 Public-Lan-x.x.x.x x.x.x.xvmnic6vmnic72.1.3.5物理主机网络端口规划物理主机的网络端口实施情况如下：管理网络 Vmotion 网络 业务网络主机名IP 地址 网络端口 IP 地址 网络端口 网络端口XXX 市人民医院超融合虚拟化平台 2.1.3.6虚拟机创建规划虚拟机创建根据业务需求，合理分配资源：1. CPU 数量满足需求的前提下越少越好2. 内存可以根据需求自动调整，建议设定预留值3. 磁盘选择 Thin 模式，集群可以挂载共享裸设备，但会影响快照功能4. 网络
33、尽量选择万兆交换机接口5. 每台虚拟机都要安装 VMware tools。由于虚拟机数量多，为提供运维的效率，建议医院对所有虚拟机进行统一管理，包括虚拟机名称，CPU、内存资源，磁盘容量，网络标签等信息，建议如下：业务名 VM 名称 主机名称 CPU 内存 磁盘 网络 说明XX 业务 Ip 地址-系统-业务名称 LCRM-HX-01 2*2 4GB x GB Vlan x2.1.3.7模板配置根据业务系统所使用的操作系统版本，在虚拟化平台中配置几个常规典型模板配置，包括 Windows、Linux 等，实现虚拟机的快速部署。2.1.3.8数据副本数量选择根据预先定义好的业务系统的关键级别，可以
34、基于超融合系统 continer 级模板编号 模板名称 操作系统 密码 应用程序XXX 市人民医院超融合虚拟化平台 别实现可选两副本或三副本的数据安全保护。2.1.4 超融合架构介绍超融合基础架构（Hyper-Converged Infrastructure，或简称“HCI”）是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括备份软件、快照技术、重复数据删除、在线数据压缩等元素，而多套单元设备可以通过网络聚合起来，实现模块化的无缝横向扩展（scale-out），形成统一的资源池。HCI 是实现“软件定义数据中心”的终极技术途径。HCI 类似 Google、F
35、acebook 等互联网数据中心的大规模基础架构模式，可以为数据中心带来最优的效率、灵活性、规模、成本和数据保护。使用计算存储超融合的一体化平台，替代了传统的服务器加集中存储的架构，使得整个架构更清晰简单。图4：数据中心4.0新一代数据中心建设包含众多信息化应用的实施，与此相对应，机房服务器和存储设备也必将大量使用，并且随着后期应用扩充和服务扩容，服务器和存储设备的投入必然越来越庞大。一方面，管理硬件基础设施的压力和成本会不断增大；另一方面，由于应用的多样性，服务器和存储难于有效整合，服务XXX 市人民医院超融合虚拟化平台 器的资源使用都远低于其实际的处理能力，计算能力和存储容量难以充分利用。
36、实施虚拟化/云计算数据中心，可以有效整合服务器及存储资源，形成计算资源池，根据新一代数据中心各项应用的实际需要动态分配计算资源，最大效率的利用现有服务器及存储设备，并对数据中心硬件设备进行有效管理和监控。超融合架构在数据中心中承担着计算资源池和分布式存储资源池的作用，极大地简化了数据中心的基础架构，而且通过软件定义的计算资源虚拟化和分布式存储架构实现无单点故障、无单点瓶颈、弹性扩展、性能线性增长等能力；在虚拟化层可以自由选择 Hypervisor 的品牌，包括 VMware vSphere、MicroSoft Hyper-v 和 KVM；而且通过简单、方便的管理界面，实现对数据中心基础架构层的
37、计算、存储、虚拟化等资源进行统一的监控、管理和运维。超融合基础架构形成的计算资源池和存储资源池直接可以被云计算平台进行调配，服务于 OpenStack、Cloud Foundry、Docker、Hadoop 等IAAS、PAAS 平台。同时，分布式存储架构简化容灾方式，实现同城数据双活和异地容灾。现有的超融合基础架构可以延伸到公有云，可以轻松将私有云业务迁到公有云服务。图 5：超融合市场领导者XXX 市人民医院超融合虚拟化平台 计算资源层面：超融合系统的计算资源池是通过 x86 服务器虚拟化来实现的，可以支持VMware vSphere 和 Nutanix Acropolis 平台提供的 KV
38、M 等 Hypervisor，如图6。在虚拟化 Hypervisor 层形成计算资源池，为业务系统的虚拟机提供不同的服务质量和能力，包括了高可用(High Availability)、容错(Fault Tolerant)、在线迁移(Live Migration/vMotion)、资源动态负载均衡(Distributed Resource Scheduler)等虚拟化的特性。同时可以支持业务虚拟机在不同的Hypervisor 之前进行迁移，也就是 V2V 的能力，例如从 vSphere 迁移到 KVM 等。图 6：超融合架构计算资源池（ x86 服务器虚拟化）存储资源层面：超融合系统提供的分布式
39、文件系统（NDFS）可以将一组集群内的节点组成一个统一的分布式存储平台。NDFS 对于 x86 虚拟化平台软件而言就是一个集中的共享式存储，与任何其他集中式存储阵列一样工作，且提供更为简单便捷的存储管理，无需像传统集中存储那样再配置 LUN、卷、或者 Raid 组。XXX 市人民医院超融合虚拟化平台 图 7：分布式存储架构和功能超融合分布式存储架构不仅同样提供传统存储的能力外，还提供更多的能力。针对于虚拟化方面提供快照、克隆等机制，数据层实现本地优先访问、存储分层等性能机制，对数据进行压缩和去重提高存储可用容量，借助两份以上冗余数据提供存储的可靠性，增加或减少节点数据分布会自动平台，当节点宕机
40、或磁盘损坏后具备数据自恢复能力等。超融合系统 HX 系列每个节点提供两种磁盘，标准配置为 2 块 SSD，单盘容量分 200GB、400GB；6 块 SATA 的 HDD，容量为 1TB、2TB 、4TB、6TB 的 HDD)。图 8 分布式存储系统逻辑架构NDFS 被设计成为非常动态的平台，可以适用于不同工作负载的应用，并且XXX 市人民医院超融合虚拟化平台 允许混合节点类型：例如将计算密集型节点和存储密集型节点混合在一个集群中。对于集群内部磁盘容量大小不同的，确保数据一致的分布非常重要。NDFS有自带的称为磁盘平衡的技术，用来确保数据一致的分布在集群内部各节点上。磁盘平衡功能与各节点的本地
41、磁盘利用率和内置的 NDFS ILM（数据生命周期管理）一同工作。它的目标是使得所有节点的磁盘利用率大致相等。另外，超融合节点通过 ILM（信息生命周期管理）实现 SSD 和 HDD 的数据热分层。简单而言，磁盘的热分层时实现在集群内所有节点的 SSD 和 HDD 上，并且由 ILM 负责触发数据在热分层之间的迁移。本地节点的 SSD 在热分层中是最高优先级的，负责所有本地虚拟机 IO 的读写操作。并且还可以使用集群内所有其他节点的 SSD，因为 SSD 层总是能提供最好的读写性能，并且在混合存储环境中尤为重要。XXX 市人民医院超融合虚拟化平台 在超融合的虚拟化环境中，所有 IO 操作都将由
42、本地节点上的 Controler VM(CVM)接管，以提供极高的性能。据以往经验及用户习惯分析，一般运行服务器虚拟化的虚拟机对 IO 性能要求在 200-300 IOPS 左右，而单个节点可提供25000 上的 IOPS，3 节点集群可提供将近 75,000 的 IOPS。可以非常轻易的满足医院业务的需求。在计算虚拟化资源池中的每台虚拟化 Hypervisor 节点上会运行多台虚拟机，多台虚拟机之间共享网络，为了方便管理建议采用虚拟交换机来配置和管理网络，虚拟交换机可在数据中心级别提供集中和聚合的虚拟网络，从而简化并增强虚拟机网络。在虚拟交换机的网络划分上，仍然可以采用 VLAN 的方式划分
43、不同的子网，实现不同子网段的安全和隔离。在网络隔离上，也可以采用网络虚拟化 VXLAN 技术。VXLAN 网络协议，即VLAN 协议的扩展版本。VXLAN 网络可以跨越物理边界，从而跨不连续的数据中心和集群来优化计算资源利用率。VXLAN 采用逻辑网络与物理拓扑相互分离，使用 IP 的技术，所以无需重新配置底层物理网络设备即可扩展 VXLAN 网络。正因如此，也就无需再花费大量时间来规划如何调配 VLAN 及管理 VLAN 数量剧增问题。在每个 Nutanix 物理节点上有多种网络需求，包括管内部通讯网络、管理网络、生产网络等，因此每个 Nutanix 节点建议配置 2 块网卡，网络设计建议如
44、下：类型 设计 备注Nutanix 物理节点之间的内部通讯网络10Gb 以太网双链路冗余每个节点通过两条万兆链路分别连接两台万兆交换机，保证网络设备和链路的冗余度。建议用户使用万兆网络互联物理节点，当发生密集的写 IO 时，万兆网络能保证提供足够带宽满足节点之间的 IO 同步流量。客户端与服务器虚拟机之间的通讯网络，虚拟化服务器对外服务1Gb/10Gb 以太网，双链路冗余每个节点通过两条千/万兆链路分别连接两台千/万兆交换机，保证网络设备和链路的冗余度。用户访问虚拟服务器对外提供服务时，通过千/XXX 市人民医院超融合虚拟化平台 网络 万兆链路可以实现与后端存储流量隔离。硬件管理网络(IPMI
45、)1Gb 以太网每个节点都有独立的千兆链路，用于连接专门的管理网络，实现管理网络与业务网络、存储网络分离。可以最大限度保证管理的灵活性和安全性。2.1.5 虚拟化软件的选择虚拟化 Hypervisor 层的类型选择，基于生产环境和灾备环境划分，生产环境建议采用 Vmware vsphere 商业化平台软件并购买原厂支持服务，非生产环境容灾环境，建议采用平台标配的免费的 AHV 虚拟化软件，具备高可用(High Availability)、在线迁移(Live Migration/vMotion)等常用虚拟化层特性。Vmware vsphere 虚拟化软件版本对比，目前 vsphere 保留了标准
46、版、企业增强版和企业增强版带 Operations Management（监控、容量规划），主要区别在于分布式虚拟交换机支持、DRS 动态资源调度、Qos、跨 Vcenter 管理平台和长距离虚拟机迁移，建议预算充足考虑企业增强版带 Operations Management（监控、容量规划）版本。以下为版本间区别：XXX 市人民医院超融合虚拟化平台 2.1.6 虚拟化平台虚拟机安全虚拟化在资源利用率、高可用性、高扩展性上有着诸多优势，实现虚拟化后，直观的来看，是将多台服务器集中到了一台主机内，这一台主机同时运行了多个操作系统，提供不同的应用和服务；系统管理员根据需要可以非常方便的添加新的应用
47、服务器；根据传统的安全设计模型，需要在每个操作系统中安装防毒软件，在网络层部署入防火墙、侵检测或入侵防御系统，但是在这种在传统方式下合理的设计，在虚拟环境下会面临一些新的问题：未激活的虚拟机，物理机下关闭计算机后CPU停止运行，网络关闭，理论上不会有数据的交互，操作系统也就不存在被感染的可能；但是在虚拟环境下，CPU，网络，底层的ESX 都在工作中，关闭的操作系统类似于物理环境下的一个应用程序，尽管这个“应用程序”没有运行，但仍然有被病毒感染的可能；资源的冲突，防毒软件在启用预设扫描后，当到了指定时间，会同时进行文件扫描的动作，这个时候防毒软件对CPU和内存的占用急剧增加，当系统资源被耗尽的时
48、候就会导致服务器down机；管理复杂度，由于虚拟化的便利性，系统管理员可以非常方便的根据模板生成新的系统，这些新系统要打补丁，进行病毒代码的更新，也会增加安全管理的复杂度；虚拟化环境的动态特性面临入侵检测/防御系统（IDS/IPS）的新挑战。基于网络的IDS/IPS，也无法监测到同一台ESX 服务器上的虚拟机之间的通讯；由于虚拟机能够迅速地恢复到之前的状态，利用VMware VMotion易于在物理服务器之间移动，所以难以获得并维持整体一致的安全性。所以虚拟化已经使“网络边界去除”的挑战更加明显，虚拟化对于安全的需求也更加迫切。VMware VShield Endpoint 程序使我们能够部署专用安全虚拟机以及经特XXX 市人民医院超融合虚拟化平台 别授权访问管理程序的API。这使得创建独特的安全控制虚拟机成为可能，如在Gartner的报告中所述，安全虚拟机技术在虚拟化的世界中从根本上改变安全和管理的概念。这种安全虚拟机是一种在虚拟环境中实现安全控制的新型方法。安全虚拟机利用API 来访问关于每一虚拟机的特权状态信息，包括其内存、状态和网络通信流量等。因为在不更改虚拟网络配置的情况下，服务器内部的全部网络通信流量是可见的。 包括防病毒、防火墙、IDS/IPS 和系统完整性监控等在内的安全功能均可
