1、大学数字化校园云数据中心建设方案 精品方案2016 年 07 月大学数字化校园私有云数据中心建设方案第 2 页 共 61 页目录1 项目背景 .42 建设原则 .63 方案设计 .83.1 总体拓扑设计 .83.2 总体方案描述 .83.3 核心网络设计 .93.4 数据中心计算资源池建设 .103.4.1 需求分析 103.4.2 传统服务器建设模式弊端 103.4.3 服务器虚拟化建设方向 123.4.4 设计描述 133.4.5 服务器集群部署方案 173.5 结构化数据存储资源池建设 .203.5.1 需求背景 203.5.2 需求分析 203.5.3 数据特点分析 213.5.4 统
2、一存储系统建设 223.5.5 设计描述 233.6 非结构化大数据云存储建设 .233.6.1 建设目标 233.6.2 系统组成 243.6.3 技术特点 243.6.4 分布式底层存储平台 263.6.5 数据共建与共享平台 283.6.6 一体化自动监控平台 303.6.7 数据管理统计平台 323.7 方案可靠性设计 .353.7.1 服务器可靠性设计 353.7.2 存储可靠性设计 363.7.3 虚拟化可靠性 363.7.4 管理可靠性 373.8 方案特点 .383.9 云平台系统建设 .403.9.1 系统架构介绍 403.9.2 云管理平台解决方案特点 423.9.3 统一
3、管理 Portal.443.9.4 统一资源管理 453.9.5 物理资源管理 463.9.6 虚拟资源管理 463.9.7 监控管理 473.9.8 智能调度管理 483.9.9 组织管理 503.9.10 用户管理 513.9.11 自助服务发放 523.9.12 自动化运维 54大学数字化校园私有云数据中心建设方案第 3 页 共 61 页3.9.13 统计报表 553.9.14 告警管理 553.9.15 拓扑管理 573.9.16 日志管理 573.9.17 开放 API.584 投资配置及预算 .594.1 一期建设配置预算 .594.2 二期建设配置预算 .59大学数字化校园私有云
4、数据中心建设方案第 4 页 共 61 页1 项目背景目前，高校信息化建设已经驶上了快车道，进入了高速发展时期，新一代数字校园应用平台正在向我们走来，信息集成和业务集成阶段已经来临，由此将会带来全新的信息化运作模式和建设思路，和“人本主义”的新建设理念，以顶层设计为主导，以用户为核心设计应用系统和数据流程，在统一的标准之下建设应用系统，实现数据的整合和共享，并且采用丰富的技术手段关注业务的连续性承诺，提高校园的服务级别承诺。在学校的信息化建设中，为广大师生提供及时和优质的信息服务是最终目标。这些都依赖于学校基础数据的积累，和基于这些数据基础之上的应用建设，数据中心建设是高校信息化建设的核心。目前
5、，学校数据中心经过多年信息化项目的建设，已经建成诸多校内信息化应用业务系统，为学校师生日常生活提供着不同的信息化服务。随着学校信息化建设的深入，无论是从信息化总体规划的角度、信息系统建设的角度，还是从信息系统运行维护的角度，越来越多的高校认识到数据集中、IT 基础设施集中、运行服务集中的必要性，数据中心是数字校园的核心的理念也得到了大部分高校的认同。随着校园数据中心建设的深化进行，校园应用系统数据集中密度越来越高，服务器存储数量不断增长，网络架构不断扩展，空间布局、系统布线、电力能耗压力不断增加。当前的校园数据中心建设面临诸多挑战，系统性能、安全性、可靠性、扩展性等都迫切需要进行整合与优化。目
6、前学校数据中心建设的主要问题是以应用为单位建设系统，主机、存储等系统构件各异，所使用应用软件均基于不同平台开发管理上各有不同的单点工具；系统扩充上无法统一规划，系统资源无法共享：增加应用时，需再一次完全规划系统，势必造成重复购买，总体拥有成本较高；各系统独立造成数据形成孤岛，难以共享；难以实施统一备份，数据抽取和远程容灾等高级应用。这些特点导致数据中心在管理和维护大量服务器时面临系统管理复杂、资源利用率低、安全控制与数据备份困难等问题，如何解决上述问题成为本次校大学数字化校园私有云数据中心建设方案第 5 页 共 61 页园数据中心建设项目中所面临的重要挑战。对高校而言，云计算不仅仅是一个技术范
7、畴内的 IT 项目，更是一个颠覆大家思维习惯、重构学校采购流程、重塑业务部门使用方式的社会工程，需要得到学校主管领导的重视和大力支持，同时也非常需要得到相关业务部门的理解和配合，这需要 IT 部门投入大量的精力进行充分的沟通和协调。通过本次数据中心基础平台项目的建设，最终将给南京体育学院信息化发展带来以下几个方面的主要好处：1. 通过数据中心基础平台建设打通数据中心资源孤岛，实现资源整合和共享，从而大幅度地提升资源利用率。2. 让专业的人做专业的事。学校 IT 部门可以充分发挥技术优势，负责 IT资源的运维和服务，业务单位则从繁复的技术细节中解放出来，专注于自己的业务建设和运营。3. 真正实现
8、硬件资源统一规划、统一采购。业务单位根据自己需求按照标准的流程提出资源使用需求，审批通过后后台系统自动从资源池中分配资源创建虚拟机并部署软件系统，大大缩短项目建设周期。4. 实现统一监控、统一安全防护、统一容灾备份，从而保障系统及数据更加安全可靠地运行。为了顺利实现数据中心基础平台的建设，首先要从管理上建立一个机制，要有比较好的管理思路和制度做支持；其次，建好数据中心基础平台只是第一步，用好数据中心基础平台更为关键，因此要尽可能地通过各种应用让高校师生体会到数据中心基础平台的好处。大学数字化校园私有云数据中心建设方案第 6 页 共 61 页2 建设原则结合南京体育学院 IT 系统的实际应用和发
9、展要求，方案主要遵循以下原则进行设计：安全可靠性原则 系统支持双活动控制器，满足高可靠性需求 系统器件选择要考虑能支持724小时连续长时间大压力下工作； 系统具有充分的冗余能力、容错能力； 系统具有专业的技术保障体系以及数据可靠性保证机制； 对工作环境要求较低，环境适应能力强； 确保系统具有高度的安全性，提供安全的登录和访问措施，防止系统被攻击； 异常掉电后不丢失数据，供电恢复后自动重新启动并自动恢复正常连接；先进性原则 系统必须严格遵循国际标准、国家标准和国内通信行业的规范要求； 需符合存储技术以及IT行业的发展趋势，所选用的产品型号已规模上量； 所有的系统处于先进的技术水平，确保较长时间内
10、技术上不落伍； 系统的处理能力要达到业内领先，对于本次业务的使用要留有一定的余量，以满足后续升级的需求；开放性原则 系统必须支持国际上通用的标准网络存储协议、国际标准的应用开放协议； 与主流服务器之间保持良好的兼容性；大学数字化校园私有云数据中心建设方案第 7 页 共 61 页 兼容各主流操作系统、卷管理软件及应用程序； 可以与第三方管理平台集成，提供给客户定制化的管理维护手段； 满足今后的发展，留有充分的扩充余地； 各主流厂家的硬盘均可接入；易维护性原则 系统支持简体中文，通俗易懂，操作方便、简单； 系统具有充分的权限管理，日志管理、故障管理，并能够实现故障自动报警； 系统设备安装使用简单，
11、无需专业人员维护； 系统容量可按需要在线扩展，无需停止业务； 系统功能扩充需要升级时，支持不中断业务升级； 支持WEB管理方式或集中管理方式；扩展性原则 系统易于扩充； 系统选择标准化的部件，利于灵活替换和容量扩展； 系统设计遵守各种标准规定、规范；经济性原则 综合考虑集中存储系统的性能和价格，最经济最有效地进行建设，性能价格比在同类系统和条件下达到最优。绿色性原则 满足环保与节能的要求，噪声低、能耗低、无污染； 必须选用无铅器件； 有节能降耗的技术手段； 具备环境管理认证，符合环保规定，包材可回收，支持重复利用；大学数字化校园私有云数据中心建设方案第 8 页 共 61 页3 方案设计3.1
12、总体拓扑设计S A N 网 络结 构 化 数 据存 储 中 心结 构 化 数 据容 灾 中 心数 据 镜 像校 园 网、 、万 兆 安 全 网 关数 据 中 心 交 换 机非 结 构 化 大 数 据 云 存 储数 字 化 校 园 （ 虚 拟 化 计 算 资 源 池 + 物 理 服 务 器 ）3.2 总体方案描述学校数据中心承载学校核心业务，方案中数据中心总体架构设计遵循面向大学数字化校园私有云数据中心建设方案第 9 页 共 61 页业务需求的设计思路实现数据中心 IT 基础架构模块与业务模块松耦合，保证数据中心业务动态扩展和新业务快速上线。本方案采用华为云计算技术，为用户创建资源统一管理、业务
13、快速上线、资源动态调度及动态扩展的资源平台。方案使用特定规格产品设计，包括硬件、软件和应用规格化来提供简单可靠、易于部署和管理、便于扩展和升级的 IT 基础架构，为用户提供更好的投资保护，满足数据中心新建、升级扩容，以及数据中心的可视化统一管控的需求，可实现被集成的场景。3.3 核心网络设计数据中心网络是用来承载数据中心内部应用系统的，同时与校园网互联，最终实现校园网内网及校园网外网用户的接入访问，所以建成的数据中心网络平台必须要具备高性能、低延时、高质量的数据转发方面的特性，同时须要具备高可靠接入访问等方面的特性，从而确保建成的数据中心网络平台可以充分满足数据中心内部应用高性能数据交换、应用
14、系统高性能集群同步、内外网用户高速接入等方面的需求。数据中心核心网络交换平台应考虑采用两台主流网络厂商的新一代的万兆数据中心以太网核心交换机组成数据中心核心交换平台，可以支持高可靠性集群虚拟化技术将多台核心设备在逻辑上组成单一设备，从而在二层链路上实现多链路负载均衡，有效提升数据中心网络交换容量和可用性，同时支持一台设备虚拟成多台逻辑设备，实现业务的严格隔离，支持 EVN 等跨三层互联技术，实现跨三层网络数据中心热备。建议配置 2 台万兆数据中心以太网交换机，每台数据中心交换机支持 48个 GE、48 个 10GE 端口；冗余电源风扇。大学数字化校园私有云数据中心建设方案第 10 页 共 61
15、 页3.4 数据中心计算资源池建设3.4.1 需求分析校园数据中心承载着几乎全部的校园信息化应用系统，不同的校园信息化系统的部署对硬件服务器的配置要求也各不相同。如校园“数字化校园系统”服务器平台的建设需要满足“数字化校园”系统中 “信息门户” 、 “统一身份认证” 、 “数据共享库”等关键平台的高性能部署需求，同时要满足 “数字化校园”应用系统（教务系统、迎新系统、科研系统等）高密度部署需求。数据中心服务器平台的建设除了需要有高性能方面的保障，同时要能确保系统的高稳定性，可以支持多种灵活的系统集群、迁移等方面的技术，还要支持简单有效的统一配置、管理手段；另外，数据中心服务器平台的建设不仅要能
16、满足当前校园信息化应用系统部署的基本要求，还要充分考虑到学校未来 3-5年的发展需求，要求系统具备一定的扩展性，最大限度地保护既有的投资，减少对系统的维护和未来开发的成本，保证系统在技术上、经济上的可持续性发展。3.4.2 传统服务器建设模式弊端如果采用传统的校园基础设施服务器建设方式往往就是通过不断地投资购买新的硬件服务器来满足不断发展的校园业务系统的部署需求，使得校园基础设施服务器平台成为一堆同品牌或者多品牌的硬件服务器的堆叠，而且每台服务器需要单独地安装、配置和运维管理，从而带来服务器的数据剧增、书服务器类型杂乱、服务器管理异常复杂、基础设施能耗成倍增加、硬件设备对机房环境和空间等方面的
17、要求不断提高，总体投资成本的成倍增长等缺点。概括起来，传统模式下的服务器平台建设主要有以下几个方面的不足： 服务器 I/O 性能低下传统架构的服务器 I/O 技术普遍表现为 GE、4Gbps FC 等技术，已经很难满足不断发展的校园信息化业务系统良好低运行需求，特别是在虚拟化应用中，虚拟机的实时迁移等应用对 I/O 的性能有着较高的要求，采用传统架构的服务大学数字化校园私有云数据中心建设方案第 11 页 共 61 页器 I/O 技术很难体现出虚拟化应用在高性能集群、灵活的容灾备份机制等方面优势；另外传统架构的服务器内存可扩展性方面的限制也很难满足虚拟化应用对单个物理服务器内存高可扩方面的要求；
18、 网络基础设施管理复杂传统架构的服务器网络往往包含数据网络（LAN） 、存储网络（SAN） 、管理网络（MAN）等几套不同的网络传输系统，在传统构架的网络中进行业务扩容、迁移或增加新的服务功能越来越困难，每一次变更都将牵涉相互关联的、不同时期按不同初衷建设的多种物理设施，涉及多个不同领域、不同服务方向，工作繁琐、维护困难，而且容易出现漏洞和差错； 应用部署复杂、可扩展性差传统架构的服务器普遍采用普通的 LAN 交换机进行互联和数据交换，每个服务器需要单独地进行安装、配置和管理，而且同一管理单元里服务器数量也受到很大的限制，即使采用普通的刀片服务器方式，在一个管理单元里也最多能同时管理 1016
19、 片刀片服务器，很难满足数字化校园应用以及主机托管业务等方面对服务器可扩展性方面的需求； 服务器硬件资源利用率低下传统架构方式对底层资源的投入与在上层业务所收到的效果很难得到同比发展，最普遍的现象就是忙的设备不堪重负，闲的设备资源储备过多，二者相互之间又无法借用和共用，这是由于底层 IT 建设是以功能单元为中心进行的，没有考虑到底层业务对底层资源调用的优化，这使得对 IT 的投入往往无法取得同样的业务应用效果的改善，反而浪费了较多的资源和维护成本； 服务器运维服务策略不一致传统架构最严重的问题是这种以孤立的设备功能为中心的设计思路无法真正从整个系统角度制订统一的服务策略，比如安全策略、高可用性
20、策略、业务优化策略等等，造成跨平台策略的不一致性，从而难以将所投入的产品能力形成合力为上层业务提供强大的服务支撑，因此，按传统底层基础设施所提供的服务能力已无法适应当前业务急剧扩展所需的资源要求。大学数字化校园私有云数据中心建设方案第 12 页 共 61 页3.4.3 服务器虚拟化建设方向为了避免传统服务器采购和运维管理模式的弊端，设计采用 Vmware 虚拟化部署模式满足校园数据中心数字化校园等应用系统高密度部署需求。虚拟化部署模式采用在每台物理机上运行多个虚拟机的方式，同时通过统一的管理中心对多台服务器的所有的虚拟机实现统一控制和管理，充分实现服务器资源的任意划分和调配，提高服务器硬件资源
21、的利用率，大大地降低服务器设备总投资成本和设备能耗。如何正确应对虚拟化带来的挑战，把握机遇适应未来 IT 技术的发展，是摆在各高校信息化进程中亟需解决的问题，相对于传统的校园数据中心服务器平台建设模式，虚拟化服务器平台的建设模式有着明显优势：1. 提高了硬件资源的利用率，通过整合服务器将共用的基础架构资源聚合到池中，打破原有的“一台服务器一个应用程序”模式：采用传统的服务器建设模式，经常会出现有些服务器负载过重，而有些服务器比较清闲，导致了资源的严重浪费，而且随着校园信息化应用的不断发展，一味地增加硬件服务器，带来昂贵的硬件设备采购成本，和巨大的能耗，而通过虚拟化部署方式，可以在单台物理服务器
22、上部署多个虚拟服务器，不同的虚拟服务器可以安装不同的操作系统和应用，充分提高了硬件资源的利用率，大大地减少了硬件设备的采购数量。2. 简化了服务器的综合管理，并且通过缩减物理基础架构和提高服务器/管理员比率：传统模式下的服务器平台由于数量众多，而且分布在多个管理域里面，往往会出现不同的服务器不同的管理界面、不同的服务器不同的管理方式而且每个服务器需要单独地进行管理控制，使得服务器的运维管理显得相当复杂，而采用虚拟化的建设模式，可以在一个管理中心对所有的虚拟机进行统一的管理，而且可以对不同的虚拟机设置不同的管理权限分配给不同的管理员（如：整个数字化校园系统只要在同一个管理界面下对所有的应用服务器
23、、信息平台服务器进行统一集中管理；主机托管业务可以灵活地实现对托管单位进行虚拟机的分配以及虚拟机管理权限的设置，同时可以根据虚拟化内部丰富的安全策略确保每个虚拟机的安全保密性。 ） ，大学数字化校园私有云数据中心建设方案第 13 页 共 61 页从而提高了服务器设备/管理员比率，因此服务器运维管理人员需求也随之减少；另外由于虚拟化的应用带来了服务器及其它基础设施数量的减少，因此也减少了硬件设备占地空间以及设备的电耗和散热量，使得数据中心机房更加环保，充分体现绿色数据中心的建设理念。3. 极大地加快了应用部署速度：通过引入虚拟化应用发布格式 OVF（Open Virtualization For
24、mat） ，不仅能使学校在信息化不断建设过程中更方便地发布校园信息化应用，而且可以使系统管理员非常简单地部署这个应用（比如：在校园信息化建设过程中需要增加一些数字化校园应用系统，或者要扩大主机托管业务规模，采用虚拟化部署模式大多数情况下只要轻轻一个点击就可以完成整套部署工作） 。4. 进一步实现了自动化管理：虚拟化部署模式通过使用类似DRS（Distributed Resource Scheduling，分布式资源调度） ，Live Migration（动态迁移） ，DPM（Distributed Power Management，分布式电源管理）和 HA（High Availability，
25、高可用性） 等高级虚拟化管理技术，能极大地提高整个数据中心的自动化管理程度。5. 提高了硬件和应用程序的可用性，进而提高业务连续性：传统模式下的服务器平台都是通过额外采购第三方软件来实现系统的集群、备份以及容灾，部署比较复杂，需要专业的技术人员才能得以实施和运维管理，并且会带来昂贵的第三方软件采购费用，而虚拟化部署模式可以通过虚拟化软件自带的功能，可以灵活、安全地实现校园数据中心不同应用或者整个虚拟化环境的备份和迁移，而不会出现服务中断，消除计划内停机，并可从计划外故障中立即恢复。6. 实现了运营的灵活性：虚拟化部署模式支持动态资源管理、从而加快了服务器部署并改进了桌面和应用程序部署，因此可响
26、应校园业务系统不断变化要求，特别有利于类似主机托管等业务开展。3.4.4 设计描述本项目采用华为云平台对计算、存储、网络资源进行虚拟化管理，华为云大学数字化校园私有云数据中心建设方案第 14 页 共 61 页平台操作系统由虚拟基础设施套件和云基础服务套件组成。华为云平台管理节点主要由：虚拟化基础引擎 FusionCompute、云管理FusionManager、统一硬件管理 UHM。一套云平台部署一对 FusionManager 主备节点，FusionManager 通过自动发现功能发现其管辖下的物理设备资源（包括机框、服务器、刀片、存储设备、交互机）以及他们的组网关系；提供虚拟资源与物理资源
27、管理功能（统一拓扑、统一告警、统一监控、容量管理、用量计费、性能报表、关联分析，生命周期） ，并且对外提供统一的管理 Portal。FusionManager 还包括统一硬件管理 UHM（Unified Hardware Management）组件，UHM 提供对硬件自动发现，硬件自动配置、统一监控（带内和带外） 、硬件统一告警、硬件拓扑、异构硬件支持。FusionManager 可以管理多个物理集群，每个物理集群由一对主备 VRM 管理。FusionCompute 提供基础的虚拟化功能，提供服务器、存储、网络的虚拟化功能，并向上对 FusionManager 提供接口。每套 FusionEn
28、gine 主要由一对主备管理节点 VRM 组成。一对 VRM 对应一个物理集群(或者叫站点)。一个物理集群中可以把多台服务器划分成一个逻辑集群（又叫 HA 资源池） ，一个计算资源池有相同的调度策略，为了使用热迁移相关的调度策略要求资源池主机 CPU 同大学数字化校园私有云数据中心建设方案第 15 页 共 61 页制。计算资源池不包括网络资源与存储资源。一个物理集群中可以包含多个逻辑集群。本期建设虚拟化计算资源池，配置 14 块华为 Tecal CH121 半宽刀片服务器。每块 CH121 刀片服务器配置 2 颗 Intel Xeon E5-2640 V2 处理器，128GB DDR3的 RD
29、IMM 内存、2 块 300G SAS 10K 运行虚拟化软件。每块刀片服务器节点，配置 4*10GE 接口。E9000 刀片服务器通过两台光纤交换机，连接到两套存储上，所有业务数据、虚机数据集中存储在两台存储阵列中，实现数据的集中存储，便于后期数据保护策略的实施。采用 2 套存储阵列分别连接两台光纤交换机，通过异步远程复制技术，实现两套存储间的数据容灾备份，实现极端情况下一台阵列故障时，对系统数据可用性无影响，系统可以快速恢复数据，达到系统快速恢复的目的。为客户提供高可用 IT 系统，保障数据安全，系统高可靠。华为 E9000 服务器是面向弹性计算、电信计算的高性能企业级高端服务器，能够实现
30、计算、存储、网络的融合，支撑运营商、企业高端核心应用。在硬件计算平台的 RAS（Reliability, Availability, and Serviceability） 、计算密度、节能减排、背板带宽、智能管控与服务、计算与存储的弹性配置和灵活扩展、网络低时延和加速方面具有领先的竞争力。E9000 服务器在计算能力、内存容量、支持的交换类型、电源和功耗等方面的性能具有领先业界的优势： 计算节点采用 Intel Xeon E5 系列 4 核/6 核/8 核高性能处理器，支持 70W/80W/95W/130W/135W 等全系列 CPU。 计算节点支持半宽 2S、全宽 4S 设计。 全宽 2S
31、 资源扩展的计算节点最大支持 24 个 DIMM 插槽，支持扩展 15 个 2.5 英寸硬盘或扩展 4 个 PCIe 标准插槽。 全宽的节点最大支持 48 个 DIMM 插槽，最大内存容量 1536 GB。大学数字化校园私有云数据中心建设方案第 16 页 共 61 页 全宽 4S 计算节点最多可配置 8 个 2.5 英寸硬盘或 4 个 2.5英寸硬盘和一个标准 PCIe x16 插槽，Raid 扣卡支持 512MB Cache，可选配 BBU 电池或者超级电容保护。 节点支持基于主流颗粒的 1.5 倍高，双倍容量的内存。 2.5 英寸硬盘支持 SAS SSD，PCIe SSD，SAS 6Gbp
32、s，SATA 6Gbps 多种类型。 支持 Ethernet、FC、FCoE、InfiniBand 交换。 采用高效能铂金 AC 电源，电源转换效率高达 91%，支持动态节能管理电源休眠 整机支持半宽 850w，全宽 1700W 的散热和供电设计。大学数字化校园私有云数据中心建设方案第 17 页 共 61 页3.4.5 服务器集群部署方案3.4.5.1WebSphere 集群Cluster_serverMember1portal1hostname app1Interne Userhttp请求Cluster_serverMember2portal2hostname:app2 WAS应用服务器集群
33、结构应用服务器集群结构图图-单单 HTTP服务器方式服务器方式HttpServerserverxuanke/imphostname:app4serverdpstar/distarhostname:app3集群信息HTTP 服务器 IP 暂无负载均衡方式 HTTP 转发WAS 集群成员 app1/app2/app3/app4大学数字化校园私有云数据中心建设方案第 18 页 共 61 页3.4.5.2身份认证集群认证接口服务认证接口服务身份认证服务身份认证服务目录服务目录服务身份认证服务身份认证服务目录服务目录服务身份认证服务器（主） 身份认证服务器（辅）（辅）LDAP(目录服务 )数据双机互为复
34、制Internet User负载均衡插件负载均衡插件 (LB) 负载均衡插件负载均衡插件 (LB)认证接口服务认证接口服务集群信息负载均衡 IP 暂无IDS 成员 IP 暂无负载均衡端口 80集群方式 IDS 负载均衡插件（权重轮询）其他端口20000：ICE 接口服务，部署在负载均衡插件服务器上。389：LDAP 服务，由 IDS 双机各自对外提供认证服务。大学数字化校园私有云数据中心建设方案第 19 页 共 61 页3.4.5.3Oracle 集群集群IP （VIP）IP待定202.205.88.135RAC心跳线db1IP：*db2IP：*光纤接入 光纤接入应用服务器1 应用服务器2 数
35、据集成服务器数据库集群结构数据库集群结构Raid5磁盘阵列Oracle集群RAC部署结构图-双节点方式集群信息成员 IP 暂无监听端口 1521集群方式 每个服务器至少两个网络接口，一个对外提高公共服务，一个对内提供内部通讯。公共网络接口上绑定两个 IP，用来实现RAC 的功能。两个网络接口的名字在两个节点上保持一样。心跳线方式 两节点间的内部通讯可以使用网线直连，也可以使用千兆交换机连接。存储接入 两个节点使用公共存储，设备名相同，大小符合数据库应用要求。大学数字化校园私有云数据中心建设方案第 20 页 共 61 页3.5 结构化数据存储资源池建设3.5.1 需求背景伴随着信息化建设的深入，
36、学校信息部门的工作重点也逐渐发生着变化，从最初满足教学科研需要的计算中心，到为全校提供网络服务的网络中心，目前，正在向着丰富网上资源，更好地为教师、学生、以及校内的其他业务部门服务的数据中心转变。在校园数据中心建设中，存储系统的建设和完善贯穿始终，这和当前应用系统建设的重点是相一致的。不论是各种数字资源，还是需要备份保存的业务数据，其中心内容都是对于信息(数据)的管理和使用。在信息社会的今天，存储系统作为数据的载体，其重要性也越来越大，甚至成为决定系统建设成败的关键因素，所以，校园数据中心要详细考虑存储系统的规划方案和建设思路。3.5.2 需求分析随着高校信息化进程的逐步深入，数字化校园应用系
37、统越来越多，环境也变得越来越复杂，这无形中增加了 IT 人员管理维护系统的难度。同时，随着应用系统的不断增加，数据也相应大量增长，这就给原有的信息基础架构提出了更高的要求： 平滑的提供更大的存储空间 提供更快的数据响应速度 提供更大的数据吞吐能力 提供灵活的资源调配能力（包括服务器和存储）并且，随着信息系统在高校教学、管理中的重要性越来越高，信息主管部门越来越多的关注在： 如何解决应用系统和数据容量迅速增长带来的问题：大学数字化校园私有云数据中心建设方案第 21 页 共 61 页 利用率降低 成本不断增加 管理越来越复杂等 如何满足关键应用系统的业务连续性要求 关键系统高性能 关键服务不停顿
38、关键数据不丢失3.5.3 数据特点分析根据对数字化校园信息化系统的分析，可以总结出核心应用系统的特点如下： 数据库：是整个校园管理的核心 数据类型：数据库(SQL, Oracle 等） 性能要求：同时访问人数多，并发性能要求高 可用性要求：不能停机 数据量：几百 MB 到几百 GB 文件：为广大师生提供最丰富的信息资源 数据类型：文件（文本，图像，音视频） 性能要求：同时访问人数较少，但传输数据量大，带宽要求高 可用性要求：教学期间不能停机 数据量：很大且增长很快，从几 TB 到几十 TB根据性能和可用性的分析，可以得出相应推荐的存储系统架构如下：典型存储架构应用 数据类型 性能 容量 数据保
39、 护连续性FC SAN iSCSINAS校园一卡通系统 数据库 高 中 高 高 优选 教务系统 数据库 高 中 高 高 优选 统一身份认证 数据库 高 低 高 高 优选 网络计费 数据库 中 中 高 高 优选 大学数字化校园私有云数据中心建设方案第 22 页 共 61 页财务系统 数据库 中 低 高 高 优选 电子邮件 文件 中 高 高 低 推荐 可选 可选VOD 点播 文件 中 高 高 低 推荐 可选 可选网络教学 文件 中 高 高 低 推荐 可选 可选个性化门户 文件 中 中 高 低 推荐 可选 可选数字化图书馆管理系统（采、编、流）数据库 高 低 高 高 推荐 可选自建资源系统 数据库/
40、文件 中 高 高 中 可选 可选 推荐3.5.4 统一存储系统建设根据以上需求分析，我们建议本次校园数据中心的建设采用同时支持 IP SAN、 FC SAN 等协议的统一存储系统，分别满足数据中心不同业务系统数据存储需求以及数据灾备存储需求，同时要确保系统的可扩展性。由于数字化校园系统中的对性能要求的是各种数据库应用系统，文本文件和图片及音视频资料文件的重要程度以及对存储系统的性能要求一般，因此，在规划数字化校园集中存储系统时，应充分考虑对各应用系统的分级以及磁盘分级存储管理，提高了统一存储设备的性能利用率以及磁盘利用率，同时也为数字信息系统节省了大量的资金投入。根据数字化校园各应用系统对存储
41、设备性能要求的不同级别，将不同的应用系统采用不同的连接方式： 将数字校园的校园一卡通管理系统和教务系统数据库、其他数字校园应用数据库系统，以及自建资源数据库等核心数据库应用通过 8Gbps FC链路进行连接，形成 FC-SAN，实现高性能、高可用的存储； 针对实时响应速度要求最快的图书馆管理系统、身份认证系统以及数据读写量比较大的虚拟化应用服务器群，采用 8Gbps FC 进行链接，提供最高的主机访问速度。 针对高校系统中大量存在的文件服务应用如 VOD 视频点播、FTP 等应用，大学数字化校园私有云数据中心建设方案第 23 页 共 61 页采用 NAS 文件共享的方式提供服务，通过 NFS、
42、CIFS 等文件传输协议； 每个虚拟机的操作系统创建在共享的 SAN 集中存储阵列上，通过VMware VMFS 文件系统允许多个 ESX Server 同时访问同一存储，并支持 VMware VMotion 技术、VMware DRS 和 VMware HA 等高级功能，以实现虚拟化环境的高可用和动态资源调配；3.5.5 设计描述采用一台华为 OceanStor S5800T 存储系统作为系统主要存储。本次配置60 块 600GB 3.5 英寸 15Krpm SAS 企业级硬盘, 配置 RIAD5；配置 16 个 8Gb FC和 4 个 SAS2.0 后端磁盘通道。华为 OceanStor
43、S5800T 存储产品，最大支持 4控集群，本次配置双控制器，192GB 缓存，最大支持 1440 块硬盘，最大支持 40个主机端口，支持 SAS/NL SAS/SATA 硬盘,支持 8Gb FC 和 10GE、1GE ，具有高可靠、高性能等特点。采用一台华为 OceanStor S5600T 存储系统作为系统备份存储，配置与生产存储相同容量配置，作为备份存储做系统数据备份容灾。实现高端存储到容灾存储间的数据远程复制，提供可视化容灾管理软件，提供容灾演练、一键切换等功能。3.6 非结构化大数据云存储建设建设目标 设计采用分布式云存储系统满足校园私有云数据中心教学、科研等非结构化大数据读写需求，
44、同时与数据中心应用深度集成，全面提供私有云数据中心云存储服务。云存储资源平台具有极强的可扩展性，在建设初期能够以较低的成本满足现阶段的数据业务需求，并且随着业务量的增长，能够快速、高效的进行系统扩展与升级。大学数字化校园私有云数据中心建设方案第 24 页 共 61 页3.6.2 系统组成MeePo 云存储平台软件包括分布式底层存储平台、数据共建与共享平台、数据管理统计平台、一体化自动监控平台、客户端工具等软件组成。分布式底层存储平台提供分布式数据存储服务，数据共建与共享平台与分布式底层存储平台提供数据存储与分享服务，另外还有数据管理统计平台、一体化自动监控平台，均部署在 2 个存储服务器节点上
45、（复用） ，这些存储服务器节点今后可以自由扩展；客户端工具软件包括 Windows 系列客户端、Linux 系列客户端、MacOS 系列客户端、Android 手机客户端、 iOS 手机客户端。一 体 化 自 动 监 控 平 台数 据 管 理 统 计 平 台 云 存 储 资 源 平 台数 据 存 储 与 共 享 平 台校 园 网 络 Windows客 户 端Linux/Mac客 户 端Web客 户 端分 布 式 存 储 平 台存 储 服 务 器 存 储 服 务 器 存 储 服 务 器 存 储 服 务 器Android/iOS客 户 端图 9-1 云存储资源平台系统组成（示意图）3.6.3 技术
46、特点高度灵活的存储可扩展性云存储资源平台采用了分布式系统架构，能够适用从 TB 级别到 PB 级别的资源存储管理场景，具备 PB 级存储能力，简化了系统扩容工作，通过增加新的存储服务器即可实现系统在线快速扩容。支持在线的容量调整，当增加或撤销物理存储节点，系统能够自动检测到新加入的存储节点和被删除的老旧节点，并自动进行数据负载均衡。大学数字化校园私有云数据中心建设方案第 25 页 共 61 页支持高并发数据访问云存储资源平台底层采用文件分块存储，本身具备良好的负载均衡能力和极强的系统可扩展性，单节点能够支持 1000 以上用户并发访问，四节点能够支持 4000 以上用户并发访问，系统没有用户注
47、册数量限制，可根据实际用户存储空间配额与系统总体存储容量进行动态规划。容灾级别的数据存储可靠性云存储资源平台结合使用了磁盘级的 RAID 数据冗余与文件级的数据副本冗余，具有数据双重保护功能，能够在磁盘发生故障、甚至服务器发生故障时，确保数据不丢失，服务不中断，通过调整数据冗余参数配置能够达到容灾级别的数据可靠性。无需下载的本地化在线操作云存储资源平台为用户提供虚拟磁盘访问工具，与用户终端的Windows、Linux 、MacOS 操作系统无缝集成，对网络存储空间进行数据读写操作。支持客户端的本地程序直接访问网络存储空间，无需同步到本地，实现对数据资源的在线编辑。面向个人用户的存储服务当前急需
48、解决个人数据在多平台、跨终端环境中的统一管理和在线使用问题，利用云存储平台为个人用户提供与本地存储使用方式完全一致的数据存储服务。云存储能支持一线主流平台（Windows 2000、Windows XP、Windows 7、Windows 8、Linux 系列发行版本、Mac OS、 Android、IOS 等） ，完全在线的数据访问方式，现实了异构平台和异构终端之间的数据同步。面向部门组织的存储服务在日常工作过程中，数据共享和团队数据管理是一项繁琐而且不易长期维持的任务，云存储能够按照部门组织灵活组建共享存储空间，形成以数据共享和资料管理为目标的社区存储，同时支持历史数据回滚、数据访问控制、
49、用户权限控制、空间动态扩容等。面向部门组织的存储服务能够与 OA 平台集成，现实部门公文的自动归档管理，通过开放编程接口可以与其他应用平台形成数据联动。大学数字化校园私有云数据中心建设方案第 26 页 共 61 页更为开放的公共资源服务云存储共建共享平台为大数据存储管理提供了可扩展、易使用、高效能的基础平台，云存储可以将海量公共数据资源由分散管理、独立维护的资源站点集成整合到统一管理、易于扩展的云平台上，通过将一些热点数据资源规整至云存储共建共享平台，能够极大的节约网络出口带宽，同时提高了数据访问性能。基于开放编程接口的公共资源服务能够为今后其他应用系统提供可复用的数据资源。24 小时无人值守运维监控云存储在为用户提供丰富多样、简单实用的存储服务的同时，还针对系统管理员繁琐的日常运维工作提供了全面的监控管理功能，对关键服务状态和系统运行状态进行实时监控，检测到异常事件后自动邮件通知，同时可对系统总数据吞吐量和细粒度 IO 访问性能进行汇总统计。3.6.4 分布式底层存储平台分布式存储平台负责将多个分散的存储服务器的物理存储资源，通过计算机网络组建成一个大规模的、安全、可靠、逻辑统一的存储资
