1、 中信集团灾备中心建设方案1 / 57中信集团灾备中心建设方案V4.0中企网络通讯技术有限公司2015 年 5 月 14 日中信集团灾备中心建设方案2 / 57目 录第 1 章 集团应用系统灾备需求 41.1 灾备项目背景 .41.2 集团生产站点总体现状 .41.3 灾备项目需求 .9第 2 章 集团灾备中心建设目标 102.1 灾备级别划分 .102.1.1 第 2 级 备份介质异地存放 +异地备份数据中心 102.1.2 第 3 级 网络传输 +异地数据中心部分设备支持 112.1.3 第 4 级 网络传输 +异地数据中心完整设备支持 122.2 灾备系统组成 .142.3 灾备模式介绍
2、 .152.4 集团一期灾备项目关键指标要求 .15第 3 章 业务系统灾备建设方案 163.1 方案设计思路 .163.2 灾备中心 VM 规划 .173.3 信息披露系统灾备设计 .183.3.1 方案设计拓扑图 .183.3.2 虚拟服务器层面 .183.3.3 Oracle 数据库设计 193.4 股份门户网站灾备设计 .203.4.1 方案设计拓扑图 .203.4.2 虚拟服务器层面 .203.4.3 SQL Server 数据库设计 .20第 4 章 灾备网络概要设计 .214.1 方案设计拓扑图 .214.2 集团管理信息部部署方式 .224.3 上海宝山机房部署方式 .234.
3、4 灾备数据业务流向 .244.4.1 Veeam 灾备数据复制 .244.4.2 应用系统数据复制 .254.5 灾备切换场景及业务数据流向分析 .274.5.1 正常情况下的路由及数据流 .274.5.2 灾备切换场景概述 .284.5.3 灾备切换情况说明 .30第 5 章 数据灾备及数据回复的实现过程 .315.1 数据灾备过程 .31中信集团灾备中心建设方案3 / 575.2 数据回复过程 .32第 6 章 灾备技术说明 .336.1 VEEAM 的实现过程 336.2 VEEAM 的优势分析 34第 7 章 灾备项目实施相关 .367.1 实施计划 .367.2 灾备站点基础设施
4、.377.2.1 软硬件选型 .397.3 灾备站点虚拟机配置 .407.4 项目交付 .417.5 安装过程 .417.6 项目支持团队 .427.7 项目进度 .427.8 UAT 测试标准 .437.9 灾备启动流程 .447.10 灾备回复流程 .457.11 责任划分 .46第 8 章 客户服务 488.1 客户服务理念 .488.2 一站式服务支持 .488.3 客户满意度的措施 .488.4 服务优势 .498.5 中企通信服务质量承诺标准 .498.5.1 MPLS VPN 专线承诺标准 .498.5.2 中企通信云平台承诺标准 .50第 9 章 中企通信灾备中心服务介绍 51
5、9.1 中企通信灾备中心服务综述 .519.2 上海宝山数据中心概述 .529.3 中企通信云计算服务（SMARTCLOUD ）概述 529.4 中企通信灾备服务（BRR）概述 .54第 10 章 成功案例 56中信集团灾备中心建设方案4 / 57第 1 章 集团应用系统灾备需求1.1 灾备项目背景随着集团业务信息量增大，集团日常工作对信息化的依赖程度越来越高。业务系统一旦中断，将给集团带来巨大的经济损失和负面效应。业务连续性的保障工作成为集团管理信息部首要考虑的问题。因此要建设异地灾备中心，对核心业务系统进行容灾备份，在系统出问题时，能有相关的容灾系统及时接管业务，保证业务系统的连续、稳定运
6、转。1.2 集团生产站点总体现状中国中信集团有限公司建设有 IT 共享服务中心和数据中心，承载着集团的所有信息化系统及子公司的部分应用系统。IT 共享服务中心拥有 2 台 IBM P710 主机、6 台 IBM P730 主机（112 核CPU、448G 内存）以及 10 台 IBM X3850 服务器、2 台 IBM X3650 服务器（44 颗6 核 CPU、1664G 内存） ，利用 PowerVM 和 VMware 虚拟化技术，构建了小型机资源池和 PC 服务器资源池，同时利用 2 台 IBM V7000 存储（22T 可用容量） 、1台 Netapp V6210a 存储（ 20T 可
7、用容量）构建了存储资源池；数据中心拥有 2中信集团灾备中心建设方案5 / 57台 IBM P730 主机（32 核 CPU、128G 内存）以及 3 台 IBM X3850 服务器（18 颗6 核 CPU、160G 内存） ，利用 PowerVM 和 VMware 虚拟化技术，构建了小型机资源池和 PC 服务器资源池，同时利用 1 台 IBM V7000 存储（11T 可用容量）构建了存储资源池；小型机资源池和 PC 服务器资源池通过 4 台 CISCO 9148 光纤交换机多路径连接到存储资源池。IT 共享服务中心和数据中心利用 PowerVM、VMware 技术部署了 40 余台小型机虚拟
8、机以及 140 余台 PC 服务器虚拟机，承载着门户网站、内联网、集成化管理类应用、邮件系统、数据分析系统等应用系统及各应用系统的开发测试环境。虚拟机的操作系统包括 AIX（6.1 为主） 、Windows（2000、2003、2008、2012） 、Linux（Redhat、CentOS、SUSE） ，数据库包括 Oracle RAC（10g、11g） 、SQL Server 双机、DB2、MySQL 等，中间件包括 Websphere、Weblogic、Tomcat 等，应用平台包括 Portal、Domino、HFM 等。IT 共享服务中心和数据中心的网络由 2 台 CISCO 4507
9、R 和一台 Huawei5700交换机组成，利用 2 台天融信 TG61040、2 台 Feitigate1000c 防火墙划分出核心区、辅助区、安全区、测试区、Web 区等多个虚拟网络，防火墙具有访问控制、防攻击、防病毒的功能。IT 共享服务中心和数据中心还部署有 2 对美国优势网络公司的Inchorus1240 应用前端交换机，配置了部分应用系统的负载均衡。用户访问各应用系统时，大部分通过 TDS 统一认证，有些应用系统有自己的认证系统。1.2.1 一期生产站点现状集团的信息披露系统和中信股份门户网站的服务器架构基于双机热备份的架构部署。中信集团灾备中心建设方案6 / 57信息披露系统的现
10、状如下：如图所示，目前信息披露系统由 9 台服务器组成，其中 2 台 web 服务器、2 台 HFM 服务器、2 台数据管理服务器以及及 1 台报表分析服务器共 7 台服务器运行在集团的 VMware 虚拟化平台上，操作系统为 Windows2008 R2，2 台数据库服务器运行集团的 PowerVM 虚拟化平台上，操作系统为 AIX 6.1。7 台 VMware 虚拟服务器部署着 Oracle 公司的 Foundation、HFM、BIEE，以及景华天创公司的 Bivison； 2 台 PowerVM 虚拟化小型机部署着 Oracle RAC。2 台 web 服务器、2 台数据管理服务器使用
11、美国优势公司的 Inchorus 配置了负载均衡，2 台 web 服务器为双活模式， 2 台数据管理服务器为主备模式。信息披露系统数据分为两类：一类为随机上报的披露数据，每月约 100 条左右；一类为按季度上报的合并数据，目前有 70 家子公司上报，每家每次数据量为 5M 左右。中信集团灾备中心建设方案7 / 57股份门户的现状如下：如图所示，目前中信股份门户网站由 6 台服务器组成，2 台 web 服务器、2台 CMS 服务器、2 台数据服务器共 6 台服务器运行在集团的 VMware 虚拟化平台上，操作系统为 Windows2012 R2。6 台 VMware 虚拟服务器部署着 Windo
12、ws IIS、Euroland 公司的 CMS 和中信集团灾备中心建设方案8 / 57Windows SQL server 数据库集群。2 台 web 服务器使用美国优势公司的 Inchorus 配置了负载均衡，为双活模式。门户网站的数据更新是随机的，每月约 15 条左右。根据集团提供的信息系统调查表计算出，生产环境下，各信息系统的的资源用量为：服务器 CPU 内存 存储 VMDK 文件大小 IP 地址 负载均衡（服务） IP中信集团信息披露系统Web 服务器 1 2 8GC:100G D:50G 8G 12G 172.20.17.65Web 服务器 2 2 8GC:100G D:50G 8G
13、 12G 172.20.17.66172.20.16.26HFM 应用服务器 1 2 16GC:100G D:150G 11G 24G 172.20.17.55 172.20.17.55HFM 应用服务器 2 2 16GC:100G D:150G 8G 14G 172.20.17.56 172.20.17.56数据管理服务器 1 2 16GC:100G D:150G 10G 21G 172.20.17.58数据管理服务器 2 2 16GC:100G D:150G 8G 12G 172.20.17.59172.20.16.25数据库集群 172.20.21.30中信股份门户网站Web 服务器 1
14、 4 12G C: 50G 25G 172.20.2.8Web 服务器 2 4 12G C: 50G 23G 172.20.2.9172.20.2.18CMS 服务器 1（主服务器）4 12G C: 50G 24G 172.20.17.68 172.20.17.68CMS 服务器 2（备用服务器） 4 12G C: 50G 22G 172.20.17.69172.20.17.69（备用地址）数据库服务器 1 4 16GC:150G 500G 29G 2G172.20.21.32172.20.21.35 172.20.21.34中信集团灾备中心建设方案9 / 571.3 灾备项目需求集团目前第一
15、期计划针对信息披露系统和中信股份网站进行灾备项目的实施。目前信息披露系统的 web 服务器、HFM 服务器、数据管理服务器以及报表分析服务器共 7 台服务器运行在集团的 vmware 虚拟化平台上，披露系统的Oracle 数据库系统运行在小型机上，该系统的主要功能是完成财务报表的合并，同时支持中信股份的信息披露业务；中信股份的官方网站的 6 台服务器也运行在集团的 vmware 虚拟化平台上，该网站属于中信股份的官方网站，是中信股份集团对外的信息发布和形象展示窗口；集团信息部门要求针对这两个系统提出可行性灾备方案，要求在生产站点业务中断后，灾备站点可以在一定时间内完全接管业务，保证数据在异地有
16、冗余备份。 信息披露系统的要求：1. 灾备站点的 Web 服务器、HFM 服务器、数据管理服务器、Oracle 数据库服务器和 DNS 服务器的 IP 地址均不能变更；2. 信息披露系统只针对中信集团本部和集团下属各个子公司提供服务，全部通过中信集团第二张网进行内网访问；3. 生产站点和灾备站点之间通过 MPLS VPN 网络连通，实现数据的传输； 中信股份门户网站的要求：1. 灾备站点的 Web 服务器、CMS 服务器和 SQL Server 数据库服务器的 IP 地址可以不和生产站点的 Web 服务器、CMS 服务器以及 SQL Server 数据库服务器保持一致；2. 中信股份门户网站对
17、外通过互联网提供访问服务；3. 生产站点和灾备站点之间通过 MPLS VPN 网络连通，实现数据的传输和交互；中信集团灾备中心建设方案10 / 57第 2 章 集团灾备中心建设目标2.1 灾备级别划分根据国务院信息化工作办公室于 2005 年 4 月下发的重要信息系统灾难恢复指南中的定义，灾难恢复等级可以划分为 6 个不同的等级，根据不同的灾难恢复需求确定灾难恢复等级，不同的灾难恢复等级，其解决方案可根据灾难恢复登记以下主要方面所达到的程度分为七级，即从低到高有七种不同层次的灾难恢复解决方案。可以根据中信集团各业务的系统及数据的重要性以及恢复策略，来设计选择灾难恢复方案和计划。根据重要信息系统
18、灾难恢复指南的定义，灾难恢复级别的选择，主要决定以下七个要素： 数据备份系统 备用数据处理系统 备用网络系统 备用基础设施 技术支持 运营维护管理 灾难恢复预案国信办在重要信息系统灾难恢复指南中定义了灾难恢复等级划分了六个标准，依据风险分析和业务影响分析，按照业务连续性要求，集团总部信息系统分为重要信息系统、次重要信息系统和非重要信息系统 3 类，每类信息系统适用不同的国家灾备等级标准： 重要信息系统：4 级 次重要信息系统：3 级 非重要信息系统：2 级具体内容如下：2.1.1 第 2 级 备份介质异地存放+异地备份数据中心第二级灾难恢复应具有技术和管理支持如表 A2 所示。表 A. 1 第
19、 2 级灾难恢复的技术和管理支持中信集团灾备中心建设方案11 / 57要素 要求A.2.1 数据备份系统a) 完全数据备份至少每周一次；b) 备份介质场外存放。A.2.2备用数据处理系统a) 灾难发生时能在预定时间内调配所需的数据处理设备到场。A.2.3 备用网络系统a) 灾难发生时能在预定时间内调配所需的通信线路和网络设备到位。A.2.4 备用基础设施a) 有符合介质存放条件的场地；b) 有满足信息系统和关键业务功能恢复运作要求的备用场地。A.2.5 技术支持 A.2.6 运行维护支持a) 有介质存取、验证和转储管理制度；b) 按介质特性对备份数据进行定期的有效性验证；c) 有备用场地管理制
20、度；d) 与相关厂商有符合灾难恢复时间要求的紧急供货协议；e) 与相关运营商有符合灾难恢复时间要求的备用通信线路协议。A.2.7 灾难恢复预案a) 有相应的经过完整测试和演练的灾难恢复预案。2.1.2 第 3 级 网络传输+异地数据中心部分设备支持第三级灾难恢复应具有技术和管理支持如表 A3 所示。表 A. 2 第 3 级灾难恢复的技术和管理支持要素 要求A.3.1 数据备份系统a) 完全数据备份至少每天一次；b) 备份介质场外存放；c) 每天多次利用通信网络将关键数据定时批量传送至备用场地。中信集团灾备中心建设方案12 / 57A.3.2备用数据处理系统a) 配备灾难恢复所需的部分数据处理设
21、备。A.3.3 备用网络系统 a) 配备部分通信线路和相应的网络设备。A.3.4 备用基础设施a) 有符合介质存放条件的场地； b) 有满足信息系统和关键业务功能恢复运作要求的场地。A.3.5 技术支持a) 在备用场地有专职的计算机机房运行管理人员。A.3.6 运行维护支持a) 按介质特性对备份数据进行定期的有效性验证；b) 有介质存取、验证和转储管理制度；c) 有备用计算机机房管理制度；d) 有备用数据处理设备硬件维护管理制度；e) 有电子传输数据备份系统运行管理制度。A.3.7 灾难恢复预案有相应的经过完整测试和演练的灾难恢复预案。2.1.3 第 4 级 网络传输+异地数据中心完整设备支持
22、第四级灾难恢复应具有技术和管理支持如表 A4 所示。表 A. 3 第 4 级灾难恢复的技术和管理支持要素 要求A.4.1 数据备份系统a) 完全数据备份至少每天一次；b) 备份介质场外存放；c) 每天多次利用通信网络将关键数据定时批量传送至备用场地。 A.4.2备用数据处理系统a) 配备灾难恢复所需的全部数据处理设备，并处于就绪状态或运行状态。A.4.3 备用网络系统a) 配备灾难恢复所需的通信线路；b) 配备灾难恢复所需的网络设备，并处于就绪状态。 中信集团灾备中心建设方案13 / 57A.4.4 备用基础设施a) 有符合介质存放条件的备用场地；b) 有符合备用数据处理系统和备用网络设备运行
23、要求的场地；c) 有满足关键业务功能恢复运作要求的场地；d) 以上场地应保持 7 x 24 运作。A.4.5 技术支持在备用场地有：a) 7 x 24 专职计算机机房管理人员；b) 专职数据备份技术支持人员；c) 专职硬件、网络技术支持人员。A.4.6 运行维护支持a) 有介质存取、验证和转储管理制度；b) 按介质特性对备份数据进行定期的有效性验证；c) 有备用计算机机房运行管理制度；d) 有硬件和网络运行管理制度；e) 有电子传输数据备份系统运行管理制度。A.4.7 灾难恢复预案有相应的经过完整测试和演练的灾难恢复预案。中信集团灾备中心建设方案14 / 572.2 灾备系统组成一个典型的灾备
24、系统由灾备中心基础环境设施、数据备份系统、备份处理系统、网络通信系统和灾难恢复计划等组成。在集团第一期的灾备项目中，灾备系统的组成如下： 基础设施环境：由中企通信位于上海宝山的云计算数据中心（T3+级别）提供异地灾备数据中心的基础设施环境，以保障数据备份系统和备份处理系统的正常工作；采用 DELL 高性能 x86 架构服务器、SAN 存储以及光纤交换机作为底层硬件资源； 数据备份系统：依托集团总部数据中心和上海宝山数据中心之间高速、稳定的 MPLS VPN 骨干网络，通过中企通信 SmartCLOUD vONE 私有云和虚拟化灾备软件 veeam backup & replication 来构
25、建此次项目的数据备份系统； 备份处理系统：veeam server 控制台系统、Oracle 数据库、SQL Server 数据库、TDS 身份验证系统以及 DNS 系统，构成灾备中心的整个备份处理系统；灾难恢复计划主要基于以下两个阶段考虑：系统切换阶段：业务系统的故障切换主要针对灾备中心的业务系统虚拟服务器中信集团灾备中心建设方案15 / 57进行快速、有效地恢复，按照预先制定的业务系统恢复流程和启动顺序进行操作；网络切换阶段：网络层面的切换主要针对灾难发生后的业务访问进行快速、有效的网络切换，确保用户可以正常访问到灾备中心的业务系统；2.3 灾备模式介绍灾备模式主要分为双活模式和主备模式
26、2 类，其中主备模式又可分为热备模式、暖备模式和冷备模式。双活模式：主中心和灾备中心负载均衡，用户可同时访问主中心或灾备中心，主中心和灾备中心之间双向同步复制数据（要求距离小于 100 公里） ，数据零丢失，适用同城灾备，该模式对应国家标准 6 级。热备模式：当主中心发生灾难时，自动切换到灾备中心，主中心数据向灾备中心同步复制数据（要求距离小于 100 公里） ，数据零丢失，适用同城灾备，该模式对应国家标准 6 级。暖备模式：当主中心发生灾难时，手动切换到灾备中心，主中心向灾备中心实时复制数据，数据丢失小，适用同城或异地灾备，该模式对应国家标准 5 级。冷备模式：当主中心发生灾难时，手动切换到
27、灾备中心；主中心向灾备中心定时复制或备份数据，数据丢失较大，适用同城或异地灾备，该模式对应国家标准 4 或 3 级。2.4 集团一期灾备项目关键指标要求集团目前一期计划针对中信股份信息披露系统和中信股份网站进行灾备项目的实施，通过项目的实施，形成一种灾备的模式，下一步对更多的核心应用进行灾备。根据应用系统的访问需求，对灾备中心提出如下需求：要求信息披露系统在 2 小时内实现业务系统的全面接管，包括系统的启动、内部网络 IP 的接管、应用的启动，以及辅助的域名解析服务、TDS 身份认证服务、VPN 访问的切换；同时要求信息披露系统的数据丢失量小于 4 个小时；（RT02 小时、RPO4 小时）中
28、信集团灾备中心建设方案16 / 57要求中信股份网站在半小时内恢复可访问，包括系统的启动、域名的切换；同时要求中信股份网站的数据丢失量小于 4 个小时；（RT00.5 小时、RPO4 小时）以上两个业务系统的灾备需求适用 4 级的国家灾备等级标准，采用冷备模式。第 3 章 业务系统灾备建设方案中企通信提供一个完整的异地灾备解决方案：使用异地数据中心的SmartCLOUDvONE 私有云服务以及生产站点和灾备站点之间 MPLS VPN 网络连接的服务来解决由于人为错误、技术故障、自然灾害、病毒木马以及其他不可预知因素导致的数据丢失和业务中断的问题，同时提供一个快速恢复客户的关键任务和业务数据的方
29、案。该方案的目的是为了保护集团的数据免受灾难和虚拟服务器故障所带来的丢失和损坏风险，在业务系统因灾难或故障引起生产站点不可用或者数据丢失损坏时，灾备中心可以完全接管业务，并且灾备中心的数据具有可恢复性和即时性。3.1 方案设计思路1. 信息披露系统和股份门户网站采用主备模式来实现异地灾备；基于两个业务系统的RTO/RPO要求，针对信息披露系统，采用冷备模式；针对股份门户网站，做镜像站点设计，灾备模式采用冷备模式；生产站点发生灾难时，两个系统均需要进行手工切换；2. 生产站点和灾备站点的复制策略可以针对每台虚拟服务器（信息披露系统的web服务器、HFM服务器和数据管理服务器）进行自定义，并提供v
30、mware虚拟化架构下定时复制和增量复制的功能，针对每次复制任务得执行结果要有日志记录功能，出现异常时具有报警提示；3. 股份门户网站web服务器的内容通过网站后台进行统一发布；4. 股份门户网站的CMS服务器在灾备站点处于开启状态，使用文件定时同步（4小时/次）的方式满足RPO的要求；中信集团灾备中心建设方案17 / 575. 针对信息披露系统的Oracle数据库，在灾备中心部署x86架构下的Oracle数据库，通过自动化脚本的方式实现灾备站点数据的定时更新；6. 针对股份门户的SQL Server数据库，在灾备中心部署单机版SQL Server数据库服务器，通过自动化脚本的方式实现灾备站点
31、数据的定时更新；7. 针对TDS和DNS，在灾备站点的虚拟服务器中，部署TDS节点，通过MPLS VPN内网同步用户数据；在DNS服务器上对信息披露系统的域名进行A记录的设定；8. 有不同的恢复方案应对不同的灾难场景3.2 灾备中心 VM 规划灾备中心规划图：灾备中心 VM 规划列表：灾备中心 VM 规划系统名称 服务器名称 操作系统 应用程序 生产站点 IP 负载均衡 IP 灾备站点 IP 启动顺序Web 服务器windows 2008 R2 （64 位） Foundation172.20.17.65/172.20.17.66 172.20.16.26 172.20.17.65 HFM 服务
32、器windows 2008 R2 （64 位） HFM Bivison172.20.17.55/172.20.17.56 172.20.17.55 数据管理服务器windows 2008 R2 （64 位） Bivison172.20.17.58/172.20.17.59 172.20.17.58 报表分析服务器windows 2008 R2 （64 位） BIEE 172.20.17.60 172.20.17.60 信息披露系统 Oracle 服务器 Oracle 11g172.20.21.28/29 172.20.21.30 中信集团灾备中心建设方案18 / 57172.20.21.26/
33、27/30Web 服务器windows 2012 R2 （64 位） IIS 7.0172.20.2.8/172.20.2.9 CMS 服务器 windows 2012 R2 （64 位） CMS172.20.17.68/172.20.17.69 中信股份门户数据库服务器windows 2012 R2 （64 位）SQL Server 2012172.20.21.32/35、172.20.21.33/36、172.20.21.34 TDS 身份验证系统 TDS 服务器windows 2008 R2 （64 位） IBM Tivoli 待规划 域名解析系统 DNS 服务器windows 2008
34、 R2 （64 位） MS DNS 10.200.1.1 vmware 虚拟化管理平台vCenter 服务器 windows 2008 R2 （64 位） vCenter 待规划 veeam 备份控制台veeam 备份控制台服务器windows 2008 R2 （64 位）veeam backup manager 待规划 3.3 信息披露系统灾备设计3.3.1 方案设计拓扑图3.3.2 虚拟服务器层面 针对 WEB 服务器、HFM 服务器和数据管理服务器，实现方式如下：复制类型 复制步骤 阶段任务中信集团灾备中心建设方案19 / 57复制类型 复制步骤 阶段任务通过灾备站点的 Veeam Se
35、rver 建立复制任务选择需要复制的 VM，复制的时段，vLAN/IP 设置等建立复制任务复制任务的配置（Metadata）将存储于 Veeam Server 上的文件夹中Veeam 通过 VMware 的快照功能对生产站点的 VM 执行快照对生产站点的 VM 进行快照快照存放于 VM 自身的数据卷中（Datastore）将 VM 的快照全部复制（Full）到灾备站点灾备站点的 VM 将存储于指定的数据卷中，并处于随时可开机状态初次复制将生产站点的 VM 复制到灾备站点当复制完成后，生产站点的 VM 快照将自动删除Veeam 通过 VMware 的快照功能对生产站点的 VM 执行快照对生产站点
36、的 VM 进行快照快照存放于 VM 自身的数据卷中（Datastore）将 VM 的快照和灾备站点现有的 VM 数据进行比对将数据的增量复制到灾备站点，更新现有的 VM 并形成一个新的还原点后续复制将生产站点的数据增量复制到灾备站点当复制完成后，生产站点的 VM 快照将自动删除根据集团管理信息部对本次项目 RTO/RPO 的要求，veeam 的复制频率设定为 4小时/次，并且保留 24 小时以内的还原点快照； 针对身份验证系统和域名解析系统，中企会在灾备站点部署一套处于开机状态的 TDS 系统和 DNS 系统，其中，TDS 系统作为集团身份验证系统的一个 Slave 节点定期从 TDS 的 M
37、aster 节点获取更新数据；DNS 系统的 IP 地址和生产站点 DNS 系统的 IP 地址保持一致，并将信息披露系统的域名解析到 172.20.17.65，以此确保灾备站点启用后，身份验证功能和域名解析功能处于可用状态。3.3.3 Oracle 数据库设计针对生产站点的 Oracle 服务器集群，设计如下：在灾备中心部署 x86 架构下的单机 Oracle 数据库，通过自动化脚本的方式实现生产站点 Oracle 数据的定时导出并定时传输到灾备站点 Oracle 服务器，在灾备站点的 Oracle 服务器上执行定时导入；（中企通信会在此次项目中提供具备 Oracle 数据库的导出、远程传输、
38、定时导入功能的脚本程序，检测脚本）根据披露系统的灾备级别，数据导出的频率设定为 4 小时/次，在灾备站点的Oracle 服务器端保留 24 小时以内的数据导出文件；中信集团灾备中心建设方案20 / 573.4 股份门户网站灾备设计3.4.1 方案设计拓扑图3.4.2 虚拟服务器层面1. 针对 WEB 服务器，实现方式如下：通过在股份门户网站的后台上传功能模块中增加灾备站点的地址，来达到WEB 服务器数据同步的目的；2. 针对 CMS 服务器，实现方式如下：在灾备站点单独的一台虚拟服务器上部署股份门户的 CMS 服务，配置不同于生产站点 CMS 的 IP 地址，通过自动化脚本的方式实现生产站点和
39、灾备站点两端 CMS 服务器的数据每 4 小时同步一次；3. 整体架构采用股份门户镜像站点的部署方式，正常状态下 WEB 服务器通过MPLS VPN 内网调用生产站点 SQL Server 数据库的数据。3.4.3 SQL Server 数据库设计针对生产站点的SQL Server服务器集群，设计如下：在灾备中心部署x86架构下的单机SQL Server数据库，首先在生产站点的SQL Server设定数据库定时备份策略，定时生成数据库备份文件并传输生产站点的SQL Server备份文件到灾备站点SQL Server服务器上，通过计划任务定时执行中信集团灾备中心建设方案21 / 57批处理文件的
40、方式进行备份文件的定时恢复；（中企通信会在此次项目中提供具备SQL Server数据库的定时备份、远程传输、定时导入功能的批处理文件程序）数据库服务器IP地址方面，配置不同于生产站点SQL Server集群的地址；当生产站点发生灾难、SQL Server集群服务失效时，中企通信后台运维人员将手工更改灾备站点的SQL Server服务器IP地址为生产站点的SQL Server集群IP地址，完成数据库服务的切换。根据股份门户的灾备级别，数据导出的频率设定为4小时/次，在灾备站点的SQL Server服务器端保留24小时以内的数据导出文件；第 4 章 灾备网络概要设计4.1 方案设计拓扑图方案描述：
41、1. 针对此次集团管理信息部的披露系统、中信股份门户网站灾备项目；集团管理信息部将采用现有网络设备完成。中信集团灾备中心建设方案22 / 572. 将灾备服务器部署在上海宝山机房，使其与集团管理信息部采用 MPLS VPN（中信第二张网）互联，并在此网络上进行灾备数据的传输和生产站点恢复运营后数据的回传。3. 中企在上海宝山机柜部署 2 台 Cisco3945（根据带宽的需求选择其Cisco3945，并且可满足未来带宽升级等变化）连接 MPLS VPN 网络，在Cisco3945 通过 BGP 从 PE 接收到达集团管理信息部内部网络的路由。4.2 集团管理信息部部署方式京 城 大 厦 集 团
42、 总 部 网 络CECMPLS Network4506三 层 交 换 机核 心 区防 火 墙6509-1核 心 交 换 机6509-2核 心 交 换 机172.20.31.254/20172.20.2.254/24服 务 器 群（ 信 息 披 露 系 统 、中 信 股 份 门 户 网 站 ）上 海 宝 山 灾 备 中 心BGP路 由BGP路 由EIGRP路 由1 针对此次系统灾备项目，集团信息管理部将采用现有网络设备完成灾备数据的转发，不增加硬件设备。2 集团管理信息部访问上海宝山灾备中心的路由，由中企的 PE 路由器通过BGP 协议向集团管理信息部的核心交换 6509 转发。3 集团管理信息
43、部的核心交换机 6509 将通过 BGP 协议收到上海宝山灾备中心的路由，并将其转发到内网 EIGRP 网络4 在集团管理信息部内网部署 Veeam 代理服务器，此代理服务器将单独划分一个 Vlan 专用于数据备份，但此 Vlan 需要与 vCenter 通信中信集团灾备中心建设方案23 / 574.3 上海宝山机房部署方式1 上海宝山机房采用 2 台 Cisco3945 路由器连接 MPLS VPN 网络，带宽为20M，路由器分别下联 2 台 DELL 交换机，2 台路由器为内网提供高可用服务。2 同时部署 UTM 安全设备连接互联网，带宽为 20M，用于中信股份门户网站的互联网接入。3 将
44、部署 2 台物理服务器分别上联 2 台 DELL 交换机，将披露系统、中信股份门户网站、Veeam 服务器部署在 SmartCLOUD vONE 私有云上，在交换机上为这 3 个系统分别创建 3 个独立 Vlan，在 Cisco3945 路由器配置 3 个子接口用于对应不同的 Vlan，并为每个 Vlan 提供网关功能。 4 2 台物理服务器分别下联 DELL 存储交换机，通过此存储交换机连接 DELL存储设备。中信集团灾备中心建设方案24 / 575 两台 3945 路由器上，需要部署少量静态 NAT 配置,原因是披露系统中 Web服务器、HFM、数据管理服务器、 Ocacle 服务器要求
45、IP 地址不能变动，所以在做数据备份时需要在灾备中心 CE 路由器配置 NAT 转换，以使得完成路由可达性（详细说明见 1.4.2），中信股份门户网站灾备 IP 地址可以改变，所以在备份过程中不需要针对此系统配置 NAT。6 针对中信股份门户网站的灾备，上海灾备中心将重新部署 IP 网段为173.1.1.0/24，在 UTM 防火墙上将此内部 IP 映射到互联网，并在北龙中网负载均衡设备上添加上海灾备中心 UTM 的公网 IP 地址，当灾难发生时可通过北龙中网设备将流量重定向到灾备中心的门户网站系统。7 披露系统和 TDS 服务器属于同一个 Vlan，中信股份门户网站属于另一个Vlan，Vee
46、am 服务器单独在另一个 Vlan4.4 灾备数据业务流向4.4.1 Veeam 灾备数据复制集团管理信息部的 VM 镜像可直接通过 Veeam 进行数据备份，Veeam 的备份任务是通过上海灾备中心的 Veeam 服务器进行调度上 海 宝 山 私 有 云 灾 备 中 心中 信 集 团 子 公 司 网 络京 城 大 厦 集 团 总 部 网 络CECMPLS Network4506三 层 交 换 机核 心 区防 火 墙6509-1核 心 交 换 机6509-2核 心 交 换 机 C3945-2Switch-1Switch-2C3945-1Veeam Server服 务 器 群（ 信 息 披 露
47、系 统 、中 信 股 份 门 户 网 站 ）Veeam Proxy灾 备 镜 像灾 备 数 据 流 向Veeam复 制 任 务中信集团灾备中心建设方案25 / 57Veeam 备份和调度示意图1. 在上海宝山灾备中心建立一个 Veeam 管理服务器，在集团管理信息部建立一个 Veeam 代理服务器。2. 在上海灾备中心的 Veeam 管理服务器中创建复制任务，任务通过 MPLS 网络调用北京 Veeam 代理端协作复制任务 （蓝色线路）；3. Veeam 代理端与集团管理信息部的 vCenter 进行授权连接，将生产站点VMware 虚拟服务器的快照文件通过 MPLS VPN 网络复制到上海的
48、灾备中心（红色线路）；4. 集团管理信息部为 Veeam 代理服务器单独划分一个 Vlan（具体 Vlan 可在实施阶段协调）与现有生产网络隔离，Veeam 代理服务器与生产网络 vCenter服务器实现路由可达；5. 复制到灾备站点的快照文件存储在 SmartCLOUD vONE 私有云的存储中，并处于随时可开机启动的状态；6. 为灾备中心的 Veeam 管理服务器划分一个单独的 vlan，该 vlan ID 与灾备中心 vCenter 的 Vlan ID 一致，使之与披露系统、中信股份门户网站灾备服务器相互隔离，4.4.2 应用系统数据复制生产中心的 oracle 服务器和股份门户网站的
49、web 服务器、CMS 服务器以及 SQL Server 数据库服务器不通过 Veeam 进行灾备复制，需要在应用系统层面进行定时的数据同步。由于信息披露的 web 服务器、HFM 服务器、数据管理服务器以及 Oracle数据库服务器不允许改变 IP 地址，因此需要在灾备中心的 CE 路由器（Cisco 3945）上进行 NAT（网络地址转换）的配置，以达到两端对应服务器之间数据同步的目的；中信集团灾备中心建设方案26 / 57股份门户网站的 web 服务器、CMS 服务器和 SQL Server 服务器的 IP 地址允许变更，并且这三台服务器的数据定时同步模式基于应用层面来实现，因此，只需在 MPLS VPN 骨干网络上宣告对应服务器的路由信息即可达到两端数据同步的目的；1. 北京生产中心的 Oracle 服务器以及披露系统和TDS（172.20.16.23）不能修改 IP 地址，因此在备份过程中需要在灾备中心的 Cisco3945 上配置 NAT 转换；2. 在 Cisco3945 上将披露系统的 Oracle 服务器以及 TDS 服务器 IP地址映射为 WAN 口网段 IP
