BOSS系统容灾备份技术规范.doc

1、 中国移动 BOSS 系统容灾备份技术规范中国移动集团公司二零零三年四月中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -1 -目 录1. 总则 .31.1. 概述 .31.2. 目标和原则 .31.3. 考虑的因素 .41.4. 适用范围 .51.5. 起草单位 .51.6. 解释权 .52. 容灾备份系统概述 .62.1. 灾难的定义 .62.2. 容灾的定义 .72.2.1. 容灾定义 72.2.2. 业务连续性定义 72.3. 系统建设模型 .72.4. BOSS 系统-容灾备份系统架构 .93. 容灾技术模型（容灾备份系统技术模型） .113.1. 容灾备份系统的技术框

2、架 .113.2. 容灾备份系统 IT 技术映射 .123.2.1. 应用层 133.2.2. 存储层 143.2.3. 主机层 143.2.4. 网络层 153.2.5. 物理层 154. 容灾备份系统模型的技术实现 .164.1. 数据平台-业务状态数据的保护 164.1.1. 业务状态数据的定义 174.1.2. 业务状态数据保护机制的技术要求 174.1.3. 技术手段分类 184.1.4. 定点拷贝的技术实现 204.1.5. 连续复制的技术实现 244.1.6. 远程复制通信链路 324.1.7. 技术手段的组合使用 334.2. 业务平台业务处理能力的有效冗余和故障切换恢复 .3

3、54.2.1. 生产中心内部的处理要素有效冗余和业务流程切换恢复 354.2.2. 双生产中心环境下的有效冗余和网络结构 384.3. 接入平台的保护-外部接口冗余设计和外部接口的切换 404.3.1. 外部接口类型分析 404.3.2. 生产中心内部的接口冗余 414.3.3. 双生产中心环境下的接口冗余 414.4. 容灾备份系统 IT 技术实现映射 .42中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -2 -5. 系统切换和回切 .435.1. 系统切换 .435.1.1. 切换原则 435.1.2. 切换必要性确认 445.1.3. 切换可行性确认 455.1.4. 切

4、换方式 455.1.5. 切换流程 475.2. 回切 .485.2.1. 回切原则 485.2.2. 回切可行性确认 485.2.3. 回切流程 486. 容灾备份系统建设策略 .506.1. 异地中心的选择策略 .506.1.1. 距离选择策略 506.1.2. 建设模式策略 516.1.3. 设备部署策略 526.1.4. 地点选择策略 536.2. 容灾技术选择策略 .546.2.1. 容灾技术选择的基本原则 546.2.2. 容灾技术可行性判断的一般方法 556.3. 容灾备份系统不同实现级别的技术选择 .586.3.1. 平台完整性 596.3.2. 备份和恢复完整性 606.3.

5、3. 信息完整性 626.3.4. 处理完整性 666.3.5. 企业完整性 687. 名词解释 .69中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -3 -1. 总则1.1. 概述中国移动业务运营支撑系统-容灾备份系统是中国移动业务运营支撑系统，如 BOSS、 经营分析系统等的延伸。本规范作为中国移动的业务运营支撑系统-容灾备份系统建设的技术指导意见，初步解决中国移动目前存在的缺乏统一的、系统化、规范化的业务运营支撑系统-容灾技术解决方案的问题。本技术规范主要包含容灾备份系统建设中相关技术方面的指导性意见。其中主要涉及中国移动业务业务运营支撑系统的技术模型、容灾模型的技术实现

6、、容灾备份系统的切换回切、容灾建设策略等方面的问题。本文档附件包括相关名词解释各省、自治区、直辖市公司在业务运营支撑系统-容灾备份系统的建设过程中，应以本技术规范为指导，根据实际情况，进行技术选择、项目设计、系统实施和系统维护工作。1.2. 目标和原则中国移动业务运营支撑系统的容灾备份系统的总体建设目标是： 针对目前系统潜在的中断风险（灾难），提供预防机制，提高系统连续运行能力 对无法抗拒的严重灾难，提供系统恢复机制，将引发的业务损失降低到可接受的程度具体到本期项目而言，中国移动业务运营支撑系统-容灾备份系统规划和建设的目标是：中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -4

7、 - 实现关键业务系统及其关联系统的数据安全 减少计划停机次数/时间，消除对核心数据的争用 将异地中心接管业务的时间控制在可以接受的范围内 实现异地中心的软硬件设备和数据的复用中国移动业务运营支撑系统-容灾备份系统规划和建设中须遵循以下技术原则：1. 实用性与成熟性使用业界成熟、可靠和实用的容灾技术。2. 先进性系统结构能够满足和适应中国移动 IT 系统快速变化和发展的要求。3. 开放性与标准化采用开放的技术标准和协议支持整个系统的运行，兼容性和恢复性强。4. 自动化和操作的简单化系统各部分有机集成，集中控制。1.3. 考虑的因素业务运营支撑系统-容灾备份系统的建设应综合考虑中国移动在本系统业

8、务规范中制定的总体建设策略、各省的建设目标及成本。具体因素包括： 系统的可恢复程度系统的可恢复程度包括：处理能力的恢复程度、数据的恢复程度、业务功能的恢复程度 系统的可容忍的中断时间系统中断时间长短对应的业务损失程度应在可以接受的范围内 成本包括系统建设、维护成本，以及资源复用情况。 现有系统的保护机制包括现有的技术、管理和人员中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -5 - 上述因素的综合考虑。1.4. 适用范围本规范适用于中国移动各省（直辖市、自治区）业务运营支撑系统-容灾备份系统建设。1.5. 起草单位本技术规范由中国移动通信集团公司负责起草。1.6. 解释权本规范

9、的增补、修订及解释权属中国移动通信集团公司。如中国移动在此之前的文件与本规范有矛盾，按此规范执行。中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -6 -2. 容灾备份系统概述 2.1. 灾难的定义灾难，对计算机应用系统来说，任何导致业务停顿并带来重大损失的事故或意外都意味着灾难。如果企业的计算机应用系统由于停机而中断了不可忍受的一段时间的事故或丢失的重要信息无法恢复，从而导致业务停顿的自然的、人为的或技术上的故障或问题，我们均称之风险!因此，从广义来讲，任何风险都可能引起灾难。中国移动业务运营支撑系统主要面临的风险有： 计划内1. 应用软件等的升级,2. 备份/恢复/归档3.

10、数据中心迁移、整合4. 测试、容灾演习 计划外1. 系统处理能力下降2. 人为操作故障：错误删除文件数据，造成不可恢复；错误执行程序或命令，造成系统死机3. 系统软硬件故障，主要包括电源及 UPS 故障、硬盘故障、通讯控制器故障、系统总线、内存、CPU 故障等4. 安全体系被攻破5. 生产地点的灾难：水灾、火灾、地震及其他机房事故等6. 瘟疫中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -7 - 其它：包括灾难的潜在影响，如水灾、地震等， 常伴随着电力的供应问题。 2.2. 容灾的定义2.2.1.容灾定义容灾，对于 IT 而言，就是一个提供能防止各种灾难的计算机信息系统。当政府

11、、企业、商家的核心计算机系统遭受诸如火灾、水灾、地震、战争、人为破、瘟疫等不可抗拒的灾难和意外时，能够及时恢复系统的正常运行。因此，容灾的目的在于及时恢复系统运行而不在于数据复制。容灾是业务连续性的实现方式之一。2.2.2.业务连续性定义业务连续性是一种预防性机制。它明确一个机构的关键职能以及可能对这些职能构成的威胁，并据此采取相应的技术手段，制定计划和流程，确保这些关键职能在任何环境下都能持续发挥作用；业务连续性 = 从计划外停机中实现灾难恢复 + 在计划停机期间保持连续可用 + 利用冗余资源提供增值服务2.3. 系统建设模型中国移动业务运营支撑系统容灾备份系统的建设，必须按照需求分析、方案

12、设计、方案实施、测试/演习/维护的科学流程进行。本文档依据下面 2.1 图示的系统建设模型，对各省移动公司进行 BOSS 系统-容灾备份系统建设时的各个阶段的工作，做出指导和规范。中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -8 -图 2.1 业务运营支撑系统-容灾备份系统建设模型人员、流程和技术是保证业务运营支撑系统-容灾备份系统成功实施、有效运行的三个重要方面： 人员，是技术和流程的制定者和执行者。 流程，是由人员制定的，人员依据容灾备份系统的目标的要求，为保障目标的实现而制订了一整套完整的流程。在某些时候，它也是技术的补充和完善。包括恢复、测试、演习和维护等； 技术，是

13、手段、是载体；人员、流程和技术通过管理机制有效结合。管理机制包括计划、映射、驱动、调控等手段。首先，人员制订了流程，并驱动流程的贯彻执行，维护流程的变更及督促流程的完善。流程一旦建立，就对人员起到了调控作用，人员就要依据流程的要求执行相应的工作步骤。其次，人员依据容灾备份系统目标的要求，选择适当的技术来支持这些目标的实现，这时，就需要对当今的各种相关 IT 技术进行计划，采用一种或多种技术建立容灾备份系统的技术基础。最后，流程也是技术的映射，采用了哪种技术，人们就会制订适合这种技术的流程，而且，技术通中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -9 -常会有一些缺陷，在对技术

14、进行充分评估后，通过制订流程，可以对技术进行补充，以实现系统目标。人员、流程和技术这三个重要的系统因素将贯穿整个容灾备份系统建设的始终。2.4. BOSS 系统-容灾备份系统架构中国移动 BOSS 容灾系统的体系架构应按照 BOSS 系统建设的体系进行划分，即集团公司全国 BOSS 容灾系统和省公司 BOSS 容灾系统或区域级容灾系统，采用两层的结构体系，如下图所示：中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -10 -广域网省级 BOSS 容灾系统 省级 BOSS 系统 区域级 BOSS 容灾系统第二级第一级第一级：集团公司全国 BOSS 容灾系统，负责中国移动集团公司的

15、BOSS 系统的容灾建设；第二级：省公司 BOSS 容灾系统或区域级的 BOSS 容灾系统，根据中国移动BOSS 容灾系统的规范要求，负责本省市/自治区的 BOSS 系统运行状况，或按业务量大小、自然环境等具体情况，在邻近的几个省份实施区域级/BOSS 容灾系统，构架区域级的容灾中心。省公司业务业务运营支撑系统-容灾备份系统架构如下图 2.3 所示：集团公司 BOSS 容灾系统集团公司 BOSS 系统中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -11 -图 2.3 省公司 BOSS 系统-容灾备份系统架构中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -12 -

16、3. 容灾备份系统技术模型3.1. 容灾备份系统的技术框架中国移动核心业务支撑系统BOSS。系统的容灾备份保护，主要着眼于对业务处理平台，数据平台和接入平台这三个重要的系统领域的保护：如图 3.2 示意：图 3.2 业务平台的保护业务处理能力的冗余容灾备份系统中，对于 BOSS 业务平台的保护，主要表现为对业务处理能力的冗余和复用，其中牵涉：o 支持应用系统运行的服务器和操作系统等系统软件o 支持应用系统运行的存储器及存储器和服务器的连接（存储网络等）中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -13 -o 连接服务器的 IP 网络系统o 支持应用系统实现的 Applicat

17、ion Server、中间件或数据库等o 实现业务逻辑的应用软件系统 数据平台的保护业务状态数据的复制在容灾备份系统中，对数据平台的保护主要表现为对业务状态数据的保护、备份和恢复以及复制，需要保护的业务状态数据包括：o 业务交易状态（数据本身的数据属性为文件、数据库等）o 系统状态-包括应用软件的初始数据、参数设置、以及系统软件的配置数据、参数设置等。o 中间数据（或临时数据） 接入平台冗余和切换接入平台在容灾备份系统里， 需要实现对外部接口的冗余及切换，其中牵涉：o 应用数据接口的切换-包括文件传输、消息机制等o 应用连接接口的切换- HTTP 连接、数据库连接、远过程调用、对象的调用等o

18、网络连接的冗余和切换 包括城域网网络连接、拨号连接等等3.2. 容灾备份系统 IT 技术映射根据上节对容灾备份系统技术框架的描述，对于某个（或数个）需要提供容灾保护的 BOSS 关键业务，其容灾备份系统建设将分别包括对其相应支撑系统的处理平台、数据平台和接入平台的保护。而构成三个重要平台系统的 IT 元素包括：应用软件， 网络， 服务器、数据库，存储， 中间件等等。这些技术分属于应用，主机，存储，网络和物理 5 个层次。在分别讨论实现处理平台的冗余和复用、接入平台的冗余和切换以及业务数据的有效复制的相关 IT 技术时，将按照这 5 个层次逐一罗列相关技术。逻辑关系见下表 31。中国移动 BOS

19、S 系统容灾备份技术规范中国移动通信集团公司 -14 -表 3-1 容灾备份系统 IT 技术矩阵3.2.1.应用层应用层指建立在网络系统之上的应用服务系统，如应用软件模块、Web 服务、目录服务、认证服务等。BOSS 容灾技术架构中，业务平台和接入平台牵涉应用层技术。在业务平台中，应用层主要涉及运行在应用服务器上（或数据库系统当中）的实现业务逻辑、形成内部数据流的应用软件。接入平台中，应用层指各类终端系统上运行的表示软件，如营业厅中运行的基于浏览器界面的营业员操作终端软件；账务系统和银行代理系统之间的前端机上运行的接口软件等。理论上，业务状态数据是应用层技术产生的，因此可以在应用层技术中实现其

20、复制；但这样将使容灾技术实现和目前已经十分复杂的 BOSS 软件系统架构过分紧密相关；将要求大量更动现有 BOSS 软件。中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -15 -3.2.2.存储层BOSS 技术架构中，数据平台涉及存储层技术。存储层是业务数据存储的物理平台，它包括存储系统，存储网络和存储软件三类技术。而利用存储软件功能实现关键业务状态数据的复制，是容灾备份系统的最重要的技术组成部分之一。由于它和 BOSS 系统其他部分完全透明，因此是本次 BOSS 容灾备份系统建设中首选的业务状态数据复制方案。3.2.3.主机层主机层技术系服务器（或工作站平台）相关的技术，包括

21、系统软件-操作系统，集群系统；以及数据库，Application Server、中间件系统等应用软件平台等。主机层技术涉及 BOSS 系统的所有部分。其中最重要的部分是：在业务处理平台当中所采用的 Application Server/中间件技术，以及 BOSS 各个内部子系统之间的其他接口技术如消息队列技术、文件传输协议等（如果业务逻辑部分由数据库中的存储过程实现，则业务处理平台还包括数据库技术）。在BOSS 容灾备份系统构成中，要考虑这些主机层技术对于 BOSS 内部各个处理子系统之间，在系统部分或全部切换过程中相应的处理技术。主机层技术在数据平台部分主要牵涉数据库技术，文件系统或网络文件

22、系统服务，这些技术实现业务状态数据的基本逻辑组织。在 BOSS 容灾备份系统构成中，要考虑关键业务数据复制功能和这些技术的集成能力。另外，这些技术本身也可实现业务状态数据的保护和复制功能。主机层技术在接入平台部分牵涉和其他系统之间的各种软件接口技术如消息队列技术、文件传输协议等。在 BOSS 容灾备份系统构成中，要考虑这些主机层技术在系统部分或全部切换过程中，外部系统和 BOSS 系统之间连接的相应切换的支持处理技术。中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -16 -3.2.4.网络层本规范中的网络层包括两个主要部分，即：1、BOSS 系统省中心及其灾备中心的局域网，这些

23、局域网用以联结省中心和灾备中心的各种服务器。BOSS 系统业务平台主要涉及本部分技术。2、省中心和灾备中心和外部系统连接的广域网（或城域网），包括和营业厅的网络连接、和各个代理银行的网络连接、和各类采集系统、HLR 的网络连接等。BOSS 系统接入平台主要涉及本部分技术。3.2.5.物理层物理层指中国移动业务支撑系统为实现应用所需要的场地，电源，通信线路等基础设施以及空调、防尘、消防、门禁、保安等辅助设施。显然，它是整个 BOSS 的 IT 实现的基本物质保障，将涉及整个 BOSS 系统中的所有部分，本规范统一考虑业务平台、数据平台、接入平台的物理层要求。综上所述， 五个不同技术层面对 BOS

24、S 关键业务其相应支撑系统的处理平台、数据平台和接入平台的映射关系如下图黄色所示：中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -17 -中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -18 -4. 容灾备份系统模型的技术实现 容灾备份系统技术实现包含三个领域：业务状态数据的备份和复制、业务处理能力的冗余和切换、外部接口的冗余和切换。本章说明这三个领域在应用层、存储层、主机层、网络层以及物理层的不同技术实现方法和特点，以及如何将这些技术应用于容灾备份系统的不同实现阶段中。4.1. 数据平台-业务状态数据的保护对业务状态数据即完整的业务运行状态的记录（以下简称生产

25、数据）进行保护，主要目的有两个：第一是生成定点拷贝，以防止生产数据发生逻辑故障（如人为误操作破坏、病毒破坏、应用系统缺陷造成数据逻辑混乱等）或后台业务处理（如磁带备份、新软件测试、报表生成、统计分析等）影响业务系统的运作，；第二是连续复制，在生产运行过程中，连续不断地将生产数据复制到异地，应对生产中心的严重故障对生产数据的整体或局部物理性损坏。4.1.1.业务状态数据的定义业务状态数据应包括系统状态和完整的交易状态。系统状态包括操作系统、数据库、中间件、应用程序等软件的运行版本和当前软件运行的配置数据等。完整的交易状态指企业范围内各种交易执行涉及到的完整一致的数据对象的集合，如用户的服务订购信

26、息、帐务信息、明细账单、交费记录等。4.1.2. 业务状态数据保护机制的技术要求完整性：对维持业务正常运行的所有生产数据进行保护。可以采取两种策中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -19 -略：分而治之或统一解决。分而治之即对生产数据的不同组成部分采用不同的方法，如对操作系统软件和数据库数据分别采用不同的方法；统一解决即用一种方法保护所有的生产数据。虽然两种方法都能实现完整性，但统一解决方法独立性强、易于扩展、维护，而且易于实现以下的一致性、管理性等指标。一致性：保证被保护的生产数据的各部分的业务逻辑上的一致。可以采取事后一致性检验和事前同一时间点生产数据冻结技术。事

27、后一致性检验技术主要针对分而治之的完整性实现方法，在保护生成后验证各部分数据的逻辑一致性；事前同一时间点生产数据冻结技术对生产数据各部分在同一时间的映像进行保护，主要针对统一解决的完整性实现方法，从数据各部分之间时间上的同步性实现业务逻辑一致性。可验证性：针对备份或复制的数据，具有事先验证手段。可验证性保证在需要利用保护介质恢复业务状态时，可顺利读出生产数据、恢复业务状态。时效性：生成完整的生产数据的保护工作进行频率。频率越高，时效性越强，在业务终止时，不能恢复或需要人工恢复的数据就越少，业务就越易于准确的恢复，业务的停顿时间和相关的损失就越少。RPO 是衡量时效性要求的重要指标。可扩展性：生

28、产数据保护机制随着 IT 基础结构和业务的变化而不断扩展、适应的能力即可扩展性。可扩展性的优劣将决定保护机制的可持续发展能力和投资保护能力。可操作性：在保证完整性、一致性、可验证性、时效性、可扩展性的前提下，所选择的技术手段的技术复杂度、可实施能力以及易维护能力。可重用性：所生成的生产数据的保护的多重利用能力。生成生产数据的保护会占用 IT 的一部分资源，除利用其恢复业务状态之外，利用其进行其他任务，如数据归档、软件测试、报表生成、统计分析将充分发挥这部分 IT 资源的价值，增加投资回报。可管理性：监控业务状态的保护机制的运行状态、运行性能、故障处理的能力，保证其按照设定的保护要求运行。集成性

29、：业务状态的保护机制与业务的运行和恢复机制的整合能力。整合能力高低决定保护机制是否可顺利和当前业务运行体系良好配合，以及当业务中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -20 -中断时，如何和业务处理能力恢复系统一起顺利恢复业务的运行。4.1.3.技术手段分类从生产数据的保护的生成的时间和目标分，可分为以下两类： 定点拷贝 连续复制4.1.3.1. 定点拷贝定点拷贝（Point-in-time Copy）是在业务运行过程中某一时刻的生产数据的保护。该保护一般在业务正常运行时生成，主要预防业务因生产数据的逻辑故障而造成的停顿；当生产数据因人为误操作或病毒破坏而损坏时，可以利用

30、该定点拷贝将业务状态恢复到损坏发生前的某一个时刻（即执行定点拷贝时）的业务正常状态。在具体的业务恢复过程中，辅以其他手段（如手工录入等，在技术上做好对已明确的业务恢复流程的支撑），可补充自定点拷贝生成时刻起至业务中断时这一段时间业务运行产生的生产数据。从保存定点拷贝的介质分，可分为以下三类： 磁带或光盘备份 磁盘快照 磁盘备份4.1.3.2. 连续复制连续复制是对业务状态数据进行持续不断的复制。主要预防业务系统遭遇严重故障而造成生产系统长时间无法修复时，利用该复制作为恢复生产的基础。当严重故障发生时，连续复制过程也终止；在进行业务恢复时利用复制结果可以恢复系统中断现场的生产数据，从而恢复业务。

31、按照连续复制过程中生产数据和复制结果之间的时间关系，可以分为同步中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -21 -复制和异步复制，以及介于这二者之间的半同步复制。按照数据复制的执行方，可以分为如下几种方式： 应用嵌入方式 采用应用层技术实现执行方为应用程序的内嵌代码，复制的粒度是应用级交易，复制涉及的范围为单个应用。复制的原理是应用程序负责将同一笔交易在本地中心（或称生产中心）和备份中心（或称备份中心）都得到执行。其同步方式为“两阶段提交（two-phase commit）”方式，同一笔交易同时向两个中心提交，获得两个中心的交易完成应答后，该交易作为一个整体完成。其异步方

32、式为“交易日志重放”方式，生产中心定期将已完成的交易所需要的输入（或直接将输出结果）发往备份中心，在备份中心重新执行（或直接记录结果）。 数据库方式采用（依靠）主机层技术实现执行方为数据库管理系统的辅助程序，复制的粒度是数据库内数据操纵动作（Data Manipulation Operation），复制涉及的范围为单个数据库。数据库管理系统在执行数据操纵动作过程中，将需要整体完成的动作集合作为交易来管理；利用联机日志（Online Logs）记录交易的执行情况，利用归档日志（Archive Logs）定期将联机日志进行一定期限的保留。其同步方式为同时传输归档日志和联机日志，保持备份中心和生产中

33、心的数据库中已提交的交易的执行的一致性；其异步方式为只传输归档日志。 文件系统方式采用主机层技术执行方为系统中特定的文件系统复制引擎，复制的粒度为文件系统中的文件，复制涉及的范围为单个服务器中的文件系统。文件是粗粒度的数据对象，复制多发生在文件被关闭时。其复制方式多为异步的数据迁移方式，复制引擎在文件一级比较生产中心和备份中心的差异，定期将生产中心被修改过的文件传输到备份中心。 服务器卷管理软件方式采用主机层技术执行方为服务器中的卷管理系统或操作系统的特定复制辅助部件，复制的粒度为卷管理系统接受到的来自文件系统、数据库管理系统、服务器内存管理系统的 IO 更新操作，复制涉及的范围为单个服务器管

34、理的逻辑卷。一般利用服务器的 CPU、Memory、磁盘更新日志、以及服务器之间的 TCP/IP 网络资源完中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -22 -成复制。运行方式可以为同步、异步方式。 智能存储系统方式采用存储层技术执行方为智能存储系统，复制的粒度为存储系统接受到来自服务器的 IO 更新操作，复制涉及的范围为企业中存放在智能存储系统中的所有信息，包括应用程序、数据库、文件系统、数据卷等等。运行方式可以为同步、异步、半同步方式。同步方式可分为两种：同步拷贝和完全镜像。异步方式下，在生产中心可以按照两种方式缓存需延时复制的数据：复制队列技术和定点拷贝复制技术。（延

35、迟同步和缓冲区技术）4.1.4.定点拷贝的技术实现4.1.4.1. 磁带或光盘备份存储层技术磁带或光盘备份是基于磁带或光盘介质的定点拷贝。目前磁带备份应用较普遍，下面以磁带备份描述备份技术。磁带备份包括分散式备份和集中式备份。在分散式备份方式下，每台服务器自带磁带机，对该服务器管理的数据进行备份。这种分散型备份存在扩展性不强、难以管理、安全性差等特点。集中式备份的架构是对备份采取集中式管理，要备份的生产数据分布在多台服务器中。一般存在一台备份管理服务器（BACKUP SERVER），多个拥有生产数据的备份客户端（Backup Client），一个或多个控制磁带库机械臂和磁带驱动器的磁带介质服务

36、器（Media Server），介质服务器可以位于备份管理服务器、特定的备份客户端或专门的服务器中。备份管理服务器控制备份客户端和介质服务器，引导备份客户端将数据传送到介质服务器中，并通过记录备份过程中的管理信息，对备份系统的设置、监控、恢复进行有效的管理。为了支持各种不同的备份客户端，如不同的操作系统、文件系统、数据库、商用应用软件，各系统开发厂商在不同备份客户端中安装备份代理程序，实现备份系统各部件之间统一、可扩展的备份架构。其中对于文件系统服务器，业中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -23 -界包括文件系统服务器和备份软件系统厂商开发了 NDMP 协议，可对各

37、厂商的文件系统服务器进行统一的备份和恢复。根据备份客户端和磁带设备之间数据传输使用的通信资源情况，备份架构又可分为如下几类： LAN-FREE：在介质服务器对磁带介质的控制以及备份管理服务器对备份过程的控制配合下，备份客户端可以直接由 SAN 访问磁带设备； SERVER-LESS：备份数据由数据所在的在线存储设备直接写入磁带设备，这一过程不使用生产服务器的处理资源。根据备份客户端备份代理程序的不同，要备份的数据可以位于不同的层面： 应用程序 数据库 文件系统 服务器卷 磁盘存储设备在不同层面备份的数据，在恢复数据时也将在对应层面进行，在整个业务恢复流程中也将在对应层面和其他步骤进行整合。根据

38、备份进程对要备份的数据的争用情况，可以分为以下两类： 脱机备份：在备份代理程序从备份客户端读取要备份的数据时，该数据对生产进程已处于脱机状态； 联机备份：在备份代理程序从备份客户端读取要备份的数据时，该数据对生产进程仍处于联机状态；根据对备份介质的数量的要求，备份可分为如下两类： 单路备份：备份时为生产数据形成一份磁带拷贝； 多路备份：备份时为生产数据形成多份磁带拷贝。根据备份客户端和介质服务器之间的距离，可以分为两类：中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -24 - 本地备份：备份客户端和介质服务器在同一机房内； 远程备份：备份客户端和介质服务器在不同机房内。4.1.

39、4.2. 快照存储层技术快照是将数据快速备份到在线介质中。根据快照保存的机制，快照可以分为两类： 指针型快照被快照的生产数据在物理上由数据块构成，每个数据块具有相应的指针。快照生成时完整拷贝生产数据包含的所有数据块的指针，逻辑上获得一个新的生产数据的备份，但共享物理数据块；使用快照时，通过指针指向的物理块，而获得实际的数据。无论生产数据还是快照被修改时，一般通过“copy on first write”机制，将共享的物理块的数据拷贝到专门的缓存区中，然后再对数据进行修改。指针型快照适用于修改量小、快照保留时间短，并不需要对快照数据进行大量读写操作的场合。在这种情况下，缓冲区的大小可以设计为相当

40、于生产数据物理空间较小数量的百分比，如 5%20%。 物理拷贝型快照（即克隆）快照生成时完整拷贝生产数据包含的所有物理数据块；随后对快照的修改与生产数据无关，反之亦然。当生产数据发生损坏时，利用快照可以恢复生产数据。在恢复过程中，利用生产数据和快照之间数据块的对应关系，可以只恢复被修改过的数据块，以增量方式实现快速恢复。物理型快照适用于修改量大、保留时间长、对生产数据和克隆数据需要同时读写操作的场合。根据快照生成的执行方层面，快照可分类如下： 文件系统方式执行方为操作系统中的文件管理系统，快照粒度为文件的数据块，快照范围可以为单个文件至整个文件系统。中国移动 BOSS 系统容灾备份技术规范中国

41、移动通信集团公司 -25 - 服务器逻辑卷执行方为操作系统中的卷管理系统，快照粒度为卷的数据块，快照范围为单个卷至所有卷。 智能磁盘设备执行方为智能磁盘系统，快照粒度为磁盘的磁道或柱面。快照范围为磁盘卷至整个磁盘阵列；或者根据服务器文件及服务器逻辑卷与物理磁道的映射关系，可以按文件或服务器逻辑卷执行快照操作。由于不同厂商在不同层面上实现快照，必须对快照的定义、生成、监控、恢复进行统一的管理。通过统一的管理，可以屏蔽不同实现的技术差别，按照业务要求有效利用快照。和磁带备份相比，磁盘快照具有速度快、数据易于验证等特点，要求高速备份、频繁备份和快速恢复的应用程序倾向于使用磁盘快照。4.1.4.3.

42、磁盘备份存储层技术磁盘备份是利用磁盘代替磁带作为备份介质，具有备份、恢复速度快，数据易于验证、备份管理手段成熟等优势，随着磁盘性价比的不断优化，可优先考虑使用磁盘备份满足关键数据的备份要求。4.1.5.连续复制的技术实现4.1.5.1. 应用嵌入方式复制应用层技术应用嵌入方式下的业务状态复制嵌入到应用代码内，在两个中心业务平台逻辑结构完全一致的前提下，利用对两个中心相同的系统输入，确保相同的系统输出，同时保持业务交易在生产中心和备份中心的交易完整性。在交叉耦合情况下，应用级别的交易可以涉及到多个服务器中运行的多个应用模块，更新多个数据库；在进行交易复制时，如果不能保证这些应用模块和数据库在备份

43、中心的“原子级”更新（原子级更新的含义为要么全部完成要中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -26 -么都不更新，不允许部分更新对业务状态一致性的影响）。故嵌入的复制代码除了传输交易数据外，必须编写大量的交易管理/异常处理 /交易安全代码保证交易完整性和安全性。应用模式发生改变或交易的原子操作发生变化时，两个中心内嵌的复制代码必须同步更新，从而增加同时维护多个系统的要求，否则会发生交易复制缺失或交易复制不完整的错误。由于需要重新初始化复制过程、重新测试复制机制，将增加系统升级的周期，增大新业务投产的风险。当生产数据发生结构性变化时，这种结构性变化往往不能通过交易复制传输

44、到备份中心；此时必须终止交易复制机制，在备份中心进行同样的数据结构改变，从而要求系统管理人员实际上维护两个生产系统。从保证业务状态数据的完整性看，该技术只能复制应用涉及的用户数据部分，系统状态的同步必须通过其他方式来维护。这种复制方式较适合于串行的流程，对于多个子系统交叉耦合的复杂业务系统，因业务频繁发生变化而导致处理流程和数据结构频繁更动的情况下，需频繁维护复制系统。实现难度很大。4.1.5.2. 数据库方式主机层技术数据库方式的数据复制通过数据库管理系统对数据更新操作的交易管理来实现，不同数据库的数据复制机制各不相同，其共性的原理如下。数据库的更新分为两种更新，元数据（metadata）的

45、改变和用户数据的改变。元数据的改变即数据库结构的改变，如数据库的表空间的扩展等；用户数据的改变如用户数据库表中记录的增、删、改等。应用的某个交易可能涉及到多个数据库表的增删改等操作。为了实现应用交易的完整性，数据库管理程序将多个用户数据修改操作定义为数据库交易，而在交易日志中具体记录交易的开始、子操作细节和结束(commit)。当数据库重启或进行数据恢复操作时，利用日志中记录的信息，执行前滚操作（roll forward）保证已结束的数据库交易数据的不丢失，执行回滚操作（roll back）中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -27 -完全丢弃未完成的交易的部分更新。

46、数据库交易的复制机制利用日志的这种特性，在生产中心将日志传输到备份中心；如果备份中心的数据库结构和生产中心的数据库结构保持一致，则备份中心的数据库对日志中记载的交易执行前滚操作，即实现了对备份中心数据库数据的更新。日志分为联机日志和归档日志。联机日志在生产中心执行数据库交易时实时生成，而归档日志为联机日志写满关闭后的状态。同步方式由于同时复制归档日志和联机日志，而联机日志与数据库交易的本地提交存在时序关系，会因为复制过程引入的处理开销和网络延迟而影响本地数据库的性能，因而适用于近距离、低数据库交易负载的场合。其异步方式由于只复制归档日志，可在长距离下避免复制联机日志而对生产数据库产生的影响，但

47、要承受不复制联机日志而带来的交易丢失。从数据库复制的过程看，数据库交易复制时要求数据库的结构保持稳定；当数据库结构发生变化，如扩展表空间时，必须重新初始化复制过程。从保证业务状态的完整性看，该技术只能复制数据库中的数据，需要采用其他技术复制系统状态和为与数据库之外的如位于文件系统中的业务数据。数据库方式复制适用于单数据库应用，对于多数据库、异构数据库等企业级的 IT 生产环境，需同时妥善维护多个数据库方式复制系统。4.1.5.3. 文件系统方式主机层技术文件系统级复制嵌入到操作系统的文件管理模块中，不同操作系统采用不同的复制机制。文件作为操作系统为上层提供的抽象数据服务单元，和数据库一样，文件

48、发生的变化分为结构的变化和文件内容的变化。文件系统用日志来记录文件内容的变化，而文件结构的变化（如文件系统分区大小的改变，文件属性的改变）则需要日志记录之外的手段来实现。文件被复制时的状态分为两种：关闭和打开。中国移动 BOSS 系统容灾备份技术规范中国移动通信集团公司 -28 -针对已关闭的文件，复制过程可直接传输文件的内容；传输文件内容时可采取全传输和增量传输的方式；采用全传输方式时，需考虑对网络、生产系统性能的影响；采用增量传输时，需使用服务器 CPU 和 Memory 计算增量内容，需考虑对服务器处理性能的影响；经过网络传输时，为保障文件内容的完全，应采用加密传输方式，需考虑加密解密过

49、程对服务器处理性能的影响。可以采用压缩方式来减少网络传输的压力和网上传输的安全性。针对正打开的文件，复制过程较为复杂，传输日志可以将在生产中心对文件的修改持续不断的在备份中心得到重现；应考虑该复制过程对服务器性能的影响。从文件复制的过程看，文件内容或日志复制时要求文件系统的结构保持稳定；当文件系统结构发生变化，如文件系统空间扩大，由于备份中心文件系统的预留空间可能发生不足，必须重新检查复制的配置状况，重新设置复制过程。从保证业务状态的完整性看，该技术只能复制文件系统中的数据，需要采用其他技术复制数据库系统和裸设备中的数据。文件系统方式复制适用于单操作系统、无数据库应用，对于多服务器平台、业务流程经常变化的企业级的 IT 生产系统的数据复制，需同时采用其他复制方式以保持业务状态的完整复制。4.1.5.4. 服务器逻辑卷方式主机层技术服务器逻辑卷方式复制嵌入在操作系统的卷管理系统中，不同操作系统采用不同的卷管理系统，也有第三方的卷管理系统适用于多个操作系统平台，但目前没有一个卷管理系统被所有操作系统使用。操作系统的卷管理系统位于磁盘设备驱动程序之上，屏蔽各设备驱动程序形成的裸设备的差别，为上层实体（如文件系统、数据库管理系统）