1、容灾远程数据复制技术分析日立数据系统（中国）有限公司日立数据系统（中国）有限公司2008 年年 11 月月前言数据复制技术是指通过建立远程容灾中心，将生产中心数据实时或分批次地复制到容灾中心。正常情况下，系统的各种应用运行在生产中心的计算机系统上，数据同时存放在生产中心和容灾中心的存储系统中。当生产中心由于断电、火灾甚至地震等灾难无法工作时，则立即采取一系列相关措施，将网络、数据线路切换至容灾中心，并且利用容灾中心已经搭建的计算机系统重新启动应用系统。容灾系统最重要的目标就是保证容灾切换时间满足业务连续性要求，同时尽可能保持生产中心和容灾中心数据的连续性和完整性，而如何解决生产中心到容灾中心的
2、数据复制和恢复则是容灾备份方案的核心内容。以下对容灾备份系统采用的几种常用技术作一简单描述。结合应用系统的相关特点（实时性要求、运行中断敏感性等） 、数据更新频度、数据量大小、相关条件等因素，实际的灾难恢复系统解决方案可能是多种技术方案的组合。1 基于磁盘阵列的数据复制基于磁盘阵列的数据复制技术由磁盘阵列自身实现数据的远程复制和同步，即磁盘阵列将对本系统中的存储器写 I/O 操作复制到远端的存储系统中并执行，保证生产数据和备份数据的一致性。由于这种方式下数据复制软件运行在磁盘阵列内，因此较容易实现生产中心和容灾容灾中心的生产数据和应用数据或目录的实时拷贝维护能力，且一般很少影响生产中心主机系统
3、的性能。如果在容灾中心具备了实时生产数据、备用主机和网络环境，那么就可以当灾难发生后及时开始业务系统的恢复。基于磁盘阵列的数据复制技术虽然受主、备中心距离限制比较明显（同步方式通常要求在几十公里范围，异步方式可达数千公里） 、开放性差（不同厂家的存储设备系统不能配合使用） 、对于主备中心之间的网络条件（稳定性、带宽、链路空间距离）要求高等缺点，但是基于磁盘阵列数据复制的容灾方案具有高效、快速的特点，能很好地保证数据的完整性和一致性，数据的复制备份过程占用很少主机资源，操作控制比较简单，且能够实现很高的容灾恢复目标 RTO 和数据恢复时间点目标 RPO，对于关键业务系统来说尤其重要。不同厂家的磁
4、盘阵列采用的数据复制技术也不同，因此不同厂商都有自己的磁盘级复制技术，IBM 公司的 PPRC，EMC 公司的 SRDF，HDS 的 TrueCopy；因此磁盘级复制技术是根据所采用的物理磁盘阵列而定的，不同厂家的磁盘阵列之间则不能采用磁盘级复制技术。下面我们对磁盘级复制技术的原理和类型进行讨论。1.1 磁盘阵列之间数据复制磁盘级数据同步方式都分为两种：同步复制方式和异步复制方式。同步方式保证了生产中心磁盘阵列和灾备中心磁盘阵列上数据的完全同步，异步方式需要和同步方式结合使用才能够发挥其特点。1、同步复制方式同步复制技术的实现流程描述如下：（1） 服务器应用将 I/O 数据写入生产磁盘阵列的数
5、据缓存；（2） 生产磁盘阵列同时将写 I/O 发送到备份磁盘阵列；（3） 备份磁盘阵列完成 I/O 数据到缓存的写操作后，发送“写完成”给生产阵列；（4） 生产磁盘阵列将“写完成”发送给服务器应用。同步复制技术是在生产磁盘阵列和备份磁盘阵列同时完成写操作后，应用的写I/O 才完成，这样保证了备份磁盘阵列和生产磁盘阵列上数据的一致性和完整性。同步复制技术使用专有协议，对于通信链路和带宽要求高，因此通常采用光纤通道协议进行数据的传输。2、异步复制方式异步复制技术的实现流程描述如下：（1） 服务器应用将 I/O 数据写入生产磁盘阵列的数据缓存；（2） 生产磁盘阵列将“写完成”发送给服务器应用；（3）
6、 生产磁盘阵列将未发送的写 I/O 发送到备份磁盘阵列；（4） 备份磁盘阵列完成 I/O 数据到缓存的写操作后，发送“写完成”给生产磁盘阵列阵列。目前业界有另外一种成熟的异步复制技术 Hitachi Universal Replicator，专门用在 HDS 高端存储之上，在国内金融行业有非常成功的应用。这种异步复制技术的实现流程描述如下：（1） 服务器应用将 I/O 数据写入生产磁盘阵列的数据缓存；（2） 生产磁盘阵列将“写完成”返回给服务器应用；（3） 备份磁盘阵列主动到生产磁盘阵列读取未发送的生产数据，称为“拉数据”方式，写操作完成后发送“写完成”给生产磁盘阵列。与传统的异步方式相比，这
7、种“拉数据”的方式带来的优势是：（1） 不占用生产磁盘阵列资源，对生产系统的影响非常小（2） 对数据复制网络带宽要求低，节省网络投资（3） 日志数据缓存空间大，能够承受复制网络的长时间中断异步复制技术和同步复制技术的不同在于，异步复制技术不用等待备份磁盘阵列写操作完成，就将“写完成”发送给服务器应用，因此生产磁盘阵列和备份磁盘阵列的数据会有部分差距，当灾难发生时将丢失部分的生产数据。异步复制技术也使用专有协议，或者采用协议转换设备，将光纤通道协议转换为 TCP/IP 协议实现远距离的传输，但是对于远距离的通信链路和带宽要求同样也很高。1.2 磁盘阵列内部数据复制通过磁盘阵列内部的数据复制技术，
8、可以实现生产数据空间在同一个阵列内部创建多个时间点的数据拷贝。通过实时生产数据的时间点拷贝，可以完成如日常数据备份、日常报表生成、数据仓库和数据挖掘等应用的需要，特别在容灾系统建设和演练过程中，非常有必要创建磁盘阵列内部时间点拷贝。目前主流磁盘阵列都能够帮助客户实现这个需求，能够提供一个时间点的拷贝服务功能，从源卷到目标卷快速地复制数据，逻辑拷贝通常可以在数秒时间内完成，然后就释放源卷，进行正常工作，而物理拷贝操作在后台进行。磁盘存储设备中产生一份生产数据的真实时间点拷贝，这份拷贝可以被称为 FlashCopy（IBM），TIMEFINDER（EMC）或者 ShadowImage（HDS），它
9、们可以满足以下的应用需求。如下图所示：（1） 在磁盘阵列设备中生成生产数据的一份时间点拷贝，然后对这个时间点拷贝的数据进行日常备份。（2） 生产数据的时间点拷贝将被多个应用重复使用，特别是银行每日的结束处理和报表生成。 （3） 生产数据的时间点拷贝将被某些统计分析类应用，如 MIS 或数据挖掘或查询类应用频繁使用。 （4） 对某些厂商异地容灾复制技术，为了保证备份数据的一致性，必须定时对备份数据做时间点拷贝，如 IBM PPRC 和 EMC SRDF 必需做时间点拷贝，而 HDS Truecopy 不需要就可以实现备份数据一致性。（5） 容灾演练时需要作出一份备份数据的时间点拷贝，然后再进行容
10、灾系统的测试；因为如果直接拿备份系统数据作演练测试，将在很长时间内失去对生产数据的保护。只要需要生产数据的物理拷贝，就可以使用 FlashCopy/ Timefinder/ ShadowImage 来进行支持。但是某些磁盘阵列内部数据复制技术也可以不需要进行真正数据的物理拷贝，即拷贝完成以后不存在源数据的单独物理拷贝，但是需要一些磁盘空间进行磁盘索引和写 I/O 缓存，所需的磁盘空间容量取决于复制的使用时间（即从建立到删除的时间）和被拷贝卷的更新速度。磁盘阵列内部的时间点拷贝，在生产中心和灾备中心都可以实现，下面的示意图显示了灾备中心的实现过程：生产中心磁盘阵列的生产数据 A 通过远程数据复制
11、到容灾中心磁盘阵列 B，通过后台脚本控制可以将 B 在磁盘阵列内部做一个时间点拷贝 C，通过 C 可以获得一个数据一致性的数据备份，而且当进行容灾演练时，可以作为测试数据使用。如果对生产数据 A 在磁盘阵列内部做一个 D 拷贝，那么可以对 D 进行数据备份、每日结算和报表等应用的操作。磁盘级数据复制技术是当前应用最广的容灾复制技术，是容灾系统实现的基础，但是需要根据客户的需求，在数据丢失、容灾距离、对源系统的影响等方面进行平衡，进行复制技术的选择。2 基于备份软件的数据复制利用磁带拷贝进行数据备份和恢复是常见的传统灾难备份方式，这些磁带拷贝通常都是按天、按周或按月进行组合保存的。使用这种方式的
12、数据备份通常是存储在盘式磁带或盒式磁带上，并存放在远离生产系统的某个安全地点或容灾地点。随着网络技术的发展，在生产中心和容灾中心之间建立通信网络，通过专业的备份软件（如 Veritas Netbackup，IBM TSM，Legato Networker 等）定时地实现生产数据到容灾中心的备份，取代原有的传送磁带方式。基于备份软件的复制示意图如下：复制的流程描述如下：【1】生产中心：备份软件客户端读取生产磁盘阵列的数据。【2】容灾中心：备份服务器将接收到的数据备份至磁带库的存储池。【3】 【4】容灾中心：备份服务器读取存储池中的数据恢复到磁盘阵列。【5】容灾中心：备用服务器访问阵列中恢复的数据
13、，验证数据可用性。通过专业备份软件实现数据备份有明显的缺点，因此只能实现较低级别的系统容灾：1）网络的带宽和性能对这种备份方式影响很大。数据量很大的时候，每次备份的时间会很长，结果就是 RPO 非常大；特别当网络不稳定引起备份不成功时，数据备份任务需要重新开始，这将带来更大的数据延迟和对带宽需求，此时如果生产系统发生问题，则丢失大量的生产数据；2）数据备份过程和恢复过程都非常复杂。特别是复杂的恢复过程将会极大地影响业务系统恢复的时间。因为数据恢复过程中需要将已经备份的数据恢复到备份磁盘阵列的存储空间，由于日常的数据备份是全备份或者增量备份相结合的使用，因此恢复的过程非常复杂，需要的时间也很长（
14、数据量越大那么需要的恢复时间越长，而且恢复的过程一旦出错，就要重新来做恢复） ，导致容灾恢复目标 RTO 也很长。3）如果备份是直接备到磁带库上，那么在进行恢复操作时，必须使用正确的磁带。而存档磁带的数量可能有成百上千盒，要在成堆的磁带中找到正确时间的磁带给管理上带来很大的挑战。专业数据备份软件更适合于本地生产数据的日常备份。3 技术方案的比较在设计容灾备份系统时，首先考虑的是结合实际情况选择合理的数据复制技术。在选择合理的数据复制技术时主要考虑以下因素：1）灾难承受程度：明确业务系统需要承受的灾难类型，系统故障、通信故障、长时间断电、火灾及地震等各种意外情况所采取的备份、保护方案不尽相同。2
15、）业务影响程度：必须明确当业务系统发生意外无法工作时，导致业务停顿所造成的损失程度，也就是定义用户对于计算机系统发生故障的最大容忍时间，即容灾恢复时间目标 RTO。这是设计备份方案的重要技术指标。3）数据保护程度：是否要求数据库恢复所有提交的交易，并且要求实时同步，保证数据的连续性和一致性，这是备份方案复杂程度的重要依据，即恢复时间点目标 RPO。下面是两种备份方式的对比：序号 比 较 项 目 基于备份软件复制 基于磁盘阵列复制1 备份方式 远程存储系统：冷备份 远程存储系统：热备份2 备份原理 逻辑数据全备份或增量备份 复制每个 I/O 写操作3 灾难恢复时间目标 RTO 长，通常=24 小
16、时 =2 小时4 运行恢复的复杂性 复杂且风险高 简单、快捷5 数据恢复点目标 RPO 长，通常=24 小时同步方式：约为 0异步方式：分钟级6 主、备中心通信要求 TCP/IP专用协议FC（FC Over IP）7 通信链路实时性要求 高 高8 通信链路带宽需求 高 高9 距离限制 无限制同步方式：几十公里范围异步方式:无限制10 主机/操作系统相关性 相关 不相关11 数据库系统相关性 相关 不相关12 存储设备相关性 不相关 相关13 数据的一致性 保证 保证14 管理的复杂性 复杂 较简单从上表可以看出，基于备份软件复制的容灾方案虽然不受距离的限制，对主机系统无太大影响，但无法实时复制，灾难发生时，数据丢失概率很大，并且容灾中心的数据不能快速恢复到可用状态。因此这种方案通常适用于业务量较小、用户对于业务的中断时间不太敏感的业务系统。基于磁盘阵列复制的容灾方案虽然具有受容灾距离限制、系统开放性、主备中心之间的网络条件要求高等缺点，但是这种方案具有高效快速的特点，能较好地保证数据的完整性和一致性，数据的复制备份过程不占用主机资源，操作控制比较简单，且能够实现最高级别的容灾恢复目标 RTO 和数据恢复时间点目标 RPO，对于关键业务系统来说尤其重要。因此对于人民银行的关键业务系统，考虑到业务系统的特点和容灾目标的需求，我们建议人民银行采用基于磁盘阵列复制的容灾方案。
