1、VMware 虚拟化备份2019 年 12 月CommVault 解决方案版本历史版 本 日 期 作 者 版本说明1.0 2011-7 Rex 1.2 2011-7 Rex 增加了 SRM、试验、总结项更改部分描述VMware 虚拟化环境的数据保护 CommVault Simpana 软件革命性的数据管理解决方案，不仅定位于现阶段数据环境遇到的问题，更可以帮助用户快速过渡到未来数据中心的虚拟化和云环境，利用各种技术，使用户享受现代化数据中心带来的种种益处。使用 CommVault Simpana 软件对虚拟化进行保护，用户可以: 几分钟内保护数百台虚拟机，且不影响生产 内置源/目标端重复数据删
2、除功能，大比例缩减备份后的数据量 100%保证虚机内应用的一致性 颗粒级的数据恢复、内容检索和电子发现 全方位的存储资源管理，通过详细报表方便理环境和虚拟架构的管理总之，Simpana 软件可以保证数据管理，方便用户快速切换到虚机化环境。虚拟化环境的快速保护客户面临的挑战每一个虚拟机，本质上都是存储在 DataStore 上的一组 VMDK 文件。Datastore 可以配置在 iSCSI 或 Fiber Channel 等块协议的存储卷上，或直接部署在 NFS 的卷上。传统的 VMware 数据保护技术，例如 vStorage API for Data Protection (VADP)或
3、VMware Consolidated Backup (VCB)，依赖于一个外部客户端来对 VMDK 文件进行保护。 典型的步骤如下： 静默（Queisce ）虚机，保证 VM 映像文件的一致性。 使用 VADP 功能的客户端，从 Datastore 当中读取 VM 的映像文件。 将此映像文件拷贝到磁盘备份设备。 释放虚机资源尽管 VADP 接口为 VMware 的备份流程提高了效率，但它依然是基于流（streaming）的备份方法，必须将映像文件从 Datastore 移动到磁盘备份设备中。这就决定了，对于小到中型的、有充足备份窗口的虚拟化环境，这类备份方式可能是合适的。但对于有一定规模的环
4、境，尤其备份窗口有限的情况下，根本没有足够的时间和带宽来移动所有 VM 映像文件数据。即使硬件架构有复制数据的能力，整个流程也会给 Datastore 带来巨大的数据读取压力。另外，考虑到通常每年 40%的数据增长率，这类方法必须依靠频繁、昂贵的硬件架构升级，否则将变的不可持续。解决方案：虚拟化快照保护模块（ SnapProtect for Virtual Server Agent）虚拟化快照保护模块，或 SnapProtect for Virtual Server Agent (VSA)，通过与存储内嵌的快照引擎相结合，对存放虚拟机的 Datastore 快速创建可恢复的数据副本。同时，这些
5、快照，也可以用于虚拟化的快速恢复。 虚拟化快照保护代理（ SnapProtect for VSA）和介质代理（ MediaAgent）模块，配置在 Windows 系统平台上。如果将 VSA部署在虚拟机上，那么建议 VSA 所在的这台虚拟机，尽量运行在专用作备份的 ESX服务器上，减少与其他工作负载的争用。这台备份专用的 ESX 服务器，可以运行在ESXi of the hypervisor 版本上。一个快照保护（ SnapProtect）作业，遵循和标准备份一样的流程。所改进的一点是，此流程并不立刻拷贝所有数据块，而是发起一个快照。具体的流程如下： 根据预先定义的规则，自动探寻和发现新的虚拟
6、机 静默（Quiesce ）虚拟机，确保映像文件的一致性 系统判定需要备份的虚机所在的 Datastore 创建存储系统的硬件快照，这需要至少花费几秒钟（依赖于硬件厂商技术） 解除虚机静默，恢复正常运行 按照规则，对快照生成索引因为采用了 SnapProtect 作业创建了快照保护，数据保护的整个过程只需花费几分钟的时间，虚机自身的静默也只会花费很短的时间。这样，我们就可以在一天内，以最小的系统影响，对虚拟化系统生成多个数据副本，提供更好的恢复能力，提高恢复级别。在典型的环境中，策略定义通常每 4-8 小时创建一个基于快照的数据副本，然后在一个时间，选择性拷贝其中一个快照副本，到磁盘/磁带备份
7、设备中。优势： 及其快速、可靠的虚拟化数据保护，对生产系统的影响最小。使得更多的重要系统可以从物理环境迁移到虚拟化，投资回报率（ROI ）高。 通常，VMware 是战略选择，存储平台是技术选择。 虚拟化快照保护模块（SnapProtect for VSA）与独立于存储，对于各品牌存储都提供同样的数据管理功能和方法。 技术选择更灵活，符合战略决策。 每天多个数据副本，可以从最近的时间点恢复数据，相对于从每晚备份中恢复，有效减少了数据的丢失量 通过 Simpana 同一数据管理，可以方便的扩展到云端，方便应用其它未来数据管理技术创建快速的 DR/长期保存的数据副本客户面临的挑战虚拟化快照保护模块
8、（SnapProtect for VSA），通过快照方式创建快速恢复副本，消除了数据完全拷贝的流程。 但是，对于绝大多数存储系统来讲，快照的数量是有限的。并且，越多的快照保留，意味着需要占用越多生产存储的磁盘空间。为了保留和恢复几天以上时间的数据，必须要为快照创建第二级的拷贝，这个拷贝应存放在此存储之外，并且选择较为便宜的磁盘或磁带设备。另外，快照的存在依赖于源卷。对于现今的多数存储系统，源卷的损坏是小概率事件。但确实可能发生。如果源卷损坏，所有的此卷的快照也会丢失。因此，创建快照的第二级拷贝是十分重要的。 最重要的问题是，如何创建第二级别的拷贝，同时又不大量消耗生产虚机/ESX 主机的性能资
9、源，减少对于生产卷的 I/O 读取。解决方案：内置去重功能的快照备份拷贝( Backup Copy) 虚拟化快照保护模块（SnapProtect for VSA），可以将指定的、基于快照的数据副本上的数据拷贝到第二级别的磁盘/磁带备份设备，满足 DR 和数据长期保留的需求。用户每天可以创建多个数据副本，选择其中一个快照副本，将其拷贝到第二级别的磁盘/磁带设备。这样，用户可以保留更多的数据副本。当创建备份拷贝（ backup copy）时，虚拟化备份模块（VSA）将所选的快照，按照 Datastore 的方式，挂载到指定的 ESX Server 上。这时，VSA 将会使用 VADP 的方式，读取
10、数据块并将 VM 的映像拷贝到第二级的磁盘/磁带存储设备上。这样，因为这是一个独立的 Datastore，我们不需要锁定生产 ESX Server 上的 datastore，也就没有 I/O 争用。传统 VADP 备份时对于 SCSI 的锁定引起的问题，都因此不再影响生产主机。并且，因为快照卷上的所有 VM 映像已经保证了一致性，便没有必要再对生产环境再次静默。这样， VSA 完全消除了 VADP 对于生产 ESX Server 和 VM 的影响。 VADP 备份方式会加重生产存储上 LUN 的 I/O 负载。为了将负载平均分配到所有 LUN 上，从而减少对单一 LUN 的负载，VSA 模块可
11、以根据 Datastore 创建备份策略，且可以限制每个 datastore 的流数量。这样，我们既可以同时备份多个 VM 映像文件，又可以限制每个 LUN 的流到 1-2 个，减少对于各个单独 LUN 的性能损耗 影响更小，性能更快。由于备份拷贝（backup copy）作业对于生产系统没有任何影响，所以作业可以在任何时间运行、拥有更大的时间窗口。既然我们有更多的时间窗口去移动数据，就没有必要准备过多的 ESX Server 去专注在备份上。例如，标准 VADP 备份，假设每个 ESX Server 吞吐量在 1TB/Hr，那备份窗口 8 小时，那么对于一个 15-20TB 的虚拟化环境，我
12、们至少需要 2 台 ESX Server 专注于备份角色，才能满足需求。使用 VSA 技术后，只使用一台 ESX Server 专注于备份，即可满足要求。负责备份角色的 ESX Server 应当优先选择高 I/O 吞吐的设计，而非计算能力。就是说，传统 ESX Server 可能要求大量的 CPU 内核、数百 GB 的内存来运行大量的 VM。而备份角色的 ESX Server 并不需要多于 8 核心 CPU 和 24-32GB 以上的性能。另外值得注意的是，我们可以将专注于备份角色的 ESX Server 用来分担执行生产任务的 ESX Server的备份负载。如果生产用的 ESX Serv
13、er 需要负担数据移动、iSCSI 备份锁定等操作的话，那么这些服务器可能需要牺牲运行 VM 的数量和能力。备份角色的 ESX Server 消除了生产上的备份负载，这样，昂贵的生产服务器便可以运行更多的 VM，提高业务应用的硬件利用率、处理能力和 I/O 能力。当第二级备份拷贝的目标是标准磁盘时，VSA 可以应用内置的重复数据删除(Deduplication)功能，将通过网络和写入磁盘的数据，缩减 90-95%。所以，拷贝作业可以比传统不含去重功能的 VADP 作业快 50%。 CommVault Simpana 内置的重复数据删除功能，提供了全局的、扩展性极强的企业级数据去重解决方案。用户
14、可以很容易的扩展所需去重的数据容量，或增加磁盘、MediaAgent 节点等以提高数据吞吐率。内置的源/目标端重复数据删除功能，适用于所有类型的备份，当然也包括虚拟化备份。重要的是，源/目标端的去重功能，不受客户端数据量大小的限制，对于各客户端多至数 TB 以上的数据量，亦可以表现出卓越的性能。图例中有 3 个配置了去重的节点，可以支持多达196TB 的磁盘容量，吞吐率 7.5-9TB/hr。假设可以获得 10：1 的去重效率，这样，我们可以管理多达2PB 的数据总量，适合大数据量环境的管理。优势: 创建 DR 拷贝，防止任何级别的数据或硬件损毁造成的数据丢失 业务需求可能会导致性能和容量需求
15、的增加，易于扩展的去重解决方案可以利用现有环境进行无缝扩张，利于投资保护。 长期保存的数据会去重后存放在较为经济的介质上，可以比快照上的数据保留更多的版本。 创建数据长期保存的去重后磁带副本 将备份的负载从昂贵的生产 ESX servers 和 VM，转移到经济的备份角色的 ESX servers，提高其使用效率，节约成本。虚拟机（VM）的自动发现和数据保护客户面临的挑战考虑到虚拟化环境管理的简便，内部环境可能会经常变化，如不断创建新虚机等。而这些过程，往往没有经过那些负责数据保护的存储/备份的管理员。所以，这些管理员必须花费大量时间，去管理这些不可控增长所带来的数据。据统计，最多时，一天内的
16、 3/4 时间都花费在新增虚机的管理上，包括策略调整等。这些计划外的人工成本，大量浪费本可以更有价值的人力资源。解决方案：VSA 的虚机自动发现功能CommVault 的 Virtual Server Agent 具有根据预先定义好的规则，自动发现新增和变更虚拟机，并把它们自动加入数据保护策略的功能。 这样，无论虚拟化管理员是否具有数据保护的职责和意识，新增和变更的虚拟机都能保证受到保护。VSA 中各种不同的自动发现规则，允许管理员根据不同的业务特点进行微调，保证满足各种业务需求。 甚至还有规则，可以保证没有被规则定义涵盖的虚机，依然能得到及时的保护。有了这个功能，管理员们可以一次定义好规则，
17、再不用浪费额外的时间去调整策略。这个选项可以为每人节省数小时时间，用来做更有意义的事情。对于 SnapProtect for VSA 来讲，最常用的规则是根据 Data Store 关系，将需要保护的虚机进行分组和设定策略。这样可以确保在快照一个 datastore 的 LUN 时其内部所有虚拟机的一致性，消除恢复时出现脏数据的情况。同样可以确保在数据块拷贝时，所有负载可以平均分配在多个 LUN 上，而不是将负载集中在同一个 LUN，造成热点，影响业务性能。优势： 提高 IT 管理效率，为重要 IT 事务释放更多的人力资源 合理分配存储资源，避免产生 LUN 单点性能瓶颈，对前段业务影响最小
18、应用感知型的备份和信息挖掘客户面临的挑战虚拟机内部运行的应用，往往和其运行在物理环境中时，有不同的保护类型。尤其，数据库日志管理、信息挖掘等需求，难以做到。因此，许多应用的管理者不愿意把其迁移到虚拟化环境中。解决方案：具备应用感知功能的 VSA 客户端虚拟化快照保护代理（SnapProtect agent for VSA） ，带有应用感知功能。生成数据副本时，可以保证虚拟机内部应用的一致性。此外，虚拟化快照保护代理更可以提供与应用相符合的感知功能 ，例如数据库备份后的日志管理等。图示介绍了虚拟化快照保护代理如何与虚拟机内部的应用相结合：利用了一个虚拟机内部的轻量级的应用感知客户端。在快照保护作
19、业静默虚拟机前，这个轻客户端会让应用准备好执行备份。当应用确认可以备份时，快照才会生成。快照副本生成后，快照保护作业会与虚机内的轻客户端通信，来截断应用日志。之后，应用资源被完全释放，虚机静默解除。整个过程只持续几分钟时间。另外，区别于传统的虚机内安装客户端的做法，这类轻客户端并不占用虚拟化资源（轻客户端并不负责数据的移动），也不存在传统做法当中许可证管理和日常维护困难的情况。 轻客户端可以远程安装和更新，无需手工登录各虚机操作。这类客户端不占用许可证，虽不移动数据，但可以实现虚机内数据的直接恢复，而不需要将数据恢复到临时地点，再拷贝进入虚机。CommVault Simpana 软件同样具有针
20、对 VSA 生成的数据副本进行信息挖掘的功能。信息挖掘策略可以分析出应用内部的颗粒对象，并可以将此类颗粒对象提取出并使用不同保留策略，保存到另一个存储策略中。这样，我们就拥有了颗粒级别恢复的能力。例如，虚机内部邮件系统应用的单邮件恢复。更重要的是，颗粒对象可以保留更久的时间，而不需要将所有应用数据全部保留。这样，Simpana 对于磁盘设备的需求更少。目前，Simpana 的应用感知和信息挖掘功能，支持 Exchange 和 Sharepoint 两种应用，未来会增加更多。优势: 应用感知和信息挖掘功能，提供了更强大的应用保护，推进应用虚拟化进程，享受虚拟化带来的优势 有选择的数据长期保存，无
21、需保留所有虚机数据，减少二级存储的需求全方位的报表系统客户面临的挑战存储备份管理员，甚至 VMware 的管理员，常常忽视虚拟机内所存储的数据的情况。所以，想对虚拟化环境的存储资源进行合理和有效的分配，是一个极大的挑战。传统的基于主机的存储资源管理工具，多数需要在每一台服务器内部安装代理。但针对虚拟化环境，如此的方式会带来极大的管理成本。即便不需要为每一台虚拟机安装客户端，但这类工具需要定期运行数据收集的作业，这样会对虚机和 ESX Server 的性能产生很大的负面影响。为了避免这种负面影响，很多客户不得已放弃了类似工具的使用，因此也牺牲了很多对存储资源的管理能力，产生了诸如存储资源浪费的后
22、续问题。解决方案：虚拟化系统的存储资源管理CommVault Simpana 软件的存储资源管理功能（SRM），与虚拟化客户端（VSA）进行了高度整合，可以针对不同对象，生成关联报告和历史报告。SRM 同样包含各种细节的报表，以及对于ESX/VM 资源，诸如 CPU、内存、网络等的仪表盘显示功能和历史报告功能。和传统管理工具的区别是， SRM 不需要在每台虚拟机内部安装任何客户端，也不需要任何数据收集的作业。SRM 的数据来源，实在 VSA 客户端备份的过程中取得的，通过分析数据生成索引。因此，SRM 不会给生产环境带来任何负载，又可以对于物理和虚机环境生成详尽的报告。所有的报告，如果不能帮助
23、决策并自动基于策略进行数据管理动作，那么它的意义就会小很多。CommVault Simpana 软件的文件系统归档模块，可以基于 SRM 的报告和预先定义好的策略，自动对符合条件的文件进行归档。例如，SRM 报告虚机内有文件已经超过 6 个月没有被访问和修改，符合归档策略，那么 SRM 将会触发归档模块，将虚机内的此类文件归档。 有一点需要说明的是，对于归档，尽管需要在虚机内部署一个归档模块，但是其性能等影响并不大，因为归档不同于备份，它只移动符合条件的文件，且是基于增量级的，移动的数据量较备份小很多。另外，归档模块并不需要花费资源扫描文件系统，它只读取 SRM 已生成的文件列表，这样更进一步
24、减小了负载。优势： 物理环境和虚拟环境的全方位报表系统 利于存储管理员进行决策，更合理的进行资源分配，提高存储利用率 与虚机内的文件归档功能整合，合理控制虚机对存储的占用，控制数据量增长，降低运维成本测试环境ESXiOn Dell DL 2100 withMD1000 DiskESX Cluster1 ESX Cluster2IBM XIVVSA上图是用来测试虚拟化快照保护的实验环境。实验环境配置：vSphere Configuration 虚拟机数量 500+ 每个 VM 大小（平均） 20 GB ESX 数量 2 Data Stores 数量 10 Data Store 大小（平均） 1
25、TB CommVault 软件配置 Backup ESXi on Dell DL 2100, MD1000 SATA disk VSA with SnapProtect on Windows Virtual Machine on ESXi server Protection Policy (subclient) per Data Store 测试结果17 分钟内备份完 500 台以上虚机，数据总大小约 10TB。结论CommVault Simpana为现代的数据中心的管理，提供了一种全新的数据管理方法。对于现代数据中心，传统备份方法已经无法解决客户面临的问题。所以，CommVault 提供了诸如虚拟环境快照保护（SnapProtect for VSA）等先进技术，确保可以及时有效的对数据进行保护。并提供了应用感知与一致性保证、虚机内文件/应用颗粒恢复、全方位报表和归档等技术。并可以方便的扩展到未来数据中心，例如云计算、云存储等。分析 归档 备份 复制 搜索
