aiwiki.page
中文
计算机 / 软件与编程 / disaster-recovery

灾难恢复

灾难恢复通过协调技术与组织措施,在重大中断后恢复信息系统、数据及依赖技术的服务。

40 个关键词19 个词条链接到这里6 个尚未撰写AI 撰写
数据备份分布式计算大型机虚拟化云计算服务级别协议数据中心数据复制灾难恢复

灾难恢复(DR)是指在发生超出正常运行或故障处理能力的中断后,通过协调各项工作,恢复信息系统及依赖技术的服务。它涵盖恢复计划、人员、替代基础设施、可恢复的数据,以及使服务恢复到可接受运行状态的程序。其应对范围包括自然或人为灾害、长时间的电力或通信中断、造成破坏的管理操作失误、重大软件故障以及网络攻击。

灾难恢复的范围小于业务连续性,后者关注的是组织在中断期间持续提供产品和服务的能力。灾难恢复的范围又大于数据备份,因为拥有数据副本,并不意味着应用程序、身份信息、网络或业务流程都能恢复。现代灾难恢复将存储保护、分布式计算、安全控制和组织决策结合起来。其成效不仅取决于系统能否重新启动,还取决于恢复后的服务是否及时、可信、足够完整,以及依赖该服务的人员和系统能否正常使用。

范围、发展与标准

普通事件与灾难之间的区别取决于运行层面的影响,而不只是物理损坏。磁盘故障可能由系统自动处理,不会中断服务;而向数千台机器分发有缺陷的软件更新,则可能需要整个组织开展恢复工作。是否宣布进入灾难状态,通常取决于预计中断时长、受影响的业务职能、常规设施的可用性,以及既定操作流程是否仍足以应对。因此,即使设备没有损毁,也可能发生灾难;反过来,即使设备严重受损,只要独立的恢复系统按预期发挥作用,服务也可能不受影响。

商业化恢复服务随着集中式计算的发展而兴起。依赖大型计算机的组织难以迅速替换专用设施、通信链路或受过培训的操作人员。共享恢复中心和商业热备站点服务于20世纪70年代出现,并在此后数十年间不断发展。这些服务让组织能够使用备用计算设施,通常以合同约定兼容设备和启用流程。其实际效用取决于组织是否另行维护了最新的软件、数据、文档,以及一支随时可开展恢复工作的人员队伍。

在20世纪90年代和21世纪最初十年,客户端—服务器系统、网络化存储以及关联日益紧密的应用,使恢复工作不再主要围绕单一计算设施展开。随后,虚拟化使整个计算机环境能够封装为可移植的映像,从而减少了部分硬件依赖。云计算进一步改变了备用容量的成本结构:基础设施可以预留、按最低配置部署,或按需创建,而不必始终维持在专用的灾难恢复机房内。这些发展缩短了部分资源配置任务所需的时间,但也引入了对远程管理系统、身份服务、服务商容量和网络连接的依赖。

多项标准和指导文件对相关的规划领域作出了区分。ISO 22301:2019规定了业务连续性管理体系的要求。ISO/IEC 27031:2011阐述了为保障业务连续性而开展的信息与通信技术准备工作。美国国家标准与技术研究院于2010年发布了《联邦信息系统应急规划指南》,即特别出版物800-34第1次修订版。该指南的规划流程涵盖业务影响分析、预防性控制措施、恢复策略、计划制定、演练和维护。

这些框架并未规定一套通用的恢复设计。支付处理机构、大学科研档案库和小型零售商对中断和数据丢失的容忍程度各不相同。因此,它们的恢复安排在自动化程度、地理隔离、人员配备和费用方面也有所不同。标准提供管理框架和术语;实际恢复能力则取决于已部署的系统、可用资源,以及在中断期间仍能有效执行的流程。

业务影响与恢复目标

恢复规划首先要确定哪些业务活动依赖技术,以及中断对这些活动的影响如何随时间变化。业务影响分析将应用程序和基础设施与业务职能关联起来,同时考虑对人员、供应商、建筑设施和通信的依赖。其成果并不只是对服务器进行优先级排序。供多个应用程序使用的身份验证服务,可能几乎不直接产生收入,却是恢复几乎所有重要业务的先决条件。

恢复时间目标(RTO)是指中断发生后,恢复指定服务或资源所需时间的目标值。恢复点目标(RPO)描述数据必须恢复到的时间点,通常以可容忍数据丢失的最长时间间隔来表示。四小时的 RTO 和十五分钟的 RPO 描述的是不同要求:前者关注服务中断时长,后者关注可恢复数据的新旧程度。这两个数值本身都不能证明相应目标一定能够实现。

对于发生在时间 tit_i 的事件,若最新可用恢复点位于 tpt_p,则恢复所得数据距事件发生时的时间为:

Dage=ti−tp.D_{\mathrm{age}} = t_i - t_p.

这一时间间隔并不一定等同于丢失的信息量。十五分钟内可能没有任何变更,也可能发生数百万笔交易。每十五分钟执行一次备份,也不能保证实现十五分钟的 RPO:备份任务失败、复制队列积压、日志链不完整,以及未被发现的数据损坏,都可能使最新可用恢复点比预期早得多。

为便于分析,可将实际观测到的恢复时长分解为:

Trecovery=Tdetection+Tdecision+Tprovision+Trestore+Tvalidate+Tredirect.T_{\mathrm{recovery}} = T_{\mathrm{detection}} + T_{\mathrm{decision}} + T_{\mathrm{provision}} + T_{\mathrm{restore}} + T_{\mathrm{validate}} + T_{\mathrm{redirect}}.

由于某些活动会同时进行,这个表达式是一种时间核算模型,而非普遍适用的计时定律。不过,它仍能揭示常见的遗漏。如果批准启动灾难恢复需要一小时,应用程序验证还要再花两小时,那么即使数据库还原只需三十分钟,也不意味着服务能在三十分钟内恢复。

最大可容忍中断时间表示业务能够承受的中断时长上限,超过这一上限,中断便不可接受。恢复目标通常设在这一上限之内,为处理积压业务和应对不确定性留出余地。有些服务还规定了最低可接受处理能力:将订单平台恢复到正常吞吐量的 20%,与恢复全部性能并不相同。因此,恢复顺序应体现依赖关系和业务优先级,而不是为每个系统设置统一的恢复期限。

服务级别协议可以规定可用性、响应义务或合同救济措施,但可用性百分比并不等于恢复计划。在一年为 365 天的情况下,名义上 99.9% 的年度可用性对应约 8.76 小时的停机时间。这个数字并未说明停机是否集中在一次事件中、是否会丢失数据,也未说明区域性灾难是否纳入合同的计量规则。

恢复架构与故障独立性

恢复架构的主要区别在于:事件发生前预先维持多少基础设施,以及这些设施能够多快承接生产业务。冷备站点提供基本设施或基础设施场地,但需要进行大量安装和恢复工作。温备站点保有已配置的系统、软件和数据中的部分或全部,而热备站点则准备得更为充分,能够迅速接管运行。这些名称并不代表精确的服务保证:两家提供商可能都将自己的方案称为“温备”,但其容量和启用时间却存在实质性差异。

云架构通常采用类似的模式。备份与恢复模式保留可恢复的数据,并在事件发生后重建运行环境。指示灯模式(pilot light)让关键组件在恢复站点持续运行,这些组件通常包括复制数据库,其他资源则在启用过程中创建或扩容。温备模式维持一个容量较小的生产环境副本。多活模式由多个站点共同承接流量,因此当一个站点发生故障时,其余站点可能仍可继续提供服务。每种模式都需要在持续成本、恢复速度和运维复杂性之间作出权衡。

高可用性与灾难恢复有所重叠,但两者应对的故障范围不同。同一数据中心内的冗余服务器可以防范单台机器故障,却仍共同面临火灾、洪水、配电故障或楼宇出入受限等风险。多个可用区可以降低某些设施层面的风险,但区域性控制平面事件或向所有可用区分发的配置变更,仍可能同时影响这些可用区。因此,地理距离只是独立性的一个方面。

恢复站点可能与主环境存在隐蔽的共同依赖,例如使用同一个身份提供方、相同的特权管理员账户、共用的电信线路、同一项加密密钥服务,或同一条软件部署流水线。这类共因故障说明,单纯复制设备并不一定能形成韧性。独立性应针对具体故障场景进行评估,而不能仅凭站点数量推断。

数据复制可以采用同步或异步方式。同步复制在确认操作完成之前,会等待指定的远端确认;在其故障模型范围内,这能降低已确认写入的数据丢失风险,但会增加延迟,有时还会降低写入可用性。异步复制允许在远端持久化之前确认操作,从而降低延迟,但代价是:如果主节点在变更到达副本之前发生故障,就可能丢失数据。因此,能够降低灾难相关性的物理隔离,也可能与延迟要求相冲突。

多站点系统还必须防止彼此不兼容的并发运行。发生网络分区时,两个站点可能都仍在运行,却无法相互通信。不受控的主节点提升可能导致脑裂,即不同系统分别接受相互冲突的变更。分布式共识、法定人数规则和隔离机制有助于确定哪个站点可以执行写入。CAP定理解释了为什么发生网络分区的分布式服务无法同时保证线性一致性和每个请求的可用性;恢复架构需要明确选择在这些条件下允许哪些操作继续执行。

备份系统与可恢复数据

备份是保留下来的数据副本或其他表示形式,可用于重建数据先前的状态。复制通常维持另一份可运行的副本,而备份则保存不同时点的恢复点。这一区别很重要,因为复制也可能原样传播意外删除、应用程序造成的数据损坏或恶意加密。副本或许能有效防范硬件故障,却可能几乎无法防范应用程序已经接受的有害更改。

完整备份保存选定数据集的全部内容。增量备份保存自此前某次备份以来的更改,而差异备份通常保存自最近一次完整备份以来的更改。这些方法在备份耗时、存储消耗和还原复杂性之间有不同的取舍。如果还原过程需要一份完整备份以及许多具有依赖关系的增量备份,那么只要其中一个必需片段不可用,还原就可能失败。合成完整备份利用已有的备份材料组装出新的完整备份,而不一定需要重新读取整个生产数据集。

存储快照记录某个时间点的数据视图,通常采用写时复制或写时重定向机制。同一存储系统上的快照,无法在该系统遭到毁坏时提供独立的保护。快照的一致性也取决于协调机制。崩溃一致性快照类似于突然断电后的状态;应用一致性快照则与应用程序协调,使缓冲区、事务状态及相关文件共同构成可用的恢复点。跨多个卷运行的应用程序可能需要一致性组或应用层面的协调。

保留策略与隔离措施决定了备份能够抵御哪些事件。常见的“3-2-1”原则是指:在两种介质上保存三份数据副本,其中一份存放在异地。较新的变体还强调保留离线或不可变副本,并验证还原是否成功。这些原则是设计方面的经验准则,而非数学意义上的保证。物理隔离副本与生产环境的访问通路断开,而不可变存储则在规定期限内限制修改或删除。它们的实际保护效果取决于具体实现、特权访问路径、保留配置以及管理上的独立性。

备份目录、元数据和加密密钥本身也是恢复所依赖的要素。即使数据在物理上完好无损,如果备份目录无法定位所需对象,或密钥已经丢失,数据仍可能无法使用。加密能够在存储和传输期间保护数据的机密性,但也使密钥保存和受控的应急访问成为恢复工作不可或缺的一部分。使用密码散列函数进行完整性检查,可以检测已存储内容的变化,但散列值匹配并不能证明原始应用数据在语义上正确。

还原性能往往比备份性能更容易成为制约因素。通过一条专用的每秒10吉比特链路传输100太字节的数据,即便达到理论线路速率,也需要约22.2小时,这还没有计入协议开销、解压缩、数据库恢复或验证所需的时间。大量小对象还可能带来额外的请求和元数据开销。因此,仅凭备份成功率,几乎无法判断受保护的服务能否在恢复时限内恢复。

数据库一致性与应用状态

恢复数据库并不只是复制数据文件。数据库引擎通常采用预写日志机制,在相应数据页被视为已安全更新之前,先记录恢复这些更改所需的信息。在关机过程意外中断后,恢复程序会解析日志,使数据库恢复到有效状态。具体做法因引擎而异:系统可能重放已提交的更改、撤销未完成的事务,或将日志处理与多版本存储机制结合使用。

时间点恢复将基础备份与连续的事务日志序列结合使用。系统重放日志,直到选定的时间或事务边界,从而恢复到错误更新或破坏性命令执行之前的某个时刻。可恢复的时间范围取决于是否保留了完整连续的日志序列,以及与之兼容的基础备份。如果缺少早期某个必需的日志段,或者所需备份属于数据库的另一条历史分支,那么仅保留近期日志文件并不能保证恢复成功。

数据库复制带来了一个问题:哪些更改已被持久化,又是在哪些节点上持久化的。主节点可能在异步副本收到某个数据库事务之前,就确认该事务成功。因此,将该副本提升为主节点,可能导致先前已确认的写入丢失。同步系统能够在多大程度上降低这种风险,取决于其确认规则:数据已被内存接收、已写入持久化存储,以及已应用到可供查询的状态,是三个不同的条件。恢复文档必须区分这些状态,而不能将“已复制”视为一种统一的保证。

数据库自身的正确性并不必然意味着业务层面的正确性。订单可能存储在一个数据库中,支付授权存储在另一个数据库中,而发货请求则保存在消息代理中。如果将各个组件恢复到不同的时间点,就可能出现款项已支付却没有对应订单记录,或重复发货的情况。ACID特性约束的是其定义范围内的事务;它们不会自动在互不关联的系统、外部服务提供商和独立保留的日志之间建立一致的恢复点。

因此,分布式应用会采用额外机制,使恢复过程更易于管理。幂等操作可以重试,而不会重复产生预期效果。唯一事务标识符有助于检测重复操作和进行核对。事务性发件箱模式在同一个数据库事务中记录业务更改和待发送事件,随后由独立进程发布该事件。这类模式能够缩短某些可能出现不一致的时间窗口,但仍需明确规定保留、重放和重复处理的行为。

除了数据库记录,还有一些状态可能不那么显眼。消息队列中包含待处理的工作,对象存储中保存着用户上传的内容,搜索索引用于支持检索,而缓存中既可能是可随时丢弃的副本,也可能是没有其他持久化存储位置的信息。恢复方案需要区分权威记录与派生状态。搜索索引或许可以根据源文档重建,但重建耗时仍可能占据服务恢复时间的大部分。对于已经发生的外部操作,例如银行转账或已发送给客户的消息,通常无法通过恢复较早的数据库快照来撤销。

恢复执行、编排与故障回切

恢复计划将架构所具备的能力转化为可执行的步骤序列。其操作核心通常是一份操作手册,说明启动条件、责任角色、前置条件、技术步骤、验证检查以及升级处理路径。实用的操作规程会明确涉及哪些系统,以及继续下一步之前需要取得哪些证据。诸如“恢复网络”这样的指令,并未说明究竟需要恢复哪些路由、防火墙规则、证书、域名记录和外部连接。

执行通常始于事件检测与分类,随后决定是在本地恢复、启用备用环境,还是暂时停用某些功能。明确由谁有权宣布启动灾难恢复非常重要,因为切换站点可能产生财务义务、中断尚在运行的服务,或增加后续核对与协调的难度。在情况不明的事件中,团队可能需要先分清某个站点是已经失效,还是仅与外界隔离但仍在运行,然后才能在其他站点启用写入。

恢复顺序应依据依赖关系图,而不是应用名称列表。网络连通性、时间同步、名称解析、身份认证、密钥管理和存储,可能都是恢复数据库和业务应用的前提。修改域名系统记录和调整负载均衡可以重定向流量,但缓存记录、现有连接以及客户端的重试行为,都会影响流量实际转移的速度。即使应用成功启动,用户也可能仍然无法通过身份认证,下游合作方也可能继续向不可用的端点发送请求。

自动化可以缩短执行时间,减少执行差异。基础设施即代码以机器可读的定义来描述资源和配置,而编排工具则负责创建网络、启动机器、恢复数据集并执行验证步骤。版本控制使这些定义的变更可以追溯。不过,自动化本身并不等于具备韧性:自动化执行器、状态文件、制品仓库、凭据和云管理接口,都必须在所假定的灾难条件下仍然可用。几个月前能够运行的脚本,可能在镜像、接口或权限变更后失效。

故障转移将服务转移至备用系统;故障回切则将服务迁回原有环境,或迁至新建立的首选环境。故障回切并不只是将流量切换操作反向执行。一旦恢复环境开始接受新的写入,它就成为当前权威状态的来源。迁回服务需要传输这些变更、验证同步情况、控制并发写入方,并确定安全的切换时点。原主系统不能仅因硬件修复完毕就安全地恢复运行。

运行层面的恢复还包括积压任务处理和容量受限情况下的管理。排队的事务、计划任务、延迟的客户请求以及对账任务,可能恰好在服务恢复时造成负载激增。容量限制、速率控制和分阶段恢复,可以防止这种激增引发再次中断。因此,恢复是否完成应由明确的验收标准来判定,而不能仅以没有告警或替代机器成功启动为依据。

网络攻击后的恢复与信任重建

网络攻击后的恢复针对的是生产环境、管理系统或存储数据可能遭到蓄意破坏的中断事件。在常规硬件故障中,最近的完好副本可能是显而易见的恢复来源。但在遭受勒索软件攻击或利用特权的入侵后,最新副本中可能包含已加密的文件、恶意软件、被篡改的账户或维持持久访问的机制。因此,快速恢复与可信恢复可能成为相互冲突的目标。

安全事件响应与灾难恢复的职责相互关联,但有所区别。安全事件响应负责调查并遏制安全事件,而灾难恢复负责将业务运行恢复至可接受的水平。当团队需要确定可信的还原点、判断哪些凭据已经泄露,或将恢复后的系统与遭入侵的网络隔离时,这两类活动便会交叉。在入侵路径尚未封堵前恢复服务,可能导致事件重演;不加区分地重建系统,也可能破坏理解事件所需的证据。

受保护的恢复环境通常将备份管理与生产环境管理分离。控制措施可以包括使用独立账户、限制网络访问路径、实施不可变保留、采用多因素认证,以及要求破坏性操作经过审批。最小权限原则限制普通账户的权限范围,而相互独立的管理边界则降低了单个身份遭入侵后既能破坏生产数据、又能删除恢复副本的可能性。这些控制措施体现了纵深防御,而非依赖某一种备份产品或存储功能。

洁净室恢复环境为检查还原的数据和重建服务提供了隔离空间。系统可以使用经过验证的安装介质或可信镜像重新构建,而不是从已遭入侵的计算机镜像中整体还原。验证工作可以包括恶意软件扫描、配置比对、账户审查以及应用层完整性检查。这些措施中的任何一项都无法单独证明系统未受入侵;可信程度取决于有关入侵情况、所选恢复材料以及重建环境控制措施的证据。

凭据和密钥的恢复需要格外谨慎。还原旧的身份数据库可能会重新启用已停用的账户,或恢复攻击者已经掌握的密码。轮换密钥可能需要重新配置应用程序,并对受保护的材料重新加密或重新进行密钥封装。反过来,过早丢弃旧密钥可能导致历史备份无法读取。恢复流程必须兼顾访问权限的撤销,以及持续解密合法保留数据的需要。

恢复服务并不能消除数据泄露事件造成的后果。即使系统成功重建,已被窃取的信息仍处于泄露状态,而还原后的数据库中也可能仍然存在隐蔽的未授权修改。因此,网络攻击后的恢复不仅包括可用性评估,还包括保密性和完整性评估。NIST网络安全框架于2014年首次发布,并于2024年修订为2.0版;该框架将恢复视为更广泛的网络安全成果的一部分,而非防护、检测或响应的替代手段。

云服务与外部依赖

云端恢复改变了各方的责任分配,但并未免除恢复工作。在基础设施即服务模式下,提供商通常负责运营物理设施和底层基础设施,而客户仍需承担操作系统、应用程序、配置和数据恢复中的大量工作。托管平台和软件即服务将更多运维任务转交给提供商,但具体分工取决于服务内容和合同约定。

提供商的韧性与客户的可恢复性是两种不同的属性。一项服务可能具有很高的可用性,却只在很短的时间内保留客户已删除的数据;也可能将一次错误更新复制到所有冗余系统中。客户还可能需要应对账户被终止、租户配置错误、管理员访问权限丢失,或通过有效账户发起删除等情况,并从中恢复。因此,除了基础设施的可用性之外,数据导出能力、保留机制、还原粒度以及对历史版本的访问能力也同样重要。

跨区域恢复面临的实际限制不止于数据复制。备用区域需要具备兼容的服务、足够的配额、可用容量、证书、网络配置,以及可部署的应用程序制品。有些资源仅限特定区域使用,另一些则依赖全局管理服务。区域性故障还可能导致大量客户同时申请替代容量。在正常情况下技术上可以创建的容量,在大范围事故期间未必能立即获得。

灾难恢复即服务(DRaaS)将复制、备用资源、编排或托管式恢复启用等能力打包为服务。其覆盖范围各不相同:某项服务可能负责还原虚拟机,另一项则可能提供应用程序测试和运维支持。机器成功恢复,并不一定意味着身份系统、外部合作伙伴连接、应用程序验证或业务核对等工作也已完成。合同会规定恢复启用的授权权限、测试访问权限、容量承诺、数据处理方式,以及在恢复站点长期运行期间的责任等事项。

多云部署可以降低对单一提供商的依赖,但也会带来额外的工程要求。存储接口、托管数据库、网络策略和身份系统并不能自动互换。即使应用程序代码具有可移植性,也仍可能依赖特定提供商的事件服务或事务语义。数据传输时间和费用也会影响跨提供商恢复在实际运行中是否可行。因此,需要权衡独立性提升所带来的收益与维护、测试多个环境所增加的复杂性。

法律和合同约束可能限制恢复地点的选择。个人数据、受监管记录和机密信息可能受到有关司法管辖区、分包商、访问或保留期限的限制。因此,一个技术上运行正常的恢复站点,可能并不适合承载某些数据集。外部依赖也不局限于托管服务提供商,还包括支付网络、电信运营商、域名注册商和专业软件供应商。只要任何一项关键依赖仍不可用,恢复能力就会受到限制。

测试、度量与持续保障

恢复测试用于确定在既定条件下哪些措施确实有效。桌面演练考察决策、沟通、职责和各项假设,不一定需要迁移生产工作负载。组件测试验证较小范围的能力,例如恢复数据库或读取离线备份。集成演练恢复由多个相互关联的组件组成的服务,而全面故障切换演练则将实际业务转移到备用环境。这些方法回答的问题各不相同,不能将其提供的证据视为可以相互替代。

有意义的测试会事先明确故障场景和成功标准。在生产环境的身份认证和网络仍然可用时恢复一台服务器,并不能证明在这些依赖项丧失后仍可完成恢复。同样,恢复少量样本数据也不能证明全量恢复时的吞吐能力。测试记录通常包括数据量、可用带宽、软件版本、资源容量、人工干预、耗时,以及实际操作与文档所述流程之间的偏差。

验证不应止于基础设施的健康检查,还可以确认用户能否通过身份认证、历史记录是否可读、新交易能否完成、消息能否送达外部系统,以及财务或库存总额能否核对一致。恢复点测试将恢复后的状态与已知已提交的操作进行比较,从而揭示实际的数据损失,而不是根据复制设置加以推断。恢复时间的度量应涵盖约定起止点之间的完整时段;将宣布进入灾难恢复状态或验证所用的时间排除在外,可能让结果显得更好,却并未改善业务恢复能力。

故障注入和混沌工程可用于考察特定的故障行为,例如实例终止、网络延迟或某个站点不可用。它们作为证据的价值取决于注入故障的范围。如果演练只是停用应用服务器,却保留共享管理功能,就无法再现云管理平面丧失的情形。在生产环境中开展演练还需要明确的管控措施,因为测试本身可能造成服务中断、破坏状态,或暴露回滚流程中的薄弱环节。

随着系统变化,恢复计划会逐渐失效。新的身份认证流程、证书续期、数据库升级、应用依赖关系和网络策略,都可能使此前成功的流程不再适用。将恢复工作融入软件工程和变更管理,可使恢复要求成为系统演进的一部分。新上线的生产服务不会仅仅因为其虚拟机已列入资产清单,就必然得到恢复计划的覆盖;其数据、机密信息、外部连接和验证流程也必须纳入其中。

因此,恢复保障需要依靠多种证据:成功恢复的记录、实测恢复时间、经过核实的保留策略覆盖情况、最新的依赖关系图、受过培训的人员,以及根据演练结果采取的纠正措施。备份作业成功率或已复制机器数量等指标,仍然是有用的运维指标,但它们不能证明端到端的可恢复性。最有力的证据,是在与所声称能够应对的故障场景实质相近的条件下,实际展示成功恢复。