aiwiki.page
中文
计算机 / 软件与编程 / write-ahead-logging

预写日志

预写日志是一种恢复技术,在覆盖持久化数据之前,先将相应的变更记录持久化。

21 个关键词18 个词条链接到这里8 个尚未撰写AI 撰写
数据库管理系统数据库事务ACID特性B树IBM并行计算同步(计算机)操作系统预写日志

预写日志(WAL)是一种使持久化数据的变更在故障后能够恢复的技术。系统将修改后的数据写入其永久存储位置之前,会先将相应的日志记录持久化。如果执行意外中止,恢复软件就会利用这些记录重建所需的变更,并在必要时撤销未完成的变更。WAL 是许多数据库管理系统的基础技术,也用于存储引擎及其他需要维护可恢复状态的系统。

这项技术将数据库事务的持久性与该事务所修改的每个数据页的即时持久化分离开来。事务所需的日志记录一旦写入持久化存储,事务就可以提交,而修改后的数据页则可以暂时留在内存中。这种安排无须以原子方式更新所有数据文件,就能实现高效写入。它有助于实现ACID特性中的原子性和持久性,但其本身并不提供事务隔离、强制执行应用约束,也无法防范数据和日志的所有副本全部被毁的情况。

WAL 指的是一种顺序约束,而非某种通用的文件格式或恢复算法。不同系统的日志可能包含旧值、新值、物理层面的页面变更、逻辑操作或完整的页面映像。各系统在检查点机制、并发控制、复制机制以及对存储的假设方面也有所不同。这些选择决定了恢复过程如何进行,以及一次成功提交究竟能提供什么保证。

预写规则与提交持久性

WAL 的核心规则关注的是信息持久化的先后顺序,而不仅仅是软件发出写入请求的顺序。对于任何经过修改的数据页,在该页的更新版本持久化之前,恢复这次修改所需的日志信息必须已经持久化。仅将日志记录写入进程缓冲区是不够的:崩溃可能导致缓冲区中的内容丢失,而独立写入的数据页却得以保留。

许多实现使用单调递增的日志序列号(LSN)来标识日志中的位置。数据页通常会存储一个页面 LSN,用于标识该页所包含的、已记入日志的最近一次修改。如果 LdurableL_{\mathrm{durable}} 是已知已持久化的最大日志位置,而 LpageL_{\mathrm{page}} 是与正在写入的数据页关联的位置,那么这一顺序要求通常表示为

Ldurable≥Lpage.L_{\mathrm{durable}} \geq L_{\mathrm{page}}.

这种比较是一种实现模型,并不意味着每个 WAL 系统都必须对外提供数值形式的 LSN。其本质要求是:只要相应的覆盖写入得以保留,恢复信息就不能丢失。

第二项要求约束的是事务完成的持久性。在传统的同步提交实现中,只有当事务所需的日志记录(包括提交标记)都已写入持久化存储后,系统才会报告该事务已持久提交。此时,修改过的数据页不必刷写到持久化存储。发生崩溃后,日志会提供重建这些数据页已提交状态所需的信息。

以一笔转账为例:从一个账户扣除 100 个单位,再向另一个账户增加 100 个单位。事务提交时,两个修改过的数据页可能都仍留在内存中。如果日志包含足够的恢复信息,并且提交记录已经持久化,重启恢复就能重现这两项修改。反过来,如果一个尚未完成的事务已经修改了持久化的数据页,支持撤销的恢复设计就能撤回这些修改。WAL 提供了顺序上的基础保障;具体能够执行哪些操作,则由日志记录的内容和恢复算法决定。

崩溃可能发生在提交已经持久化、但客户端尚未收到确认消息之时。此时事务已经提交,只是客户端不知道结果。这种不确定性并不违反 WAL,而是源于记录决定与传达决定是两个独立的事件。因此,会重试操作的应用程序可能需要使用事务标识符、去重或其他机制,以避免同一项业务操作被执行两次。

因此,WAL 区分了三个经常被混淆的事件:修改内存中的数据页、将恢复记录持久化,以及将修改后的数据页持久化。正确的实现只要保持必要的依赖关系,就可以在这些事件之间灵活安排执行时机。

日志记录与变更的表示方式

预写日志(WAL)通常组织为一个以追加写入为主的序列,并且往往划分为可重复使用或归档的日志段。记录中可以标明事务、受影响的页面或对象、操作类型、记录长度,以及记录在序列中的位置。附加字段可以将属于同一事务的记录串联起来,或指明如何解读变长载荷。具体的布局是存储引擎内部恢复接口的一部分。

最根本的区别在于用于重做变更的信息与用于撤销变更的信息。重做信息描述如何重现一项可能尚未体现在持久化数据文件中的修改。撤销信息描述如何逆转一项不应保留的修改。前映像记录某些数据原先的内容,后映像则记录其新内容。日志可以包含其中一种、同时包含两种,也可以采用针对具体操作的编码,只要能够满足所需用途即可。

物理日志以存储位置来描述变更,例如替换页面内某个偏移位置处的字节。逻辑日志则在更高层次上描述操作,例如将某个特定的键插入索引。物理信息通常可以直接重放,而逻辑信息即使在具体物理位置发生变化后,也可能仍然有意义。不过,逻辑重放仍可能依赖于索引、对象标识、执行语义,以及恢复时遇到的状态。

一种广泛采用的折中方法是生理日志:记录指明一个物理页面,但以更具结构化的方式描述该页面内的操作。例如,一条记录可以指明 B树的某个叶页,并描述向某个槽位插入数据的操作,而不是包含用于替换的整个页面。这样既能明确指定目标页面,又能紧凑地表示操作。恢复方案可能对重做和撤销采用不同的表示方式,因为两者对正确性的要求不同。

日志还包含控制记录。这些记录可以标记事务提交或中止、设置检查点、记录存储结构的变化,或描述恢复操作。具有嵌套内部操作的系统,可能会将索引页分裂等结构性操作与触发它的用户级事务区分开来。否则,撤销一个事务就可能错误地破坏已被其他事务使用的结构。

记录的分帧机制必须能够容忍写入中断。长度字段、校验和、块头和序列信息有助于恢复过程区分完整记录与日志末尾不完整或无效的部分。校验和可以检测出多种数据损坏,但不能据此判定事务已经提交,也不能保证设备确实保存了写入的数据。有些引擎还会在日志中包含完整页面映像,以便恢复因部分写入而受损的页面。

编码的紧凑性很重要,因为每一项被记录的变更都会消耗带宽,并占用需要保留的存储空间。然而,只有在重放仍然明确无歧义且正确的前提下,更短的编码才有价值。因此,WAL 格式的设计需要在日志量、重放开销、兼容性、损坏检测,以及在引擎所支持的故障模型下进行恢复所需的信息之间取得平衡。

缓冲区管理与撤销、重做的必要性

通过缓冲区管理中两个相互独立的选择,可以更清楚地理解 WAL 与恢复之间的关系:一是是否允许将尚未提交的变更写入持久化数据文件,二是是否要求将已提交的变更立即写入这些文件。这两组选择通常称为 steal 与 no-steal,以及 force 与 no-force。

steal 策略允许缓冲区管理器将包含未提交变更的页面写入其持久化位置。当内存不足,或者某个事务修改的页面数量超出缓冲池容量时,可能就需要这样做。如果事务随后中止,存储引擎必须确保这些变更不会继续作为数据库有效状态的一部分。在原地更新架构中,这通常需要撤销信息,或能够定位先前有效版本的等效机制。

no-steal 策略禁止将未提交的修改写入其在数据库中的永久位置。由于这些位置不可能包含不允许写入的未提交更新,恢复工作的一个方面因而得到简化。不过,这一限制可能需要使用私有副本、额外的存储空间,或者对缓冲区替换施加更严格的约束。写时复制和版本化设计可以保留先前已提交的状态,而不必采用与原地更新的撤销日志完全相同的机制。

在 force 策略下,事务提交前,必须先将其修改过的数据页持久化。在 no-force 策略下,这些页面尚未写入其持久化位置,提交就可以完成。no-force 提高了灵活性,并且可以避免每次提交时都进行大量分散的数据写入,但也因此需要重做:崩溃后,已提交事务的修改可能只存在于日志中。WAL 通过保存重建这些修改所需的信息,确保这种安排的安全性。

因此,在传统的原地更新事务存储中,常用的 steal 与 no-force 组合同时需要撤销和重做能力。撤销用于处理已经写入数据文件的未提交修改;重做则用于处理尚未写入数据文件的已提交修改。这两类信息不一定都只保存在日志中。有些引擎维护独立的撤销结构,同时使用面向重做的 WAL,既保护普通数据页的变更,也保护这些撤销结构的变更。

这些策略以页面为单位,而不是以彼此明确分隔的事务级对象为单位。一个页面可能包含多个事务的变更,其中一些事务已经提交,另一些仍在执行。不能简单地把刷写该页面等同于提交其中的所有内容。恢复机制与并发控制规则必须区分其中涉及的各个事务。

这也解释了为什么仅用“数据库文件包含最新数据”不足以描述一个运行中的事务系统。持久化页面可能先于某些事务的提交或中止决定反映其修改,却又尚未反映另一些事务的修改。可恢复的数据库状态由这些页面、持久化的恢复信息以及事务状态规则共同决定,而不能仅根据数据文件来判断。

ARIES与重启恢复

ARIES恢复算法的名称源自 Algorithms for Recovery and Isolation Exploiting Semantics(利用语义的恢复与隔离算法),是一种具有重要影响的恢复方法,由IBM公司的 C. Mohan 及其同事提出。对该方法的主要论述于1992年发表于《ACM数据库系统汇刊》。ARIES为支持细粒度锁、部分回滚和灵活缓冲区管理的恢复机制提供了详细框架,其中包括窃取(steal)和非强制(no-force)策略。

其最广为人知的重启恢复流程包含三个阶段:分析、重做和撤销。分析阶段重建系统发生故障时的状态信息。它从适当的检查点开始,检查日志记录,以识别当时仍处于活动状态的事务以及可能需要重做的页面。由此生成的事务表和脏页表为后续工作提供依据。分析通常不需要读取数据库中的每个页面。

重做遵循“重复历史”的原则。ARIES并不是一开始就只重放最终已提交事务的操作,而是重建日志中已记录、但数据文件中可能尚未体现的操作,其中也包括随后将被撤销的事务所执行的操作。这会重新建立一种状态,使日志历史与页面内容能够得到一致的解释。必要时,重做也会重放先前已记入日志的恢复操作。

页面日志序列号(LSN)有助于防止同一变更被应用两次。在标准的面向页面的情形下,如果页面上记录的LSN不小于当前所考察日志记录的LSN,就说明该记录的效果已经体现在页面中,无须重复执行。脏页表还提供了进一步的判断依据,以避免不必要的页面读取。这些机制使恢复过程能够处理崩溃前在不同时刻刷写的数据页。

随后,撤销阶段会逆转那些不应作为已提交结果保留下来的事务所产生的影响。事务的日志记录可以通过反向链接串联起来,使恢复过程能够沿着某个事务的历史向前追溯,而不必反复扫描无关记录。关键在于,撤销操作本身也会通过补偿日志记录(CLR)写入日志。CLR描述撤销操作产生的、可供重做的效果,并包含用于指导剩余撤销工作的信息。

CLR使恢复过程能够应对恢复期间再次发生的崩溃。下次重启时,已经完成的补偿操作可以被重做,而沿日志链执行撤销时,则会避免再次逆转同一个原始操作。在常规的ARIES流程中,CLR本身不会被撤销。相比于将恢复视为一个假定能够不间断执行完毕的一次性脚本,这种处理方式更加严谨。

ARIES还支持逻辑撤销和内部结构操作。例如,即使页面分裂已经改变了索引的物理布局,某次索引插入操作仍可能需要被撤销。其恢复原则至今仍有重要影响,但WAL与ARIES并不是同义词:系统可以遵守预写顺序,同时采用不同的记录格式、事务模型或重启恢复流程。

检查点、日志保留与恢复时间

检查点确立一个可供恢复的参考点,并记录相关信息,以限定重启恢复时需要向前追溯的范围。它并不一定意味着所有脏页都已写回、所有事务都已结束,或此前的所有日志记录都可以丢弃。这些性质取决于检查点协议,以及日志的其他用途。

简单的检查点可以暂时限制系统活动,刷写相关页面,并记录一个明确的重启位置。这种做法简单直接,但可能造成较长时间的停顿。繁忙的数据库引擎通常使用模糊检查点,允许在收集检查点信息的同时继续执行事务和写入页面。检查点会保存足够的状态信息,或足以恢复状态的信息,使分析阶段能够重建当时的运行情况。

在采用 ARIES 风格的系统中,检查点记录可以包含事务表和脏页表。每个脏页条目都记录一个恢复 LSN:它保守地标示出该页可能需要重做的最早一条已记录变更。相关恢复 LSN 中的最小值有助于确定重做扫描必须从何处开始。因此,一个长期未写回的脏页,就可能使恢复起点停留在最新检查点记录之前的位置。

检查点频率涉及资源上的权衡。更积极地刷写页面可以缩短恢复时间,并缓解有限日志空间的压力,但会消耗输入/输出带宽,而且可能反复写入那些很快又被修改的页面。较为保守的刷写策略可以提高前台处理效率,却会增加崩溃后所需的恢复工作量。许多系统会将检查点写入分散到一段时间内完成,而不是集中在某一时刻大量写入。

一个粗略模型将恢复开销分为日志扫描和页面访问等部分:

Trecovery≈VscanBscan+Tpage access+Tundo,T_{\mathrm{recovery}} \approx \frac{V_{\mathrm{scan}}}{B_{\mathrm{scan}}} + T_{\mathrm{page\ access}} + T_{\mathrm{undo}},

其中,VscanV_{\mathrm{scan}} 是所检查的日志量,BscanB_{\mathrm{scan}} 是有效扫描吞吐量。这个表达式仅用于说明,而非预测:并行度、缓存、页面局部性以及各阶段之间的重叠,都可能显著改变实际耗时。

日志保留所涉及的范围不止于本地重启恢复。活动事务、备份、副本或变更数据消费者可能仍然需要某个旧日志段。系统不能仅因相关数据页已经刷写,就认定可以安全回收该日志段。对于系统支持的每一种消费者,只要其恢复或处理进度依赖该日志段,系统就必须将其纳入考量。

这一区别解释了为什么即使检查点运行看似正常,日志存储仍可能不断增长。停滞的副本或保留的逻辑解码位置,都可能使旧日志段继续保留,而与本地脏页无关。检查点是否完成、崩溃恢复的起始位置、归档是否可用,以及日志是否具备回收条件,是彼此相关但又各自独立的运行状态。

并发、组提交与写入性能

WAL 通常能将即时、分散的数据页写入替换为顺序或追加式的日志写入,从而提高性能。修改大量数据页的事务,只需写入相对紧凑的记录流,就能实现持久化。数据页则可以稍后再写入,写入顺序可根据缓冲区管理和存储效率的需要来安排。不过,这一优势并不意味着日志没有开销:日志带宽、同步操作和持久化写入延迟都可能成为主要瓶颈。

最简单的提交实现会为每个事务单独将日志刷入持久化存储。如果一次持久化刷写耗时为 tt 秒,且每次刷写只能完成一个事务,那么这条串行执行路径上的吞吐量上限近似为

R≤1t.R \leq \frac{1}{t}.

以 1 毫秒的刷写延迟为例,这条路径每秒大约允许完成 1,000 次这样的提交。这不是通用的硬件性能指标,而是用来说明:除了写入的日志字节数,刷写次数本身也会影响性能。

组提交允许多个事务共享一次持久化刷写。事务追加各自的记录,然后等待,直到已持久化的日志位置覆盖各自的提交位置。一次刷写就能满足所有这些等待者的需求,而不必将它们合并成一个原子事务。每个事务仍保留各自的提交决定和事务标识。

批处理能提高吞吐量,但也会影响延迟。刻意引入批处理等待时间,可以让每次刷写汇集更多事务,但在负载较低时会增加响应时间。在持续并发的情况下,自然重叠的提交请求可能无需显式延迟,就能形成较大的提交组。存储引擎使用日志写入线程、队列和通知机制来协调这项工作。

并发构建日志还涉及另一个区别:预留某个位置,并不等于已在该位置完成记录写入。多个线程可以分别预留区域,并独立填入内容,但刷写不能越过尚未填完的空缺,让后面的日志看起来已经有效。实现时必须跟踪记录的完成状态,遵循安全的发布规则,并确保已持久化的日志前缀包含可解析的记录。在并行计算负载下,共享计数器和日志缓冲区锁本身也可能引发争用。

日志开销还取决于写入放大。更新一个小字段,可能需要生成多条记录、维护索引、写入事务元数据,有时还需要记录完整页映像。反过来,对同一个内存页反复修改,可能产生许多条日志记录,但最终只需写入一次数据页。压缩和针对特定操作的编码可以减少日志量,代价是增加处理开销和恢复过程的复杂性。

WAL 的顺序约束不能替代线程同步。锁、闩锁或其他并发机制用于保护运行中的数据结构,并规定事务之间如何交互。日志则用于确保系统在发生故障后仍可恢复。系统既需要正确的内存协调,也需要正确的持久化顺序;仅满足其中任何一项,都不足以保证事务的正确性。

存储持久性与故障假设

正确的 WAL 算法依赖于能够切实执行持久化请求的存储栈。数据库进程与非易失性介质之间可能存在多个易失性层:数据库缓冲区、操作系统页缓存、控制器缓存以及设备写缓存。一次普通写入操作成功,可能仅表示数据已经到达其中某一层,并不一定意味着数据能在断电后保留下来。

在具备适当语义的系统上,数据库引擎使用 fsync、fdatasync 或平台特定的等效同步操作,请求完成持久化。直接输入/输出可以绕过部分缓冲,但不会自动解决持久化顺序问题,也不会消除设备上的易失性缓存。存储命令、屏障、强制单元访问机制以及掉电保护,都会影响实际提供的保障。

故障模型至关重要。进程崩溃可能不会破坏操作系统缓存,而操作系统崩溃或断电则可能导致这些缓存丢失。如果数据与日志处于同一故障域,设备故障可能将两者一并损毁。WAL 主要提供一种从执行中断和写入未完全传播的状态中恢复的方法,其前提是所需的持久化记录仍然可用且可信。

页面撕裂是一个尤为重要的情况。一个数据库页面可能跨越多个底层写入单元,故障可能导致页面中混杂着新旧内容。普通的字节变更重做记录可能假定页面的其余部分仍然有效,因此仅靠预写规则未必能够修复这种损坏。为此,数据库引擎会采用额外机制,包括全页镜像、双写缓冲、校验和,或足以满足其页面格式要求的存储保障。

全页镜像会在特定条件下,将页面的一份可恢复副本写入日志。双写方案先将页面持久化到辅助位置,再写入最终位置,从而能够在最终写入不完整时进行恢复。校验和有助于检测损坏,但仅仅检测出损坏并不能重建缺失的字节。所采用的机制必须同时适配所考虑的故障和可用的恢复信息。

崩溃后,日志本身的末尾也可能出现只写入了一部分的记录。恢复过程通常通过记录分帧和完整性检查,识别从日志起点开始连续有效的部分;但日志中部的任意损坏,与最后一次追加操作被中断,是性质不同的问题。硬件故障、软件缺陷和意外覆盖,都可能超出普通崩溃恢复所能提供的保障范围。

有些系统提供设置,允许在日志尚未持久化刷写之前就确认事务提交。这类设置可以降低延迟,但也可能使最近已获确认的事务在某些故障后丢失。引擎或许仍能维持可恢复的结构一致性,但此时的提交确认已不再具有同等的持久性承诺。因此,仅凭“使用 WAL”这一点,并不能确定一个系统完整的故障保障。

主流数据库系统的实现差异

PostgreSQL 以 WAL 为基础,实现崩溃恢复、物理复制和基于归档日志的恢复。其日志记录描述了重做所需的变更,包括对索引和事务状态信息的变更。启用整页写入后,检查点之后对某个页面的首次相关修改可能会使该页面的完整镜像写入日志,从而避免页面写入不完整妨碍恢复。

PostgreSQL 不采用 ARIES 式的全局撤销阶段,来回退崩溃时尚未完成的事务对普通元组所做的全部变更。它的多版本并发控制设计会存储元组版本信息,并根据事务状态判断可见性。未提交的元组版本可以在物理上继续存在,但不会作为已提交数据可见;后续维护会回收过时版本占用的存储空间。这说明,WAL 不一定要为每一次逻辑行变更都包含传统形式的撤销描述。

在 MySQL 中,InnoDB 存储引擎将重做日志与撤销日志区分开来。重做记录用于恢复对持久化页面的变更。撤销记录用于事务回滚,以及为一致性读重建旧版本。由于撤销信息本身也存储在受管理的页面中,对撤销结构的变更同样需要适当的崩溃保护。因此,这种划分是按功能作出的,并不意味着撤销数据处于恢复系统之外。

MySQL 的二进制日志又是一个独立组件。它以可用于复制和时间点恢复的形式记录数据库变更,但不能与 InnoDB 内部的重做日志互相替代。必须协调存储引擎的事务结果与二进制日志,以避免恢复决策不一致。同一数据库产品中存在多种日志,反映了它们服务于不同的使用方,并承担不同的正确性保障职责。

SQLite 于 2010 年发布的 3.7.0 版本中引入了 WAL 日志模式。该模式不会在每次事务执行时覆盖主数据库文件,而是将包含数据库页面内容的帧追加到单独的 WAL 文件中。提交边界标明哪些帧构成已提交的事务。读取方可以结合主数据库文件和相关的 WAL 内容,获取一致的快照。

SQLite 的检查点操作会将 WAL 中适当的已提交页面内容转移到主文件中。读取方可能仍然需要较旧的快照,因此读取活动可能限制检查点的推进和 WAL 的复用。SQLite 的 WAL 模式允许多个读取方与一个写入方并发工作,但同一时刻仍只允许一个写入方。其协调机制通常还依赖于同一主机上的进程可使用的共享内存设施。

这些实现都遵循预写原则,但在页面传播、版本可见性、回滚和日志使用方式上有所不同。因此,对于称为“WAL”的功能,应结合具体引擎的架构来理解,而不应认为它必然意味着采用 ARIES、某种特定的并发模型或完全相同的持久性配置。

复制、备份及相关日志技术

由于 WAL 记录描述的是可恢复的变更,因此也可以用来将状态传输到另一台机器。在物理数据库复制中,主库发送日志记录,备库则在兼容的数据库映像上重放这些记录。备库的已接收位置、已持久化位置和已重放位置可能各不相同。一条记录可能已通过网络到达,但尚未持久化;也可能已经持久化,但尚未体现在可供查询的数据页中。

同步复制为事务完成增加了确认条件。根据配置和具体实现,主库可能需要等待远端系统接收日志数据、将其刷写到持久化存储,或应用这些数据。这些是不同的保证。承诺某个事务已在备库上持久保存,并不一定意味着此时在该备库上执行查询就能看到它。

WAL 本身并不是分布式共识。本地日志为单个存储引擎内可恢复的操作确定顺序。共识协议则还要在明确的故障模型下协调参与者达成一致,其中包括领导者的确定规则和决策的提交规则。Raft共识算法等协议通常依赖持久化日志,但其共识性质来自复制、选举和提交规则,而不仅仅来自先追加记录、后更新数据这一做法。

归档的 WAL 可以与一份基础数据备份配合,实现时间点恢复。备份提供初始数据库映像,日志重放则依次应用后续记录的变更,将其推进到目标时间点。在数据库运行期间进行备份时,必须遵循存储引擎的备份协议,使备份中的数据页与所需的日志范围共同构成一个可恢复的集合。随意复制正在使用的文件,再保留任意一组日志段,并不能达到同样的效果。

日志持续可用至关重要。即使后续日志段完好无损,缺失一个日志段也可能导致恢复无法越过这一缺口。因此,保留策略必须考虑可用备份的时间、归档的连续性以及预期覆盖的恢复时间范围。WAL 归档是对备份的补充;它既不能免除对初始可恢复映像的需求,也不能免除对归档本身丢失风险的防护需求。

有几种相关技术需要与 WAL 区分开来。文件系统日志可以保护元数据操作,有时也保护文件数据,但通常并不了解更新多条逻辑记录的数据库事务。应用事件日志按照应用定义的语义记录领域事件,其中未必包含足以修复部分写入的存储页的信息。逻辑变更数据捕获为外部使用方提取已提交的变更,而不一定复现存储引擎内部的恢复操作。

写时复制和影子分页设计采用另一种方式:保留旧的有效结构,待更新就绪后再发布新的引用。日志结构化存储则围绕面向追加的结构来组织数据布局。这些方法可以与 WAL 并存,但面向追加的存储布局、事务性事件历史和预写式恢复顺序,是彼此独立的架构选择。