数据库事务是由 数据库管理系统视为单个工作单元的一系列操作。事务可以读取数据、修改数据,也可以同时进行这两类操作。事务以提交或中止结束:提交表示事务成功完成;中止则阻止尚未提交的更改成为数据库已提交状态的一部分。事务使应用程序能够表达转账、预留库存或记录订单等操作,而不必将每一次单独的读写都视为独立事件。
事务解决了共享数据处理中两个根本性的难题:故障可能使操作中途被打断,并发操作也可能相互干扰。事务提供的保障通常用 ACID 特性来描述,即原子性、一致性、隔离性和持久性;但其确切行为取决于数据库的隔离级别、恢复机制设计、配置以及事务范围。单个数据库内的事务不会自动涵盖向其他服务发送的消息,也不会自动涵盖对外部文件的修改。
事务处理将应用程序语义与并发控制、持久化存储及分布式计算联系起来。事务处理理论解释哪些操作组合是正确的;其实现则决定系统如何在支持大量用户同时使用的情况下保持这种正确性。
事务边界与执行语义
事务为属于同一逻辑动作的操作划定边界。在关系数据库中,这些操作通常由查询或更新表的 SQL结构化查询语言语句组成。其他数据库模型也可以为文档、键值对、图元素或多种记录的组合提供事务支持。事务边界独立于物理存储边界:修改两行数据可能需要更新多个数据页、索引项和日志记录。
以从账户 向账户 转账 100 个单位为例。预期的状态转换为
如果转账不收取手续费,且两个账户使用相同的计量单位,则应保持以下不变量:
如果将扣款和入账作为互不关联的操作执行,系统崩溃就可能导致仅其中一项操作完成。将两者放入同一事务,数据库便可以同时提交这两项更改,或中止整个操作。禁止余额为负等额外的应用规则,需要通过适当的校验和并发保护来落实;仅仅将语句归入同一事务,并不会定义这些规则。
显式事务通常以 BEGIN 或 START TRANSACTION 等语句开始,以 COMMIT 或 ROLLBACK 结束。具体语法因产品而异。在自动提交模式下,每条符合条件的语句通常都会作为独立事务执行。因此,即使应用程序从未显式启动事务,单条语句也可以具有事务性。反过来,包含多条语句的会话也不一定就是一个事务。
一种实用的抽象生命周期模型将事务区分为活动、已提交和已中止等状态,并在完成结果尚未确定时设置中间状态。事务即使已经执行完最后一条应用语句,仍可能在提交过程中失败。一旦数据库已将事务持久化提交,随后发生的连接故障就不会撤销这一决定,但可能导致客户端收不到确认。因此,应用程序所知的事务结果可能与数据库中的实际结果不同。
保存点在活动事务内部设立中间回滚位置。回滚到某个保存点,通常会丢弃该保存点之后所做的更改,而不会结束外层事务。释放保存点并不是一次独立的持久化提交:之后若回滚外层事务,仍会撤销此前保留下来的操作。真正的嵌套事务是一个更广泛的概念,其中子事务与父事务之间的关系有明确定义;普通的保存点语法并不意味着支持这种机制。
事务的作用范围也因操作而异。模式变更、序列值分配、临时对象以及与外部程序的交互,都可能遵循特殊规则。有些系统广泛支持以事务方式修改模式;另一些系统则会在执行特定命令前后隐式提交。因此,要正确理解事务行为,就必须区分产品所提供的逻辑事务与调用该事务、范围更广的业务操作。
ACID特性与应用不变量
ACID特性包括原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability)。这些特性描述的是事务行为的不同方面,而不是四项彼此独立的实现功能。恢复机制可以同时支持原子性和持久性,而并发控制机制则可能决定:哪些能够保持一致性的应用程序过程在并发执行时仍然安全。
原子性意味着数据库不会让事务的更改处于仅部分提交的状态。如果一个事务更新了 10,000 条记录,随后中止,那么这些数据库更改中的任何一部分都不能作为已提交的结果保留下来。这并不要求系统在物理上于同一瞬间完成所有写入。具体实现可以记录暂定更改、保留旧版本,或撤销已经写入的更改,同时在逻辑上呈现“要么全部完成,要么全部不做”的结果。
一致性关注数据库状态的有效性。主键唯一性、外键引用和检查条件等约束直接表达了一部分有效性规则。其他规则则存在于应用逻辑中:例如,转账过程必须扣除和增加相应的金额。按照传统的 ACID 定义,编写正确的事务在适当的隔离保障下执行时,会将数据库从一个有效状态转换为另一个有效状态。数据库无法推断未明确说明的业务规则,也无法修正更新了错误账户的应用程序。
约束的检查时机很重要。立即约束在相关语句的边界处检查,而可延迟约束则可以在事务完成时检查。延迟检查允许出现原本会被拒绝的中间状态,例如对相互依赖的记录进行协调修改,前提是在执行检查时满足所要求的条件。这并不意味着其他事务可以观察到所有中间状态。
隔离性控制并发执行所产生的影响。传统事务模型中最强的目标,是使并发执行的效果等价于按某种串行顺序执行这些事务,但许多系统也提供较弱的隔离级别,以减少阻塞或协调开销。仅有原子性并不能提供隔离性:两个事务即使各自提交了全部写入,仍可能因为依据彼此不相容的观测结果作出决策,而共同产生无效的结果。
持久性意味着,已提交的更改在系统承诺可应对的故障发生后仍然保留。其实际保障范围取决于涵盖哪些持久存储设备、副本和故障域。仅在日志写入本地持久存储后确认提交,与在完成同步复制后确认提交,两者的容错能力不同。如果配置允许在必要的日志刷盘完成之前确认事务,就是以牺牲一部分持久性来换取更低的延迟。
还必须区分 ACID 中的一致性与复制系统中的一致性。副本可能存在滞后,而主节点上的每个事务仍然在内部保持有效。同样,数据备份用于在发生普通崩溃恢复可能无法处理的数据丢失后恢复数据;存放在同一已损毁存储设备上的事务日志,并不是独立备份。因此,ACID 是理解各项保障的框架,并不意味着系统会自动处理所有可能的故障、应用程序错误或外部副作用。
隔离级别与并发异常
可串行化是并发事务的一项正确性准则。如果一次执行所产生的相关效果,等同于这些事务按某种顺序逐一执行的效果,那么这次执行就是可串行化的。实际执行过程中,各事务可以大量重叠。可串行化本身并不要求这一等价顺序遵循外部客户端观察到的实时顺序。
更强的性质是严格可串行化,它将可串行化与实时顺序结合起来:如果一个事务在另一个事务开始之前就已完成,那么在等价的串行执行中,前者必须排在后者之前。在比较事务保障与分布式系统中单个操作的线性一致性时,这一区别十分重要。数据库文档对这些术语的用法并不总是一致,因此,必须根据精确定义来理解各种具名保障。
较弱的隔离级别允许出现某些特定异常。脏读是指读到了另一个事务尚未提交的更改,而该事务之后可能中止。不可重复读是指事务再次读取同一数据项时,看到了另一个事务已提交的更改。幻读涉及满足某个谓词的行集合发生变化,例如,第二次查询发现了指定日期范围内新插入的预约记录。
SQL 的隔离级别体系传统上包括读未提交、读已提交、可重复读和可串行化。读已提交排除了脏读,但可能允许连续执行的语句观察到不同的已提交状态。可重复读提供了更强的保护,但各实现对谓词和并发更新的具体处理方式有所不同。产品实现的某个具名级别可能强于标准规定的最低要求,也可能支持一组不同的隔离级别。
快照隔离使事务能够一致地查看某个特定逻辑时点的已提交数据,并防止某些相互冲突的并发写入同时成功。它通常并不等同于可串行化。其典型局限是写偏斜:多个事务读取的信息存在重叠,却更新不同的记录。
假设一家医院要求两名医生中至少有一人留守值班。两个事务都读到两名医生均可值班。其中一个事务将第一名医生从值班表中移除,另一个则移除第二名。如果它们写入的是不同的行,那么在快照隔离下,两者都可能提交,导致无人值班。每个事务单独执行都符合要求,但二者结合却违反了规则。可串行化执行则必须通过阻塞、中止或其他方式,防止这种结果出现。
因此,隔离关注的是读取、写入、谓词与决策之间的关系,而不只是事务看到的值是否保持不变。在较弱的默认隔离级别下,显式加锁或精心设计的更新操作可以保护某个特定的不变量,但其正确性取决于是否覆盖了所有相关的执行路径。唯一性约束可以直接解决某些竞态问题,却无法表达所有跨记录的业务条件。
并发控制机制
并发控制决定哪些同时发生的操作可以继续执行,哪些必须等待或中止。它将隔离性的抽象保证与锁、时间戳、记录版本和依赖跟踪等具体机制联系起来。不同方法可以实现同一种隔离级别,而实际的数据库往往会结合使用多种方法。
两阶段锁定将锁的获取与释放划分为增长阶段和收缩阶段:在增长阶段,事务获取锁;在收缩阶段,事务释放锁,不再获取新锁。在适当的锁定模型下,这一规则可以保证冲突可串行化。共享锁通常允许相容的读取操作并行进行,而排他锁用于保护写入操作。严格两阶段锁定会将排他锁保留到事务结束;若实现将事务的所有锁都保留到事务结束,则采用的是更严格的锁保留规则。
当事务依赖某个谓词时,锁定所保护的范围不能仅限于已有的行。如果事务要确认不存在与某个时间区间重叠的预订,仅锁定当前找到的行,可能仍会让另一个事务有机会插入相冲突的预订。谓词锁或索引范围锁定技术可以解决这一问题。因此,数据库索引不仅会影响查询速度,也会影响并发保护的粒度和范围。
阻塞会引入死锁问题。如果事务 持有 所需的锁,而 又持有 所需的锁,那么两者都无法继续执行。系统可以检测等待图中的环,并中止其中一个事务,也可以根据事务的年龄或锁定顺序制定预防规则。超时提供了另一种脱困机制,但发生超时并不能证明存在死锁。
多版本并发控制(MVCC)会保留数据的多个逻辑版本。可见性规则决定读取操作能够看到哪个版本,通常会用到事务标识符或时间戳。这使读取操作可以不必等待写入操作,也使写入操作可以继续执行,而不阻塞普通的快照读取。MVCC 本身并不是一种隔离级别:根据附加规则的不同,它可以支持读已提交、快照隔离、可串行化执行或其他语义。
版本会占用存储空间,最终需要回收。长时间运行的事务可能使其快照所需的旧版本必须继续保留,即使较新的事务已不再需要这些版本,清理工作仍会被推迟。具体的物理实现各不相同:有的系统可能将旧行版本保留在表存储中,有的则将其保留在撤销结构中。用于保护内存结构的短期内部闩锁也不同于事务锁,两者的用途和存续时间都不一样。
乐观并发控制允许事务先试行执行操作,再在提交前进行验证。如果观测到的读写操作与并发活动发生冲突,系统就会中止事务并重试。可串行化快照隔离也采用类似思路,在使用多版本读取的同时,检测读写依赖中的危险模式。这类技术可以减少阻塞,但在竞争激烈时,反复中止会消耗处理能力。如何作出适当取舍,取决于事务持续时间、冲突频率、读写比例以及重复执行的成本。
日志、恢复与持久提交
当进程停止、机器重启,或写入以不利于恢复的顺序到达持久化存储时,事务恢复机制负责维持原子性和持久性。数据库页通常缓存在内存中,页的修改顺序不一定与存储写入的完成顺序一致。因此,恢复协议必须既能处理尚未完成的写入,也能处理从未提交的事务已经完成的写入。
预写日志要求先记录恢复信息,再允许将相应的已修改数据页写入持久化存储。在一种常见设计中,提交还要求事务的提交记录及其之前的日志记录先持久化,之后才能确认提交成功。数据库不必在提交时强制将每个已修改的数据页写入存储,因为恢复过程可以根据日志重建已提交的更改。
缓冲区管理的两种策略可以说明恢复机制为何有一些重要要求。在 steal(允许窃取) 策略下,包含未提交更新的页可以被写入存储,因此恢复时可能需要撤销该更新。在 no-force(不强制写回) 策略下,提交不要求将每个已修改的页刷入存储,因此恢复时可能需要重做已提交的更新。这些术语描述的是存储策略,而非隔离级别。
C. Mohan 及其同事于 1992 年发表的 ARIES 恢复方法,是针对这类条件设计的基于日志的恢复方法的一个重要代表。它的重启恢复流程包括分析、重做和撤销。分析阶段重建有关活跃事务和脏页的信息;重做阶段重演日志中记录的相关历史操作;撤销阶段回退未完成的事务。补偿日志记录用于记载撤销操作,使恢复过程本身即使再次中断,也仍能继续恢复。
检查点可以减少重启时必须检查的早期活动量。检查点不一定意味着所有事务都要暂停,也不一定要求立即写出所有脏页。模糊检查点可以在事务处理继续进行的同时,记录足够的恢复元数据。恢复的确切起点取决于日志和检查点的设计,而不只是最近一个检查点标记的时间。
日志的持久化还需要与操作系统、文件系统及存储硬件协调。写入被易失性缓存接收,并不等同于写入的数据在断电后仍能保留。刷写命令、顺序屏障和存储设备提供的保证,都是确保正确性所必须考虑的环节。有些系统采用影子分页或写时复制结构等替代性持久化技术,而不是完全依赖原地更新和撤销日志。
组提交允许多个事务共用一次日志刷写,从而摊薄持久化成本。这可以提高吞吐量,而不一定削弱持久性:共享的刷写操作完成后,即可向各事务确认提交成功。不过,客户端仍可能在提交已持久化、但确认消息尚未到达时断开连接。恢复过程能够确定数据库中的最终结果,却无法仅凭自身消除客户端所面临的这种不确定性。
跨节点与服务的事务
分布式事务涉及多个参与者,例如数据库分片或独立的资源管理器。其核心原子性问题在于,如何确保所有参与者就提交与否达成一致。如果某个参与者必须中止事务,那么即使另一个参与者已成功完成执行,也不能据此在该参与者上提交事务。网络延迟、机器故障和信息不完整,使这种协调比单个进程内的工作协调更加困难。
两阶段提交将决策过程分为准备和完成两个阶段。在第一阶段,协调者询问各参与者是否可以提交。投赞成票的参与者会将足以执行后续决定的信息持久化记录下来,并进入准备状态。如果所有必需的参与者都投赞成票,协调者便可作出提交决定并将其持久化;否则,就决定中止。第二阶段则负责传达这一决定。
已进入准备状态的参与者不能仅因超时就放弃履行承诺。协调者可能已经作出提交决定,并通知了其他参与者。因此,在无法获知决定时,经典的两阶段提交可能发生阻塞,参与者在结果未明期间仍须持有锁或其他资源。恢复协议和协调者复制可以提高可用性,但仍然必须确立一致的决定。
共识算法与原子提交解决的问题相互关联,却并不相同。共识算法使一组副本能够在发生特定故障的情况下就某个值达成一致;原子提交则协调各事务参与者所执行的工作是否成功。系统可以使用共识协议复制各分片的日志,同时仍采用独立的跨分片提交协议。复制事务数据并不自动等同于在独立管理的数据集之间实现原子提交。
分布式隔离性是另一项独立要求。即使所有分片都一起提交或中止,如果没有恰当协调读写操作及其顺序,整体执行也未必具有可串行化性。Google 于 2012 年介绍的 Spanner 将同步复制、分布式事务和 TrueTime 时间不确定性接口结合起来。它的外部一致性设计通过分配时间戳和提交等待,将事务顺序与真实时间关联起来,说明分布式原子性和顺序保证所需的机制远不止提交投票。
在跨微服务的场景中,单个数据库事务往往无法涵盖所有业务操作。支付服务商、物流系统和本地订单数据库可能提供不同的协议与可用性保证。Saga 模式将业务流程拆分为分别提交的多个步骤,并在后续步骤失败时执行补偿操作。补偿并非数据库回滚:取消发货或退款都是新的操作,而且未必能完全恢复先前的状态。
事务性发件箱通过在同一个本地事务中写入业务数据和待发送事件,解决范围更窄的协调问题。独立的发布程序将已提交的事件转发给消息代理。发生故障后,同一事件可能被多次转发,因此消费者通常需要进行重复检测或采用幂等处理。这一模式提供的是可靠的交接边界,而不是将所有下游影响都纳入原始事务。
应用程序行为、重试与外部影响
应用程序通过 SQL 命令、数据库驱动程序和应用程序编程接口与事务交互。这些接口提供了界定事务边界的手段,但应用程序仍须明确何谓成功完成。一项业务操作可能包括数据库读取、验证、计算和写入,而每个阶段都可能引入对并发活动的依赖。
一种常见错误是执行未经保护的“读取—修改—写入”序列。应用程序读取到余额为 500,计算出新余额 400,然后将 400 写入。在读取之后,另一个事务可能已经修改了余额,导致后续写入覆盖那次更改。UPDATE accounts SET balance = balance - 100 这样的表达式让数据库直接基于其更新的行执行修改,从而避免这种特定的覆盖模式。不过,验证余额是否充足,仍然需要适当的语句语义、锁机制或隔离机制。
条件更新可以将条件检查与状态变更结合起来。例如,更新操作可以仅在账户余额至少为 100 时扣款,并由应用程序检查受影响的行数是否恰好为一行。相应的入账操作必须放在同一个事务中,而且应用程序必须在提交前处理收款账户不存在或其他失败情况。数据库约束提供了进一步的保障,但无法取代所有应用层验证。
在许多正确运行的系统中,死锁、串行化失败以及乐观验证冲突都是预期内的结果。某个事务被选中中止,并不一定意味着软件存在缺陷;中止事务本身可能正是维持正确性的机制。仅重试最后一条失败的语句,并不总是等同于重试整个事务,因为先前的读取可能已经决定了后续操作。重试时可能需要使用新的数据库视图,重新执行整个逻辑工作单元。
当客户端无法判断先前的请求是否已提交时,幂等性就变得十分重要。将“转账 100”作为新事务再次执行,可能会产生第二笔转账。应用程序可以改为将该操作关联到一个固定的请求标识符,并在同一个事务边界内存储该标识符、业务更改以及适当的结果。这样,唯一性约束便有助于确保重复提交对应的是同一条已记录的操作。
外部影响需要单独处理。在提交前发送电子邮件或调用支付服务,即使事务随后中止,也可能已经产生影响。在提交后执行这些操作,则会留下一个故障窗口:数据库更改成功了,外部动作却没有发生。发件箱处理机制、持久化的工作流状态以及自身具备幂等性的服务操作,分别解决这一问题的不同方面;本地回滚无法撤回一封已经送达的电子邮件。
连接管理也会影响事务的正确性。如果将仍有活动事务的连接归还连接池,可能会使锁和快照继续存续,或让后续工作接触到非预期的会话状态。不同数据库的错误处理行为也有所不同:有些语句错误会使事务失效,直到执行回滚;另一些则允许继续执行。因此,事务处理代码必须区分语句失败、事务失败,以及已尝试提交但结果不确定这三种情况。
工作负载设计与性能权衡
事务性能不仅取决于查询执行速度,还受到资源争用、日志记录、协调开销以及受保护操作持续时间的影响。联机事务处理(OLTP)通常涉及大量短小的操作,每次操作只访问数据库中相对较小的一部分数据,例如记录购买行为、更改账户余额或维护订单状态。分析型工作负载则更常需要扫描大型数据集,并长时间持有快照。
事务大小会同时影响多项成本。将多次小规模写入合并为一个事务,可以降低提交开销,并摊薄日志刷盘成本。但这也可能延长持锁时间,增加为恢复而保留的日志量、内存用量,以及事务中止后损失的工作量。将大型作业拆分为多个批次可以限制这些成本,但也会改变语义:除非通过额外的发布机制加以隐藏,否则其他会话可能观察到仅完成部分批次的中间状态。
资源争用往往集中在少数位置,而非均匀分布。即使数据库包含数十亿条互不相关的记录,单条库存记录、类似序列的计数器或某个账户仍可能成为热点。增加处理器并不能免除对该数据项上的冲突更新进行排序的必要性。分区可以分散彼此独立的工作,但跨分区事务会引入协调开销,并可能将瓶颈转移到其他位置。
一个简单的排队关系有助于解释事务持续时间的影响。在稳定运行的条件下,利特尔定律给出:
其中, 是正在处理的事务的平均数量, 是吞吐量, 是事务在系统中停留的平均时间。当吞吐量为每秒 2,000 个事务、平均持续时间为 0.05 秒时,平均约有 100 个事务正在处理。仅凭这一关系无法预测锁的行为,但它说明了为什么更长的事务生命周期会增加争夺资源的事务数量。
长时间运行的读取事务在不同并发机制下会产生不同的影响。采用锁机制时,它们可能延迟写入事务,或者使可串行化查询需要更大范围的保护。采用 MVCC 时,它们可能不会直接阻塞写入事务,却会阻止旧版本被回收。因此,一个空闲会话如果一直保持事务未结束,即使几乎不消耗处理器时间,也可能对系统运行造成显著影响。
基准测试必须明确所测量的事务保证。当一种配置采用异步提交,另一种配置等待多个副本确认,而第三种配置不提供跨记录隔离时,它们的吞吐量数据无法直接比较。1992 年获批的 TPC-C 基准测试模拟了包含多种事务类型的订单录入工作负载;TPC-H 则面向决策支持查询,而非相同的 OLTP 模式。工作负载的组成和持久性规则都会影响测试结果的含义。
性能评估还应区分成功完成的业务事务与全部尝试。系统可能执行了大量操作,却在资源争用下中止了其中很大一部分。提交延迟、尾延迟、重试率、恢复时间,以及参与节点发生故障时的行为,都能揭示仅靠平均吞吐量无法反映的系统特性。
历史发展与理论基础
数据库事务源于银行业务、预订和库存管理等共享商业数据处理的需求。当多个用户能够并发更新持久化数据时,仅靠考察单个程序的顺序指令,已无法判断系统是否正确。系统需要明确的恢复单元,以及交错访问共享记录时应遵循的规则。
20 世纪 70 年代,关系数据库研究将这些问题纳入了系统性的框架。IBM公司的 System R 项目在研究实用的关系查询处理技术的同时,也研究了并发控制与恢复。1976 年,卡帕利·埃斯瓦兰、吉姆·格雷、雷蒙德·洛里和欧文·特雷格发表了《数据库系统中的一致性概念与谓词锁》,对事务执行、锁与数据库一致性之间的关系作出了具有深远影响的论述。
可串行化理论提供了一种分析交错执行历史的方法,无须依赖特定程序的指令清单。在冲突图中,事务构成顶点,存在冲突的操作之间形成有向边。对于标准的单版本冲突模型,一个执行历史具有冲突可串行化性质,当且仅当其冲突图无环。这既提供了一种概念上的检验方法,也为证明某种调度方法能够维持预期执行顺序提供了依据。
吉姆·格雷在 20 世纪 70 年代末至 80 年代初的工作,推动事务处理确立为一个独立的研究领域。特奥·赫尔德和安德烈亚斯·罗伊特在 1983 年的论文《面向事务的数据库恢复原理》中提出了 ACID 这一缩写。这套术语将应用层面的要求与满足这些要求所需的恢复和并发机制联系起来。格雷因在数据库与事务处理的研究和实现方面作出的奠基性贡献,获得了 1998 年的 图灵奖。
后续发展揭示出,将隔离性简单视为由若干名称构成的等级阶梯存在局限。哈尔·贝伦森及其同事在 1995 年发表的论文《对 ANSI SQL 隔离级别的评析》中,分析了基于异常现象的定义所存在的歧义和缺漏,并描述了快照隔离。关于多版本串行化理论和依赖关系分析的研究,进一步区分了提供稳定快照的实现与确保事务可串行化的实现。
互联网服务和 NoSQL数据库的发展,使事务的作用范围更加多样化。一些系统侧重于对单条记录进行原子更新,另一些系统则支持多记录事务或分布式事务。NewSQL 系统力求在实现分布式扩展的同时,提供关系数据库的事务保障。这些类别并不能决定某个产品的确切保障:事务行为仍取决于实际提供的操作、配置和隔离语义。
事务研究也与形式验证有所交叉。研究人员对执行历史、故障状态、复制协议和恢复过程进行建模,以确立仅靠测试无法普遍证明的性质。安全性与活性之间仍有重要区别:前者例如绝不提交不一致的结果,后者例如即使发生故障也最终能够完成操作。协议可以通过无限期等待来维持安全性,因此,可用性和进展性是与已提交结果的正确性相互独立的问题。