**变更数据捕获(Change Data Capture,CDC)**是一组用于识别和记录数据库中数据变化,并将这些变化提供给其他系统的技术。它通常捕获插入、更新和删除操作,使下游应用能够以增量方式处理变化,而不必反复读取整个数据集。CDC 广泛用于数据集成、数据库复制、分析和事件驱动应用。它描述的是一种能力,而非单一的协议或实现:不同系统可以通过事务日志、数据库触发器、查询,或数据库提供的变更订阅接口来捕获变化。
目的与基本模型
业务数据库存储应用的当前状态,但其他系统往往需要数据副本、衍生表示,或有关数据变化的通知。数据仓库可能需要更新后的销售记录,搜索引擎可能需要刷新已建立索引的文档,应用缓存则可能需要使过时的缓存项失效。
全量抽取会在每次运行时读取所有相关数据。相比之下,CDC 会识别自上次记录的位置或观测时点以来发生的变化。这可以减少重复扫描和数据传输,尤其是在变化部分占整个数据集的比例较小时。其收益取决于工作负载:影响大多数行的批量更新仍可能产生庞大的变更流。
典型的 CDC 流水线具有四项功能:
- **捕获:**检测源端的变化。
- **表示:**将变化编码为记录或事件。
- **传输:**直接或通过中间服务将这些记录交付给消费者。
- **应用:**更新目标端,或执行下游计算。
这些功能可以集成在同一产品中,也可以分布在多个组件中。CDC 并不必然意味着持续流式传输。变更可以低延迟交付,也可以按小批次交付,或通过定期执行的查询获取。
捕获技术
基于事务日志的捕获
许多数据库系统维护日志,以支持恢复和复制。基于日志的 CDC 读取这些记录,或数据库所支持的逻辑表示,从而无须反复扫描应用表即可获取变更。这类日志通常与预写日志有关,但其格式和对外提供的接口各不相同。
物理日志记录描述底层存储的变化。逻辑解码或类似机制则将相关记录转换为对表和行的操作。根据数据库及其配置的不同,输出可能包括行标识符、发生变化的值、事务边界和提交位置。
CDC 读取程序必须区分已提交的操作与属于已中止或尚未完成的数据库事务的变更。具体实现可以将记录缓冲至提交时再输出,也可以发出事务标记供下游解释,或采用其他数据库特有的机制。旨在表示已提交状态的可靠数据流,不得将已回滚的变更作为持久更新对外提供。
与反复扫描表相比,基于日志的捕获通常带来的查询开销更小,但它并非没有成本。它可能需要额外的日志记录、复制权限、日志保留所需的存储空间,以及解码或缓冲大型事务所需的资源。可用的行映像和支持的操作取决于数据库设置。
基于触发器的捕获
每当应用修改受监控的表时,数据库触发器都可以向变更表写入一条记录。如果触发器在执行修改的事务内运行,变更记录就可以随原始操作一同提交或回滚。
触发器能够捕获自定义信息,也能在缺乏合适日志接口的环境中使用。其主要缺点是增加写入路径上的工作量、带来额外的存储和维护开销,并且需要随着表的演变管理触发器定义。批量加载机制、被禁用的触发器,或超出触发器配置范围的操作,都可能导致捕获遗漏。
基于查询的捕获
基于查询的 CDC 定期检查源表,以查找发生变化的迹象。常见方法是使用修改时间戳、单调递增的版本号,或数据库维护的变更跟踪值。
这种方法相对简单,但其正确性取决于所选标记的具体含义。如果时间戳在事务提交之前赋值,而后续轮询边界又越过了尚不可见的事务,就可能漏掉记录。时间戳精度、时钟行为,以及多行共享同一标记的情况,也都需要注意。
除非存在独立的删除记录、软删除标记或数据库支持的跟踪机制,否则对当前行进行普通轮询无法检测物理删除。通常,它也无法还原两次轮询之间发生的中间更新。
快照比较与原生变更订阅接口
另一种方法是使用键、行值或哈希值比较相继生成的快照。它能够识别所观测状态之间的差异,却无法识别每一次中间操作。在两次快照之间插入后又被删除的行,可能不会留下任何痕迹。
一些数据库提供原生变更表、变更流或变更订阅接口。这些功能可以简化访问,但它们提供的保证各不相同。订阅输出可能包含每一次受支持的行级操作,也可能仅包含每个发生变化的键的最新状态,或仅提供在有限保留期内可用的部分历史。
变更事件的表示
变更记录通常包含:
更新记录可以包含完整的行映像、仅包含被修改的字段,也可以同时包含“修改前”和“修改后”的值。这些格式不能互换使用。对于部分更新,消费者必须正确解释缺失字段的含义;字段缺失并不一定表示其值为 null。
删除记录往往只包含键,但某些配置也会提供先前的列值。在某些消息系统中,一条独立的*墓碑(tombstone)*记录会请求从压缩存储中移除某个键。墓碑是一种传输或存储约定,并非数据库删除操作的通用同义词。
源时间戳同样需要加以解释。它们可能表示事务开始、提交、捕获或发布的时间。对于从特定日志流中恢复读取而言,源位置通常比普通的挂钟时间戳更合适。
初始快照与持续捕获
新建的目标端通常既需要现有数据集,也需要未来发生的变更。因此,CDC 流水线通常会将初始快照与持续变更捕获结合使用。
难点在于如何在快照与数据流之间建立一致的边界。如果先读取表,再启动捕获,就可能遗漏读取期间发生的变化。如果先启动捕获,却不与快照协调,则可能产生重复记录,或以与快照行不相符的先后关系应用变更。
具体实现通过以下机制解决这些问题:
- 获取与已知日志位置相关联、具有事务一致性的快照。
- 在读取快照期间保留并缓冲变更。
- 将增量快照分块与已记录的数据流边界进行协调。
所需的保证取决于一致性要求的范围:单行、整张表,还是多个相关表。对每张表分别有效的快照,未必能在所有表之间反映同一个一致的数据库状态。
增量快照可以减少对长时间运行的数据库快照的需求,但会引入协调已扫描行与并发变更的工作。长时间运行的快照或保留的日志,也可能消耗大量源端资源。
交付与一致性保证
CDC 流水线属于分布式计算系统:源数据库、捕获进程、传输服务和目标端都可能独立发生故障。因此,正确性不仅取决于能否检测到变化。
顺序与事务边界
源日志可能在单个数据库或日志分区内提供有序序列。但这并不意味着相互独立的数据库、分片或传输分区之间存在全局顺序。
按键保序可能足以维护每条记录的最新值。其他应用则需要事务级一致性。如果源事务修改了多行,而这些事件被分别应用,目标端就可能暂时呈现出一种从未在源端作为已提交状态存在过的状态。
要在目标端保留源端的 ACID特性,需要适当的事务元数据和目标端应用逻辑;仅有一串行事件并不会自动提供这些保证。
重复与重放
许多流水线采用至少一次交付:故障发生后,宁可再次交付部分记录,也不冒丢失记录的风险。消费者可以通过具备幂等性的操作、去重或源位置检查来处理这种情况。
例如,将账户余额设为某个绝对值可以是幂等操作,而将余额增加某个金额则不是。即使是幂等赋值,如果旧事件覆盖了较新的值,也会产生错误结果,因此重放处理还需要适当的顺序保证或版本检查。
要实现端到端恰好一次的效果,就必须协调事件消费、目标状态修改和进度记录。中间传输服务提供的保证,并不会自动涵盖任意外部副作用。
检查点与恢复
检查点记录可用于恢复处理的位置。如果在目标端的变更持久化之前记录进度,可能导致数据丢失;如果在变更持久化之后才记录进度,却没有原子性协调,则可能在崩溃后产生重复。
恢复还取决于源端的保留策略。如果源端在停滞的消费者读取日志记录之前就将其删除,那么可能无法再从上一个检查点恢复。此时可能需要重新初始化,或执行其他恢复流程。
异步 CDC 通常会使源端与目标端之间存在一个逐步达到最终一致性的时间窗口。低延迟并不意味着源端的每次提交都会立即在所有位置可见。
应用与相关概念
CDC 在数据工程中广泛用于向数据仓库、数据湖及其他分析存储提供数据。它可以支持增量抽取和加载,同时将转换工作留给下游系统。在流处理中,变更事件可作为输入,用于持续维护聚合结果、连接结果和告警。
其他应用包括维护搜索索引、刷新物化视图、在服务之间传播选定的变更,以及支持数据库迁移。迁移期间,先进行初始复制,再使用 CDC,可以在协调切换之前让新系统保持接近源端的状态。
CDC 与复制有所重叠,但并不相同。复制旨在维护数据副本,而 CDC 用于识别并对外提供变更。复制可以使用 CDC 作为输入,而 CDC 流也可以用于驱动转换或通知,并不一定要重现源端数据。
CDC 也不同于事件溯源。在事件溯源中,事件序列是推导应用状态的权威记录。CDC 通常观察的是本身已经作为权威数据源的数据库中发生的变化。一次行更新可能表明订单状态发生了变化,却未必揭示完整的业务意图、命令或因果上下文。
事务性发件箱模式将数据库变更与应用层消息传递联系起来。应用在同一事务中写入业务数据和发件箱记录,随后由 CDC 发布已提交的发件箱记录。这避免了向数据库和消息系统进行缺乏协调的双重写入,但下游交付仍然需要自身的重复处理与恢复语义。
运维限制与安全
模式演变与不支持的操作
模式变更可能改变现有数据流的解释方式。添加列、重命名列、更改数据类型、修改键和删除表,都可能要求对事件模式和消费者进行协调调整。对于数据定义操作、表截断、大对象和特殊数据类型的支持,因实现而异。
没有稳定键的表更难以可靠同步。如果没有额外的身份标识信息,目标端可能无法确定更新或删除操作所针对的行。
负载、延迟与保留
流水线的可持续吞吐量必须能够应对变更总量和突发流量。大型事务可能需要大量缓冲,才能被输出或应用。缓慢的消费者会造成积压,可能增加传输层的存储需求,或迫使源端保留日志。
常见运维指标包括源端到捕获端的延迟、端到端应用延迟、积压量、保留日志量、错误率,以及距最近检查点的时长。这些指标衡量的是流水线的不同部分;捕获进程响应及时,并不能证明目标端已经更新到最新状态。
隐私、访问与可审计性
CDC 可能将敏感信息移出源数据库原有的安全边界。旧行映像可能保留源端已经修改或删除的值。因此,目标端的删除、保留和数据隐私义务需要单独处理。
安全措施包括实施严格的访问控制、使用加密、过滤字段,以及制定适当的保留策略。运维层面的血缘元数据可以完善数据血缘,并辅助故障排查。
CDC 流并不天然构成完整的审计轨迹或数据备份。它可能不包含更早的历史、不受支持的操作、操作主体的身份、读取数据的查询,或解释某项业务行为所需的上下文。它是否适合用于重建或审计,取决于明确保留了哪些信息,以及捕获覆盖范围是否经过验证。