事件驱动架构是一种软件架构风格,其中的组件主要通过产生和响应事件来通信;事件是对某件事已经发生的记录。例如,事件可以表明某个订单已被接受、某条传感器测量数据已到达,或某个账户的地址已更改。生产者发布这些记录,感兴趣的消费者则对其进行处理;这一过程通常以异步方式进行,而且生产者无需知道有哪些消费者。
这种架构在分布式计算中十分重要,因为它允许独立运行的组件交换信息,而不要求所有参与方在同一时刻都处于可用状态。它支持系统集成、持续数据处理,以及需要对大量变化作出响应的系统。然而,其表面上的简单掩盖了若干重要的设计问题:事件的含义是什么,如何处理投递失败,提供哪些顺序保证,以及如何在各自独立更新的服务之间确保业务规则始终得到遵守。因此,事件驱动架构不仅涵盖通信机制,还包括围绕这些机制建立的契约、状态管理实践和运维管控措施。
事件、命令与架构边界
事件表示其产生方认定已经发生的事情。业务事件通常采用 OrderAccepted(订单已接受)或 PaymentAuthorized(支付已授权)等过去时名称,表达的是事实,而非指令。相比之下,命令用于请求执行某项操作:AuthorizePayment(授权支付)可能成功、失败或被拒绝。查询则用于请求信息,并不以改变业务状态为目的。这三者都可以通过消息基础设施传输,因此,仅仅采用异步传输并不能使一条消息成为事件。它们的区别在于职责与含义,而不在于编码方式或网络协议。
有用的事件应有明确的范围和足够精确的定义。OrderAccepted 可能意味着订单已通过验证并被持久化记录,而不意味着款项已结清或商品已预留。如果消费方推断出的保证超出了产生方实际提供的保证,那么即使每条消息都被正确投递,系统仍会出现语义错误。事件的粒度也各不相同。数据库行更新报告的是存储层面的变化;领域事件报告的则是业务中发生的事情。两者都不能自然地替代对方,因为一次业务操作可能更新多行数据,而某一行数据也可能因技术原因发生变化。
事件驱动通信通常能减少组件之间对彼此的直接了解。销售服务可以发布订单事件,而不必知道履约、分析或欺诈监控服务是否订阅了该事件。这通常被称为松耦合,但耦合只是减少了,并未消失。消费方仍然依赖事件的含义、标识符、模式、可用性和时序。产生方如果改变了“已接受”的定义,即使没有修改任何字段,也可能导致消费方出错。因此,组织层面的归属和契约管理,与传输层面的独立性同样重要。
这种架构的应用范围可以小到单个应用,也可以大到企业集成平台。在进程内部,回调或事件循环可以将通知分派给处理程序。跨进程时,事件则通过进程间通信、网络服务或持久化消息系统传递。应用可以在内部使用异步编程,同时仅对外暴露同步接口;反过来,事件驱动系统也可能在各个消费方内部使用阻塞操作。这些是彼此独立的设计维度。
事件也有其权威性边界。内部事件可以暴露对某个服务内部有用的实现细节,而集成事件则是面向其他系统、需要持续维护的契约。将每一项内部变化都发布到外部,往往会造成非预期的依赖。因此,一种常见的设计方式是,将内部发生的事情转换为经过有意筛选的集成事件。这样既能保持外部可观察事实的稳定,也能让产生方保有重组代码和存储结构的自由。
历史发展与消息传递基础
事件驱动架构并非由某一人发明,也没有公认的起始日期。其基础包括硬件中断、操作系统通知、图形用户界面回调和面向消息的中间件。这些机制有一个共同理念:处理过程可以由某个事件的发生来触发,而不必依赖一系列顺序固定的直接调用。不过,它们在持久性、通信范围和故障行为方面存在显著差异。例如,鼠标点击回调通常不具备业务集成事件所要求的持久化或重放保证。
企业消息传递技术使独立运行的应用程序之间能够切实开展异步通信。IBM 于 1993 年推出 MQSeries,为应用集成提供受管理的消息队列。Java 消息服务(JMS)API 于 1998 年首次发布,为 Java 环境中的消息传递确立了标准化的编程接口,涵盖基于队列和基于主题的通信。这类系统支持持久化消息、确认机制、事务和路由,使应用程序无需维持持续的同步交互即可交换待处理的工作。
发布—订阅模式成为架构中的核心构建模块。生产者向具名的主题发布消息,订阅者则独立声明自己感兴趣的主题。这样,同一个事件就可以被投递给多个独立的应用程序。这与工作队列不同:在工作队列中,同一工作组内的多个工作进程通常通过竞争来处理任务,使每项任务只由其中一个进程处理一次。现代平台往往同时支持这两种模式:多个订阅组接收相同的事件流,而每个组内的成员分担处理工作。
Apache Kafka由 LinkedIn 开发,并于 2011 年作为开源软件发布,推动了分区式日志保留模型在事件基础设施中的普及。Kafka 不会将每条已消费的消息都视为需要立即移除的内容,而是按照配置的策略保留记录,并允许消费者自行跟踪消费位置。RabbitMQ于 2007 年首次发布,代表了另一种广泛使用的消息传递技术路线,通过交换器将消息路由到队列。这些系统在应用场景上有所重叠,但在数据模型、路由能力和运行假设方面各有不同。
在 2010 年代,云计算、微服务和托管集成服务的发展拓展了事件驱动架构的应用。托管事件总线、队列和流处理服务减少了运行与维护传输基础设施所需的工作。无服务器计算也使事件成为短时运行函数的常见触发方式。不过,这种架构并不依赖云部署、微服务或某一特定产品。其本质特征是围绕已发布的事件来组织交互;底层机制既可以在本地运行,也可以自行托管或交由外部管理。
生产者、代理、消费者与交互模式
典型的分布式事件驱动系统包含生产者、传输层和消费者。生产者检测或促成事件发生,并将相关记录序列化。消息代理根据其具体实现,接收、存储、路由或转发这些记录。消费者将记录反序列化,然后执行操作、更新状态或产生后续事件。有些系统不设中央代理,而是直接发送通知,但这会将重试、订阅管理和缓冲等职责转移给相互通信的应用程序。
拓扑结构决定了谁会收到事件,以及工作如何分配。在扇出模式中,一次发布会送达多个独立订阅者,例如订单履约、客户通知和会计系统。在竞争消费者处理模式中,队列将不同消息分配给可相互替代的工作进程。在分区日志系统中,记录被分配到不同分区,通常以实体标识符作为键。消费者组协调这些分区的归属,使处理工作得以分散进行,同时保留各分区内部所提供的顺序保证。
交互结构也会影响控制流。在事件协同模式(choreography)中,各服务响应事件并发布后续事件,而没有某个组件明确指挥整个业务流程。订单服务发出 OrderAccepted,库存服务发出 StockReserved,配送服务则在前置条件满足后作出响应。在编排模式(orchestration)中,协调器维护工作流状态,通过命令或请求指挥参与者,并接收事件或回复作为进度依据。编排也可以是事件驱动的;集中协调并不意味着同步执行。
这些方式具有不同的故障模式。在事件协同模式下,由于流程逻辑分散在各个订阅和处理程序中,整体流程可能难以梳理。一个看似无害的新订阅者,可能带来额外负载或意料之外的反馈。编排模式让工作流状态和超时处理更加明确,但协调器会成为一个重要的依赖组件,其自身也必须具备故障恢复能力。许多系统使用事件协同模式进行广泛通知,而对具有截止期限、需要补偿操作或有严格完成标准的边界明确的流程,则采用编排模式。
同步接口往往与事件主干并存。面向用户的应用程序编程接口可以验证请求并立即返回订单标识符,而下游工作则异步进行。另一种方式是返回已受理状态,并提供一个资源,供调用方查询是否完成。代理的确认仅能证实其承诺的事项——可能只是已持久化接收——并不表示所有下游业务操作均已成功完成。区分接收、受理、处理和业务完成,可以避免应用程序将中间状态呈现为最终结果。
事件契约、模式与演进
事件契约兼顾结构与语义。事件信封通常包含事件标识符、事件类型、生产者或来源、发生时间、模式版本以及相关实体的标识符。其他元数据可能包括关联信息、租户身份或追踪上下文。载荷则描述所发生的事情本身。事件标识符用于区分不同的逻辑事件;实体标识符则用于将涉及同一业务对象的事件归为一组。混淆这两类标识符,可能导致去重或排序逻辑出错。
载荷通常使用 JSON、Apache Avro、Protocol Buffers 或其他序列化格式进行编码。模式定义了允许使用的字段及其类型,但语法有效并不意味着语义有效。如果不说明币种和单位约定,金额 100 就存在歧义。时间戳的解释方式需要有文档说明,标识符则需要稳定的命名空间。契约还应区分事件的实际发生时间与记录或发布时间,因为网络延迟和批量导入可能使这些时间相差很大。
两种常见的载荷策略在自主性、消息大小与数据时效性之间作出了不同取舍。通知事件携带标识符和最少量的变更信息;消费者在需要时向源系统获取详细信息。这种方式可以保持消息精简,但会引入运行时依赖,而且获取到的可能是后来的状态,而非事件发生时的状态。事件携带状态传输则在事件中包含足够的数据,让消费者能够维护满足自身需要的本地数据表示。这种方式减少了后续调用,却也增加了数据冗余、隐私暴露风险以及修正历史记录的难度。
演进必须考虑消费者升级时间不一致的情况。添加可选字段通常是兼容的,但前提是消费者能够容忍未知字段,且序列化规则允许这种变更。重命名字段、更改字段的单位、缩小字段的有效取值范围,或重新解释枚举值,即使不影响解析,也可能造成不兼容。模式注册中心可以存储各个版本,并按配置执行兼容性检查。这些检查很有价值,但无法判断业务含义是否发生了未被察觉的变化。
CloudEvents 的 1.0 版本于 2019 年发布,它定义了通用的事件信封和协议绑定,旨在改善不同服务与平台之间的互操作性。它标准化的是上下文属性,而不是完整的业务载荷或端到端交付保证。更广泛地说,稳定的契约需要明确的归属责任、示例、兼容性规则,以及有文档说明的事件类型引入和退役生命周期。仅靠版本号并不能保护消费者;当事件所表达的含义发生变化时,往往还需要设置新旧版本共存期,并明确语义边界。
交付保证、顺序与重复处理
交付保证描述的是特定通信边界上的保证,并不是整个业务系统自动具备的属性。至多一次交付允许消息丢失,但在所述模型下不会发生传输层面的重新交付。至少一次交付会在结果不确定时重试,从而减少丢失,但也允许出现重复。一种典型的不确定情况是:消费者已完成操作,却在确认消息之前崩溃。消息代理通常无法区分这种情况与操作完成前的崩溃,因此,如果不能接受消息丢失,就必须重新交付。
幂等性通过确保重复执行某项操作与只执行一次具有相同的相关效果,使重复执行变得安全。与增加余额相比,将已存储的收货地址设置为指定值,本身就更接近幂等操作。对于非幂等操作,消费者可以保存已处理事件的标识符,并拒绝重复事件。处理记录与状态变更必须协调进行,通常放在同一个数据库事务中;否则,两者之间发生的崩溃仍可能导致遗漏或重复。
“恰好一次”需要明确限定其适用范围。平台可以在自身的事务边界内,以原子方式提交消费位置和产出的记录。处理器也可以与兼容的输出端协调检查点。但这两者都不会自动确保外部支付请求或电子邮件投递恰好发生一次。端到端行为取决于所有参与环节的边界,包括远程服务和数据库。外部服务提供方的幂等键可以有所帮助,但其保留期限、作用范围和响应语义仍是交付保证的一部分。
顺序保证同样有其作用范围。分区式消息代理可以保留每个分区内的追加顺序,却不提供跨分区的全局顺序。通过键将同一账户的所有事件分配到同一个分区,可以支持账户内的顺序处理,但无法解决跨账户的关联问题。并发生产者、重试以及分区分配的变化,都可能使有关顺序的假设进一步复杂化。消费者可以使用实体版本号来检测缺漏或拒绝过时的更新。仅靠时间戳通常无法建立可靠的全序,因为不同时钟之间可能存在偏差,而且不同事件可能具有相同的时间戳。
故障处理需要结合次数有限的重试、延迟重试,以及对持续处理失败的记录进行隔离。格式错误或永久无效的事件不应无限期阻塞无关工作。死信队列或死信主题会保留处理失败的记录,以便调查和受控地重新处理,但将记录移出正常处理流程可能违背应用对顺序的预期。重试也会消耗处理能力,并可能加剧故障。因此,指数退避、随机化重试时间,以及针对暂时性错误和永久性错误的明确策略,不仅属于运维范畴,也是保障正确性的一部分。
状态一致性、事务与业务工作流
一个核心难题是双写问题:更新数据库和发布事件是两个独立的操作。如果数据库已提交,但事件发布失败,其他服务就无从得知这一变化。如果事件发布成功,但数据库事务回滚,消费者收到的事件就与生产者的实际状态不符。仅仅调整操作顺序并不能消除发生故障的时间窗口。分布式事务可以协调部分参与资源,但其在可用性、性能和支持范围方面的限制,往往使其不适合用于异构服务之间的协调。
事务性发件箱模式通过在同一个本地事务中写入业务变更和待发送的事件记录来解决这一问题。随后,由独立的转发程序发布发件箱中的记录。如果转发程序在发送完成后、记录完成状态前崩溃,事件仍可能被重复发布,因此消费者通常需要具备安全处理重复事件的能力。这一模式保证的是本地状态与发布意图之间的原子性,而不是神奇地让所有下游影响都具有原子性。
变更数据捕获提供了另一种提取已提交变更的方法,通常通过读取数据库的事务日志来实现。它可以在无须反复轮询数据表的情况下发布发件箱记录,也可以直接输出更底层的变更。两者的区别很重要:原始的表变更事件反映的是存储模型,可能使消费者与数据库模式的细节产生耦合;而经过专门设计的发件箱则可以承载稳定的业务事件。对于所选的数据库和捕获实现,必须了解其日志访问方式、事务边界、快照行为以及恢复位点。
在跨服务场景中,各自独立提交的变更通常会带来最终一致性。客户可能已经看到订单被接受,而独立的库存视图尚未反映该订单对应的库存预留。仅仅保证最终收敛,并不能确保业务不变量得到遵守。如果库存绝不能为负,就必须由能够强制执行这一规则的权威方来控制库存预留,而不能让多个数据过时的副本各自独立批准购买。即使服务之间采用异步协调,单个服务内部的ACID特性仍然很有价值。
Saga模式将较长的业务流程表示为一系列通过消息连接的本地事务,并在适当情况下通过补偿操作应对失败。释放已预留的库存可以补偿订单被放弃所造成的影响;撤销已扣款的支付,则可能需要执行一笔独立的财务操作,而不是恢复到先前的数据库快照。补偿操作本身也可能失败,需要重试。持久化的工作流状态会记录哪些步骤已经完成、哪些期限已经届满,以及哪些操作仍未解决。这使流程能够在故障后恢复,而不必假定所有外部影响都能像一个瞬时事务那样整体回滚。
事件溯源、投影与流计算
事件驱动架构不同于事件溯源。在事件溯源中,应用的权威状态由按顺序排列的领域事件历史来表示,而不只是由最近存储的值来表示。重建当前状态时,需要将这些事件依次应用于初始状态,通常还会借助快照来减少重建工作量。事件驱动服务则可以使用普通的关系数据库,并选择性地发布变更。反过来,采用事件溯源的组件也不必向其他服务公开其内部事件历史。
这种区别会影响数据保留和事件解释。用于系统集成的事件流可能只保留几天的记录,因为消费者只需要一个交付缓冲区。而事件溯源系统可能需要在相关记录的整个生命周期内保留其历史。随着软件演进,系统仍须能够解释这些事件定义。快照可以加快读取速度,但并不会自动取代作为权威依据的历史记录。纠正错误通常需要在后续记录一个纠正事件,而法律规定的删除要求则可能需要另行设计数据处理方案。
命令查询职责分离,简称 CQRS,将用于接受变更的模型与针对读取优化的模型分开。事件可以用来更新投影,例如订单状态视图、搜索索引或分析用的聚合数据。这样,各个投影就能根据自身的工作负载来组织信息。CQRS 并不要求采用事件溯源,而维护彼此独立的模型会引入同步延迟,并需要相应的重建流程。投影是一种派生表示,并不一定是接受新业务变更的权威依据。
流处理将事件处理从对单个事件作出反应,扩展为对事件序列进行持续计算。例如,统计每分钟的交易数量、将购买记录与客户属性关联,或根据传感器读数计算移动平均值。有状态的处理器会维护中间数据,并且必须在故障后恢复这些数据。复杂事件处理侧重于识别多次事件发生之间的模式或关系,例如连续多次访问失败之后,又从一个新地点成功登录。
在这些计算中,时间处理尤为重要。处理时间记录的是系统处理事件的时间;事件时间表示的是事件实际发生的时间。如果不妥善处理迟到的事件,时间窗口的计算结果就可能失真。水位线用于估计事件时间的推进程度,帮助确定何时可以最终确定窗口结果或清理窗口,而迟到数据的处理方式则另行定义。重放保留的事件可以重建投影,但前提是所需的输入和解释规则仍然可用。重放还必须与不可逆的副作用隔离:重建历史订单视图不应导致所有历史发货通知被再次发送。
可扩展性、可观测性与运行控制
异步传输可以缓冲生产者与消费者之间的速率差异,但缓冲并不能增加处理能力。如果事件以平均速率 到达,而消费者以速率 完成处理,那么在 的情况下持续运行,就会造成积压不断增长,除非限制接收量或丢弃数据。在稳定条件下,利特尔定律通过 ,将系统中的平均项目数 与到达速率及平均停留时间 联系起来。因此,队列深度反映的是延迟和积存的待处理工作,而不仅仅是一项基础设施统计指标。
扩展消费者通常需要增加工作进程或分区,但仍存在限制。对于同一实体,要求严格有序的事件序列可能必须串行处理。某个异常活跃的键可能使一个分区过载,而其他分区的利用率仍然不足。即使消息代理的吞吐量足够,下游数据库、网络连接以及外部服务配额也可能成为瓶颈。背压通过有界队列、拉取式消费、配额或降低接收速率等机制,将处理能力的限制向上游传递。缺少这些控制时,过载可能进一步演变为内存耗尽或重试风暴。
可观测性必须能够重建跨越多个异步边界的工作过程。有用的指标包括发布失败次数、消费者滞后量、事件年龄、重试次数、死信数量以及业务完成延迟。仅看消息代理上的滞后量可能产生误导:消费者可能迅速确认事件,却将实际工作推迟到其他环节处理。当追踪上下文跨越消息传递边界时,分布式追踪可以将相关操作关联起来;关联标识符则用于将属于同一业务流程的事件归为一组。因果标识符可以记录,是哪个先前的事件或命令直接触发了后续事件的发生。
测试必须覆盖持久化状态转换之间发生的故障,而不能只验证处理程序能否成功执行。重要的测试场景包括:数据库提交后、发送确认前发生崩溃,重复投递,乱序到达,依赖项不可用,载荷不兼容,以及事件延迟到达。契约测试验证生产者与消费者之间的约定;集成测试检验消息代理和数据库的实际行为。重放历史事件可以暴露兼容性问题,但测试环境必须阻止真实支付、通知以及其他外部副作用。当协调逻辑定义得足够精确时,还可以通过形式验证或模型检测来检查状态机的关键性质。
恢复规划需要区分传输层的持久性与应用的可恢复性。采用复制机制的消息代理可以承受某些机器故障,但无法防范所有配置错误、恶意删除或应用错误写入。数据备份、保留策略、恢复测试以及灾难恢复流程必须覆盖模式定义、消费者位置、处理状态和相关源数据。从任意一个较早的位置重启消费者,可能导致操作重复;从过于靠后的位置开始,则可能遗漏操作。因此,恢复位置也是系统业务正确性模型的一部分。
安全、治理与适用性
事件基础设施往往会成为敏感信息的共享分发层。为某个消费者发布的字段,可能因宽泛的主题权限或复制的事件流而向许多其他消费者开放。访问控制应区分事件的生产、消费、管理和重放权限。身份认证用于确认参与方的身份,而授权则决定其可以使用哪些事件类型或通道。通过传输层安全协议进行网络加密,可以保护传输中的数据,但无法阻止已获授权的订阅者滥用包含过多细节的载荷。
当事件被持久保存并复制时,数据最小化尤为重要。客户姓名、地址和标识符可能扩散到消息代理、日志、死信存储和派生视图中。加密和保留策略必须覆盖这些次级存储位置,而不能仅限于源数据库。对于长期保留的历史记录,一种设计方式是将需要长期保留的业务事实与个人详细信息分离,后者存放在治理更严格的存储中。这种分离会引入查询依赖,但可以减少不必要的信息传播。数据血缘有助于查明事件中的信息流向了何处,以及哪些派生系统可能需要更正。
事件也是输入验证的边界。一条语法有效的记录,可能包含不可能的取值、未经授权的租户标识符,或会触发意外高昂处理开销的数据。消费者不能仅凭数据来自内部网络就认定其可信。最小权限原则可以限制生产者和消费者遭入侵后造成的影响。资源配额、载荷大小限制、模式验证以及对订阅创建的管控,可以减少意外或恶意的放大效应。否则,故障组件反复发布事件,可能对下游服务造成类似拒绝服务攻击的影响。
治理包括明确事件的归属和责任方、维护事件定义,以及制定弃用流程和事件处置流程。治理还涉及决定哪些发生的事情值得成为共享契约。发布粒度过细,可能会形成一份记录实现细节的分布式档案,维护成本高昂;事件涵盖范围过广,则可能迫使每个消费者解读与自身无关的信息。团队通常会区分对外集成契约与内部消息传递,并明确兼容性、保留期限、可用性和支持方面的预期。
当多个消费者需要获知相同的事件、事件到达速率具有突发性、独立处理具有价值,或需要用连续事件流为业务运行系统和分析系统提供数据时,这种架构尤其有用。对于操作需要即时响应、且只涉及简单本地事务的小型应用,它可能不太适合。与一连串隐含时序假设的事件相比,同步调用可能更清楚地表达直接依赖关系。因此,混合设计十分常见:同步交互负责即时验证和数据获取,事件则用于分发已经发生的事实,并支持下游处理逻辑独立演进。如何划定合适的边界,取决于必须维持的不变量、可接受的延迟、故障处理方式,以及可用的运维资源。