消息代理是一种软件,负责接收应用程序发送的消息,并根据路由规则、订阅关系或队列分配,将消息提供给其他应用程序。它为消息传递提供中介,使发送方和接收方无需维持彼此之间的直接连接即可通信。根据设计的不同,消息代理还可以存储消息、确认消息已接收、转换协议、实施访问策略,以及协调跨多台服务器的消息投递。
消息代理在分布式计算中十分重要,因为相互通信的应用程序往往运行速度不同,可能各自独立发生故障,或需要独立演进。例如,在线零售商只需发布一次订单事件,就能让库存、订单履约和通知服务分别独立处理。消息代理将提交消息这一操作与该消息随后触发的工作分离开来。
这一术语涵盖多种相关架构,从传统的企业级队列管理器,到轻量级发布—订阅服务器,再到分布式事件日志平台。这些系统在数据保留、任务分配、顺序保持和故障恢复方面存在显著差异。因此,要理解消息代理,就必须区分消息传输与应用程序处理,也要分清系统宣称的投递保证,以及这些保证成立所需的确切故障条件。
架构角色与边界
代理位于提交消息的生产者与接收或获取消息的消费者之间。这些是应用程序所承担的角色,而不是固定的机器类型:支付服务可以先消费一条订单消息,随后再生产一条支付结果消息。单个代理进程可以支持多个生产者和消费者,而集群化的代理服务则可以将这些角色分布到多台服务器上。应用程序通常通过协议客户端或应用程序编程接口与该服务交互。
这一中间层带来了多种形式的解耦。位置解耦意味着生产者向逻辑目的地发送消息,而非面向某个特定的消费者进程。时间解耦意味着,只要目的地和存储策略支持,即使目标消费者断开连接,消息仍可保留,供其稍后获取。速率解耦允许生产者和消费者以不同的瞬时速率运行。这些特性都不是无条件成立的:临时订阅可能不支持离线投递,而存储空间有限,也意味着缓冲无法吸收无限期的过载。
代理属于面向消息的中间件这一更广泛的类别,但并非所有中间件都是代理。直接的远程过程调用通常会请求某个特定服务执行操作并返回结果。相比之下,经由代理的消息通信将消息交换明确作为一个架构步骤。不过,仍然可以利用回复目的地、关联标识符和超时机制,在代理之上实现请求—回复通信。这种安排改变了传输和缓冲的行为,却并未消除对回复的逻辑依赖。
其他基础设施组件与代理的功能有所重叠,但并不相同。负载均衡器为传入的连接或请求选择服务器;它通常不会持续、可靠地保存业务消息,直到应用程序确认接收。数据库提供持久化数据管理与查询功能,不过数据库表也可用于实现队列。企业服务总线可以将代理与数据转换、编排及服务治理功能整合在一起。分布式事件日志平台也可以充当代理,但其提供的保留和重放行为与传统的消费后删除消息的队列不同。
因此,这种架构的价值并不只是“异步通信”。代理确立了一条明确的归属与责任边界:生产者向中间层提交信息,中间层按照既定契约管理这些信息,消费者则在后续阶段接手责任。在这条边界上的何处进行确认,决定了故障发生后应由哪个组件恢复未完成的工作。
消息的表示与投递生命周期
一条消息通常包含载荷以及承载描述信息或控制信息的信封。载荷可以是订单文档、图像处理任务、传感器读数,也可以是指向存储在其他位置的较大对象的引用。信封字段可能包括目的地、消息标识符、时间戳、内容类型、优先级、过期时间、路由键和关联标识符。有些字段属于传输协议,另一些则是由应用程序定义的元数据。必须区分这些字段的含义:例如,消息代理分配的时间戳不一定是其所对应的业务事件实际发生的时间。
载荷可以是不加解析的字节数据,也可以是使用 JSON、XML 或二进制序列化格式编码的结构化文档。许多消息代理完全依据信封字段进行路由,从不检查载荷。另一些则支持基于内容的过滤或转换。将大型二进制对象存储在消息代理之外,可以降低复制和存储成本,但也会引入另一项依赖:只有被引用的对象仍然存在,且消费者有权获取该对象时,投递的引用才有用。
投递生命周期通常始于生产者将消息序列化并发送给消息代理。消息代理验证连接身份、检查发布权限、校验相关协议字段,并决定消息应发往何处。随后,它可能将消息放入内存、追加到存储中、进行复制,或因策略或容量限制而拒绝消息。向生产者返回的确认表明消息已达到某种明确定义的接受级别。这个级别可能是某台服务器已收到消息、消息已持久化存储在该服务器上,或消息已由复制组提交;这些代表不同的保障。
向消费者投递消息又引入了另一个确认边界。在推送模式下,消息代理通过已建立的连接发送消息,通常会限制尚未确认的投递数量。在拉取模式下,消费者主动请求或获取消息。有些系统使用显式确认,将已完成的工作从队列中移除;另一些系统则跟踪消费者在保留日志中的位置。某些队列服务使用可见性超时机制,暂时隐藏已被接收的消息;如果未能及时确认处理完成,该消息便可再次投递。
这些阶段之间发生的故障会带来重要的不确定性。消息代理可能已经存储了消息,但生产者在收到确认之前便失去连接。消费者也可能已经完成某项操作,却在发送确认之前崩溃。在这两种情况下,即使各个组件的行为都正确无误,恢复过程仍可能导致重复。因此,消息标识符、确认规则以及应用程序端的恢复逻辑,都是消息生命周期的组成部分,而非可有可无的附加功能。
队列、订阅与路由模型
最广为人知的两种消息传递模式是工作队列和发布—订阅模式。在工作队列中,多个消费者通常会竞争接收来自同一个逻辑目的地的消息,每条消息在同一时刻只分配给一个消费者。这种模式可用于分派生成发票、调整图像大小等任务。在发布—订阅模式中,多个相互独立的订阅各自都能收到同一份已发布信息的副本,或获得访问该信息的权限。因此,一个“账户已创建”事件可以同时送达审计应用程序和通知应用程序,而不会因为其中一个应用程序接收了事件,另一个就无法接收。
两者的区别在于逻辑上的投递方式,而不只是“队列”和“主题”这些名称。一个发布—订阅主题可以向多个持久队列传递消息,每个队列都有各自竞争接收消息的消费者。反过来,同一组中的消费者可以分担一个主题中的工作,而其他组仍可独立接收同一消息流。消息队列这一抽象表示待处理的工作;订阅这一抽象则表示对信息的关注。产品可以通过目的地、绑定和消费者组的组合,同时提供这两种抽象。
路由决定哪些目的地会收到发布的消息。精确匹配路由将提供的键与已配置的绑定进行比较。分层主题路由支持按层级片段进行模式匹配,例如允许订阅某栋建筑内的全部温度读数。基于消息头的路由会比较选定的消息信封属性,而基于内容的路由则会检查消息负载中的字段。扇出路由将每条发布的消息发送到所有已绑定的目的地,不应用路由键条件。表达能力更强的路由可以减少不需要的流量,但也会增加处理成本,并使投递行为与应用程序的数据结构相耦合。
一种重要的变体是保留式分区日志。在 Apache Kafka 等平台中,消费者从有序分区中读取记录,并自行跟踪读取进度。读取记录通常不会将其删除。记录保留由独立机制控制,通常依据时间、大小或基于键的压缩策略。因此,独立的消费者可以重新读取较早的记录,同时其他消费者继续处理当前流量。这与传统队列不同:传统队列会删除已确认的消息,因为已完成的工作不再需要保留在待处理状态。
消息代理的行为还取决于没有可用消费者时会如何处理消息。持久队列可能会积累消息,临时订阅可能会错过消息,而保留式日志则可能持续保存消息,直到保留策略将其移除。同样,没有匹配路由的已发布消息可能被丢弃、退回生产者,或发送到备用目的地。这些情况对系统运行具有重要意义:成功将消息发布到中介,并不能单凭这一点证明有任何应用程序订阅了该信息,或最终对其进行了处理。
投递保证、确认与事务
消息系统通常使用至多一次、至少一次和恰好一次等术语来描述投递语义。至多一次投递允许消息丢失,但不会通过重试主动重复投递。至少一次投递会在无法确定是否成功时重试,因此接受可能出现重复的情况。对于恰好一次的宣称,则需要格外谨慎,因为它可能指消息写入代理、消息投递、事务性的消费与生产,也可能指应用程序对外部产生的可见效果。在某个边界上成立的保证,并不会自动延伸到所有其他边界。
根本难点在于通信故障后产生的不确定性。假设消费者先发送一条支付指令,再确认其输入消息。如果它在这两个动作之间崩溃,代理便无法仅凭未收到确认来判断支付是否已经发生。重新投递可以防止任务丢失,却也可能导致支付指令被重复执行。颠倒顺序则会带来相反的风险:如果先确认消息,而消费者在执行操作前发生故障,任务就可能丢失。仅靠可靠传输无法消除这种应用层面的歧义。
幂等性是使重复执行变得安全的一种常见方法。如果重复执行某项操作与只执行一次具有相同的预期效果,该操作就是幂等的。将账户的通知偏好设置为指定值,天然比增加余额更接近这一性质。应用程序也可以记录一个固定不变的操作标识符,并拒绝重复尝试。对于以数据库为支撑的处理流程,在同一个数据库事务中写入该标识符并应用状态变更,可以防止崩溃将重复检测与其所保护的更新操作分离。
代理事务可以将某些消息操作组合为一个原子操作。消费者可以在一个事务中接收输入记录、发布输出记录,并提交输入处理位置。Kafka 支持这类事务操作,消费者也可以选择不读取尚未提交的事务记录。但这种保证不会自动涵盖任意外部数据库、电子邮件服务提供商或支付网络。协调这些系统可能需要分布式事务协议、针对具体应用的恢复流程,或者采用另一种设计来缩小原子性边界。
事务性发件箱模式解决的是一个相关问题:如何同时完成应用状态变更和事件发布。应用程序在一个本地数据库事务中,同时写入状态变更和一条发件箱记录。随后,中继程序会发布该发件箱记录,有时会借助变更数据捕获来完成。如果中继程序在发布之后、记录进度之前发生故障,仍然可能重复发布,因此消费者可能需要处理重复消息。这种模式的核心价值在于,防止已提交的状态变更悄无声息地缺失与之对应的可发布事件。
持久性与投递次数也属于不同的维度。一条消息即使至少投递了一次,仍可能在超出系统持久性假设范围的存储故障中丢失。反过来,一条已持久化存储的记录,也可能因为所有消费者都配置错误而始终得不到处理。因此,精确的保证需要明确确认机制、存储配置、故障假设、事务范围,以及仍需由应用程序承担的责任。
顺序、并发与背压
消息顺序有几种不同的含义。发布顺序指单个生产者提交消息的先后顺序。存储顺序指队列或分区为消息分配的次序。交付顺序指消费者接收消息的顺序,完成顺序则指消息处理结束的先后顺序。对于某条特定的消息流,系统可以保持前三种顺序,但并发运行的应用工作进程可能以不同的顺序完成任务。重试、优先级和重新投递还可能带来更多差异。
单个有序的消息目的地可以提供简单的消息序列,但也限制了系统独立协调多项工作的能力。分区将消息分散到多个序列中,通常通过对应用中的某个键进行哈希来实现。同一客户的记录可以放在同一个分区内,既保留有用的客户内顺序,又允许并发处理不同客户的记录。这种保证依赖于稳定的分区分配和恰当的生产者行为。在某些系统中,增加分区数量可能改变键与分区之间的映射,因此,要保证顺序,不能仅仅选定一个键就了事。
顺序与故障密切相关。如果消费者收到消息 A 和 B,先完成 B,然后在处理 A 时发生故障,那么重新投递 A 时,B 可能已经改变了应用状态。有些应用可以容忍这种情况;另一些则需要按键串行执行、进行版本检查,或使用能够拒绝无效状态转换的状态机。严格要求每条消息处理完毕后才能开始下一条,可以保持完成顺序,但会降低并发度,而且一条处理缓慢或格式错误的消息就可能阻塞后续工作。
当下游处理跟不上时,背压会限制新进入或正在处理的工作量。消息代理通过消费者信用额度、预取上限、生产者限流、连接级流量控制、配额或拒绝发布等方式实现背压。较大的预取窗口可以通过掩盖网络延迟来提高吞吐量,但也会向每个消费者分配更多尚未确认的工作。这可能增加内存消耗、造成分配不均,并延长消费者故障后的恢复时间。
队列的增长可以用基本的速率关系来描述。如果消息以平均速率 到达,而消费者以可持续的速率 完成处理,那么当 持续成立时,积压量就会以大约 的速率增长。在适当的稳态条件下,利特尔定律给出
其中, 是系统中的平均消息数量, 是消息在系统中的平均停留时间。如果每秒到达 5,000 条消息,平均停留时间为 2 秒,那么系统中平均就有 10,000 条消息。消息载荷大小、副本复制、索引和协议开销决定了相应的存储与内存成本。
因此,队列的作用是平滑突发流量,而不是创造处理能力。下游服务恢复后,消费者必须有足够的富余处理能力,才能在处理新到消息的同时消化积压工作。过期策略、准入控制和未完成工作量的限制,共同决定了过载时的结果是可控的拒绝、服务延迟,还是级联式资源耗尽。
持久化、复制与故障恢复
消息代理的持久化方式多种多样,从完全驻留内存的消息投递,到在多台机器上进行持久存储,不一而足。支持持久化的实现通常采用类似预写日志的顺序追加方式,因为将数据批量写入文件末尾,通常比反复修改磁盘上互不相关的位置更高效。队列索引、消费者位置、确认记录和路由元数据可能还需要额外的数据结构。有些消息代理在共享存储之上维护彼此独立的逻辑队列,另一些则直接围绕分区或流来组织存储。
标记为持久化的消息不一定能在所有故障中保留下来。消息能否保留,取决于其目标存储的持久性、生产者何时收到确认、数据是否已写入稳定存储,以及系统设计所能容忍的存储故障类型。操作系统的页缓存可以让一次写入变得可见,却不能保证数据在突然断电时仍然安全。复制可以防止因一台服务器丢失而导致的数据损失,但如果多个副本共用电源或存储设备,它们仍可能同时失效。
采用复制机制的消息代理通常会为队列或分区指定一个领导者,并将变更复制到跟随者。与领导者一收到变更就立即确认相比,等到指定的副本集合或法定数量的副本接受变更后再确认,可以提供更强的故障保护。一些消息代理在设计中使用分布式共识协议,包括Raft共识算法,以确保各副本对复制状态和领导者归属保持一致。另一些系统则使用针对其存储模型专门设计的复制协议。集群的控制元数据与消息数据不一定采用相同的复制机制。
网络分区会暴露可用性与一致性之间的权衡。如果两个彼此隔离的节点组,针对本应只有一个权威状态的队列,各自独立接受了相互冲突的更新,那么在恢复时,就必须协调双方的历史记录,或者丢弃一部分已接受的操作。要求法定数量节点达成一致的系统,则可以拒绝在少数派分区中执行操作。CAP定理为分析网络分区下的此类选择提供了框架,但这并不意味着消息代理的所有特性都能简化为永久选定两个标签。
恢复工作不仅仅是选出新的领导者。副本可能需要传输大量数据、重建索引、恢复消费者位置,并协调尚在途中的消息投递。消费者组再平衡可能会转移分区的归属,并导致最后一次已提交位置附近的消息被重复处理。恢复旧备份等管理操作,也可能重新引入先前已处理过的消息。因此,应用层去重必须考虑运维中的恢复流程,而不能只考虑普通的连接故障。
复制与数据备份应对的是不同风险。副本可能迅速同步意外删除或恶意管理操作造成的变更。备份提供了独立的恢复点,但恢复备份可能会丢失最近发布的消息,也可能使旧消息重新出现。因此,消息代理的恢复目标既包括基础设施的恢复,也包括如何处置那些可能已经产生业务效果的消息。
协议、标准与历史发展
消息代理由早期的进程间消息通信、事务处理和企业集成技术发展而来。IBM 于 1993 年推出 MQSeries,确立了一种具有广泛影响力的商业模式,以队列管理器、持久化消息以及异构系统之间的应用间通信为核心。该产品后来更名为 IBM MQ。这类系统使运行在不同操作系统和硬件平台上的程序能够交换业务消息,而无须双方应用程序始终保持可用。
Java 消息服务(Java Message Service,简称 JMS)于 1998 年首次形成规范,为消息通信制定了标准化的 Java 编程接口。它区分了面向队列和面向主题的通信方式,并定义了连接、会话、生产者和消费者等客户端概念。JMS 本身并不是网络传输协议:两个产品即使都提供 JMS 接口,也不代表它们能在协议层面互操作。此后,该规范以 Jakarta Messaging 的名称继续发展,成为 Jakarta 企业软件生态系统的一部分。
高级消息队列协议(AMQP)着眼于网络传输层面的通信。AMQP 1.0 于 2012 年成为 OASIS 标准,并于 2014 年成为 ISO/IEC 标准。它定义了连接、会话、链路、消息传输和结算等概念。RabbitMQ 广泛使用的 AMQP 0-9-1 则是另一种协议,采用交换器与队列模型。名称相同并不意味着 0-9-1 和 1.0 客户端可以不加区分地与任意消息代理端点通信;端点支持的协议版本至关重要。
MQTT 起源于 Andy Stanford-Clark 和 Arlen Nipper 在 1999 年开展的受限链路通信工作。它采用发布—订阅模型,使用层级式主题名称,协议开销相对较小。它的三个服务质量等级分别描述了在相关协议交互范围内,消息至多投递一次、至少投递一次和恰好投递一次的保证。QoS 2 握手机制能在其定义的范围内防止重复投递,但并不能保证所有下游应用操作产生的效果都恰好发生一次。持久会话和保留消息则分别满足其他不同的需求。
随着组织对高吞吐量事件分发和重放的需求增长,分布式日志系统拓展了消息代理的技术版图。Kafka 由 LinkedIn 开发,并于 2011 年开源。其分区日志模型将消费者位置和保留的历史记录置于接口的核心,而不是主要将消费完成视为删除单条消息的依据。这一模型与流处理形成了紧密联系,但流处理器和消息代理仍然是不同的组件。
这些技术之所以能够并存,是因为它们的设计侧重点各不相同。企业集成可能侧重事务性队列和协议桥接;设备消息通信可能侧重轻量级客户端和间歇性连接;事件平台则可能侧重数据保留、分区和相互独立的消费者。标准可以改善互操作性,但实际运行语义仍取决于协议版本、消息代理配置、客户端行为以及产品特有的扩展。
应用模式与数据集成
消息代理广泛用于事件驱动架构,在这种架构中,应用会对描述变更或请求的消息作出响应。ShipmentDispatched 这样的事件记录已经发生的事情;DispatchShipment 这样的命令则请求执行某项操作。两者都可以通过同一个消息代理传递,但各自意味着不同的职责。命令通常有指定的处理方,也可能被拒绝;事件则可以由多个应用独立观察,而不要求每个观察者都负责引发最初的变更。
在微服务系统中,这种分离可以减少服务之间的直接依赖。订单服务可以发布订单已提交的事件,而会计服务和仓储服务各自维护自己的视图。由此产生的状态传播通常是异步的,因此不同服务的状态可能暂时不一致。这是最终一致性的一种表现,并不一定意味着故障。不过,应用契约仍须明确规定处理延迟、重复或遭到拒绝时该如何应对,尤其是在后续操作依赖先前状态转换的情况下。
任务队列利用消息代理将工作单元分配给工作进程。典型任务包括文档转换、报表生成和媒体转码。任务描述可以直接包含输入数据,也可以指明外部存储中的对象。消息代理管理待处理和处理中的任务,而工作进程负责执行计算。长时间运行的任务还涉及租约续期、取消、进度报告,以及超时后的重复执行等问题;仅仅选择持久化队列并不能解决这些问题。
消息代理还可以将业务运行系统连接到分析流水线。数据库变更可以被捕获并以数据流的形式发布,供搜索索引、物化视图、欺诈检测系统或数据仓库使用。保留下来的日志使各个下游应用能够独立推进处理进度,并在保留范围允许的情况下,根据早期记录重建自身状态。然而,表示底层数据行更新的变更事件,其含义未必与经过专门设计的业务事件相同。因此,数据库模式的变更可能会以意料之外的方式影响下游消费者。
业务工作流有时会通过 Saga 协调多个服务。Saga 是一系列本地事务,并针对特定故障安排补偿操作。例如,预订流程可以通过消息完成库存预留、支付授权和配送安排。补偿并不等同于回滚一个独立的数据库事务:取消预订或发起退款都是新的业务操作,而且有些影响无法完全撤销。消息代理负责传递工作流信息,但它本身并不能保证业务流程的正确性。
消息代理还可支持设备遥测、缓存失效通知、通知推送以及请求—应答交互。不同应用有不同的优先考量。仪表盘上的即时读数可能几秒后就失去价值,而发票开具命令可能需要持久保留,并明确处理失败情况。如果将这些工作负载混在一起,却不为它们制定各自的策略,大量低价值流量就可能延误关键业务消息。
安全、治理与消息契约
消息代理承载着来自众多应用程序的信息,并决定谁可以接收这些信息,因此构成了一处集中的信任边界。安全防护首先要对客户端进行身份认证,并对发布、订阅、创建消息目的地、检查消息及更改策略等操作实施访问控制。权限通常限定在命名空间、队列、主题或路由模式的范围内。尤其需要关注匹配范围较广的订阅通配符,因为它们可能使订阅者接触到首次授予权限时尚不存在的新消息类别。
传输层安全协议保护客户端与消息代理之间的通信,也可用于保护消息代理之间的复制流量。双向 TLS 可以使用证书认证客户端。然而,传输加密在消息代理处终止,因此无法阻止获授权的代理软件或管理员访问代理中的明文消息。对载荷进行端到端加密可以减少这类暴露,但除非另行采取措施,否则无法对加密字段进行常规的基于内容的路由、校验或转换。
消息载荷也会形成软件攻击面。消费者可能处理来自已遭入侵的生产者或被错误信任的集成系统的消息。不安全的反序列化、过大的载荷、格式异常的压缩数据,以及开销高昂的解析操作,都可能使消息处理引发代码执行或资源耗尽。消息代理对消息大小、连接数、发布速率和消息目的地创建数量的限制,可以降低部分风险。消费者端仍然必须进行校验,因为封装格式在语法上有效,并不意味着载荷安全或有意义。
消息契约规定了消息在不同时期应如何解释。生产者与消费者需要就字段名称、数据类型、单位、必填值及语义达成一致。添加可选字段可能与旧版消费者兼容,而将标识符从字符串改为数字则可能不兼容。兼容性规则因序列化格式和模式策略而异。模式注册中心可以存储版本并执行选定的兼容性检查,但通常无法检测出语义变化,例如将某个金额字段的单位从“分”重新定义为“元”。
消息保留与重放使治理更加复杂。从主应用数据库中删除个人信息,并不一定会删除主题、重试队列、死信目的地、备份或下游物化视图中的副本。较长的保留期限还意味着,新版消费者软件可能会遇到按照旧契约写入的消息。因此,数据分类、保留控制和模式演进需要覆盖消息的整个生命周期,而不能只针对生产者当前的输出。
管理权限的隔离是另一条重要边界。应用程序通常只需要交换特定消息的权限,而不需要不受限制地访问集群配置或所有已存储载荷。审计记录可以区分发布、投递、策略变更和管理性检查,但仅凭投递记录,并不能证明某个人已收到通知,也不能证明应用程序已完成所请求的业务操作。
性能、可观测性与运行限制
消息代理的性能取决于工作负载的特征,而不能用单一的吞吐量指标来衡量。相关变量包括消息体大小、目标数量、订阅扇出、路由复杂度、持久化、复制、批处理、确认策略以及消费者的处理速度。将一条消息发布到一百个各自独立持久化的订阅,所需的工作量可能远大于将其发布到一个队列。同样,只采用内存投递且不要求确认的基准测试,也无法反映具有复制机制的持久化消息传递的开销。
批处理将网络和存储开销分摊到多条消息上。它可以大幅提高吞吐量,尤其是在结合数据压缩使用时,但等待凑齐一个批次会增加延迟。较大的批次还可能增加故障后需要重复执行的工作量。分区可以提高并行度,但性能仍会受到负载倾斜的制约:一个频繁使用的键可能使某个分区过载,而其他分区的负载却很轻。活跃分区的数量、消费者的分配方式以及存储设备,都会影响实际可发挥作用的并发度。
可观测性必须区分生产者端的消息是否已被接受,以及下游处理推进到了什么程度。重要指标包括发布速率、确认延迟、投递速率、消费确认速率、就绪消息数、未确认消息数、重新投递次数、存储使用量、副本健康状况以及消费者积压量。对于保留式日志,积压量通常表示为记录位置之差,但记录数量并不天然等同于时间延迟。十条体积大、处理缓慢的记录,影响可能比数千条小记录更大。最早一条待处理消息的等待时长,往往能更直接地反映工作延误情况。
故障常常表现为毒消息:某些输入会反复导致消费者处理失败。立即且无限制地重试可能耗尽处理能力,并阻碍后续工作推进。重试队列、定时重新投递、指数退避和死信目标可以将这类情况隔离开来。死信目标并不保证问题最终会得到解决;它本身也是一个存储,需要保留策略、访问控制、监控,以及明确的检查或重放流程。用未经修改且仍有缺陷的代码重放未经修改的消息,只会重现同样的故障。
连接风暴和重试放大也是潜在风险。服务中断后,数千个客户端可能同时重新连接并重新发布消息,给认证服务、连接处理和存储恢复带来压力。在客户端重试延迟中加入随机抖动,可以错开这些请求。生产者端的缓冲也需要设置上限,否则,消息代理不可用最终可能导致应用程序内存资源耗尽。消息代理的过载策略决定了客户端是被阻塞、收到明确的错误,还是经历更长的延迟。
因此,容量规划不仅要考虑正常状态下的吞吐量,还要涵盖故障期间的运行需求。采用复制机制的服务可能需要在重建丢失副本、消化已累积的积压消息的同时,继续处理实时流量。跨区域部署还会带来网络延迟、数据传输成本以及恢复方面的权衡。评估消息代理时,需要测量这些具体条件下的表现,并测试其各项保证的边界,包括客户端崩溃、网络中断、消费者处理缓慢、存储空间耗尽,以及从过时状态恢复等情况。