熔断器模式是一种软件架构模式,用于监测对某项操作或依赖的调用,并在故障超过配置阈值时暂时停止转发调用。在熔断器断开期间,调用会快速失败,或执行明确定义的回退逻辑,而不是反复调用出现故障的依赖。等待一段时间后,熔断器通常会放行有限次数的试探调用,以判断能否恢复正常运行。这一模式广泛用于分布式计算系统,因为在这类系统中,故障和过长的延迟可能跨越服务边界传播。
目的与运行环境
远程调用可能因网络中断、过载、基础设施不可用或接收请求的服务出错而失败。其中,依赖响应缓慢是一种破坏性尤其强的故障:调用方可能持续等待,同时占用连接、内存、执行槽位或其他有限资源。如果这些资源耗尽,原本运行正常的调用方也可能无法为自己的客户端提供服务。
在由微服务组成的系统中,这种影响可能沿依赖链扩散。反复尝试还可能进一步加重已经不堪重负的依赖的压力。当近期调用结果表明继续尝试也很难成功时,熔断器会停止放行调用,从而打断这一反馈循环。
典型的受保护操作包括向外部应用程序编程接口发送请求、调用其他服务,以及执行某些数据库操作。熔断器通常应设置在能够观察和分类故障的边界处,而不是随意包裹内部代码。
电路类比解释了这些术语的由来:电路闭合时允许电流通过,断开时则阻断电流。不过,软件熔断器通常根据观察到的调用结果而非电流作出响应,而且往往会自动探测是否恢复。
状态模型
传统熔断器是一个具有三种状态的有限状态机。
| 状态 | 对新到达调用的处理方式 | 典型状态转换 |
|---|---|---|
| 闭合 | 允许调用,并记录调用结果。 | 达到失败或慢调用阈值时断开。 |
| 断开 | 拒绝调用,不执行受保护操作。 | 经过配置的等待时间后转为半开。 |
| 半开 | 允许有限次数的试探调用。 | 有足够证据表明已恢复时闭合;试探失败时重新断开。 |
闭合
熔断器在放行正常流量的同时观察调用结果。触发断开的条件因实现而异。常见策略包括:
- 连续失败达到指定次数。
- 滚动窗口内的失败比例达到阈值。
- 超过延迟阈值的调用比例达到阈值。
- 综合考虑最小样本量、失败率和慢调用率。
滚动窗口可以包含最近若干次调用,也可以覆盖最近一段时间。对于按比例配置的熔断器,设置最小样本量有助于避免在低流量下因一次失败就触发断开。
断开
对于断开状态下经过熔断器的新调用,系统不会执行受保护操作。调用方会收到可识别的拒绝结果,或转而执行另一条回退路径。
断开通常不会终止已经在进行的调用。这些调用仍可能完成,也可能按各自的超时设置结束。因此,断开熔断器能够减少新增需求,但不一定能立即释放所有资源。
断开持续的这段时间为恢复提供了机会。有些实现还支持手动强制断开、禁用或仅监测等模式。
半开
等待期结束后,熔断器会允许有限次数的试探调用。试探成功说明可能可以恢复调用;试探失败则会使熔断器重新断开。
有些实现只允许一次试探,另一些则会评估多次调用,或在一个较短的观察窗口内进行评估。试探期间,新到达的其他请求可能会被拒绝。在按需触发的实现中,断开等待期结束仅意味着具备了试探资格,实际试探由后续请求触发。主动健康探测则是另一种独立机制。
测量与配置
失败分类
并非所有不成功的应用响应都意味着依赖处于异常状态。例如,有效的“未找到记录”结果可能是预期行为。因输入无效而被拒绝的请求,也不同于服务器故障。
因此,熔断器需要一套策略,定义哪些结果:
- 计为失败。
- 计为成功。
- 不纳入统计。
对于超文本传输协议服务,这套策略可能需要考虑响应状态码、连接错误和超时。不存在普遍适用的正确映射关系。例如,限流响应可能表示某个客户端用尽了配额,而不是整个服务发生故障。忽略所有客户端错误响应,也可能掩盖某些运行问题。
失败率阈值
一种简单的失败率策略可以表示为
其中, 是被归类为失败的结果数量, 是当前窗口内纳入测量的结果数量。满足以下条件时,熔断器断开:
其中, 是最小样本量, 是配置的失败率阈值。具体的比较规则因实现而异。
短窗口反应迅速,但可能对短暂波动反应过度。长窗口可以平滑波动,却可能延迟故障检测,或在恢复后仍保留故障期间的数据。在流量极低时,基于百分比的熔断器可能积累证据过慢,无法提供有效保护。
作用范围与隔离
熔断器的作用范围决定哪些调用共享其状态和测量数据。可能的范围包括某个依赖、操作、目标实例、区域或租户。
如果不相关的操作共用一个熔断器,某项操作的失败可能导致正常流量也被阻断。反之,范围划分过细可能导致样本不足,并产生大量需要独立管理的熔断器。
熔断器通常位于进程内部。因此,不同调用方实例对同一依赖的健康状况可能有不同判断。虽然可以在调用方之间协调状态,但这会带来额外的通信、一致性和可用性问题。
与其他韧性机制的关系
熔断器是容错系统设计的一部分,但不能替代其他控制措施。
超时
超时限制单次调用的等待时长。熔断器则根据多次调用的观察结果,决定是否还应尝试后续调用。
如果没有合适的超时设置,发生故障的操作可能迟迟无法产生调用结果,导致熔断器无法及时获得触发断开所需的依据。超时也不一定会取消远程系统中的工作:请求即使已经超时,仍可能在远端执行完成。
重试
重试是在失败后再次尝试,通常用于应对暂时性问题。当继续失败的可能性较高时,熔断器则会抑制尝试。
二者的组合方式很重要。如果重试发生在熔断器保护的操作内部,熔断器可能只能观察到多次尝试后的最终结果。如果每次重试都经过熔断器,则每次尝试都可能计入统计。这些安排在检测速度、测得的失败率和产生的负载方面各不相同。
使用重试时,还需要关注重复执行是否安全。如果操作在远端已经成功,但响应丢失,熔断器并不能防止重复执行带来的影响。
舱壁与并发限制
舱壁模式通过隔离资源,防止一个故障依赖耗尽其他依赖所需的容量。并发限制则对同时执行的操作数量设置上限。
这些措施与熔断器相辅相成:在熔断器仍在收集证据时,隔离机制就能限制损害。与专门的并发限制器不同,传统的失败率熔断器在闭合状态下不一定限制正在进行的请求数量。
限流与负载均衡
限流根据配额或准入策略控制请求量。熔断器通常根据观察到的依赖健康状况决定是否放行。有些产品会更广泛地使用“熔断”一词,将连接数、待处理请求数或并发任务数的限制也包含在内,因此这一术语并不总是指同一种状态机。
负载均衡将调用分配到不同目标。负载均衡器可以移除异常实例,同时继续向其他实例分配流量。相比之下,作用范围较广的熔断器可能会拒绝对整个依赖的调用。这些机制可以共存,但各自的作用范围会影响哪些流量仍能正常通过。
回退与应用语义
调用被拒绝后,系统可以返回明确的不可用响应、返回缓存数据、省略可选功能,或改用其他依赖。这类行为称为回退,并不是熔断本身必需的组成部分。
只有在语义可以接受时,回退才能保留有用的功能。缓存信息可能已经过时,省略数据可能使结果不完整,替代服务也可能提供不同的保证。表面上成功的回退,不能在未作说明的情况下暗示某项必需操作已经完成。
失败也应在正确的环节进行测量。如果把回退结果记作受保护依赖的成功结果,就可能掩盖该依赖仍在持续发生的故障。系统通常会区分原始调用结果、熔断器拒绝和回退结果。
对于涉及数据库事务或外部副作用的操作,在发送前拒绝调用,与发送后发生超时并不相同。在后一种情况下,调用方可能无法确定操作是否已经执行。熔断器无法消除这种不确定性。
实现与运维注意事项
并发实现需要谨慎处理状态转换和试探调用准入的同步(计算机科学)。否则,多个调用方可能都认为自己获准探测恢复情况,导致半开状态下的依赖再次过载。对于在先前状态下获准执行、却较晚才完成的调用,也需要明确定义其处理方式。
如果许多调用方实例采用相同的固定恢复间隔,就可能产生同步的流量突发。随机化等待时间并限制试探调用数量,可以减轻这种影响。即便如此,依赖也可能承受得住少量成功的探测,却在全量流量恢复时再次发生故障;渐进式流量恢复或自适应准入可以处理这一问题,而这与基本熔断机制所解决的问题并不相同。
运维可观测信息通常包括:
- 当前状态和状态转换事件。
- 获准、被拒绝、失败以及被归类为慢调用的调用数量。
- 试探调用结果和处于断开状态的时长。
- 回退使用情况和回退失败情况。
- 每个熔断器对应的策略与作用范围。
依赖未再收到会引发错误的请求,本身并不能证明其已经恢复:处于断开状态的熔断器可能阻止了所有调用。因此,测试既需要覆盖最初的故障,也需要覆盖恢复过程,包括间歇性故障、响应缓慢、并发试探,以及对已在进行中的调用的处理。
历史与局限
迈克尔·T. 尼加德(Michael T. Nygard)在 2007 年出版的《Release It!》中,将熔断器描述为一种软件稳定性模式。马丁·福勒(Martin Fowler)于 2014 年发表的文章《Circuit Breaker》进一步推广了这种基于状态的模式。Netflix Hystrix 等库以及后来的韧性库,推动熔断器成为面向服务和云应用设计中常见的组件。
这一模式以暂时放弃对依赖的即时访问,换取对反复无效执行的防护。它可能暂时拒绝原本能够成功的调用,尤其是在依赖已经恢复、但试探调用尚未确认恢复的阶段。
熔断器不会修复底层服务,不保证端到端可用性,也不能证明依赖上的所有操作都处于健康状态。其有效性取决于合理的失败分类、适当的作用范围,以及与超时、资源隔离和恢复控制机制的协调使用。