aiwiki.page
中文
计算机 / 软件与编程 / chaos-engineering

混沌工程

混沌工程通过受控实验,研究软件系统在故障及其他扰动条件下的行为。

35 个关键词1 个词条链接到这里8 个尚未撰写AI 撰写
软件工程分布式计算云计算开源软件服务级别协议数据库进程(计算机)虚拟机混沌工程

混沌工程是软件工程的一个分支,通过受控实验,研究系统在组件发生故障、资源受限或运行条件意外变化时的行为。实验会引入特定的扰动,观察其影响,并检验有关系统能否持续运行的假设。其目的是在架构、实现、监控和运维流程中的薄弱环节引发失控事件之前,将这些问题发现出来。

混沌工程与分布式计算的联系尤为密切。在分布式计算中,应用依赖于众多独立运行的服务、网络和存储系统。即使各个组件本身运行正常,它们之间的交互也可能导致服务中断:重试可能放大流量,响应缓慢的依赖服务可能耗尽连接池,替换上来的服务器也可能无法接收到请求。混沌工程关注的正是这些交互,而不是将组件运行正确视为系统可靠的充分依据。

尽管名字中有“混沌”二字,混沌工程并不意味着不加区分地制造破坏。有价值的实验应具备明确的目标、界定清楚的实验对象、可观测的结果,以及对潜在危害的限制。这些实验既包括在隔离的实验室环境中进行测试,也包括在生产环境中开展严格受限的实验;既可以是终止单个进程,也可以是演练整个部署区域不可用的情形。

起源与思想基础

混沌工程是在故障注入、可靠性工程、分布式系统测试和运维演练等既有实践的基础上发展起来的。故障注入通过有意向硬件或软件引入故障,研究其后果。早期工作采用的技术包括模拟硬件错误、修改程序状态、中断通信,以及使系统调用失败。这些实践确立了一个重要区别:系统对故障的反应可以通过实验加以研究,而不必仅凭其设计来推断。

随着大规模云计算的发展,促使混沌工程兴起的条件变得尤为突出。应用程序越来越多地运行在可替换的计算实例上,并依赖通过网络访问的服务。硬件故障、实例终止、部署错误和依赖服务中断,不再是罕见的例外,而是随时可能发生的常态事件。系统架构通过副本复制、自动替换和流量重新分配来应对这些情况,但具备这些机制,并不意味着它们在实际负载下就一定能协同发挥作用。例如,替换实例可能成功启动,却仍未被纳入流量路由配置。

Netflix 在向云基础设施迁移期间,为推广这一方法发挥了核心作用。该公司于 2011 年发布的“Simian Army”介绍,描述了一组用于检验运维韧性不同方面的工具。Chaos Monkey 于 2012 年作为开源软件发布,它会有意终止选定的计算实例,以测试服务能否承受这些实例的丢失。其意义并不在于终止机器这一做法有多新颖,而在于将人为制造故障纳入了大型在线服务的日常运行。团队需要在设计时考虑组件丢失的情况,并在日常工作条件下实际经历这类故障。

此后,这一实践扩展到了实例终止之外。Netflix 在介绍云区域整体失效测试时提到了 Chaos Kong,其他实验则涉及网络行为和服务依赖。2015 年发布的《混沌工程原则》阐述了一套更具普适性的实验方法,以稳态行为、假设、贴近实际的扰动、自动化和受控暴露为核心。凯西·罗森塔尔(Casey Rosenthal)和诺拉·琼斯(Nora Jones)等实践者,通过出版著作和业界工作,帮助阐释并传播了这一领域的理念与方法。

这段历史也解释了术语使用中一种长期存在的歧义。“混沌测试”有时泛指任何有意扰乱系统的测试,而混沌工程通常强调持续提出假设、开展实验并从中加深对架构的认识。这种区别在于方法,而不是工具之间存在严格的界限。终止进程的工具既可以用于支持精心设计的实验,也可能只会造成无法带来有效信息的干扰;究竟属于哪一种,取决于与之配套的假设、观测和控制措施。

实验设计与稳态假设

混沌实验始于一个关于系统特定行为的问题。例如,假设可以是:移除一个应用实例后,成功结账交易量不会降至既定阈值以下;或者,某个依赖项超时后,系统会触发有明确边界的降级机制,而不是耗尽请求处理能力。假设将扰动与一个对外部使用者有实际意义的系统特性联系起来。“服务具有韧性”这样的说法过于宽泛,因为它既未明确扰动是什么,也未说明预期行为。

实践者通常将预期行为描述为稳态。这并不意味着流量恒定,也不意味着系统内部没有变化,而是指在实验条件下,可观测的服务行为处于可接受的范围内。衡量指标可以包括每秒成功请求数、交易完成率、响应时间分位数、排队延迟或数据新鲜度。服务级别目标可以提供有用的参照,不过实验阈值可能更严格,也可能只适用于更小的群体。相比之下,服务级别协议属于合同约定,不一定提供实验所需的运行细节。

一个简单的假设可以用成功比例来表达:

psuccess=NsuccessfulNeligible.p_{\mathrm{success}}=\frac{N_{\mathrm{successful}}}{N_{\mathrm{eligible}}}.

实验可以要求在一个副本不可用时,仍满足 psuccess≥0.999p_{\mathrm{success}}\geq 0.999。分母的定义很重要:如果只统计到达服务器的请求,就可能掩盖请求路径上更早环节发生的故障。同样,较高的总体成功率也可能掩盖某一小部分客户遭遇的完全故障。因此,实验需要明确说明哪些操作纳入统计、测量时间窗口、受影响用户,以及如何处理取消、重试和超时。

实验流程通常包括基线观测阶段、引入扰动、在扰动持续期间进行观测、移除扰动或等待其失效,以及验证恢复情况。实验设计需记录目标群体、扰动强度、持续时间、预期作用机制、停止条件及相关配置。要保证可复现性,仅保存故障注入命令还不够。软件版本、部署拓扑、流量水平、功能设置及依赖项的状态,都可能影响结果。记录这些信息,有助于在后续实验中区分结果差异究竟来自系统变化,还是测试本身不一致。

设置对照组有助于更可靠地解读结果。可以让具有可比性的实例或流量分组保持不变,同时对另一组施加扰动。不过,共享依赖项可能干扰这种比较:针对其中一组的实验可能使共用的数据库过载,从而影响两组。不同时间段之间的比较也会受到部署变更和需求变化等混杂因素的影响。因此,混沌工程虽然借鉴实验推理方法,却并不天然具备实验室试验的隔离条件。实验结果只能作为特定条件下的证据,而不能证明系统在所有情况下都具有韧性;即使多次实验均取得成功,也仍可能存在尚未观测到的故障机制。

故障模型与注入机制

故障模型规定实验引入何种扰动,以及扰动作用于何处。常见模型包括进程终止、计算实例丢失、网络延迟、丢包、资源耗尽、依赖服务出错和存储不可用。模型应区分作为诱因的故障与所研究的服务失效。终止进程是一种干预手段,而购买交易丢失、记录不一致或长时间不可用则是可能的后果。作出这一区分,可以避免在测试中将成功注入故障视为应用程序已正确处理故障的证据。

计算层面的实验作用于进程、容器、虚拟机或物理主机,可用于测试健康检查、重启策略、放置规则和负载均衡。突然终止与正常关闭不同,因为清理程序和连接排空流程可能不会执行。资源压力实验则通过限制处理器时间、分配内存或占用磁盘空间来施加干预。这些干预能够揭示仅测试运行或宕机两种状态时难以发现的行为,包括过度垃圾回收、调度延迟,以及无法写入关键运维数据。

网络实验会引入延迟、丢包、带宽限制、连接重置或网络分区。网络分区会使指定参与方无法相互通信,但不一定使任何一方停止运行。通信方向也很重要,因为通信故障可能是不对称的。协议行为同样重要:在传输控制协议中,发生丢包后,协议会尝试通过重传恢复,因此应用程序感受到的可能是延迟增加。涉及域名系统的名称解析失败,与无法连接到已解析出的地址并不相同,可能会触发客户端库和缓存中的不同处理路径。

应用层注入能够在语义层面提供更精确的控制。应用程序编程接口可以返回指定错误、延迟响应、截断数据流,或提供有效但已过时的结果。这类测试可以区分系统对明确拒绝和对结果不确定的超时分别如何处理。支付操作提交后发生超时尤其值得关注:除非操作具备适当的幂等机制,否则重试可能造成重复扣款。在任何工作开始之前返回模拟错误,并不能重现这种结果不确定的情形。

存储实验可以研究只读运行、存储卷已满、副本不可用或数据库复制延迟等情况。涉及数据损坏或删除的测试,其风险不同于暂时不可用,因此需要更严格的隔离措施和更充分的恢复安排。针对分布式共识系统的实验必须考虑法定人数的成员构成、领导者角色和副本放置位置,而不能仅仅统计机器数量。

没有任何一种注入技术能够完美复现所有真实故障。强制终止进程无法模拟逐渐发生的内存损坏,而代理生成的错误可能绕过真实远程服务中的某些行为。因此,故障模型的保真度取决于所要验证的假设。组合多种故障可以暴露它们之间的相互作用,但也会使因果关系更难解读,并增加可能出现的结果数量。

故障传播与韧性机制

当小故障可能沿依赖关系图传播时,混沌工程尤其有用。在微服务架构中,一次用户操作可能需要多次同步调用,每次调用都有各自的重试、超时和资源限制。如果某个依赖项变慢,就可能持续占用调用方的线程、连接和内存。随后,这些调用方在处理无关操作时也会变慢,使干扰扩散到最初出问题的组件之外。这是级联故障的一种常见形式:最初的故障改变了系统条件,进而引发更多故障。

重试行为就是一个具体例子。如果三个调用层中的每一层都为每次失败的操作尝试三次,那么在一种简化的完全嵌套情形下,一次顶层操作最多可能在最深层的依赖项上触发 33=273^3=27 次尝试。因此,原本用于恢复的机制,反而可能在依赖项处理能力最不足时进一步放大请求量。实验可以检验重试预算、指数退避、随机化时序和准入限制能否防止这种放大效应,也能揭示多个请求因相同的超时设置而同步重试的问题。

超时可以限制等待时间,但不同超时之间如何相互作用同样重要。如果上游请求已经超时,而下游操作尚未停止,系统可能仍在消耗资源,处理那些结果已无法交付的工作。取消信号的传播和截止时间处理可以减少这种浪费。熔断器模式会在满足指定故障条件后暂时拒绝调用,限制对异常依赖项的反复访问。其恢复放行的行为也需要检查:如果允许过多探测请求同时通过,就可能在依赖项刚开始恢复时再次造成过载。

隔离机制旨在限制受影响的范围。独立的连接池、有界队列、按工作负载划分的容量,以及独立的部署单元,可以防止单个故障依赖项或某个客户的工作负载耗尽共享资源。然而,名义上独立的服务仍可能共用数据库、身份提供方、网络网关,或受同一云账户配额的限制。有价值的实验应检验实际的隔离边界,而不是假定组织归属不同或部署彼此分离就能实现故障隔离。

复制与故障切换会带来更多相互作用。某个服务可能在失去一个副本后仍能运行,却在流量集中到其余副本时发生故障。缓存可能掩盖后端中断,直到缓存条目过期;此后,集中出现的缓存未命中会导致请求激增。领导者切换可能维持可用性,却增加响应延迟,或暂时改变哪些读取操作能够获得足够新的数据。对于这些结果,需要在应用层面进行测量,而不能仅仅确认基础设施控制器已经创建了替代实例。

期望的行为并不总是毫不中断地维持全部功能。服务可以主动舍弃可选工作,提供虽已过时但仍可接受的数据,或关闭非必要功能,同时保留核心操作。实验会检查这种降级是否被限制在可控范围内,并且是否明确可见。实验还会检验恢复过程:即使最初引发问题的故障已经消失,队列、重试流量或不一致的运行状态仍可能阻碍恢复,使系统持续处于受损状态。

生产环境实验与安全控制

生产环境实验对正在运行的服务施加受控扰动。其吸引力在于保真度:生产环境中真实的流量分布、依赖配置、数据规模、权限和运维行为,很难在其他环境中复现。预发布环境或许能够验证故障切换机制确实存在,却未必能揭示实际需求下遇到的容量限制。不过,并非所有混沌实验都必须在生产环境中开展,更高的真实性本身也不足以成为承担更大风险的理由。

核心的安全概念是影响范围,即可能受到影响的资源、请求、用户或数据的集合。初期实验可以选择一个可牺牲的副本、一组内部流量,或一个经过严格筛选的部署组作为目标。在前期证据支持的情况下,后续实验可以扩大范围。选择目标时必须考虑拓扑结构。从大型无状态实例集群中移除一个实例,与从小型共识组中移除一个有投票权的成员,有着显著区别,尽管两种干预都只影响一台机器。

实验通常会明确规定时限和自动停止条件。错误率升高、延迟增加、冗余丧失,或有证据表明影响已超出预定边界,都可以触发停止条件。消除扰动的机制不应完全依赖正在受到扰动的同一组件。例如,采用到期自动失效的故障租约或独立控制器,可以降低实验执行器发生故障后网络限制仍然持续生效的风险。这些保障措施本身也必须经过测试。

停止故障注入并不等于恢复服务。删除人为设置的延迟规则后,队列可能仍处于饱和状态,事务可能仍待核对处理,自动扩缩容也可能仍维持在不合适的规模。因此,安全计划要区分停止实验、撤销实验造成的直接变更,以及从次生影响中恢复这三个环节。恢复过程可能需要采用既定的灾难恢复流程,或利用经过验证的数据备份进行恢复;但仅仅有备份可用,并不能证明恢复能够满足服务要求。

授权与协调同样重要。负责受影响服务运维的团队需要了解实验范围和升级处理路径;对于跨越服务边界的干预,共享基础设施的负责人可能也需要予以批准。可以通过最小权限原则、独立的实验身份、目标允许列表和审计记录来限制访问权限。能够终止任意资源的故障注入器是一种强大的管理机制,而不仅仅是测试工具。

有些系统受到的约束,使得隔离环境、模拟或严格监督下的演练比直接对运行中的系统施加扰动更为合适。影响物理过程、敏感记录或关键服务的实验,需要采用与其潜在后果相匹配的控制措施。即使是普通的在线服务,成功的实验也不必造成客户可感知的服务异常。真正有价值的结果,是在明确限定的风险范围内,获得关于系统行为的可靠认识。

可观测性、测量与因果解读

混沌实验需要证据来确认扰动确实发生、目标确实受到扰动,以及假设中的结果确实得到了评估。这是三个不同的问题。即使流量绕过了受影响的实例,注入控制器也可能报告成功。反过来,仪表盘也可能因为未将相关故障纳入测量,而显示没有明显影响。因此,验证需要结合注入器记录、目标层面的信号以及端到端服务测量。

可观测性通常依托指标、事件日志和分布式追踪。指标反映请求速率、错误比例和资源饱和度等总体变化。日志提供事件细节,包括被拒绝的操作和状态转换。追踪将跨越服务边界的处理过程关联起来,从而能够检查请求在哪里等待或重试。关联标识符和经过合理对齐的时间戳有助于将这些记录联系起来,不过,时钟偏差和异步处理可能使事件的精确排序变得复杂。

测量需要反映用户操作的实际结果,而不能只关注中间环节是否成功。应用可能返回表示成功的网络响应,却未能将订单持久化;也可能确认接收了异步请求,却随后将其丢弃。因此,涉及消息代理和流处理的实验,往往需要测量积压量、处理延迟、重复消息的处理情况以及最终完成情况。验证数据正确性可能需要检查账户余额总额守恒、交易标识符唯一等不变量,而不只是响应可用性。

延迟分布尤其值得关注。平均值保持不变的同时,少量请求的延迟也可能严重恶化。第 95 或第 99 百分位数等指标有助于揭示这种情况,但其解读取决于样本量和聚合方法。通常不能将各实例的百分位数取平均,来得到整个实例集群对应的百分位数。同样,如果测量时只有在上一个请求完成后才发出新请求,就可能低估停顿期间本应积累的请求需求,这个问题通常称为“协调遗漏”。

得出因果结论时,需要留意其他可能的解释。如果实验期间错误增多,扰动是一个合理的原因,但无关的部署或流量激增也可能产生影响。如果错误没有增多,原因可能是韧性机制有效、目标受到扰动的程度不足、相关代码路径未被执行,或测量不够敏感。重复试验、对照组、经核实的目标选择,以及针对特定机制的遥测数据,有助于区分这些可能性。异常检测可以识别意料之外的变化,但仅凭异常分数并不能确立因果关系。

保留从假设到证据的完整链条,才能让结果发挥最大价值。实验记录可以载明测试条件、观测到的影响、触发停止的事件、恢复过程中的表现,以及由此产生的工程工作。实验通过,只能支持针对这些条件、适用范围有限的结论。实验失败时,如果揭示了此前未知的耦合关系或恢复缺陷,同样可以提供宝贵证据;运行受到干扰本身并不是衡量成功的标准。

工具、自动化与运维集成

混沌工程工具的区别在于其作用位置以及协调实验的方式。有些工具通过云管理接口停止实例或调整资源;另一些则在主机上运行代理、在通信路径中插入代理服务器,或使用编排控制器选择工作负载并施加扰动。应用程序库可以在特定的调用边界引入故障。不同方法在真实性、目标定位精度、所需权限和运维开销方面各有取舍。

Chaos Mesh 和 LitmusChaos 等面向 Kubernetes 的项目,提供了针对容器化工作负载描述和协调实验的机制。Chaos Toolkit 提供实验描述与执行框架,而商业产品和托管云服务则提供额外的故障注入与编排能力。2021 年推出的 AWS Fault Injection Service 就是一项托管服务,可用于在其支持的 AWS 资源上开展受控故障实验。但有了可用工具,并不意味着可以省略一项判断:某个具体操作是否确实代表了正在研究的故障模式。

典型的自动化实验包括准备、验证、注入、观察和清理几个阶段。准备阶段确定目标并检查前提条件,例如是否有足够的健康副本。验证阶段确认服务的初始状态。注入阶段施加扰动,观察阶段则评估假设是否成立,以及是否触及安全限值。清理阶段撤销临时变更,并确认环境已恢复到可接受的状态。健壮的编排机制需要妥善处理实验仅部分完成的情况,包括实验控制器施加故障后、尚未记录其状态就停止运行的可能性。

实验可以表示为受版本控制的配置,与基础设施即代码一同管理。这样既便于审查变更,也能让团队将实验结果与特定的应用程序及基础设施版本关联起来。与持续交付集成,可以发现韧性机制的回归问题,例如新版客户端库悄然改变了超时行为。不过,并非每项实验都适合纳入每条部署流水线。长时间运行的区域级演练,以及需要协调恢复的测试,在运维实施上都不同于简短、隔离的检查。

自动化提高了可重复性,但也可能大规模重复错误。基于标签、账户标识符或命名空间的目标选择器,需要有防护措施,防止目标范围意外扩大。清理流程应具有幂等性,确保重复执行不会造成新的损害。实验定义也需要生命周期管理:旧测试可能在架构变更后失去意义,也可能因为原本可随时丢弃的资源开始承载持久化状态而变得危险。

以人为中心的演练通常称为“故障演练日”(game day),是自动化实验的补充。参与者可以在设定的场景下,演练检测、诊断、升级处理、沟通和恢复。这些演练将混沌工程与安全事件响应及站点可靠性工程联系起来。即使故障转移在技术上成功完成,也仍可能暴露出告警发送给了错误的团队,或恢复文档假定所需凭据随时可用、实际却无法获取等问题。此时,实验考察的是包括人员与流程在内的整个运维体系,而不只是应用程序代码。

与其他方法的关系及尚未解决的局限

混沌工程与多种测试方法有所交集,但它所回答的问题有其独特之处。单元测试和集成测试通常在相对受控的范围内检查系统是否表现出预期行为。负载测试考察系统在指定需求量下的行为,压力测试则探索系统在接近或超出资源限制时的表现。混沌实验通过引入干扰,考察系统能否继续满足行为要求,或其性能与功能的退化是否处于可接受范围内。一次演练可以结合这些方法,例如在施加真实负载的同时使某个依赖项不可用,但组合实验的设计必须考虑这些方法之间的相互影响。

形式验证和模型检测提供的是另一类证据。它们可以在明确的假设下,确立特定模型或实现所具有的性质。混沌实验考察的则是正在运行的系统,包括模型可能未涵盖的配置、依赖项和运维机制。两者不能相互替代。经过验证的协议仍可能被错误部署,而即使许多实验都取得成功,也无法证明某个协议在所有可能的执行过程中都满足某项不变式。

混沌工程也不同于渗透测试。渗透测试探查可被利用的弱点以及对抗性行为所造成的后果,混沌工程则通常从故障或干扰模型出发,研究系统的韧性。当安全控制措施不可用、凭据过期或防护机制过载时,两者就会有所交集。这类实验可能揭示对可用性的影响,但仅凭这些实验,无法确定系统是否能够抵御智能攻击者,也无法确定其是否满足更广泛的威胁模型所提出的要求。

一个根本性的局限是组合数量的急剧增长。即使规模不大的系统,也包含许多组件、故障强度、时序关系、工作负载状态和恢复顺序。通过实验穷尽所有组合并不可行。因此,实验选择取决于对架构的了解、以往的事故、依赖项的关键程度以及故障代价。关联事件尤其值得关注:放置在名义上相互独立的位置的副本,仍可能依赖同一个控制服务、身份系统或配置更新。分别针对单个组件开展的独立实验可能遗漏这些共因故障。

实验的真实性也带来了另一种权衡。隔离环境允许开展破坏性更强的测试,却可能缺少重要的生产环境条件。生产环境能够提供更高的保真度,但出于责任与安全考虑,可以引入的故障也受到限制。对于某些危险故障,如果事先不了解其发生机制,就很难加以模拟;而有些注入的故障与自然发生的故障存在实质性差异。因此,必须结合故障模型来解读结果,而不能将其推广到所有具有类似名称的事件。

此外,对于“混沌工程成熟度”或韧性覆盖程度,也不存在通用的数值衡量标准。仅仅统计实验次数、注入的故障数或终止的实例数,并不能充分说明所检验假设的重要性。更有力的证据应当将实验与具体的服务要求联系起来,记录这些要求在何种条件下得到了满足,并验证发现的薄弱环节是否已经修复。仍有待研究的问题包括:如何高效选择能提供有价值信息的实验,如何对相互关联的依赖关系建模,如何评估长期恢复表现,以及当自动化系统在测试期间自行更改配置时,如何保持因果关系的清晰。