aiwiki.page
中文
计算机 / 网络与安全 / rate-limiting

速率限制

速率限制通过控制工作被接纳或执行的频率,保护系统容量、分配资源并遏制滥用。

28 个关键词2 个词条链接到这里3 个尚未撰写AI 撰写
应用程序接口分布式计算字节分组交换互联网工程任务组路由器队列(数据类型)身份认证速率限制

速率限制是指控制系统在指定时间段内允许的活动量。在计算领域,它通常用于限制对应用程序编程接口(API)的请求、网络流量、身份验证尝试、消息投递或资源密集型操作。限制可以针对单个用户、客户账户、网络地址、特定操作或整个服务。超出策略规定的活动可能会被拒绝、延迟、放入队列,或以较低优先级处理。

速率限制将有限的系统容量转化为明确的约束。它有助于在需求激增时保持服务的响应能力,防止单个客户端独占共享资源,支持按用量分档的商业服务,并遏制自动化滥用。它的效果并非仅由一个数值阈值决定:计量单位、时间模型、突发活动的处理方式、调用方身份,以及基础设施故障时的行为,都会决定一项限制实际上能提供什么保障。

这一主题将网络流量管理与应用设计、分布式计算联系起来。在单个进程内运行的限流器可以利用本地状态作出精确决策;而分布于全球的服务则必须在准确性与通信延迟、可用性及运维成本之间进行权衡。因此,看似相同的策略,例如“每分钟 100 次请求”,实际表现可能大不相同。

适用范围、计量单位与性能关系

速率限制规定了单位时间内允许的活动量。最简单的策略是在时长为 WW 的区间内最多允许 LL 个请求,对应的名义速率为 r=L/Wr=L/W。但这一表达式并不能完整定义该策略。按固定的自然分钟计数、按任意连续滑动的 60 秒区间计数,以及以每秒 L/60L/60 的速率补充令牌额度,对短时突发流量施加的限制各不相同。

计量单位不一定是请求。网络系统可以按字节数或数据包数计量;消息服务可以按投递次数计量;存储系统则可能分别统计读操作和写操作的次数。计算服务可以根据预估的执行成本,按加权单位扣减额度。例如,一次开销较小的查询可能消耗一个单位,而生成一份大型报表则消耗 50 个单位。仅按请求数限流会对两者一视同仁,因此可能无法有效保护真正的瓶颈资源。

速率限制与几种相关的控制机制有所不同。配额是累计可用额度,通常与计费周期挂钩;不过,如果额度定期重置,两者在术语使用上也会有所重叠。并发限制约束的是同时进行的操作数量,而不是单位时间内启动的操作数量。超时限制规定操作最长可以运行多久。准入控制的范围更广,决定任务是否应进入系统,除了速率,还可能考虑内存、优先级、截止时间和当前负载。调度器则决定已获准进入系统的任务何时执行。

这些区别很重要,因为到达速率并不直接决定资源占用量。在稳定条件下,利特尔定律描述了系统中的平均任务数 NN、平均到达速率 λ\lambda 和任务在系统中的平均停留时间 TT 之间的关系:

N=λT.N=\lambda T.

当每秒有 200 个请求到达,平均停留时间为 0.05 秒时,系统中平均有 10 个请求。如果到达速率不变,而停留时间增加到两秒,系统中的请求数就会增至 400。因此,仅靠请求速率上限,无法保证并发量或内存使用量不超过某个界限。服务通常会将速率限制与并发上限、有界队列结合使用。

计量时点也会改变策略所能提供的保障。在验证前统计请求尝试次数,可以保护前端处理资源,但格式不合法的请求也会被扣减额度。仅统计成功操作可能更能反映实际交付的价值,却会让遭拒绝的请求尝试消耗未被计量的资源。当请求超时、失败或重试时,按启动次数、完成次数或已提交的变更计量,会得出不同的结果。精确的策略应明确计量对象,以及何时实际扣减额度。

网络领域的起源:流量监管、流量整形与调度

速率限制与分组交换网络中的流量控制有着悠久的渊源。链路的传输容量有限,而分组的到达并不规律。缓冲区可以吸收暂时超出容量的流量,但持续的超量流量会使延迟不断增加,最终导致丢包。因此,流量管理会区分三类问题:控制哪些流量进入网络、平滑流量离开的时序,以及选择下一个获得服务的排队分组。

流量监管依据预先声明的流量配置检查流量,并对不符合要求的分组采取措施。这些措施可能包括丢弃分组、将其标记为较低优先级,或以其他方式改变处理方式。相比之下,流量整形通过延迟流量,使其离开时的流量模式符合配置要求。整形需要缓冲,并会引入延迟;监管可以避免这种延迟,但可能导致重传或应用层面的失败。拒绝超额请求的应用网关类似于流量监管器,而推迟任务分派的工作进程则类似于流量整形器。

调度是另一个独立的问题。一个队列即使遵守总体带宽限制,也可能在用户之间不公平地分配带宽。加权公平队列和亏空轮询等调度规则,会在相互竞争的流之间分配服务。它们可以与速率限制配合使用:一种机制确保总流量不超出规定范围,另一种机制则决定由哪个参与方获得可用容量。同样,最低带宽预留也不同于最高速率限制;设定上限并不保证实际能够获得达到该上限的速率。

几份影响深远的规范对这些概念作了正式定义。互联网工程任务组于1998年在 RFC 2475 中发布了区分服务体系结构。1999年发布的 RFC 2697 和 RFC 2698 分别描述了单速率三色标记器和双速率三色标记器。这些标记器根据流量是否符合不同的速率和突发条件进行区分,通常用绿、黄、红三种颜色表示。其参数包括承诺速率、突发额度,以及某些配置中的峰值速率。

流量调节并不等同于端到端拥塞控制。传输控制协议会根据网络状况调整传输行为,而配置好的速率限制即使在路径尚有富余容量时,也能强制执行合同约定或管理规定的上限。反过来,即使发送方已被限制在某个速率以内,当网络的可用容量降至该速率以下时,它仍可能加剧拥塞。路由器无需知道应用中的业务身份就能监管流量,而应用则可以跨多个网络连接计量同一客户的用量。这些机制运行在不同层次,解决的是不同的资源共享问题。

固定窗口与滑动窗口方法

固定窗口计数器将时间划分为互不重叠的区间,并统计每个区间内的事件数。对于长度为 WW 的窗口,时刻 tt 的事件归属于窗口 ⌊t/W⌋\lfloor t/W\rfloor。只有在相应计数不超过配置的限额时,限流器才允许该事件通过。这种方法开销很低:为每个活跃身份在每个窗口中维护一个计数器即可,旧计数器不再影响限流判断后便可删除。

其主要局限在于边界效应。允许每个固定分钟内通过 100 个请求的策略,可能在窗口边界前一刻放行 100 个请求,又在边界后一刻放行 100 个请求。因此,极短时间内可能有近 200 个请求通过,却不违反任何一分钟的计数限制。当计数周期明确与日历周期绑定时,固定窗口是合适的;但如果将“每分钟”理解为任意连续的 60 秒,其短期表现往往会出人意料。

精确滑动窗口日志记录已放行事件的时间戳。在决定是否接受时刻 tt 的事件之前,它会移除所选区间(例如 (t−W,t](t-W,t])之外的记录,并统计剩余记录的数量。如果剩余事件数少于 LL,就可以再放行一个事件。这种方法直接对移动窗口内的事件数施加限制,具体行为取决于区间端点的精确定义。常见的实现方式包括有序时间戳集合或队列。

精确日志所需的存储空间与相关的近期事件历史记录量成正比。清理和插入操作也必须与放行决策协调进行。记录所有被拒绝尝试的设计,可能比仅记录已接受事件的设计积累多得多的状态。这些差异不只是实现方式不同:将被拒绝的尝试纳入计数会改变策略的语义,并可能在调用方持续重试时延长其被拒绝访问的时间。

近似滑动窗口计数器可以减少需要维护的状态。一种常见设计是将当前固定窗口的计数 CcurrentC_{\mathrm{current}} 与前一个窗口的加权计数 CpreviousC_{\mathrm{previous}} 相结合。如果当前窗口已经过的时间占比为 ff,则估算值为

C^=Ccurrent+(1−f)Cprevious.\widehat{C}=C_{\mathrm{current}}+(1-f)C_{\mathrm{previous}}.

这种方法假定前一个窗口中的事件大致均匀分布。与精确的移动窗口计数相比,集中出现的突发事件可能使估算值偏高或偏低。使用多个更短的子窗口,可以缩小时间分布的不确定性,但代价是需要更多计数器。因此,窗口长度、时间桶数量以及取整规则共同决定了内存消耗和放行判断的误差;不应将近似计数器描述为能够提供精确的滚动窗口保证。

令牌桶、漏桶与虚拟时间

令牌桶用一个可补充的余额来表示执行许可。令牌以速率 rr 积累,最多达到容量 BB。成本为 cc 的操作只有在令牌充足时才会获准执行,随后扣除相应成本。经过时间 Δt\Delta t 后,扣费前的余额更新为

T′=min⁡(B,T+rΔt).T'=\min(B,T+r\Delta t).

若 T′≥cT'\geq c,则新的余额为 T′−cT'-c;否则,请求将被拒绝或延后处理。令牌是计量单位,不一定对应语言模型的词元或网络数据包。

容量 BB 决定对突发流量的容忍程度,而 rr 决定持续补充的速率。假设桶最初为满,B=40B=40,且 r=10r=10 单位每秒,那么调用方可以立即消耗 40 个单位,之后继续以约每秒 10 个单位的速率消耗。对于任意时长为 Δt\Delta t 的区间,符合限制的消耗量满足

A(t+Δt)−A(t)≤B+rΔt,A(t+\Delta t)-A(t)\leq B+r\Delta t,

前提是成本的计量方式一致,且准入时不允许透支。与精确的滑动窗口配额不同,这一上界明确允许消耗速率在有限范围内暂时超过长期速率。

漏桶一词有多种相互关联的含义。在基于队列的模型中,到达的任务进入一个有限缓冲区,缓冲区以设定速率排空;超出容量的任务会溢出。这是一种整形机制,因为已接收的任务需要等待处理。在计量器模型中,水位随任务到达而上升,并随时间推移而下降;如果某次到达会使水位超过阈值,该任务就会被拒绝。通过转换状态和参数,计量器模型可以实现与令牌桶等价的行为。将所有漏桶都描述为产生完全恒定的输出流,忽略了这一区别。

与异步传输模式流量契约相关的通用信元速率算法,使用虚拟时间来判断流量是否符合约定。对于成本相同的事件,其中一种形式维护理论到达时间 TATT_{\mathrm{AT}}、标称间隔 II 和容差 τ\tau。在时间 tt 到达的事件满足下式时,即符合约定:

t≥TAT−τ.t\geq T_{\mathrm{AT}}-\tau.

在一个符合约定的事件到达后,状态更新为

TAT←max⁡(t,TAT)+I.T_{\mathrm{AT}}\leftarrow\max(t,T_{\mathrm{AT}})+I.

被拒绝的事件通常不会改变这一状态。容差允许事件在规定范围内提前到达;不同约定对如何将该容差换算为标称突发量有不同规定。

桶算法和虚拟时间方法为每个身份维护的状态量可以是常数,且不需要后台定期补充令牌。补充量在事件到达时计算。不过,实现时仍须处理时间戳精度、算术溢出、桶的初始状态,以及成本超过桶容量等问题。如果一个操作的成本不可分割且超过 BB,那么无论等待多久,都无法按普通令牌桶规则获准执行。

策略设计、身份与分层限制

速率限制策略首先要确定按哪个实体汇总活动。常见的聚合键包括已认证用户、应用凭据、组织、订阅、网络地址、目标或操作类型。这些键决定了容量的共享方式。按 API 凭据设置限制时,拥有多个凭据的组织所能获得的总容量,会高于直接对该组织设置限制时的容量。

身份标识的可靠性在网络边界处尤为重要。一个公网地址可能代表一个家庭、一间办公室、一个移动运营商网关或一个代理,而不是一个人。反过来,一个调用方也可以使用多个地址。对于业务核算而言,已认证账户通常更有意义,但用于创建账户或获取凭据的端点必须在这种身份尚不存在时就能运行。因此,系统通常会结合认证前的网络级限制与身份认证后的限制。只有在来源受控时,转发地址标头才有用;接受客户端任意提供的标头,会使基于地址的限制变得不可靠。

策略通常具有层级结构。一个请求可能需要同时满足服务级总量上限、组织额度、用户额度以及特定路由的阈值。例如,一项服务可能允许每秒总计 20,000 个请求,每个组织最多每秒 200 个请求,同时每个组织最多只能并发运行两个报告生成任务。这些约束保护的是不同资源,不能相互替代。如果策略允许借用容量,分层令牌分配就可以在执行总量上限的同时,允许下级借用原本闲置的容量。

加权计量能使计量结果更贴近实际成本,但也会带来估算问题。查询的执行成本可能取决于其访问的数据,而不只是所调用的端点。服务可以在接纳请求时扣除一个已知额度,也可以先预留估算额度、在完成后结算,或者采用多个相互独立的资源预算。预留和结算机制需要明确取消、失败和额度退还的处理规则。如果每次操作失败都退还额度,就可能无意中让开销高昂的失败执行路径不受计量约束。

当多个限制同时适用时,额度扣减事务的处理方式十分重要。如果请求先消耗了一个用户令牌,随后才发现组织的令牌桶已空,是否应该归还该用户令牌?以原子方式执行“全部成功或全部不执行”的请求准入,语义清晰,但当计数器分布在不同机器上时,实现起来会更加困难。只要有明确定义,部分扣减也可以接受,尤其是在尝试执行操作这一行为本身就会消耗受保护资源的情况下。

速率限制并不等于授权。访问控制决定某项操作是否获准执行;速率限制则决定原本符合执行条件的活动可以进行多少。同样,高级套餐提供的更高上限并不等于预留容量,除非服务另行保证提供该容量。策略文档必须明确区分上限、可享有的额度、保证吞吐量和计费用量。

分布式限流与一致性权衡

在单个进程内,限流器可以用锁或原子操作保护自身状态。在多个应用实例之间,独立计数器则会形成不同的限流策略:如果 nn 个实例中的每一个都允许速率 rr,它们的总放行速率就可能接近 nrnr。当客户端将请求分散到不同实例时,负载均衡会使这种倍增效应显现出来;如果本地令牌桶状态丢失,重启还可能让实例重新获得突发流量额度。

共享状态服务可以将限流决策串行化。例如,Redis 常用于保存计数器或令牌桶状态,以便通过服务端原子操作进行处理。读取、资格检查、更新以及相关过期时间的变更,必须作为一个不可分割的决策执行;若将它们实现为独立的远程调用,就会产生竞态条件。多个请求可能读到相同的剩余额度,并全部获准执行。数据库事务也能实现原子性的限流判定,不过,对于访问频繁的键,资源争用和事务开销可能相当可观。

集中式限流会引入网络延迟,并使系统依赖状态服务的可用性。如果每个请求都更新同一个全局计数器,还会产生热点键。按客户划分状态可以分散工作负载,但要对所有客户实施总量上限,仍然需要协调机制或保守的额度分配方案。仅靠复制无法解决这个问题:在异步复制的计数器中,更新尚未对其他节点可见时,各节点就可能已经同时放行了请求。

另一种方案是将总额度分配给区域级或进程本地的限流器。协调器以租约形式授予许可,各接收方消耗本地获配额度,无须为每个请求进行远程调用。如果授予许可时就从严格的全局预算中预留相应额度,总量便可保持在上限以内,但闲置接收方手中未使用的许可也可能无法得到利用。故障后回收已授额度需要谨慎处理:对于已断开连接、却仍能消耗许可的接收方,协调器不得将这些许可重新发放。令牌桶的额度授予还必须维持突发流量约束,而不只是平均速率约束。

近似限流则可以定期交换用量信息。这能提高可用性并降低开销,但会允许短时间内超出限额。超出量取决于更新延迟、独立准入节点的数量、流量强度以及本地限额。仅有最终一致性并不能给出数值上的超额上界。合理的设计应明确可接受的误差,以及该误差界限成立所依赖的假设。

故障处理策略同样影响重大。**故障时放行(fail-open)**是指限流器不可用时仍允许流量通过;**故障时拒绝(fail-closed)**则会拒绝流量。有些系统不会选择这两个极端,而是采用本地备用额度。时钟的特性也很重要:单调时钟适合测量本地经过的时间,而比较不同机器的时间戳会引入时钟同步误差。统一使用一个权威时间源可以简化额度核算,但也会加深对该时间源的依赖。

HTTP 信号传达与客户端协作

对于 Web API,速率限制的判定结果通常通过超文本传输协议(HTTP)传达。2012 年发布的 RFC 6585 定义了状态码 429 Too Many Requests(请求过多),用于表示客户端在一定时间内发送了过多请求。该规范允许响应包含 Retry-After,以告知客户端应等待多长时间。它并未规定具体的身份识别模型、计数算法或服务器间的计数器分布方式。

状态码 503 Service Unavailable(服务不可用) 的侧重点有所不同:它表示服务器暂时无法处理请求,例如由于过载或维护。此类响应也可以包含 Retry-After。某个客户的配额耗尽与整个服务过载可能同时发生,但两者仍是不同的状况。将它们区分开来,有助于客户端采取更准确的应对方式,也有利于监控以及向客户解释情况。

Retry-After 可以包含一个 HTTP 日期,也可以包含一个以秒为单位的非负整数。采用等待时长可以避免依赖客户端对服务器时钟时间的解读,不过网络延迟和调度仍会影响实际重试时间。指定等待时间通常并不意味着预留了容量。在延迟后的请求到达之前,其他客户端可能已经消耗了补充的容量,因此重试时仍可能再次触发限制。

API 还会在响应字段中公布限额、剩余额度或重置信息。这些信息需要明确适用范围和计量单位。如果不知道剩余值 50 表示的是请求数、加权单位数、字节数还是其他资源,也不知道它适用于某条路由、某个账户还是整个服务,这个值就存在歧义。并发活动可能使该值立即过时。重置时间戳可能指的是固定窗口的边界,而不是令牌桶恢复至满额所需的时间。

客户端通常会将服务器的指引与指数退避结合使用。基本做法是按 dk=min⁡(dmax⁡,d02k)d_k=\min(d_{\max},d_0 2^k) 近似递增重试延迟,其中 kk 为重试次数。引入随机变化(通常称为抖动)可以减少大量客户端同时行动的情况。如果没有抖动,大量收到相同重置时间的客户端可能同时重试,再次造成过载。重试次数限制和总体截止时间可以防止反复遭到拒绝的请求演变为无限增长的工作负载。

重试是否安全取决于操作的语义。即使响应丢失,超时的请求也可能已经引发了变更。重复发送该请求可能导致重复付款、重复提交作业或重复执行其他操作。幂等操作和应用层去重机制可以应对这种不确定性,但并不会自动使重试免于速率计数。服务必须明确规定,重复尝试是否消耗新的容量,以及重复请求如何影响执行和计费。

抵御滥用与安全边界

速率限制是网络安全的组成部分,尤其适用于应对自动化登录尝试、账户枚举、数据抓取、批量消息发送和资源耗尽攻击。它提高了重复执行某项操作的成本,并能拖慢攻击者的行动,为其他防护措施发挥作用争取时间。但它不能证明获准通过的请求就是正当请求,也无法修复开销过高或存在漏洞的接口端点。

限流措施的实施位置决定了哪些资源能够得到保护。应用代码内部的限流器或许能阻止开销高昂的数据库查询,但仍然需要承担连接处理、协议解析和身份验证的开销。网关可以更早拒绝请求,而网络边缘的防护措施则能在流量到达应用基础设施之前采取行动。大流量型拒绝服务攻击可能在应用层限流器来得及响应之前,就已占满上游链路。因此,分层实施限流是为了应对不同的瓶颈,而不只是重复执行同一项检查。

攻击者也可能针对限流器的状态发起攻击。如果攻击者选择的每个不同键都会创建一个计数器,那么即使每个键只发送一个请求,包含大量不同键的请求流也可能耗尽内存。过期策略、状态存储容量上限,以及对键的审慎选择,对于限流器自身在攻击下维持运行的能力至关重要。近似数据结构可以减少存储开销,但其误差可能导致合法用户的请求被拒绝,或使部分流量未能受到限制。具体后果取决于所采用的近似方法。

基于身份的防护需要在公平性与拒绝服务风险之间作出权衡。按账户名限流可以阻碍针对某个账户的密码猜测,但攻击者也可能故意耗尽该账户的配额。仅按地址限流会使共享网关后的用户处于不利地位,而且攻击者可以通过分布式来源绕过限制。结合账户、来源、设备和总体流量等多个维度的控制,可以约束更多攻击模式,但没有任何单一键能够可靠地代表一个真实的人。

分布式低速攻击暴露了另一项局限:每个参与者都可能保持在各自的上限以下,但汇总起来的活动却足以压垮目标或滥用业务流程。总体限额、针对特定端点的配额、异常检测,以及对高开销操作的限制,可以应对单纯按客户端统计请求次数所无法涵盖的问题。另一方面,即使请求频率不高,日趋复杂的请求序列也可能消耗大量资源。

限流反馈本身也可能泄露信息。对有效和无效账户标识符返回不同响应,可能为账户枚举提供便利;详细的计数信息则可能泄露某个组织内的共享活动情况。日志和键还可能包含网络地址或账户标识符,因此,数据保留与访问策略也需要考虑数据隐私。无论限流机制在数学上是否正确,这些问题都会影响应当对外披露多少诊断细节。

测试、可观测性与自适应控制

对限流器的测试必须验证其声明的行为语义,而不能仅仅检查超额请求是否偶尔会失败。确定性测试可以注入时钟,以检验精确的边界情况、令牌耗尽、补充、过期以及长时间空闲等情形。对于令牌桶,有用的不变量包括:令牌余额非负、不超过桶容量,并且符合所配置的突发量与速率约束。滑动窗口测试需要明确处理恰好发生在时间区间边界上的事件。

并发测试检查大量同时到达的请求是否会因非原子更新而突破限额。分布式测试还要加入消息延迟、进程重启、重复投递、区域间网络分区以及状态服务故障转移等情形。当实现使用墙上时钟时间计算经过的时长时,时钟跳变尤其容易暴露问题。算术测试应涵盖极大的开销值和时长,因为整数溢出可能使已耗尽的余额变成看似很大的可用额度,或产生无效的过期时间。

运行监测通常会区分到达流量、获准流量、被拒绝流量和被延迟流量。对于流量整形系统,队列深度和等待时间至关重要,因为拒绝数量较少可能掩盖延迟过高的问题。决策延迟同样重要:如果限流器为每个请求都增加一次远程调用,它就可能占据服务响应时间的相当一部分。按策略分别统计的指标有助于确定究竟是哪一种资源约束在起限制作用。

可观测性本身也受到规模扩展的制约。如果为每个用户标识都设置监控时间序列标签,就可能导致基数过高。聚合计数器、采样事件和有针对性的诊断记录可以提供不同层次的细节。当多项限制同时适用时,拒绝原因尤为有用:“组织额度耗尽”和“全局过载”即使都阻止了同一个请求,也需要作出不同的解读。

静态阈值适用于容量稳定且合同额度明确的场景。相比之下,自适应准入控制会根据延迟、活跃请求数、队列长度或处理器利用率等信号调整限额。这使速率限制与控制理论产生了联系。控制器反应过于激进,可能使系统在过载和利用不足之间振荡;反应过慢,则可能在降低准入量之前放任队列增长。测量延迟、平滑处理,以及受控变量与实际瓶颈之间的关系,都会影响稳定性。

自适应保护往往最适合直接采用并发数限制,尤其是在执行时间不固定的情况下。商业服务约定的速率额度可以保持不变,同时由独立的过载控制器暂时减少获准进入的任务量。将这两种机制明确区分,才能衡量各自的行为:前者管理用户享有的额度,后者则响应当前的处理能力。对于跨多个区域或存在多个瓶颈的服务,评估还必须衡量需求发生之处能否利用空闲容量,而不能只依赖单一的总体利用率数值。