延迟是从某个指定的起始事件到出现相应可观测结果之间经过的时间。在计算机科学中,它可以指执行一条指令、从内存中读取数据、传送一个网络数据包、完成一次服务请求,或显示用户输入的响应所需的时间。延迟的含义取决于对起止事件的精确定义:网络响应到达设备、应用程序处理该响应,以及屏幕显示响应内容,是不同的事件。
延迟之所以重要,是因为计算系统需要协调各个组件的活动,而这些组件的运行速度和彼此之间的距离各不相同。处理器可能在纳秒内完成操作,而一次跨洲通信则需要数十乃至数百毫秒。即使软件本身运行高效,等待仍可能占据其执行时间的大部分;偶尔出现的长时间延迟,也可能决定一项服务能否达到要求。因此,要理解延迟,就需要了解物理极限、硬件组织方式、通信协议、调度、统计测量和应用程序设计。
定义、测量边界与相关指标
测量延迟需要确定起始事件、结束事件和计时基准。对于存储读取,测量区间可以从应用程序提交请求时开始,到所请求的字节可供该应用程序使用时结束。设备制造商也可能只测量设备内部从收到命令到执行完成之间的时间。这两种测量都有意义,但所界定的范围不同。如果名称相同的测量指标涵盖了系统中的不同环节,比较结果就会产生误导。
响应时间通常既包括等待时间,也包括实际接受服务的时间。一个请求可能先等待工作线程处理,再在处理器上执行,接着等待存储设备,最后经由网络返回。服务时间通常指在某一特定资源上接受服务所花费的时间,不过各领域的惯例有所不同。端到端延迟涵盖所选端点之间的全部活动,但不一定等于所有活动耗时之和:并发执行的操作在时间上有所重叠,只有位于决定完成时间的依赖路径上的活动,才会直接影响最终的时间间隔。
延迟不同于吞吐量,即工作完成的速率,也不同于带宽,即通信信道的容量或传输速率。一个系统可以同时具有高吞吐量和高延迟。货运列车就能说明这种区别:它每小时可以运输大量货物,但交付任何一批货物都可能需要很长时间。在计算机系统中,采用深流水线的处理器或大规模批处理服务同样可以每秒完成大量操作,却未必能快速完成单个操作。
计量单位随时间尺度而异。处理器和内存操作的延迟通常以纳秒计;本地设备操作以微秒或毫秒计;广域通信以毫秒计;长时间运行的作业则以秒或更长的时间单位计。这些只是惯例,并非固定的界限。当频率为 时,一个处理器周期持续 秒,因此,3 GHz 时钟的周期约为 纳秒。一条需要多个周期才能完成的指令,其延迟不同于处理器启动同类独立指令的时间间隔。
延迟也不同于截止时间和超时时限。截止时间规定一项操作必须何时完成才能满足要求;超时时限规定一个组件何时停止等待或采取其他行动。两者都不直接衡量底层操作实际需要多长时间。请求超时后,仍可能继续在远端执行,除非取消指令到达远端并将其停止。同样,“实时”描述的是正确性与时间约束之间的关系,而不只是声称系统运行得快。
物理极限与网络延迟
在分组网络中,端到端延迟通常分为传播、传输、处理和排队四个部分。传播延迟是信号穿过介质所需的时间。传输延迟也称为串行化延迟,是将一个分组的各个比特送上链路所需的时间。处理包括检查首部、确定转发目的地等操作。排队延迟是分组等待资源为其提供服务的时间。简化的路径模型为
其中, 为链路距离, 为传播速度, 为传输长度, 为链路速率, 和 分别为处理延迟和排队延迟。
传播决定了延迟的物理下限。真空中的光速恰好为每秒 米;信号在常见光纤中的传播速度约为每秒 米。因此,一条长 1,000 千米的光纤线路,即使不计设备及其他因素造成的延迟,单向传播也需要约 5 毫秒。实际光缆路径比地理上的直线距离更长。更快的处理器或更高的链路容量,都无法消除这一取决于距离的延迟分量。
传输延迟取决于分组长度和链路速率,而非路径长度。在每秒 1 吉比特的速率下,将 1,500 字节串行发送需要 12 微秒,这还不包括额外的成帧和物理层开销。在每秒 10 兆比特的速率下,发送同样的数据则需要 1.2 毫秒。在采用存储转发方式的分组交换网络中,设备可能需要先接收完整分组,再将其转发,因此沿途的各条链路都会引入串行化延迟。直通转发设备可以更早开始转发,但仍无法消除传播延迟,也无法省去传输全部比特所需的时间。
往返时间(RTT)衡量的是一次去程与一次回程的总耗时,以及测量范围内所包含的中间处理时间。常见的 ping 工具估算的是一次往返通信的耗时,而不是应用完成任务所需的时间。通常不能直接将 RTT 除以二来推算单向延迟,因为两个方向的路径、流量状况和调度方式可能不同。路由器对诊断流量的处理方式也可能不同于普通应用流量。
网络延迟会随拥塞程度、路径选择、无线信道争用、重传和链路层调度而变化。卫星连接可以说明地理因素与实现方式之间的区别:地球静止轨道卫星在距地面约 35,786 千米的高度运行,因此,即使尚未计入地面路由,一条上行至卫星再下行返回地面的路径也会引入相当大的传播延迟。低地球轨道系统缩短了轨道传播距离,但其总延迟仍取决于地面站布局、路由和网络负载。
排队、利用率与延迟分布
排队现象解释了为什么系统接近容量上限时,延迟往往会急剧上升。当请求到达一个繁忙的资源时,就必须等待先前的工作完成。平均利用率本身并不能完全决定等待时间:到达间隔和服务时长的波动也很重要。即使平均负载看似适中,不规则的突发请求或偶尔出现的耗时操作,也可能导致长时间等待。调度策略则决定了哪些请求需要承担这些等待。
排队论为这种行为提供了数学模型。在理想化的 M/M/1 模型中,请求按泊松过程到达,各次服务时间相互独立且服从指数分布,并由一个服务台处理请求。若到达率为 ,服务率为 ,且 ,则请求在系统中的平均逗留时间为
当 个请求每秒时,到达率从每秒 500 个请求增加到 900 个,会使平均响应时间从 2 毫秒升至 10 毫秒。这些数值描述的是该模型,并非对真实服务器普遍适用的预测;但接近饱和时延迟急剧上升这一现象,具有广泛的重要性。
约翰·D. C. 利特尔于 1961 年确立的利特尔定律,描述了稳定系统中平均在系统数量、到达率与逗留时间之间的关系:
其中, 是所选边界内的平均对象数量, 是长期平均到达率, 是对象在边界内停留的平均时间。该定律不要求服务时间服从指数分布。要有效运用这一定律,必须采用一致的系统边界和相容的平均值计算假设:如果只统计正在执行的请求,却在测量延迟时把排队请求也包括在内,就混淆了不同的系统。
因此,延迟通常用分布而非单一数值来描述。中位数描述处于中间位置的观测值;第 95、99 或 99.9 百分位数则描述越来越少见的延迟。尾部延迟指的就是分布中延迟较高的这一端。某项服务的平均延迟可能尚可接受,但仍有不可忽视的一部分请求需要等待很长时间。通常不能通过对不同机器或不同时间窗口的百分位数取平均,来得到合并全部观测值后的百分位数。
延迟的变化通常称为抖动,这一说法在通信领域尤为常见,不过不同标准对其具体统计量的定义并不相同。在交互式媒体中,延迟波动可能与持续较高的延迟同样具有破坏性,因为数据包不再按预期的节奏到达。队列可以吸收突发流量,但代价是将丢包或工作请求被拒绝转化为额外的等待。缓冲膨胀指网络缓冲区持续处于满载状态所造成的过度延迟。它说明了为什么增加缓冲容量可能改善丢包指标,却使响应性变差。
处理器、内存与存储
在硬件层面,延迟衡量的是从发出请求或操作到获得可用结果之间的时间。中央处理器区分指令延迟与吞吐率的倒数。一个执行单元可能每个周期都能接收一项独立操作,尽管每项操作都需要多个周期才能产生结果。相互依赖的指令链必须逐步等待前一条指令的结果,而独立指令则可借助流水线和乱序执行重叠执行。
存储层次结构利用了不同存储器在容量、成本、带宽和访问延迟方面的差异。寄存器和靠近处理器的缓存能快速访问较小的工作集;主存容量大得多,但延迟也更高;持久性存储通常更慢。命中小型 CPU 缓存可能只需几个处理器周期,而在许多当代系统中,访问主存需要数十到一百多纳秒。具体数值取决于处理器设计、时钟配置、内存配置、访问模式及资源争用情况。
应用程序实际感受到的内存延迟可能超过设备的基本访问时间。虚拟地址可能需要转换,而转换过程可能涉及页表访问。缓存未命中可能需要按照缓存一致性协议变更数据的所有权。在非统一内存访问系统中,访问连接到另一个处理器插槽的内存,所经过的路径与访问本地内存不同。缺页异常可能触发操作系统介入;如果必须从存储设备中读取数据,延迟可能增加数个数量级。
存储延迟既包括物理访问耗时,也包括软件开销。旋转磁盘必须定位磁头,并等待目标扇区旋转到位。在每分钟 7,200 转的转速下,旋转一周约需 8.33 毫秒;若假设目标扇区的位置均匀分布,则平均旋转等待时间约为 4.17 毫秒,这还不包括寻道和数据传输耗时。闪存没有机械运动,但读取、编程和擦除操作仍各有不同的特性。控制器调度、内部清理、纠错和设备队列都会影响实际观测到的延迟,尤其是高百分位延迟。
硬件和软件往往是在隐藏延迟,而非消除延迟。预取会在需要数据之前就发出请求;乱序执行会在某项操作等待期间执行无关的工作;同时保持多个尚未完成的存储或内存请求,可以使更多操作重叠进行。这些技术对严格的依赖链效果不佳,例如沿指针逐个访问时,只有当前加载完成后才能知道下一个地址。这一区别对性能分析至关重要:提高并发程度可能提升吞吐率,却不会改变单次依赖访问的延迟,甚至可能因资源争用而使其增加。
操作系统与应用程序执行
从硬件完成服务到应用程序感知操作完成之间,还涉及调度、同步和运行时活动。处于可运行状态的线程可能需要等待处理器时间才能执行。被阻塞的线程可能需要在输入/输出操作完成后被唤醒并接受调度。中断处理、内核工作和上下文切换也会带来额外耗时。因此,设备完成某项操作,并不意味着等待中的应用程序会立即感知到操作已完成。
处理器调度决定相互竞争的任务如何共享执行资源。分时调度策略兼顾响应速度与公平性,而实时调度策略则可能根据固定优先级或截止期限来确定任务的优先次序。当高优先级任务等待某个由低优先级任务持有的资源,而后者又因其他工作而迟迟无法执行时,就会发生优先级反转。优先级继承可以通过临时提高资源持有者的优先级来缓解这一问题。这些机制解决的是与调度有关的延迟,并不会使受保护的操作本身执行得更快。
同步会带来额外的等待。互斥锁可以使对共享资源的访问串行化,而锁争用可能使原本耗时很短的受保护操作成为严重的延迟瓶颈。自旋锁在等待时会消耗处理器时间,而阻塞锁则可能涉及线程挂起和重新调度。两种方式都并非在所有情况下更快:结果取决于持锁时长、争用程度、处理器可用性以及执行上下文。相互独立的变量占据同一缓存行时,会产生伪共享;即使不存在显式的锁争用,这也可能带来缓存一致性通信和延迟。
语言运行时会呈现各自特有的延迟模式。垃圾回收在某些阶段可能会暂停应用程序线程,不过不同回收器设计的暂停行为差异很大。即时编译可能使早期请求比后续请求更慢。加载类、映射文件、建立连接和填充缓存都会产生预热效应。在无服务器计算中,冷调用可能还需要准备执行环境,而热调用则可以复用已有环境。这些属于不同的运行条件,在相关情况下通常会分别报告。
异步编程允许线程在某项操作进行期间处理其他工作,而不必阻塞等待,但它并不会自动缩短该操作从开始到完成所需的时间。事件循环可以高效地处理大量尚未完成的请求,但如果某个回调执行了耗时的同步计算,它仍可能变得响应迟缓。同样,将工作转移到工作线程池会引入排队和任务交接。应用程序的延迟既取决于实际执行的工作,也取决于完成通知的传递架构;表面上的“空闲时间”可能是在等待外部依赖项的必要结果,而不意味着存在尚未利用的优化空间。
分布式服务、数据库与关键路径
在分布式计算中,一项操作往往包含多次通信和本地计算,它们之间的依赖关系决定了一条关键路径。三次顺序执行、每次耗时 20 毫秒的远程调用,在计入本地开销之前就会带来约 60 毫秒的延迟。如果这些调用彼此独立且并发发出,它们带来的延迟则更接近其中最慢一次调用的完成时间。并行执行改变了依赖结构,但对共享资源的争用可能抵消预期的性能提升。
扇出使尾部延迟变得尤为重要。假设一个聚合服务要等待全部 个相互独立、同分布的子请求完成,而每个子请求在时间 内完成的概率为 。所有子请求都在该时间内完成的概率为
如果每个请求都有 99% 的概率在某个时间阈值内完成,那么 100 个这样的请求全部在该阈值内完成的概率仅约为 36.6%。在实际服务中,请求会共享网络、主机或存储,因此往往不满足独立性假设,但这个例子说明了为什么一种相对少见的延迟,在面向用户的层面上却可能变得常见。
一项数据库事务可能包括查询执行、锁获取、日志持久化以及与副本通信。写入到达易失性内存后就返回确认,与仅在写入持久化存储后才返回确认,在延迟和持久性方面有着不同的影响。预写日志将日志记录纳入恢复路径,而组提交则让多个事务分摊一次持久化操作的成本。分组可以提高吞吐量,但也可能使单个事务需要等待一组事务凑齐。
数据库复制需要决定何时将结果视为已提交或可见。同步复制可能要求在返回确认之前先与其他节点通信。异步复制可以更早返回确认,但允许副本滞后。分布式共识协议通过额外的通信与协调,确立各方一致认可的操作顺序;其延迟取决于节点在网络中的部署位置、协议状态、故障以及具体实现。最终一致性改变了某些协调要求,但这并不意味着所有操作都能立即完成,也不意味着应用层的依赖关系会消失。
负载均衡可以通过分散请求来减少排队,但前提是其选择策略充分考虑了可用容量和工作负载差异。重试和对冲请求可以降低部分调用方感受到的延迟,却也会消耗额外资源。在过载期间,不受控制的重试可能加剧资源争用,使队列变长。因此,时间预算通常会跨服务边界传递:下游操作只分配到调用方剩余时限的一部分,而不是在每个阶段都获得一个互不相关的完整超时时长。
Web 内容交付、交互式媒体与推理
对于万维网而言,用户感知到的时延不仅来自文档传输。一次页面导航可能需要经过域名系统查询、连接建立、安全协商、请求传输、服务器处理,以及在网页浏览器中渲染等步骤。缓存的域名解析结果或复用的连接可以省去其中一些步骤。子资源和脚本会引入额外的依赖关系,因此,收到首个字节、首次显示内容,以及界面能够稳定响应,是不同的时间节点。
协议设计会影响这条路径上的往返次数。建立常规的传输控制协议连接通常需要三次握手。2018 年完成标准化的传输层安全协议 1.3 版,相较于此前常见的配置,减少了安全通信所需的握手交互。2021 年完成标准化的QUIC 协议将传输连接的建立与 TLS 相结合,支持多条数据流,且不会像 TCP 那样因丢包而在不同流之间产生队头阻塞。但它并不能消除拥塞、传播时延或应用层的依赖关系。对于符合条件的恢复连接,早期数据可以缩短等待时间,但重放风险限制了它的使用。
内容分发网络将内容副本或应用功能部署到更靠近用户的位置。这可以缩短传播路径、减少源站流量,并避免重复计算相同的响应。其收益取决于内容的可缓存性、缓存命中率、路由以及动态数据的存放位置。从附近节点提供一张静态图片,与完成一笔仍需和远端数据库通信的个性化交易,并不是一回事。
交互式音视频必须在延迟与连续性之间作出权衡。接收端的抖动缓冲区会推迟播放,以适应数据到达时间的不规律性;更大的缓冲区可以减少播放中断,但也会增加对话延迟。音频处理也按块进行:在 48 kHz 采样率下,包含 256 个采样点的一个音频块对应约 5.33 毫秒的音频。输入到输出的总时延还包括额外的采集、处理、缓冲、传输和播放环节。在游戏和虚拟现实中,输入采样、模拟、渲染、显示刷新和扫描输出都会产生时延。在 60 Hz 刷新率下,一帧的周期约为 16.67 毫秒。
神经网络推理也涉及类似的区分。对于自回归大语言模型,首个词元时延包括第一个输出词元出现之前所需工作的耗时,而词元间时延则反映后续生成过程的速度。总响应时间还取决于输出长度。在图形处理器上对请求进行批处理可以提高吞吐量,但也可能引入排队等待;处理长提示词会与正在进行的生成任务争用资源。流式输出可以更早地呈现部分结果,但不一定能缩短完成整个回答所需的时间。
测量与实验设计
准确测量延迟,首先要明确事件的起止边界以及所用的时钟。测量同一台机器内的经过时间时,使用单调时钟可以避免民用时间调整造成的时间跳变。墙上时钟可能被校正或直接跳调,因此简单地将时间戳相减并不可靠。使用高分辨率计数器时,也需要关注平台提供的保证、虚拟化的影响以及测量开销。时钟能显示纳秒,并不意味着它具有纳秒级的准确度、稳定性或有效分辨率。
跨机器的单向测量还依赖于时钟同步。网络时间协议通过交换时间戳来估计时钟之间的关系,而精确时间协议在适当的受控网络中可以实现精度高得多的同步,尤其是在采用硬件时间戳的情况下。但两者都无法消除不确定性。时钟偏移、漂移、路径不对称以及时间戳的记录位置都会影响结果。往返测量不要求端点时钟同步,但仅凭这种测量,无法区分去程与回程各自的延迟。
有代表性的实验既要控制工作负载,也要控制测量手段。相关变量包括请求大小、连接复用、并发度、到达模式、数据分布、缓存状态和后台活动。闭环基准测试在先前的任务完成后才发送新任务;如果服务变慢,负载发生器可能会无意中降低请求速率。开环基准测试则独立安排请求的到达,从而揭示在给定输入负载下队列的增长情况。没有哪一种模型天然适用于所有应用;它们回答的是不同的问题。
当测量过程未能反映服务变慢期间本应出现的请求或等待时段时,就会发生协调遗漏。例如,客户端在等待某个迟迟未返回的响应时停止生成任务;对于请求本应持续独立到达的工作负载,这样测得的延迟分布就可能显得过于理想。要进行修正,必须明确假定的目标请求到达过程。处理超时和错误时也需要同样谨慎:如果只报告成功完成的请求,就可能掩盖最慢或失败的尝试,低估调用方实际经历的延迟。
分布式追踪记录跨服务、具有因果关联的追踪片段,使关键路径和远程等待更清晰可见。采样可以限制开销,但除非采样策略专门保留罕见事件,否则就可能遗漏这些事件。测量代码本身也可能通过日志记录、内存分配、同步或网络流量改变程序的执行。因此,可靠的报告应注明样本数、测量时间窗口、错误率以及相关的不确定性。对于第 99.9 百分位数,1,000 个观测值中大约只有一个会超过名义阈值;要可靠地估计极端尾部,通常需要多得多的数据,并留意工作负载的变化。
降低和控制延迟的技术
延迟优化首先要确定哪些活动决定了任务何时完成。阿姆达尔定律描述了执行过程中未获加速的部分对整体加速效果的限制:若占比为 的部分加速至原来的 倍,则理想加速比为
虽然这一推理最初用于并行处理,但它同样适用于降低延迟。如果响应时间大多花在等待远程服务上,那么将计算速度提高一倍所能带来的改善也很有限。反之,如果工作负载主要由本地计算构成,降低网络延迟可能几乎没有效果。
当已存储的结果可以复用时,缓存能够避免重复的工作或通信。数据库索引可以减少需要检查的数据量;保持可复用的连接可以省去建立连接时的握手;将计算移至更靠近数据的位置可以省去数据传输。这些方法各自改变了关键路径中的特定环节。缓存失效机制和数据新鲜度要求限制了复用,而索引则会带来存储和更新成本。压缩可以缩短数据在受限链路上的传输时间,但会增加编码和解码工作,因此其效果取决于消息大小、处理能力和网络状况。
并发和推测执行旨在让工作重叠进行,或提前开展可能需要的工作。相互独立的请求可以并行执行;预取可以提前发起未来可能发生的访问;对冲请求则可以在首次请求异常缓慢时再发起一次尝试。这些技术会消耗额外资源,或依赖有效的预测。取消操作十分重要,否则已被放弃的请求可能继续占用处理器时间、存储带宽或远程资源容量。如果并行程度超出了共享依赖项的承载能力,平均延迟和尾部延迟都可能恶化。
队列控制直接针对等待问题。准入控制会在队列无限增长之前拒绝或推迟处理任务。背压会将容量限制向生产者传递。较短的队列、适当的调度以及充足的富余容量可以减少响应时间的波动,但系统设计必须明确如何处置无法得到服务的任务。网络中的主动队列管理可以在缓冲区持续满载之前发出拥塞信号或丢弃数据包。优先级调度可以保护对延迟敏感的流量,但这只是将延迟转移给优先级较低的流量,并未消除资源短缺。
批处理体现了效率与单项任务延迟之间反复出现的权衡。合并操作可以分摊固定开销,并可能大幅提高设备利用率,但单个任务可能需要等待,直到凑齐一个批次。设置有明确时限的批处理计时器,可以限制这种人为引入的延迟。同样,轮询可以省去唤醒开销,但代价是占用处理器资源并消耗能源。服务级别协议和内部目标将这些权衡转化为可衡量的要求;理想情况下,应明确规定操作、百分位数、观测窗口、工作负载条件以及错误的处理方式,而不是依赖含糊不清的“低延迟”承诺。
历史发展与时序关键系统
延迟始终是计算领域关注的问题,但其主要来源不断变化。早期计算机的延迟主要来自存储介质、算术电路和外围设备。磁鼓和延迟线存储器的访问时间与所存数据的物理组织方式密切相关。随着处理器速度提高,计算与数据移动之间的速度差距变得更加突出。高速缓存、流水线和推测执行等技术的发展,部分是为了弥合或掩盖这些差距,而不是让每个组件都达到同样的速度。
20 世纪 60 年代,交互式分时系统将关注点转向了用户发出命令后所经历的延迟。批处理系统强调高效完成大批任务,而交互式系统还需要为每位用户提供可接受的响应时间。网络化计算又将这一问题扩展到了多台机器之间。随着互联网和商业 Web 服务的发展,连接建立、地理距离、服务器资源争用和浏览器执行相互关联,共同影响用户感受到的性能。
大规模服务架构使罕见延迟的影响日益显著。一个需要多个组件共同完成的请求,即使所依赖的各个组件通常都很快,也可能遇到其中某个组件响应缓慢的情况。杰弗里·迪恩和路易斯·安德烈·巴罗佐于 2013 年发表的文章《规模化系统中的尾部延迟》(The Tail at Scale),对这一问题及其缓解技术作了阐述,并被广泛引用。这些问题的内在机制将现代服务工程与由来已久的排队论和可靠性问题联系起来:共享资源、变异性和同步机制,可能使系统的整体行为与单个孤立组件的行为大不相同。
对时序要求严格的系统,仅有良好的平均表现还不够。实时操作系统提供了一些机制,旨在提高调度和响应的可预测性。在硬实时应用中,错过截止时间就可能构成系统故障;在软实时应用中,后果通常是实用性或质量下降。因此,最坏情况执行时间分析、中断延迟上界、资源仲裁以及对动态行为的限制,可能比峰值吞吐量更加重要。测得的最大值并不自动等于经过证明的最坏情况上界,因为测试未必能覆盖所有相关的状态与干扰组合。
控制系统说明了可预测性为何重要。传感器测量、计算和执行器更新构成一个反馈回路。延迟会改变回路中的相位关系,并可能降低稳定裕度;延迟的变化则使实际时序更难建模。在人机交互中,延迟能否被察觉同样取决于具体任务:文本输入、语音交谈、远程操控和沉浸式显示各有不同的时序要求。不存在一个能为所有这些任务界定可接受延迟的统一数值阈值。相关要求可能针对平均响应速度、某个高百分位数、严格的截止时间、不同数据流之间的同步,或行动所依据信息的时效性。