键值缓存,通常简称为 KV缓存,是在神经网络推理过程中保留的一组中间表示,使基于注意力的模型在处理后续词元时无需重新计算这些表示。在Transformer架构中,它通常保存注意力层为已处理词元生成的键向量和值向量。新词元提供一个查询,对这些已保存的向量进行注意力计算,随后再将自身的键和值加入缓存。
KV缓存是许多大语言模型实现高效文本生成的基础。它利用了生成过程的因果结构:先前词元的表示不会仅仅因为追加了另一个词元而改变。复用这些表示可以大幅减少重复计算,但也会产生一份状态,其大小随序列长度、并发请求数以及注意力头的数量和维度而增长。因此,缓存容量、内存带宽、存储布局和共享策略都会显著影响模型服务的性能与成本效益。
尽管名称相似,KV缓存通常并不是像Redis那样的通用键值存储。它的“键”和“值”是在注意力机制中承担特定作用的数值张量,而非任意的标识符和记录。其实现方式既包括简单的数组,也包括分页、量化、共享或分布式表示;不同方式对速度、内存占用和数值特性的影响各不相同。
注意力的代数表达与缓存原理
在 Transformer 的注意力层中,输入表示通过投影得到查询、键和值。对于单个注意力头,这些投影可写为 、 和 ,其中 表示词元位置。通过学习得到的矩阵决定了哪些特征有助于位置间的匹配,以及哪些信息会向后传递。因此,“键”指的是用于相似度评分的向量,而“值”指的是经组合后构成注意力输出的向量。
对于因果自注意力,位置 只能关注允许访问的先前位置,通常也可以关注自身。忽略批次维度和注意力头维度后,其输出为
其中, 和 汇集了相关的键和值, 为键的维度, 则表示注意力的访问限制。对于在推理模式下运行的严格因果模型,处理后续位置不会改变先前位置的隐藏状态。因此,先前位置投影得到的键和值可以保留并复用,无须重新计算。
每个注意力层都维护各自的缓存,因为该层的键和值来自该层的输入。在下一个生成步骤中,模型先计算新词元在该层的输入,将其投影为查询、键和值,再将新的键和值与对应层已保存的状态合并,然后计算注意力。由此得到的隐藏状态会经过该层的其余组件,再传入下一层。缓存并不会跳过新词元所需的这些计算,而是避免对先前词元重复执行这些计算。
通常不会保留过去的查询,因为常规的因果生成过程不会重新计算它们对应的注意力输出。新到来的词元需要的是一个新查询,以及过去的键和值,而不是过去的查询。同样,注意力概率通常也只是临时结果:它们取决于当前查询,必须针对每个新生成的位置重新计算。因此,KV 缓存应与保存模型的所有中间激活区分开来。
交叉注意力中也存在类似的复用机会。在编码器—解码器架构中,解码器的查询可能反复关注同一份编码器输出。对于每个相关的解码器层,编码器输出投影得到的键和值都可以计算一次并缓存下来。这部分交叉注意力状态保持不变,而解码器的自注意力状态则不断增长。相比之下,向双向编码器追加文本可能会改变先前位置的表示,因此,上述仅需追加缓存的简单推理并不适用于不受限制的双向自注意力。
预填充、解码与缓存生命周期
自回归推理通常分为预填充和解码两个阶段。在预填充阶段,模型处理输入的提示词,并生成键和值,用于初始化缓存。尽管提示词受到因果掩码的约束,其中的各个词元仍可通过大规模矩阵运算一起处理。预填充完成后,模型在提示词最后一个位置上的输出给出下一个词元的概率分布。后续解码步骤则处理新选出的词元,同时复用已积累的注意力状态。
这一区别解释了一个细微却重要的时序问题:从输出概率中选出一个词元,本身并不会为该词元创建缓存条目。只有将选出的词元送入模型处理时,才会生成这些条目。因此,在处理完提示词并采样出第一个续写词元后,缓存所表示的仍然只是提示词,直到模型对该续写词元完成计算为止。具体实现可能会将这一边界隐藏在应用程序编程接口之后,但在保存状态、恢复生成或统计已生成的位置时,这一点十分重要。
缓存可以随序列增长而动态分配,也可以预先按最大大小保留空间。动态分配避免了一开始就占用可能需要的最大容量,但如果简单地在每一步拼接张量,就可能反复分配内存并复制已有数据。静态分配则将数据写入预留位置,并记录哪些位置有效。这种方式可以简化执行规划和编译,不过未使用的容量必须加以掩蔽,而且仍会占用存储空间,除非底层分配器提供更灵活的映射机制。
普通推理缓存通常不会用作完整序列训练的主要执行机制。训练时会同时计算多个词元的预测结果,而反向传播需要访问另一组中间值及其依赖关系。训练中的激活检查点与推理中的 KV 缓存虽然都会保存与计算有关的状态,但用途不同。在按序列逐步训练时,将缓存状态从计算图中分离,也可能改变其中保留的梯度路径。
当生成过程出现分支时,缓存的生命周期会更加复杂。在束搜索中,候选续写共享前缀,但之后会分化;选取候选束时,必须对其状态进行重排、共享或复制。在推测解码中,模型可能先对多个提议词元进行计算,再决定接受其中多少个。被拒绝位置对应的条目必须在逻辑上移除或回滚,而已接受的条目则仍可复用。
同样,对话缓存表示的是某个特定的词元序列,而不是对话含义的永久记忆。追加消息时,只有在相同执行条件下,新的模型输入确实是缓存序列的延伸,原有缓存才能保留。编辑较早的消息、更改聊天格式分隔符,或在靠近开头的位置插入指令,通常都会使受影响的后缀缓存失效。可复用的单位是计算上完全一致的前缀,而不是语义相近的文本片段。
计算量节省与内存需求的增长
KV 缓存既改变了生成过程中的计算量,也改变了计算在各步骤之间的分布。为简化讨论,忽略初始提示,设 为已处理的位置数。一种直接的实现方式是在每一步都对不断增长的整个前缀重新运行因果 Transformer,其注意力计算量正比于 ,即 。相比之下,增量推理在每一步只计算新查询与已有键值之间的交互,因此注意力计算量正比于 ,即 。这些结论针对的是朴素的无缓存基线实现和全注意力,并不适用于所有可能的生成算法。
前馈和投影部分同样受益:先前的词元不再需要反复通过网络。不过,缓存并不能让全上下文解码变成常数时间操作。当上下文长度为 时,新查询仍需与大约 个已存储的键和值进行交互。因此,即使保留了先前计算出的所有张量,长上下文解码仍可能变慢。这里涉及的计算复杂性既包括算术运算,也包括数据在内存系统中的传输。
对于键头和值头维度相同的常规缓存,其基本存储需求为
其中, 为缓存的层数, 为等长序列的数量, 为这些序列已缓存的长度, 为键值头的数量, 为头维度, 为每个存储元素占用的字节数。系数 2 表示键和值各占一份。对于长度不等的序列,需将 替换为已缓存词元位置的总数。元数据、填充、量化参数和临时工作空间还会带来额外开销。
例如,假设模型有 32 层、32 个键值头,头维度为 128,每个元素占用两个字节。每个词元需要
即 512 KiB。因此,单个序列缓存 8,192 个词元时,仅键和值就需要 4 GiB。若将键值头数量从 32 个减少到 8 个,本例的存储需求便降为 1 GiB。这两个数值均不包含模型权重、临时激活值或内存分配器的开销。
解码的算术强度通常相对较低:每个新查询都要针对大量已存储数据执行有效的算术运算,而这些数据必须从高带宽内存中读取。因此,在图形处理器上,性能可能在达到矩阵算术运算的峰值吞吐量之前,就先受到内存带宽的限制。批量较小时,读取模型权重也可能占用大量带宽;较大的批量可以分摊这些权重读取的开销,但也会增加总缓存流量和容量需求。
因此,容量和带宽是两个独立的约束。内存足以存储长上下文,并不意味着带宽足以快速处理它;而提高算术运算吞吐量,也不一定能加速受带宽限制的解码内核。解读所报告的缓存优化效果时,必须考虑它缓解的是哪一种约束,以及它适用的序列长度和并发水平。
注意力架构与缓存表示
在传统的多头注意力中,每个查询头都有对应的键头和值头。不同的头可以学习不同的关系,但存储各个头的表示会使缓存大小成倍增加。若模型宽度为 ,其中包含 个大小相同的头,那么标准层为每个词元存储的键和值元素总数约为 。当层数众多、序列较长时,这部分缓存会占据推理总内存用量的相当大比例。
Noam Shazeer 于 2019 年提出的多查询注意力保留了多个查询头,但让这些查询头共享一个键头和一个值头。因此,其缓存大小取决于单个键值头,而非查询头的总数。尽管查询头使用相同的键和值,但由于各自的查询不同,它们仍会产生不同的注意力分数。这是一种架构上的改变,而不是对已训练好的多头模型进行简单的无损重排。
Joshua Ainslie 及其同事于 2023 年提出的分组查询注意力介于两者之间。查询头被划分为若干组,每组共享一个键头和一个值头。例如,当有 32 个查询头和 8 个键值头时,每 4 个查询头共享一组键和值。与其他条件相同、具有 32 个键值头的设计相比,其缓存大小仅为四分之一。这种分组方式可在表示灵活性、内存数据传输量和存储需求之间进行权衡。
这些架构带来的节省需要合适的执行内核才能实现。如果在物理存储中将共享的键值表示展开为多个重复副本,就可能丧失大部分收益。高效的内核会让使用同一份数据的查询头复用已存储的数据。这一区别在并行计算中同样重要:减少键值头的数量虽然可以降低存储需求,却可能使按头将计算直接划分到多个设备上的方案变得更加复杂。
另一些设计存储的是压缩表示,而不是各个头独立的完整大小张量。2024 年 DeepSeek-V2 使用的多头潜在注意力将注意力相关信息压缩为低维潜在状态。通过重新组织适当的线性运算,生成过程可以基于这一紧凑状态执行注意力计算,而不必将传统架构中各个头的完整键和值显式生成并长期存储。与位置相关的分量需要特殊处理;这种设计并不等同于在任意传统缓存生成后再对其进行压缩。
因此,常见的双张量描述只是一种逻辑模型,并非通用的物理格式。实际部署的模型可能采用不同的键维度和值维度,在不同层混用多种注意力类型,在某些层使用局部窗口,或采用潜在状态缓存。要准确估算内存需求,必须依据实际实现的架构。仅统计查询头数量,可能会大幅高估分组查询模型的缓存大小;而假定所有架构都采用相同的压缩方式,则可能低估缓存大小。
存储布局、分页与注意力内核
一种简单的实现方式是将各层的键和值存储在连续数组中,数组维度分别对应批次、注意力头、序列位置和头内特征。各维度的具体排列顺序会影响哪些值能够被高效地一起读取。对键的访问侧重于查询与键的点积,而对值的访问侧重于加权聚合,因此实现时可能会为这两个张量选择不同的布局或打包方案。最佳排列方式取决于硬件、数值格式和注意力内核。
当请求长度难以预测时,连续存储就会面临困难。为每个请求预留较大的缓冲区,会留下大量闲置空间;而反复扩展缓冲区,则可能带来内存分配和数据复制的开销。此外,各个请求的完成时间不同,会在可用内存中留下空洞。这些问题与内存分配器和操作系统所处理的问题相似,不过注意力缓存有其特定的访问模式和张量处理要求。
PagedAttention 于 2023 年随 vLLM 推理服务系统一同推出,它将序列中逻辑上的词元位置与存放其缓存的物理块分离。块表记录每一段数据所在的位置。注意力内核按照这一映射访问数据,不再要求整个序列占用一块连续分配的内存。系统可以随着序列增长分配块,并在不再需要时将块归还到池中。这样就减少了为每个请求预先按最大可能长度预留空间的需要。
分页并不能消除所有空间浪费。序列的最后一个块可能只填充了一部分,块表、引用计数和对齐也会占用额外空间。较小的块可以减少尾部闲置容量,但会增加管理开销和映射工作量。较大的块能够降低这些开销,却会使分配粒度变粗。此外,用于注意力计算的设备端分页不一定采用硬件虚拟内存的机制:推理服务系统可以在设备常规内存接口之上,实现自己的块分配器和计算内核。
内核设计同样重要。Tri Dao 及其同事于 2022 年提出的 FlashAttention,通过分块计算,并避免在高带宽内存中显式存储完整的注意力矩阵,减少了注意力计算相关的内存访问量。它最广为人知的用途是包括训练和预填充在内的全序列注意力计算,但围绕存储层次结构组织计算这一更普遍的原则,同样适用于解码。FlashAttention 和 KV 缓存针对的是不同来源的低效问题,两者可以结合使用。
因此,推理服务的实现需要结合多个层面的优化:缓存分配、张量的物理布局、注意力计算分块、数值格式以及请求调度。某一层面的改进可能被另一层面的问题抵消。紧凑的缓存如果需要通过分散访问或反复转换才能读取,性能仍可能不佳;高效的内核也可能依然受制于分配器层面过多的空间预留和内存碎片。
前缀共享与多请求调度
不同请求往往以相同的文本开头,例如通用的系统指令、提供给多位用户的文档,或在生成不同候选回答之前共享的对话前缀。如果这些前缀产生相同的注意力状态,就可以共享其缓存,而不必分别重新计算和存储。这项技术通常称为前缀缓存或自动前缀缓存。它的主要收益是减少重复的预填充工作;当活跃请求持有对同一组物理块的引用时,还能节省内存。
复用要求计算完全一致,而不仅仅是可见文本相同。模型权重、词元 ID、相关的位置分配、注意力规则,以及任何已启用的模型适应配置都必须一致。即使显示出来的文字看起来相似,不同的分词器或聊天模板也可能改变词元序列。不同的低秩适应会改变模型计算,因此通常应归入不同的缓存命名空间。实现时可以将这些条件编码到块标识符或前缀哈希中。
共享前缀块很适合通过引用计数来管理。只要至少还有一个请求在使用某个块,该块就会保持分配状态。当后续生成需要修改某个共享且尚未填满的块时,可以通过写时复制,为其他请求保留原始状态。已填满且不可变的块尤其适合作为复用单元。基于哈希的查找也需要正确性保障:不能因哈希碰撞而悄然换入无关的模型状态,缓存键也必须涵盖所有相关的执行设置。
连续批处理解决的是另一个相关问题。服务器不必等待整个批次执行完毕,而是可以在生成迭代之间接纳新请求,并移除已完成的请求。执行批次中的请求集合不断变化,但活跃请求所属的缓存块会持续保留。相比于短请求必须等待最长请求完成的固定批处理方式,这能提高设备利用率,但也对映射和调度提出了更高要求。
预填充与解码也会争用资源。较长的提示词可能长时间占用设备,从而延迟现有对话的词元输出。分块预填充将这项工作拆成较小的片段,与解码步骤交错执行,在调度开销与响应速度之间进行权衡。调度器必须同时考虑当前的缓存用量和未来可能的增长;接纳过多请求可能迫使系统抢占请求、重新计算,或将状态转移到速度较慢的内存中。
在多租户服务中,共享会带来安全与用量核算方面的问题。缓存张量源自用户输入,应被视为可能包含敏感信息的状态。跨租户复用还可能产生可观测的时延差异,暴露某个前缀近期是否被处理过。因此,在考虑吞吐量的同时,也必须考虑隔离策略、访问控制和缓存命名空间。前缀缓存能够加速重复计算,但其本身并不为底层内容提供授权机制。
量化、淘汰与有界上下文方法
各种缓存缩减方法的区别在于,它们是否保留原有的注意力计算。共享相同的数据块、避免分配空间浪费,可以精确保留逻辑状态。量化则用更少的比特表示数值,通常会引入近似误差。词元淘汰和架构层面的上下文限制会改变哪些已存储的信息仍然可用。这些区别很重要,因为仅仅减少内存占用,并不能证明模型的行为保持不变。
简单的量化器使用缩放因子,以及某些格式中的偏移量,将一组实数值映射为整数编码。如果 是原始值,其近似重构形式可以是
其中, 是存储的整数, 是缩放因子, 是零点。将存储位宽从 16 比特降至 4 比特,理想情况下可将数值数据本身的存储量降至四分之一;但计入缩放因子、偏移量、内存对齐和未压缩的残差区域后,实际节省的空间会更少。
键和值的统计结构及其对误差的敏感程度不一定相同。键中的误差会影响注意力分数,随后经过非线性的 softmax 运算;值中的误差则会影响依据这些分数组合的向量。分组大小、逐通道或逐词元缩放、离群值处理,以及累加精度,都很重要。例如,2024 年发表的 KIVI 研究考察了适用于键和值的不同量化粒度,而不是对这两个张量采用完全相同的处理方式。
低比特表示可以减少缓存数据传输量,但格式转换也有成本。高效的注意力计算内核通常会在接近数据使用位置的地方解包并反量化数据,避免另外构建一份完整大小的重构缓存。如果解压缩需要额外的内存传输,或者依赖硬件支持不佳的算术运算,那么字节数的减少未必会带来成比例的加速。对模型质量的影响也取决于模型、任务和上下文长度;基准测试的平均结果并不能证明每个序列的行为都得到精确保留。
淘汰方法会保留选定的词元状态,并丢弃其余状态。滑动窗口仅保留最近的一段后缀,使缓存大小受窗口长度约束。对于注意力模式本就定义为使用该窗口的模型,这种方法是精确的;但若将其用于通常会关注全部历史信息的模型,则是一种近似。其他方案会保留选定的重要位置、注意力汇聚点,或将近期词元与较早的词元混合保留。2023 年提出的 StreamingLLM 表明,在某些流式处理场景下,同时保留序列开头的注意力汇聚词元和近期窗口很有用。
丢弃某个状态,并不意味着之后能以较低成本恢复它。一个词元在较深层的键和值依赖于它之前的上下文,因此恢复时可能需要重新计算相当长的一段前缀。将旧内容压缩成文本摘要,则又是另一种干预方式:它改变了词元序列,通常需要构建新的缓存状态。如果不对模型或任务作额外假设,固定大小的缓存一般无法保留不受限制的全注意力机制中所有可能的依赖关系。
分布式部署、卸载与异构内存
大规模推理会将模型计算和缓存存储分布到多个设备上。采用张量并行时,注意力头或投影维度被划分到不同加速器上,每个设备可以保存与其所负责分片对应的缓存部分。采用流水线并行时,不同层部署在不同设备上,因此每个流水线阶段都会保留自身所负责层的状态。这些安排降低了单个设备的资源需求,但也带来了通信、同步和放置方面的约束。
注意力头共享使分区变得更加复杂。如果分组查询模型的键值头数量少于参与计算的设备数量,一些实现会复制这些头,而不是进一步拆分它们。因此,实际缓存总占用量可能超过简单的理想分片估算值。另一方面,沿序列维度分区可以将较长的历史上下文分散到多个设备上,但这要求注意力算法能够正确合并各分区的部分结果。不能简单地对局部注意力归一化结果求平均,因为全局 softmax 必须考虑所有分区的分数。
缓存卸载将部分状态从加速器内存移至主机内存或其他存储层级。这扩大了有效容量,但注意力计算使用这些状态时,它们必须已经就绪。传统的全注意力解码步骤可能在每一层都需要访问所保留的全部上下文的键和值,因此,反复传输所有已卸载的数据可能成为严重的瓶颈。有效的方案需要依靠传输与计算重叠、选择性访问、适当的批处理,或带宽与工作负载相匹配的内存互连。
同样的权衡也出现在预填充与解码分离架构中。一组设备负责处理提示词,另一组则专门负责迭代生成。这种分离可以减少计算密集型预填充与带宽敏感型解码之间的相互干扰,并允许为两个资源池配置不同的资源。然而,提示词处理完成后,其缓存必须传输至解码工作节点。对于较长的提示词,这一传输的数据量可能大到足以影响首 token 延迟和网络资源配置。
移动缓存并不等同于发送模型输出的文本。传输的状态由多个层的数值张量组成,还可能包括块表、token 位置、量化元数据和模型标识符。发送方和接收方必须就格式、布局、架构及位置约定保持一致。在不同表示形式之间转换,可能需要额外计算或临时存储,从而降低将请求迁移到其他空闲工作节点的收益。
因此,分布式计算中的放置策略必须在负载与状态局部性之间取得平衡。将请求发送到最空闲的工作节点,可能会失去有价值的已缓存前缀;让请求留在同一工作节点上,虽然可以保留复用机会,却可能造成排队。发生抢占时,也需要在保存状态、传输状态和稍后重新计算之间作出类似选择。这些决策取决于提示词长度、预期的后续生成长度、传输带宽、设备占用情况,以及所保存的前缀实际被复用的概率。
位置正确性与缓存有效性
缓存仅对生成它的计算有效。复用缓存时,除了权重和词元 ID 必须匹配,位置编码、注意力掩码、层配置和数值计算约定也必须一致。即使张量的形状符合预期,如果它对应的是不同的词元位置或注意力模式,对当前请求而言仍可能是错误的。此类错误可能不会立即导致运行失败,而是悄无声息地降低生成质量。
旋转位置嵌入说明了为什么位置也是缓存语义的一部分。在一种常见实现中,查询和键会经过随位置变化的旋转变换,随后将旋转后的键存入缓存。这些旋转使注意力分数能够编码相对位置关系。要将缓存序列移到新位置,通常不能仅靠重新标记数组索引来实现。某些位置编码方案允许在特定假设下进行数学上严格可控的变换,但并不存在适用于所有模型的通用缓存移位操作。
动态批处理还带来了另一项区别:物理数组位置不一定等于逻辑词元位置。左侧填充可能改变序列在批张量中的位置,而分页存储可能将逻辑上相邻的词元放在相距很远的物理块中。正确的代码必须在必要时分别跟踪有效词元数量、缓存写入位置、位置索引和掩码。索引偏移一位的错误,就可能使当前词元关注未初始化的内存,或漏掉前面某个有效位置。
滑动窗口实现也需要同样谨慎。循环缓冲区可能覆盖最旧的物理槽位,但位置处理仍必须遵循模型预期的语义。有些模型即使只保留局部窗口可供访问,也仍然使用全局位置;另一些模型则采用不同的规则。同样,为扩展上下文窗口而更改旋转缩放配置时,如果实际的位置变换发生了变化,先前计算得到的键就可能失效。
缓存还会影响浮点计算的可复现性。在精确算术下,正确的缓存实现应与对应的不使用缓存的因果计算得到相同结果。但在实践中,逐个处理词元与一次处理整个序列,可能会选用不同的计算内核或归约顺序。由此产生的微小数值差异可能改变采样得到的后续序列;当候选词元的 logit 足够接近时,甚至可能改变贪心选择的结果。量化和缓存逐出还会引入额外的、有意为之的偏差,应将它们与普通的舍入效应区分开来。
因此,测试不仅要比较最终文本,还要比较中间量。值得检查的项目包括各层的键和值、下一词元的 logit、填充和批次重排时的行为,以及保存后恢复运行的等价性。PyTorch 和其他推理框架可能通过高层接口提供缓存对象,但底层必须满足的不变条件仍由模型架构决定。一次成功生成的结果即使“看起来合理”,也不足以有力证明缓存索引、复用边界和位置处理都是正确的。
历史发展与性能评估
KV 缓存背后的计算思路属于一大类保留可复用中间结果的技术。其具体形式自然源于阿希什·瓦斯瓦尼及其同事于 2017 年提出的 Transformer 架构中的因果注意力。循环神经网络的循环状态通常具有固定维度,而采用全注意力的 Transformer 则保留着一组不断增长、可寻址的历史表示。KV 缓存使模型能够以增量方式执行,而不必将这些历史信息转换为单一的循环状态。
随着解码器模型规模不断扩大,缓存存储从一个次要的实现细节变成了架构设计中的核心考量。2019 年提出的多查询注意力直接针对增量注意力的内存带宽开销。2023 年提出的分组查询注意力则在单个共享键值头与完全独立的多个头之间提供了一种折中方案。这些发展使键值头数量成为一项具有实际意义的模型规格,与参数量、层数以及支持的最大上下文长度并列。
系统研究则沿着互补的方向推动了改进。2022 年的 FlashAttention 着重减少与注意力有关的输入输出流量,而 2023 年的 PagedAttention 和 vLLM 则解决了模型推理服务中的内存分配、碎片化与共享问题。后续关于低比特缓存、潜在表示、流式注意力以及分离式推理的研究,探索了同一资源问题的不同方面。这些技术带来的收益并不能相互等同:分配器可以保持计算结果完全一致,而缓存淘汰会改变可访问的历史信息,量化则会改变存储的数值。
评估缓存实现不能只报告每秒生成的词元数。首词元时间涵盖提示词处理、排队以及任何必要的状态传输所需的时间。词元间延迟衡量生成过程中的响应速度。总体输出吞吐量衡量服务器面向所有用户完成的工作量,而峰值内存占用和支持的并发量则表明它能维持多少条活跃序列。一种设计可以通过将更多请求组成批次来提高吞吐量,同时却增加单个请求的延迟。
明确工作负载至关重要。提示词长度、生成长度、并发序列数、前缀共享率、注意力架构、数据类型和硬件都会影响结果。以短提示词为主的基准测试可能掩盖长上下文的带宽开销;包含大量重复相同前缀的基准测试则可能过度凸显前缀缓存的优势。报告内存节省量时,应区分张量的逻辑大小与实际物理分配量,并在元数据或工作区占用不可忽略时将其计入。报告加速效果时应说明基线,尤其要说明基线是否已经使用优化后的计算内核和内存管理。
近似方法还需要进行质量评估。困惑度可以检测预测行为的某些变化,但无法涵盖对检索、长距离推理、代码生成或精确复现先前内容的所有影响。相关评估既要测试常规工作负载,也要测试必须利用远处位置信息的情形。对于生产环境中的推理服务,尾延迟、缓存命中表现、抢占频率以及请求长度变化时的性能,往往能揭示孤立的单序列基准测试无法暴露的局限。