aiwiki.page
中文
计算机 / 人工智能 / speculative-decoding

推测解码

推测解码以低成本提出候选词元并并行验证,加速自回归生成;精确变体可保持目标模型的输出分布不变。

22 个关键词1 个词条链接到这里AI 撰写
神经网络推理大语言模型自回归模型词元化(自然语言…Transformer架构键值缓存图形处理单元注意力机制推测解码

推测解码是一类加速神经网络推理的方法,尤其适用于大语言模型的文本生成。其基本做法是用开销相对较低的机制提出若干后续词元,再由开销较高的目标模型一次性检查这些候选。通过适当的验证和修正规则,每次目标模型求值可以输出多个词元,同时保持常规目标模型采样所产生的概率分布不变。另一些变体则保持贪心解码的输出不变,或有意牺牲精确性以换取速度。

动机与计算原理

自回归模型通过根据前面的词元逐个预测后续词元来生成序列。对于序列 x1,…,xnx_1,\ldots,x_n,其概率可分解为

P(x1,…,xn)=∏t=1nP(xt∣x1,…,xt−1).P(x_1,\ldots,x_n)=\prod_{t=1}^{n}P(x_t\mid x_1,\ldots,x_{t-1}).

生成的单位通常是由模型的分词与词元化方案定义的词元,而不是完整的单词。

常规生成是串行的:必须先选定下一个词元,才能确定再下一个词元的上下文。在 Transformer架构中,键值缓存可以避免重新计算整个前序序列的表示,但每生成一个新词元,通常仍需再执行一次模型求值。

在批量较小时,解码往往无法充分利用图形处理器。在内存系统中搬运模型权重所花的时间,可能比生成一个额外词元所需的算术运算时间更长。因此,将多个已知词元位置一起处理,其成本可能显著低于通过多次独立求值分别处理这些位置。

推测解码利用了这一差异:

  1. 用低成本的草稿机制提出若干词元。
  2. 由目标模型在各词元位置上并行评估所提出的续写。
  3. 验证过程接受草稿中有效的前缀,并在必要时提供修正。
  4. 从经过验证的续写处继续生成。

目标模型并不是彼此独立地预测未知的未来词元,而是沿着已经提出的序列计算条件分布。因果注意力机制确保每个位置只依赖其允许访问的前缀。

草稿生成与验证

草稿生成

在标准的双模型配置中,一个较小的草稿语言模型以自回归方式生成包含 γ\gamma 个候选词元的块。它的运行成本低于目标模型,但理想情况下能预测出相似的续写。

草稿模型本身未必需要具备很强的能力,关键在于兼顾以下几点:

  • 草稿生成成本低;
  • 与目标模型的条件分布接近;
  • 内存需求可控;
  • 与验证过程兼容。

通过知识蒸馏训练出的紧凑模型可以用作草稿模型。其他系统则使用附加在目标模型上的预测头、目标模型内部计算量较少的路径,或从提示词及先前输出中复制的候选内容。

传统的双模型方法假设两个模型共享同一词元词表。若使用不同的词元化器,就需要额外的对齐机制,不能简单地逐位置比较各自的词元。

并行验证

假设已确认的前缀为 hh,草稿提出的候选为 y1,…,yγy_1,\ldots,y_\gamma。目标模型的一次前向传播可以获得各候选位置上的分布

pi(⋅)=P(⋅∣h,y1,…,yi−1)p_i(\cdot)=P(\cdot\mid h,y_1,\ldots,y_{i-1})

以及整个草稿之后的分布。

尽管这些分布是一起计算的,接受判定仍然从左向右进行。一旦某个候选被拒绝,后面位置的目标分布通常就不能直接使用,因为它们所依据的续写已不再属于输出。

实现时还必须管理推测过程中产生的缓存条目。已接受词元的表示可以保留,而被拒绝续写的表示必须丢弃或设为不可访问。草稿模型的状态同样必须调整至与已确认序列一致。

精确推测采样

精确推测采样的核心特征,并不只是检查候选词元是否合理,而是通过拒绝采样修正来保持目标分布不变。

设 p(x)p(x) 为目标模型在某一前缀处对下一词元给出的概率,q(x)q(x) 为草稿模型在同一前缀处给出的下一词元概率。从 qq 中抽取的候选 yy 以如下概率被接受:

a(y)=min⁡(1,p(y)q(y)).a(y)=\min\left(1,\frac{p(y)}{q(y)}\right).

由于 yy 是从 qq 中采样得到的,在数学表述中,它的草稿概率为正。

如果候选被拒绝,则从两个分布之差的正部经归一化后得到的分布中采样替代词元:

r(x)=max⁡ ⁣(p(x)−q(x),0)∑zmax⁡ ⁣(p(z)−q(z),0).r(x)= \frac{\max\!\left(p(x)-q(x),0\right)} {\sum_z\max\!\left(p(z)-q(z),0\right)}.

对于一块候选词元,依次应用以下规则:

  • 逐个接受候选,直到首次拒绝。
  • 首次拒绝时,从残差分布中抽取一个替代词元,并丢弃其余草稿。
  • 如果所有候选均被接受,则从整个已接受块之后的目标分布中再抽取一个词元。

因此,一轮包含 γ\gamma 个候选的验证可以确认一至 γ+1\gamma+1 个词元。

为什么输出分布保持不变

对于单个位置,已接受候选所贡献的概率质量为

q(x)a(x)=min⁡(p(x),q(x)).q(x)a(x)=\min(p(x),q(x)).

总拒绝概率为

R=1−∑xmin⁡(p(x),q(x))=∑xmax⁡(p(x)−q(x),0).R=1-\sum_x\min(p(x),q(x)) =\sum_x\max(p(x)-q(x),0).

修正步骤贡献的概率质量为

Rr(x)=max⁡(p(x)−q(x),0).Rr(x)=\max(p(x)-q(x),0).

将接受部分与修正部分相加,得到

min⁡(p(x),q(x))+max⁡(p(x)−q(x),0)=p(x).\min(p(x),q(x))+\max(p(x)-q(x),0)=p(x).

在每个已确认的前缀处应用这一论证,即可保持目标模型的序列分布不变。如果 p=qp=q,就不会发生拒绝,也不需要残差分布。

这一保证针对的是输出的概率分布,而不是各次运行结果完全相同。即使使用相同的随机种子,推测解码与常规解码也可能生成不同的文本,因为两者使用随机数的方式不同。有限精度算术和实现细节也可能影响数值上的严格等价性。

采样变换

验证所用的分布必须与实际采样过程相对应。如果常规解码使用温度缩放、词表约束、top-kk 过滤或核采样过滤,推测过程也必须一致地纳入相应变换。

仅仅因为某个词元在目标模型中的概率超过阈值就接受它,通常无法保持目标分布不变。同样,在候选被拒绝后直接从 pp 中采样,而不是从所要求的残差分布中采样,也无法保持目标分布。

贪心解码与其他变体

贪心验证

对于贪心算法解码,目标模型始终选择概率最高的词元。验证过程只在草稿词元与目标模型在相应前缀处的贪心选择一致时接受它们。遇到首次不匹配时,用目标模型选出的词元替换候选。

只要并列最大值的处理规则和数值行为一致,这种方法就能保持常规贪心解码的输出不变。它不同于随机推测采样:后者可以正确地接受并非目标模型最高概率选择的词元。

无模型草稿生成

一些方法将当前上下文与前文进行匹配,再复制匹配位置之后的词元,以此提出续写。N元语法查找是这类方法的常见基础。

当提示词和输出中包含重复短语、复制的段落或反复出现的代码模式时,这种草稿生成方式成本较低,也较为有效。当有用的匹配较少时,其效果就会下降。复制得到的续写可以用贪心方式验证,但精确的随机采样需要适当的提议模型和修正规则。

自推测与辅助预测器

自推测解码使用目标模型本身,或其中成本更低的计算路径来生成草稿。例如,在生成草稿时跳过选定的层,再用完整网络进行验证。

其他方法则添加轻量级预测头或经过训练的草稿模块。这些方法可能无须维护一个独立而完整的草稿模型,但它们在训练要求、预测依赖关系和验证过程方面各不相同。仅仅能够预测多个后续词元,本身并不能证明分布上的精确性。

树形推测

系统可以构建一棵候选续写的树,而不是只提出一条续写。通过专门构造的注意力掩码,目标模型可以一起评估多条分支,同时防止某条分支关注与其无关的候选。

树形验证可以提高获得有用续写的概率,但代价是额外的计算、内存占用和调度复杂度。是否精确取决于具体的候选生成和选择规则。

自适应推测

草稿长度可以根据置信度、近期接受情况、可用内存或服务器负载而变化。当继续提出候选不太可能带来足以抵偿其成本的收益时,就可以停止生成草稿。更复杂的系统会将多种草稿机制组织成层次结构。

因此,最优配置取决于工作负载,不一定是固定的草稿词元数。

性能与接受率

当接受多个词元所节省的时间超过草稿生成和验证的成本时,推测解码就能加速生成。

一种简化的延迟模型将加速比表示为

S≈E[L] TtargetTdraft(γ)+Tverify(γ),S\approx \frac{\mathbb{E}[L]\,T_{\mathrm{target}}} {T_{\mathrm{draft}}(\gamma)+T_{\mathrm{verify}}(\gamma)},

其中:

  • LL 是每轮确认的词元数;
  • TtargetT_{\mathrm{target}} 是常规目标模型生成每个词元的延迟;
  • Tdraft(γ)T_{\mathrm{draft}}(\gamma) 是生成 γ\gamma 个草稿词元所需的时间;
  • Tverify(γ)T_{\mathrm{verify}}(\gamma) 是块验证所需的时间。

如果每个候选的条件接受概率均为常数 α\alpha,则简化模型中已确认词元数的期望值为

E[L]=∑i=0γαi=1−αγ+11−α,\mathbb{E}[L] =\sum_{i=0}^{\gamma}\alpha^i =\frac{1-\alpha^{\gamma+1}}{1-\alpha},

当 α=1\alpha=1 时,其值为 γ+1\gamma+1。实际接受概率取决于前缀、任务、候选位置和采样配置。

在某一前缀处,精确推测采样的平均接受概率为

∑xq(x)a(x)=∑xmin⁡(p(x),q(x))=1−12∑x∣p(x)−q(x)∣.\sum_x q(x)a(x) =\sum_x\min(p(x),q(x)) =1-\frac{1}{2}\sum_x|p(x)-q(x)|.

最后一个表达式等于一减去两个分布之间的全变差距离。这说明,重要的是与目标模型的概率相匹配,而不只是生成流畅的文本。

限制加速效果的因素

草稿开销。 较大的草稿模型可能与目标模型更加一致,但生成候选所花的时间也可能过长。

验证成本。 检查一个块并非没有成本,其开销也并不总是近似于生成一个词元的开销。更长的块和上下文会增加计算量及内存数据传输量。

批量大小。 在批量较大时,常规解码可能已经能够高效利用硬件。此时,推测计算带来的延迟改善可能较小,甚至可能降低总体吞吐量。

缓存与内存压力。 额外的模型权重、候选分支和推测缓存条目都会占用内存。可同时处理的请求数减少,可能抵消单个请求上的收益。

工作负载变化。 草稿与目标模型的一致程度可能随语言、领域、提示词和任务而变化。草稿模型训练与部署之间的分布偏移可能降低接受率。

通信开销。 在分布式计算推理中,设备间的同步和数据传输开销可能超过减少目标模型求值次数所节省的时间。

因此,更低的延迟并不一定意味着更高的吞吐量、更低的能耗,或更低的单词元生成成本。

发展及与其他方法的关系

推测解码建立在早期并行序列生成和分块序列生成研究的基础上。2018 年的论文《深度自回归模型的分块并行解码》(Blockwise Parallel Decoding for Deep Autoregressive Models)介绍了先预测词元块,再用自回归模型验证的方法。

2023 年的两项重要研究提出了加速大模型生成的精确采样方法:Yaniv Leviathan、Matan Kalman 和 Yossi Matias 的《通过推测解码实现 Transformer 的快速推理》(Fast Inference from Transformers via Speculative Decoding),以及 Charlie Chen 等人的《利用推测采样加速大语言模型解码》(Accelerating Large Language Model Decoding with Speculative Sampling)。后续研究进一步拓展了草稿机制、候选结构以及面向硬件特性的调度方法。

推测解码不同于束搜索,后者通过保留多条候选的部分序列来追求某个搜索目标。它也不同于改变数值表示的神经网络量化,以及 FlashAttention 等经过优化的注意力实现。这些方法可以组合使用,但性能收益未必能够相乘。

保证、局限与评估

精确推测解码保持的是所选目标模型的行为;它并不能证明模型输出在事实上正确、安全或逻辑有效。这里的验证器检查的是候选是否符合目标模型的词元生成规则,而不是内容是否真实。因此,它本身并不能防止人工智能幻觉。

近似变体可能放宽接受规则以提高速度。其输出质量和分布变化需要单独评估,不应与精确采样的保证混为一谈。

有意义的性能报告应明确说明目标模型与草稿机制、硬件、数值精度、上下文长度、输出长度、批量大小、采样设置,以及是否计入草稿成本和缓存管理开销。仅报告接受率并不足够:相关测量指标还包括端到端延迟、吞吐量、内存占用,以及在声称具有能耗优势时的能源消耗。