**多查询注意力(Multi-query attention,MQA)**是多头注意力的一种变体,其中多个查询头共享一组键投影和值投影。它应用于Transformer架构,可减少文本生成过程中需要存储和读取的键值数据量。其主要优势是提高神经网络推理效率,尤其是在借助键值缓存逐个生成词元时。MQA并不是用单个注意力头取代多头注意力,而是为每个查询头保留独立的查询投影和注意力分布。
背景与动机
注意力机制将查询与一组键进行比较,利用得到的权重对相应的值加权组合,从而计算输出。在标准多头注意力中,每个头都有自己的查询、键和值投影。这使不同的头能够学习不同的位置匹配方式和信息提取方式。
对于自回归语言模型,生成过程每次产生一个词元。在每一层,新词元通过因果自注意力关注此前的位置。先前词元的键和值可以缓存起来,因为后续解码步骤无需重新计算它们。
在常规多头注意力中,缓存需要为每个头分别存储键和值。缓存大小随序列长度、批大小、层数以及注意力头的数量和维度而增长。反复读取这些缓存张量可能成为推理的一项主要开销,尤其是在计算能力相对于内存带宽较强的图形处理器上。
MQA通过让各个头共享键和值来降低这项开销。每个头仍会提出不同的“查询”,但所有头都使用同一组投影后的键表示和值表示。
数学表述
设查询输入由矩阵 表示,被关注的序列为 。在自注意力中,两者来自同一个序列;在增量解码中,查询可能仅对应新处理的位置。
对于 个查询头,MQA计算如下:
其中,
第 个头的输出为
其中,softmax沿键的位置维度应用, 是可选的加性掩码。对于因果注意力,掩码会屏蔽未来位置。将各个头的输出拼接后再进行投影:
其显著特征是 和 没有头索引。相比之下,标准多头注意力为每个头分别使用独立的 和 。
共享键并不意味着注意力权重相同。不同的查询投影通常会产生不同的得分矩阵 ,使各个头能够侧重不同的位置。不过,所有头都使用相同的键表示进行匹配,并使用相同的值表示提取信息。
内存与计算方面的影响
键值缓存大小
假设模型有 个注意力层,批大小为 ,缓存序列长度为 ,查询头数量为 ,键和值的维度分别为 和 。若每个缓存元素占用 字节,则常规多头注意力的键值缓存大约需要
字节。
对于MQA,相应的需求为
在这些假设下,MQA将键值缓存的存储需求降至原来的 分之一。这一比较未计入模型权重、临时激活值、缓存管理元数据及实现开销。
例如,将32个键值头替换为一个共享头,理想情况下可使键值存储量降至原来的三十二分之一。但这并不意味着模型的总内存需求也会降至原来的三十二分之一。
内存流量与生成速度
在单词元解码过程中,每个查询头都必须对已存储的序列执行注意力计算。MQA允许各个头复用相同的缓存键和值,从而减少必须从设备内存中读取的不同数据的总量。
当注意力计算受内存带宽限制时,这一点尤其有价值。较小的缓存还可以在固定内存容量下容纳更大的批次或更长的序列。因此,即使单个请求的延迟改善不那么显著,服务吞吐量仍可能提高。
实际加速效果取决于硬件、序列长度、批大小、数值精度和计算内核的实现。如果某种实现将共享的键和值实际展开为多个独立副本,就可能丧失大部分内存流量优势。
运算量与参数量
MQA减少了生成键和值所需的计算量和参数量。对于上述投影矩阵,常规多头注意力的键投影和值投影参数量为
而MQA的相应参数量为
查询投影和输出投影的大小则无需改变。
MQA并不会消除每个查询头各自的注意力计算。每个头仍需计算得分,并对值进行加权求和。因此,忽略常数因子和实现细节,注意力运算量仍然正比于
对于全序列稠密自注意力,其运算量与序列长度之间的二次关系依然存在。MQA主要改善存储和数据传输,而非改变稠密注意力的基本时间复杂度。
与其他注意力变体的关系
多头注意力与分组查询注意力
分组查询注意力(GQA)推广了这种共享模式。它将查询头划分为若干组,每组共享一个键头和一个值头。
若 表示键值头的数量,则有:
| 架构 | 键值头数量 | 共享模式 |
|---|---|---|
| 标准多头注意力 | 每个查询头都有自己的键和值 | |
| 分组查询注意力 | 通常为 | 多个查询头共享一个键值头 |
| 多查询注意力 | 所有查询头共享一个键值头 |
在各维度相同的条件下,GQA的缓存存储量与 成正比,而MQA是其共享程度最高的极端情况。GQA提供了一种折中选择,介于各头表示相互独立的方案与常规共享头方案中缓存最小的方案之间。
FlashAttention与稀疏注意力
FlashAttention关注如何通过分块和减少内存传输来高效计算注意力;MQA关注如何共享查询、键和值投影。这两种技术针对注意力的不同方面;当实现支持共享键值头时,可以将它们结合使用。
同样,滑动窗口注意力限制了可以关注的位置范围。MQA本身不施加这类限制。它既可以对可用序列使用稠密注意力,也可以与限制关注范围的注意力模式结合使用。
训练与质量权衡
MQA对表示能力施加了一项约束:不同查询头无法独立学习各自的键投影和值投影。尽管各查询头保留了不同的匹配行为,但它们共享用于匹配和提取值信息的特征。
这一约束可能影响模型质量。其影响取决于模型规模、任务、训练流程以及所比较的架构。通常无法保证MQA模型能达到配置相近的多头模型的质量,也无法保证两者在所有工作负载下都保持相同的质量差距。
MQA通常在训练时就被纳入模型架构。要转换现有的多头模型检查点,需要合并或以其他方式替换其键投影和值投影;这并不是完全等价的张量重排。转换后可能还需要继续训练或微调。如果单个键值头带来的质量损失难以接受,GQA则提供了一种共享程度较低的选择。
部署考量与局限
MQA的优势在增量解码过程中体现得最为直接。提示词处理通常称为预填充(prefill),它同时处理多个位置,计算开销与内存开销的比例可能有所不同。因此,解码加速并不意味着提示词处理速度也会获得同等提升。
MQA还与并行计算有关。在按头并行执行时,查询头可能被分配到不同设备上。由于MQA只有一个键值头,实现时可能会复制其共享张量,或采用其他分布策略。这类复制可能使实际缓存的总占用量高于按理想单副本情况计算的结果。
MQA不会消除缓存随序列长度线性增长的关系,不会自动扩大模型支持的上下文窗口,也无法解决大语言模型服务中的所有瓶颈。在特定工作负载下,权重访问、前馈层、通信、调度及其他操作可能占据主要开销。对缓存进行量化可以进一步降低每个元素的存储需求,但会引入另一项数值精度方面的权衡。
历史
诺姆·沙泽尔(Noam Shazeer)在2019年的论文《快速Transformer解码:只需一个写入头》(Fast Transformer Decoding: One Write-Head is All You Need)中提出了多查询注意力。该方案通过在保留多个查询头的同时共享键和值,旨在降低Transformer增量解码中的内存带宽开销。
随着自回归语言模型规模不断扩大,键值缓存开销成为部署中的重要制约因素,这一方法也日益受到重视。2023年的论文《GQA:基于多头检查点训练广义多查询Transformer模型》(GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints)提出将分组查询注意力作为一种折中设计,并介绍了通过继续训练,将多头检查点适配到共享键值架构的方法。