**分组查询注意力(Grouped-query attention,GQA)**是多头注意力的一种变体,其中多个查询头共享一组键头和值头。它用于Transformer架构的模型,尤其是大语言模型,可减少文本生成过程中存储和读取键与值所需的内存。传统多头注意力为每个查询头分配独立的键和值,多查询注意力则让所有查询头共享单个键值头;GQA 在两者之间提供了一种可配置的折中方案。
设计动机
注意力机制通过将查询与键进行比较,再利用得到的权重对值进行加权组合,从而生成表示。在传统多头注意力中,多个头利用不同的可学习投影执行这一操作,使模型能够并行表示多种注意力模式。
在自回归生成过程中,语言模型逐个生成词元。每个新词元都可以通过因果自注意力关注之前的词元。实际实现通常会将先前的键和值保存在键值缓存中,而不是在每个生成步骤重新计算。
缓存大小随序列长度、批大小、层数以及键值头的数量和维度而增长。在神经网络推理期间,读取缓存可能成为主要瓶颈,尤其是在一次只生成一个词元时。即使模型仍有充足的可用算力,也可能受限于从设备内存传输缓存数据的速率。
GQA 通过减少彼此独立的键和值表示的数量来缓解这一瓶颈,同时不按同样比例减少查询头的数量。
结构与计算
设 表示查询头数量, 表示键值头数量。在常见的等大小分组方案中, 可被 整除,每组包含的查询头数量为
。同一组内的所有查询头使用相同的键投影和值投影,但各自保留独立的查询投影。
对于输入表示矩阵 ,定义
其中, 是查询头的索引, 是键值头的索引。当头的索引从零开始时,一种典型的分组映射为
查询头 的输出为
其中, 是键的维度, 是注意力掩码。对于因果注意力,该掩码可防止词元关注未来位置。各个头的输出会被拼接起来,再经过一个可学习的输出投影:
共享键和值并不意味着查询头完全相同。不同的查询投影可以在同一组键上产生不同的注意力分布,进而对共享的值形成不同的加权组合。
与其他头配置的关系
| 配置方式 | 键值头数量 | 共享模式 |
|---|---|---|
| 传统多头注意力 | 每个查询头都有独立的键头和值头 | |
| 分组查询注意力 | 通常为 | 每组查询头共享一个键头和值头 |
| 多查询注意力 | 所有查询头共享一个键头和值头 |
这些配置可以视为同一类方法的不同形式。按照这种广义定义,传统多头注意力和多查询注意力是 GQA 的两个端点情形。在狭义用法中,“GQA”仅指介于两者之间的配置。
这里的分组针对的是注意力头,而不是词元、文档或输入样本。
对内存与计算的影响
键值缓存大小
对于一个具有 个注意力层、批大小为 、缓存序列长度为 、键头和值头维度均为 、每个存储元素占用 字节的模型,原始键值缓存占用的空间约为
系数 2 表示需要同时存储键和值。该估算不包括内存分配开销、元数据、填充、设备间复制以及任何压缩特有的开销。
与具有相同 、头维度、层数和存储精度的传统多头模型相比,GQA 所需的原始键值缓存存储空间占其比例为
。
例如,将 32 个查询头分组共享 8 个键值头,所需的原始缓存存储空间仅为采用 32 个键值头配置时的四分之一。这里减少的是缓存部分,并不意味着模型总内存占用也降至四分之一:权重、临时缓冲区及其他中间数据仍然存在。
计算与带宽
GQA 缩小了键投影和值投影的规模,也可以减少从内存读取的缓存数据量。高效实现会在多个查询头之间复用共享的键值数据块。
不过,每个查询头仍然需要计算自己的注意力分数和加权输出。因此,对于长度为 的序列上的稠密注意力,主要注意力计算的算术运算复杂度仍约为
。对于关注 个缓存位置的单次解码步骤,对应的复杂度约为
GQA 本身不会将稠密注意力变成线性时间的序列处理方法,也不会消除其训练计算量对序列长度的二次依赖。它的主要收益体现在缓存容量、数据搬运以及更小的键投影和值投影上。
实际加速效果取决于批大小、序列长度、硬件和注意力的具体实现。在图形处理器上,当解码受限于内存带宽时,减少内存数据传输尤其有价值。同样幅度的缓存缩减,并不一定带来同样幅度的端到端延迟降低。
发展与应用
Noam Shazeer 于 2019 年提出了多查询注意力,通过在查询头之间共享键和值来加速增量解码。
Joshua Ainslie 及其同事在 2023 年的论文《GQA:从多头检查点训练广义多查询 Transformer 模型》(GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints)中提出了以 GQA 命名的方法。该方法通过分组共享,在多头注意力的表示灵活性与多查询注意力的解码效率之间取得折中。
该论文还介绍了如何将现有多头模型转换为 GQA 模型:对每个选定分组内的键投影权重进行均值池化,并以同样方式处理值投影权重,而查询投影保持独立。随后,对转换后的模型进行额外训练,以适应改变后的架构;论文将这一过程称为 uptraining(追加训练)。
论文报告的实验发现,一些配置能在接近多头注意力模型质量的同时,实现更接近多查询注意力的解码效率。这些结果来自实验,并不保证对所有模型或任务都成立。
此后,GQA 成为基于解码器的语言模型中常见的设计选择,采用它的模型包括规模较大的 Llama 2 变体和 Mistral 7B。
训练与实现
键值头数量是一个架构超参数。更多的键值头可以提供更多独立学习的键和值子空间,但也需要更大的缓存。更少的键值头则会增强参数共享,并减少存储需求。
模型既可以从一开始就采用 GQA 训练,也可以从多头模型的检查点转换而来。权重平均为转换提供了一种初始化方式,但不能精确保留原模型的功能:通常无法在不改变注意力输出的情况下,用各个独立键投影和值投影的平均值来替代它们。因此,继续训练是这一转换方法的重要环节。
实现中通常会以显式包含 这一头维度的方式存储键和值。注意力运算随后将每个查询头映射到其对应的键值头。一种简单的实现方式是重复键张量和值张量,使其数量与查询头数量匹配,但实际生成这些副本会削弱内存和带宽方面的收益。专用计算内核则会直接复用共享数据,而不存储完整复制后的缓存。
GQA 与 FlashAttention 兼容,后者通过节省内存的分块计算和数据复用来提高注意力的执行效率。这两种技术针对运算的不同方面:GQA 改变头之间的共享结构,而 FlashAttention 改变注意力在硬件上的计算方式。
在分布式计算推理中,键值头数量还会与头在设备间的划分方式相互影响。如果键值头数量少于参与计算的分区数量,一些实现会复制这些头,从而降低实际获得的总体存储节省幅度。
局限性与互补技术
GQA 限制了可独立学习的键投影和值投影的数量。尽管独立的查询能够保留多种注意力模式,但对于其他条件相当、键和值完全独立的多头注意力层,其所能实现的功能并非都能由这些查询恢复。对模型质量的影响取决于架构、训练、分组数量和评估任务。
GQA 也不同于其他几种效率优化技术:
- 稀疏注意力或局部注意力限制哪些词元位置可以相互作用。GQA 改变的是头的共享方式,仍然可以对所有允许的位置执行稠密注意力。
- **神经网络量化**降低表示权重或缓存值所用的精度,可以与 GQA 结合使用。
- 缓存淘汰或压缩会移除缓存信息或对其进行概括。GQA 减少的是键值头数量,本身并不丢弃过去的词元位置。
- **更大的上下文窗口**允许处理更多词元。GQA 可以降低长上下文的存储成本,但其本身既不能决定模型处理位置信息的方式,也不能确保模型可靠地利用远距离信息。
因此,合适的键值头数量需要在模型质量、缓存容量、硬件利用率和推理服务需求之间权衡,并不存在一个普遍最优的固定值。