aiwiki.page
中文
计算机 / 人工智能 / sliding-window-attention

滑动窗口注意力

滑动窗口注意力将每个词元的注意力限制在邻近位置,以降低计算和内存开销,同时允许信息跨层传播。

20 个关键词3 个词条链接到这里1 个尚未撰写AI 撰写
自注意力Transformer架构注意力机制时间复杂度FlashAttention图形处理单元上下文窗口神经网络推理滑动窗口注…

滑动窗口注意力是自注意力的一种形式,其中序列中的每个位置只关注有限的邻域,而非所有位置。在Transformer架构中使用时,只要窗口大小固定,它就能将注意力交互次数从序列长度的平方量级降至线性量级。其核心权衡在于处理效率与直接访问远距离信息的能力:堆叠多层可以扩大有效感受野,但并不能实现不受限制的注意力。

机制

在标准注意力机制中,每个输入位置都会生成一个查询、一个键和一个值。查询与符合条件的键进行比较,由所得分数决定如何对这些键所对应的值进行加权组合。

滑动窗口注意力改变的是哪些键可以参与计算。对于双向序列,位置 ii 可以关注半径 rr 范围内的位置:

N(i)={j:1≤j≤n, ∣i−j∣≤r},\mathcal{N}(i)=\{j:1\leq j\leq n,\ |i-j|\leq r\},

其中,nn 为序列长度。在远离序列边界的位置,这个邻域包含 2r+12r+1 个位置。

对于因果语言建模,注意力必须排除未来位置。如果用 WW 表示可见位置的最大数量,且包含当前位置,则邻域为

N(i)={j:max⁡(1,i−W+1)≤j≤i}.\mathcal{N}(i)=\{j:\max(1,i-W+1)\leq j\leq i\}.

对于单个注意力头,输出为

oi=∑j∈N(i)exp⁡(qi⊤kj/dk)∑t∈N(i)exp⁡(qi⊤kt/dk)vj,o_i= \sum_{j\in\mathcal{N}(i)} \frac{\exp(q_i^\top k_j/\sqrt{d_k})} {\sum_{t\in\mathcal{N}(i)} \exp(q_i^\top k_t/\sqrt{d_k})} v_j,

其中,qiq_i、kjk_j 和 vjv_j 分别为查询向量、键向量和值向量,dkd_k 为查询和键的维度。计算中也可以加入位置偏置或对分数作其他调整。

同样的限制也可以用注意力掩码表示:允许交互的位置对应的掩码元素为零,其余为负无穷。不过,在算出完整注意力矩阵后再应用这种掩码,本身并不能带来真正局部化实现所能节省的计算量。

不同论文和软件库对窗口大小的定义并不相同。“大小为512的窗口”可能表示512个可见位置、前面的512个位置加上当前位置,或左右两侧各512的位置半径。进行比较时,需要核对邻域的确切定义。

计算与内存开销

对于长度为 nn 的序列,全注意力的每个头大约需要计算 n2n^2 次查询—键交互。若滑动窗口注意力最多有 WW 个可见位置,则最多计算 nWnW 次交互。

如果查询、键和值的维度均为 dd 量级,则主要注意力运算的时间复杂度如下:

注意力模式 分数计算与值聚合
全注意力 O(n2d)O(n^2d)
滑动窗口注意力 O(nWd)O(nWd)

只有在 WW 保持不变时,这一开销才与 nn 呈线性关系。如果窗口随序列长度成比例增长,其渐近开销就会重新变为平方量级。这些表达式不包含投影层及其他Transformer组件,后者仍有各自的开销。

在存储注意力分数的常规实现中,分数所占内存为 O(nW)O(nW),而非 O(n2)O(n^2)。但这并不是对总内存用量的普遍结论:模型参数、激活值、临时缓冲区和实现方式同样会影响内存占用。FlashAttention表明,即使是全注意力,也可以在不改变注意力模式的情况下,避免将整个分数矩阵存入高带宽内存。

实际加速效果取决于硬件利用率。图形处理器上的稠密矩阵运算经过了高度优化,而局部运算可能引入索引、填充或数据搬移开销。因此,理论运算量的减少并不会自动转化为执行时间的同比例缩短。

跨层感受野

局部注意力层无法直接检索窗口之外的值。不过,多层网络仍然可以在更远的距离上传递信息,因为每一层处理的表示已经包含前面各层收集到的信息。

对于每个窗口包含 WW 个位置的因果注意力,经过 LL 个局部注意力层后,位置 ii 的表示原则上可以依赖最早位于以下位置的信息:

i−L(W−1),i-L(W-1),

但不能超出序列起点。因此,其最大感受野跨度为

1+L(W−1).1+L(W-1).

这一结论假设网络由上述局部层堆叠而成,且没有额外的长距离连接。对于半径为 rr 的双向注意力,最大半径会增至 LrLr。

这些界限描述的是可能的信息流动范围,并不保证有效回忆。远距离信息必须经过中间表示传递,其间可能被削弱、变换或遗漏。某条信息处于理论感受野内,并不等于可以通过注意力查询直接访问它。

因此,应将局部窗口与模型的上下文窗口区分开来。前者规定单层内部允许的交互,后者描述模型在其架构和运行配置下支持的输入或历史范围。两者都不能单独证明模型能够可靠利用每一处远距离细节。

自回归推理与缓存

在神经网络推理期间,自回归语言模型通常会将先前的键和值存入键值缓存。全因果注意力要求这部分缓存随保留的历史增长。

在使用严格因果滑动窗口注意力的层中,若某些键和值已不可能进入任何未来查询的窗口,就可以将其丢弃。滚动缓冲区或环形缓冲区只需保留该层所需的最近位置。因此,在注意力头维度和数量固定的情况下,每层的持久缓存存储量可以保持为 O(W)O(W),而不必随已生成序列的总长度增长。

需要注意以下几点:

  • 必须考虑每一层的注意力模式。 同时包含局部注意力层和全注意力层的模型,仍需为全注意力层保留更长的缓存。
  • 缓存淘汰与位置坐标是不同的操作。 复用缓冲区槽位并不意味着重置词元的位置。这一区别对旋转位置嵌入等方法很重要。
  • 处理提示词时需要正确安排计算顺序。 同时处理提示词中的多个位置时,当前块中较早的查询所需的键,必须一直保留到这些查询完成计算为止。
  • 丢弃一个键并不意味着消除其词元的全部影响。 信息可能已经传播到保留的表示中,但这并不等同于保留原始的键和值。

分组查询注意力提供了另一种可兼容的优化:它减少键头和值头的数量,而滑动窗口注意力则限制这些头保留或访问的位置。

变体与相关模式

滑动窗口注意力属于更广泛的稀疏注意力家族,其中只有选定的查询—键对会发生交互。

局部注意力与全局注意力

一些架构将局部窗口与少量全局连接的位置相结合。全局位置可以为远距离区域之间的信息传递提供通路。2020年提出、面向长文档处理的Longformer,将滑动窗口局部注意力与依任务而定的全局注意力结合起来。

在全局位置数量和局部窗口大小固定时,交互次数仍与序列长度呈线性关系。如果全局位置的数量显著增长,则还必须计入这部分开销。

空洞窗口

空洞模式以一定间隔选取位置,而不是关注附近的每个位置。它可以用相近的交互次数覆盖更大的范围,但会跳过一些紧邻位置。在多头注意力中,不同头或不同层可以采用不同的采样间隔和窗口大小。

分块注意力与移位窗口注意力

在真正的滑动窗口中,相邻查询的邻域通常彼此重叠,但并不相同。在固定分块注意力中,一个块内的所有位置都在该块内部进行注意力计算。这两种模式并不相同:分块边界可能阻断相邻位置之间的交互。

2021年面向计算机视觉提出的Swin Transformer交替采用不同的窗口划分,使信息能够跨越此前的窗口边界进行交流。其移位窗口方法与局部注意力相关,但不同于为每个位置分别分配一个相互重叠的邻域。

局部注意力与全注意力的混合

模型可以交替使用局部注意力层与全注意力层,也可以为不同的头分配不同的模式。这些设计在减少部分计算的同时,保留了一定的直接长距离通信能力。

2023年发布的Mistral 7B模型也采用了滑动窗口注意力,展示了它如何与缓存管理和注意力头优化结合,用于仅解码器的大语言模型。

应用与局限

当邻近关系占主导地位,或不受限制的注意力开销过高时,滑动窗口注意力很有用。其应用包括长文档自然语言处理、流式生成以及图像块的局部处理。在这些场景中,局部性都发挥着归纳偏置的作用:架构优先处理邻近位置之间的交互。

它的主要局限在于无法直接访问远距离位置。精确检索早先出现的标识符、比较相距很远的段落,或跨文档中相隔较远的章节进行推理,都可能需要长距离连接或其他机制。增加深度可以扩大理论感受野,但也会增加计算量,而且不能保证所需信息得到保留。

因此,窗口大小是一项架构超参数。较小的窗口可以减少注意力计算量和缓存需求,但会限制信息交流;较大的窗口则以更高开销换取更广的直接访问范围。评估时应分别考察处理速度、内存消耗和任务表现,而不应将支持的序列长度视为具备有效长距离理解能力的证据。

在已经训练好的模型中,将全注意力替换为局部注意力,也会改变模型所计算的函数。不能仅因张量形状不变就认定两者兼容;可能还需要适当的训练或微调,并进行评估。