{
  "id": "sliding-window-attention",
  "title": "滑动窗口注意力",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "滑动窗口注意力将每个词元的注意力限制在邻近位置，以降低计算和内存开销，同时允许信息跨层传播。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "滑窗注意力",
    "滑动窗口注意力机制"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/sliding-window-attention/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/sliding-window-attention/",
      "json": "https://aiwiki.page/en/sliding-window-attention.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "滑动窗口注意力是自注意力的一种形式，其中序列中的每个位置只关注有限的邻域，而非所有位置。在Transformer架构中使用时，只要窗口大小固定，它就能将注意力交互次数从序列长度的平方量级降至线性量级。其核心权衡在于处理效率与直接访问远距离信息的能力：堆叠多层可以扩大有效感受野，但并不能实现不受限制的注意力。"
    },
    {
      "heading": "机制",
      "text": "在标准注意力机制中，每个输入位置都会生成一个查询、一个键和一个值。查询与符合条件的键进行比较，由所得分数决定如何对这些键所对应的值进行加权组合。\n\n滑动窗口注意力改变的是哪些键可以参与计算。对于双向序列，位置 \\(i\\) 可以关注半径 \\(r\\) 范围内的位置：\n\n\\[\\mathcal{N}(i)=\\{j:1\\leq j\\leq n,\\ |i-j|\\leq r\\},\\]\n\n其中，\\(n\\) 为序列长度。在远离序列边界的位置，这个邻域包含 \\(2r+1\\) 个位置。\n\n对于因果语言建模，注意力必须排除未来位置。如果用 \\(W\\) 表示可见位置的最大数量，且包含当前位置，则邻域为\n\n\\[\\mathcal{N}(i)=\\{j:\\max(1,i-W+1)\\leq j\\leq i\\}.\\]\n\n对于单个注意力头，输出为\n\n\\[o_i= \\sum_{j\\in\\mathcal{N}(i)} \\frac{\\exp(q_i^\\top k_j/\\sqrt{d_k})} {\\sum_{t\\in\\mathcal{N}(i)} \\exp(q_i^\\top k_t/\\sqrt{d_k})} v_j,\\]\n\n其中，\\(q_i\\)、\\(k_j\\) 和 \\(v_j\\) 分别为查询向量、键向量和值向量，\\(d_k\\) 为查询和键的维度。计算中也可以加入位置偏置或对分数作其他调整。\n\n同样的限制也可以用注意力掩码表示：允许交互的位置对应的掩码元素为零，其余为负无穷。不过，在算出完整注意力矩阵后再应用这种掩码，本身并不能带来真正局部化实现所能节省的计算量。\n\n不同论文和软件库对窗口大小的定义并不相同。“大小为512的窗口”可能表示512个可见位置、前面的512个位置加上当前位置，或左右两侧各512的位置半径。进行比较时，需要核对邻域的确切定义。"
    },
    {
      "heading": "计算与内存开销",
      "text": "对于长度为 \\(n\\) 的序列，全注意力的每个头大约需要计算 \\(n^2\\) 次查询—键交互。若滑动窗口注意力最多有 \\(W\\) 个可见位置，则最多计算 \\(nW\\) 次交互。\n\n如果查询、键和值的维度均为 \\(d\\) 量级，则主要注意力运算的时间复杂度如下：\n\n注意力模式 | 分数计算与值聚合\n全注意力 | \\(O(n^2d)\\)\n滑动窗口注意力 | \\(O(nWd)\\)\n\n只有在 \\(W\\) 保持不变时，这一开销才与 \\(n\\) 呈线性关系。如果窗口随序列长度成比例增长，其渐近开销就会重新变为平方量级。这些表达式不包含投影层及其他Transformer组件，后者仍有各自的开销。\n\n在存储注意力分数的常规实现中，分数所占内存为 \\(O(nW)\\)，而非 \\(O(n^2)\\)。但这并不是对总内存用量的普遍结论：模型参数、激活值、临时缓冲区和实现方式同样会影响内存占用。FlashAttention表明，即使是全注意力，也可以在不改变注意力模式的情况下，避免将整个分数矩阵存入高带宽内存。\n\n实际加速效果取决于硬件利用率。图形处理器上的稠密矩阵运算经过了高度优化，而局部运算可能引入索引、填充或数据搬移开销。因此，理论运算量的减少并不会自动转化为执行时间的同比例缩短。"
    },
    {
      "heading": "跨层感受野",
      "text": "局部注意力层无法直接检索窗口之外的值。不过，多层网络仍然可以在更远的距离上传递信息，因为每一层处理的表示已经包含前面各层收集到的信息。\n\n对于每个窗口包含 \\(W\\) 个位置的因果注意力，经过 \\(L\\) 个局部注意力层后，位置 \\(i\\) 的表示原则上可以依赖最早位于以下位置的信息：\n\n\\[i-L(W-1),\\]\n\n但不能超出序列起点。因此，其最大感受野跨度为\n\n\\[1+L(W-1).\\]\n\n这一结论假设网络由上述局部层堆叠而成，且没有额外的长距离连接。对于半径为 \\(r\\) 的双向注意力，最大半径会增至 \\(Lr\\)。\n\n这些界限描述的是可能的信息流动范围，并不保证有效回忆。远距离信息必须经过中间表示传递，其间可能被削弱、变换或遗漏。某条信息处于理论感受野内，并不等于可以通过注意力查询直接访问它。\n\n因此，应将局部窗口与模型的上下文窗口区分开来。前者规定单层内部允许的交互，后者描述模型在其架构和运行配置下支持的输入或历史范围。两者都不能单独证明模型能够可靠利用每一处远距离细节。"
    },
    {
      "heading": "自回归推理与缓存",
      "text": "在神经网络推理期间，自回归语言模型通常会将先前的键和值存入键值缓存。全因果注意力要求这部分缓存随保留的历史增长。\n\n在使用严格因果滑动窗口注意力的层中，若某些键和值已不可能进入任何未来查询的窗口，就可以将其丢弃。滚动缓冲区或环形缓冲区只需保留该层所需的最近位置。因此，在注意力头维度和数量固定的情况下，每层的持久缓存存储量可以保持为 \\(O(W)\\)，而不必随已生成序列的总长度增长。\n\n需要注意以下几点：\n\n- 必须考虑每一层的注意力模式。 同时包含局部注意力层和全注意力层的模型，仍需为全注意力层保留更长的缓存。\n- 缓存淘汰与位置坐标是不同的操作。 复用缓冲区槽位并不意味着重置词元的位置。这一区别对旋转位置嵌入等方法很重要。\n- 处理提示词时需要正确安排计算顺序。 同时处理提示词中的多个位置时，当前块中较早的查询所需的键，必须一直保留到这些查询完成计算为止。\n- 丢弃一个键并不意味着消除其词元的全部影响。 信息可能已经传播到保留的表示中，但这并不等同于保留原始的键和值。\n\n分组查询注意力提供了另一种可兼容的优化：它减少键头和值头的数量，而滑动窗口注意力则限制这些头保留或访问的位置。"
    },
    {
      "heading": "变体与相关模式",
      "text": "滑动窗口注意力属于更广泛的稀疏注意力家族，其中只有选定的查询—键对会发生交互。\n\n局部注意力与全局注意力\n\n一些架构将局部窗口与少量全局连接的位置相结合。全局位置可以为远距离区域之间的信息传递提供通路。2020年提出、面向长文档处理的Longformer，将滑动窗口局部注意力与依任务而定的全局注意力结合起来。\n\n在全局位置数量和局部窗口大小固定时，交互次数仍与序列长度呈线性关系。如果全局位置的数量显著增长，则还必须计入这部分开销。\n\n空洞窗口\n\n空洞模式以一定间隔选取位置，而不是关注附近的每个位置。它可以用相近的交互次数覆盖更大的范围，但会跳过一些紧邻位置。在多头注意力中，不同头或不同层可以采用不同的采样间隔和窗口大小。\n\n分块注意力与移位窗口注意力\n\n在真正的滑动窗口中，相邻查询的邻域通常彼此重叠，但并不相同。在固定分块注意力中，一个块内的所有位置都在该块内部进行注意力计算。这两种模式并不相同：分块边界可能阻断相邻位置之间的交互。\n\n2021年面向计算机视觉提出的Swin Transformer交替采用不同的窗口划分，使信息能够跨越此前的窗口边界进行交流。其移位窗口方法与局部注意力相关，但不同于为每个位置分别分配一个相互重叠的邻域。\n\n局部注意力与全注意力的混合\n\n模型可以交替使用局部注意力层与全注意力层，也可以为不同的头分配不同的模式。这些设计在减少部分计算的同时，保留了一定的直接长距离通信能力。\n\n2023年发布的Mistral 7B模型也采用了滑动窗口注意力，展示了它如何与缓存管理和注意力头优化结合，用于仅解码器的大语言模型。"
    },
    {
      "heading": "应用与局限",
      "text": "当邻近关系占主导地位，或不受限制的注意力开销过高时，滑动窗口注意力很有用。其应用包括长文档自然语言处理、流式生成以及图像块的局部处理。在这些场景中，局部性都发挥着归纳偏置的作用：架构优先处理邻近位置之间的交互。\n\n它的主要局限在于无法直接访问远距离位置。精确检索早先出现的标识符、比较相距很远的段落，或跨文档中相隔较远的章节进行推理，都可能需要长距离连接或其他机制。增加深度可以扩大理论感受野，但也会增加计算量，而且不能保证所需信息得到保留。\n\n因此，窗口大小是一项架构超参数。较小的窗口可以减少注意力计算量和缓存需求，但会限制信息交流；较大的窗口则以更高开销换取更广的直接访问范围。评估时应分别考察处理速度、内存消耗和任务表现，而不应将支持的序列长度视为具备有效长距离理解能力的证据。\n\n在已经训练好的模型中，将全注意力替换为局部注意力，也会改变模型所计算的函数。不能仅因张量形状不变就认定两者兼容；可能还需要适当的训练或微调，并进行评估。"
    }
  ],
  "links": [
    "self-attention",
    "transformer-architecture",
    "attention-mechanism",
    "time-complexity",
    "flashattention",
    "graphics-processing-unit",
    "context-window",
    "neural-network-inference",
    "language-model",
    "kv-cache",
    "rotary-position-embedding",
    "grouped-query-attention",
    "multi-head-attention",
    "computer-vision",
    "large-language-model",
    "natural-language-processing",
    "inductive-bias",
    "hyperparameter",
    "fine-tuning"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}