{
  "id": "swin-transformer",
  "title": "Swin Transformer",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "Swin Transformer 是一种分层视觉 Transformer，通过移位窗口自注意力学习多尺度图像表示，在架构设置固定时计算量与图像面积成正比。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "移位窗口Transformer"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/swin-transformer/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/swin-transformer/",
      "json": "https://aiwiki.page/en/swin-transformer.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "Swin Transformer 是一种用于计算机视觉的分层视觉Transformer架构。它在互不重叠的局部窗口内计算自注意力，并在相邻模块之间移动窗口划分位置，使信息能够跨越窗口边界传递，而不必计算每一对图像词元之间的注意力。该架构于 2021 年提出，能够生成适用于图像分类、目标检测和语义分割的多尺度特征表示。名称 Swin 是“shifted window”（移位窗口）的缩写。"
    },
    {
      "heading": "背景与发展",
      "text": "最初的 Transformer架构是为序列处理而开发的。它的注意力机制能够对词元之间的关系进行建模，而不需要像卷积神经网络（CNN）那样采用固定的局部连接方式。早期的视觉 Transformer 将图像划分为图像块，并将这些图像块视为一个序列，从而把这种方法应用于视觉任务。\n\n原始视觉 Transformer 的两个特点，使其难以直接用作通用视觉骨干网络：\n\n- 高分辨率下，全局注意力的计算代价很高。 对于 \\(N\\) 个图像词元，完整的注意力矩阵包含 \\(N^2\\) 个元素。\n- 其标准架构始终保持单一空间分辨率。 检测和分割系统通常能从多种分辨率的特征图中受益，因为这些特征图既能表示精细的空间细节，也能表示较大尺度的结构。\n\nSwin Transformer 通过局部注意力和分层组织方式解决这些问题。它保留了依赖内容的注意力机制，同时引入局部性和逐级空间下采样；这些也是与 CNN 相关的归纳偏置。\n\n该架构由 Ze Liu 及其同事在论文《Swin Transformer：使用移位窗口的分层视觉 Transformer》（Swin Transformer: Hierarchical Vision Transformer using Shifted Windows）中提出。论文发表于 2021 年 IEEE/CVF 国际计算机视觉大会（ICCV），并获得该会议的最佳论文奖。"
    },
    {
      "heading": "架构",
      "text": "标准 Swin Transformer 由一个图像块嵌入层和随后的四个阶段组成。每个阶段包含若干个在固定空间分辨率下运行的 Transformer 模块。阶段之间的图像块合并层用于缩小空间尺寸，并增加通道数。\n\n图像块嵌入\n\n对于高度为 \\(H\\)、宽度为 \\(W\\) 的输入图像，原始架构将其划分为互不重叠的 \\(4 \\times 4\\) 图像块。对于三通道图像，每个图像块最初包含 \\(4 \\times 4 \\times 3 = 48\\) 个数值。\n\n一个可学习的线性投影将每个图像块映射为具有 \\(C\\) 个通道的特征向量。所得表示的空间尺寸为\n\n\\[\\frac{H}{4} \\times \\frac{W}{4}.\\]\n\n每个特征向量充当一个词元，但这些词元仍保持二维网格结构。这与语言中的分词与词元化不同：这里的基本单位是固定大小的图像块，而不是词或子词单元。\n\n分层阶段与图像块合并\n\n在阶段之间，图像块合并层将每个 \\(2 \\times 2\\) 邻域内的词元归为一组。它们的特征经过拼接，得到 \\(4C\\) 个通道，再通过可学习的投影将通道数降至 \\(2C\\)。\n\n因此，假设输入尺寸能够被所需的因子整除，标准的四阶段层次结构具有以下近似尺寸：\n\n阶段 | 空间分辨率 | 通道数\n1 | \\(H/4 \\times W/4\\) | \\(C\\)\n2 | \\(H/8 \\times W/8\\) | \\(2C\\)\n3 | \\(H/16 \\times W/16\\) | \\(4C\\)\n4 | \\(H/32 \\times W/32\\) | \\(8C\\)\n\n这种结构为特征提取提供了多尺度的层次表示。较早的阶段保留更多空间细节，较晚的阶段则整合更大区域内的信息。\n\nTransformer 模块\n\n原始 Swin 模块包含：\n\n- 层归一化。\n- 基于窗口的多头注意力，采用自注意力形式。\n- 一个残差连接。\n- 另一个层归一化。\n- 一个采用 GELU 激活函数的两层多层感知机。\n- 第二个残差连接。\n\n原始架构采用前置归一化布局：归一化位于注意力子层和多层感知机子层之前。连续的模块交替使用常规窗口注意力和移位窗口注意力。"
    },
    {
      "heading": "基于窗口的注意力",
      "text": "Swin 并不在完整的图像词元网格上计算注意力，而是将网格划分为互不重叠的窗口，每个窗口包含 \\(M \\times M\\) 个词元。注意力在各个窗口内独立计算。\n\n对于单个注意力头，其运算为\n\n\\[\\operatorname{Attention}(Q,K,V) = \\operatorname{softmax} \\left( \\frac{QK^\\top}{\\sqrt{d}} + B \\right)V,\\]\n\n其中，\\(Q\\)、\\(K\\) 和 \\(V\\) 分别是通过学习得到的查询、键和值投影；\\(d\\) 是每个注意力头的查询／键维度；\\(B\\) 是可学习的相对位置偏置。\n\n相对位置偏置\n\n该偏置取决于窗口内词元之间的二维相对位移。对于一个 \\(M \\times M\\) 的窗口，共有 \\((2M-1)^2\\) 种可能的相对偏移。原始模型为每个注意力头学习一张与这些偏移对应的偏置表。\n\n这种方式无需为每个图像位置单独学习绝对位置嵌入，就能提供空间信息。它是一种适用于局部二维注意力的位置编码。原始架构的默认配置不需要绝对位置嵌入。\n\n计算代价\n\n设某一阶段包含 \\(N=hw\\) 个词元，每个词元具有 \\(C\\) 个通道。按照原论文的运算量统计方式，全局多头自注意力的近似计算代价为\n\n\\[\\Omega(\\mathrm{MSA}) = 4NC^2 + 2N^2C.\\]\n\n而基于窗口的注意力的计算代价为\n\n\\[\\Omega(\\mathrm{W\\text{-}MSA}) = 4NC^2 + 2NM^2C.\\]\n\n第一项表示特征投影的计算量；第二项表示注意力分数和加权值的计算量。当窗口大小 \\(M\\) 和通道数 \\(C\\) 固定时，窗口注意力的计算量随词元数量线性增长，而不是平方增长。\n\n这一关于计算复杂性的结论，描述的是在架构设置固定时，计算量随图像面积变化的规律。增大窗口、增加通道数或加深模型仍然会增加计算量，而且这些表达式并未涵盖完整实现中的所有运算或内存传输。"
    },
    {
      "heading": "移位窗口",
      "text": "如果只使用固定的窗口划分，注意力就无法直接连接不同窗口中的词元。Swin 在交替的模块中改变窗口划分。\n\n常规窗口模块之后，接着使用一个窗口沿两个空间轴各移动约半个窗口的模块。对于窗口大小 \\(M\\)，通常采用的位移为\n\n\\[\\left(\\left\\lfloor \\frac{M}{2} \\right\\rfloor, \\left\\lfloor \\frac{M}{2} \\right\\rfloor\\right).\\]\n\n例如，对于 \\(7 \\times 7\\) 的窗口，两个方向上的位移均为三个词元。因此，在一个模块中被窗口边界隔开的词元，可以在下一个模块中出现在同一窗口内。\n\n循环移位与掩码\n\n直接移动窗口划分可能会在图像边界产生不完整的窗口。原始实现先对特征图进行循环移位，再按常规方式划分窗口。\n\n循环移位会将空间上不相邻的区域拼接到回绕边界处。注意力掩码用于阻止仅因这种回绕而产生的交互。完成注意力计算后，再进行反向移位。\n\n这种安排保持了窗口形状的一致性，有利于在图形处理器上进行高效的批量计算。当特征图尺寸不能被窗口大小整除时，实现中也可以对其进行填充。\n\n信息传播\n\n移位窗口实现了跨窗口通信，但单个模块并不能让每个词元访问整幅图像。信息通过多个模块的连续处理，以及后续阶段中的图像块合并逐步传播。\n\nSwin 也不同于滑动窗口注意力。滑动窗口机制通常为每个查询提供一个相互重叠的局部邻域。Swin 则在一个模块内将特征图划分为互不重叠的窗口，并在模块之间改变这种划分。"
    },
    {
      "heading": "模型变体与训练",
      "text": "原始模型系列包括 Swin-Tiny、Swin-Small、Swin-Base 和 Swin-Large，分别简称为 Swin-T、Swin-S、Swin-B 和 Swin-L。它们具有相同的基本层次结构，但各阶段的通道数、注意力头数量和模块数量有所不同。\n\n典型的原始配置包括：\n\n变体 | 初始通道数 \\(C\\) | 各阶段的模块数\nSwin-T | 96 | \\(2,2,6,2\\)\nSwin-S | 96 | \\(2,2,18,2\\)\nSwin-B | 128 | \\(2,2,18,2\\)\nSwin-L | 192 | \\(2,2,18,2\\)\n\n原始配置中常用的窗口大小为每边七个词元，但也可以采用其他配置。\n\n用于分类时，通常先对最终特征图进行全局平均池化，再将结果送入分类头。模型可以通过监督学习在 ImageNet 数据集等数据集上进行预训练，再通过微调适配具体任务。骨干网络架构本身并不要求采用某一种特定的学习目标。"
    },
    {
      "heading": "应用",
      "text": "图像分类\n\n将 Swin 的分层骨干网络与池化层和输出头结合，即可构成完整的分类网络。学习得到的注意力权重使每个窗口内的交互取决于图像内容。\n\n检测与分割\n\n目标检测、实例分割和语义分割需要具有空间组织结构的特征，而不仅仅是单个图像级向量。Swin 各中间阶段的输出可以作为多尺度检测头或分割解码器的输入。\n\n其层次结构使它在结构上能够兼容原本围绕 CNN 骨干网络设计的系统。不过，更换骨干网络通常仍需匹配特征维度，并调整训练与实现设置。\n\n视频与图像复原\n\nVideo Swin Transformer 将这种方法扩展到时空窗口，在视频维度上引入局部注意力和窗口移位。\n\n包括 SwinIR 在内的相关图像复原架构，对 Swin 式模块进行改造，用于超分辨率、去噪和压缩伪影消除等任务。这些改造不一定保留原始的四阶段分类层次结构，因为图像复原通常需要保留高分辨率的空间信息。"
    },
    {
      "heading": "Swin Transformer V2",
      "text": "Swin Transformer V2 在 2022 年的一篇论文中提出，对原始设计进行了修改，以支持更大的模型和更高分辨率的输入。主要变化包括：\n\n- 残差后置归一化：改变归一化的位置，以帮助控制大型模型中的激活值幅度。\n- 缩放余弦注意力：以余弦相似度和可学习的缩放因子替代点积相似度。\n- 对数间隔连续位置偏置：根据变换后的坐标偏移生成相对位置偏置，而不是仅依赖固定的查找表。\n\n连续位置偏置机制旨在方便模型在不同窗口大小和分辨率之间迁移。V2 保留了分层表示与移位窗口注意力相结合的核心设计。"
    },
    {
      "heading": "局限与权衡",
      "text": "即时可用的上下文受限。 局部窗口减少了计算量，但相距较远的图像区域无法在单个注意力模块内直接交互。需要显式建模长距离关系的任务，可能受益于额外的机制。\n\n运行时间取决于实现。 理论运算量较低，并不保证神经网络推理延迟会按比例降低。窗口划分、移位、掩码、内存访问和计算内核效率都会影响实际速度。\n\n分辨率变化需要相应处理。 当图像尺寸或窗口大小变化时，需要妥善处理窗口填充和相对位置参数。在原始架构中，改变窗口大小通常需要对相对位置偏置表进行插值或其他适配。\n\n下采样以细节换取效率。 图像块合并会降低空间分辨率。因此，密集预测系统通常会融合多个阶段的特征，或使用解码器来恢复精细的输出结构。\n\n性能取决于训练条件。 与 CNN 或其他 Transformer 的比较结果，取决于模型规模、预训练数据、图像分辨率、数据增强、优化方法和下游任务。仅凭架构差异，无法确定普遍适用的性能排名。"
    }
  ],
  "links": [
    "computer-vision",
    "vision-transformer",
    "self-attention",
    "image-classification",
    "object-detection",
    "semantic-segmentation",
    "transformer-architecture",
    "convolutional-neural-network",
    "inductive-bias",
    "tokenization",
    "feature-extraction",
    "layer-normalization",
    "multi-head-attention",
    "residual-connection",
    "multilayer-perceptron",
    "positional-encoding",
    "computational-complexity",
    "graphics-processing-unit",
    "sliding-window-attention",
    "supervised-learning",
    "imagenet",
    "fine-tuning",
    "instance-segmentation",
    "neural-network-inference",
    "data-augmentation"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}