Swin Transformer 是一种用于计算机视觉的分层视觉Transformer架构。它在互不重叠的局部窗口内计算自注意力,并在相邻模块之间移动窗口划分位置,使信息能够跨越窗口边界传递,而不必计算每一对图像词元之间的注意力。该架构于 2021 年提出,能够生成适用于图像分类、目标检测和语义分割的多尺度特征表示。名称 Swin 是“shifted window”(移位窗口)的缩写。
背景与发展
最初的 Transformer架构是为序列处理而开发的。它的注意力机制能够对词元之间的关系进行建模,而不需要像卷积神经网络(CNN)那样采用固定的局部连接方式。早期的视觉 Transformer 将图像划分为图像块,并将这些图像块视为一个序列,从而把这种方法应用于视觉任务。
原始视觉 Transformer 的两个特点,使其难以直接用作通用视觉骨干网络:
- 高分辨率下,全局注意力的计算代价很高。 对于 个图像词元,完整的注意力矩阵包含 个元素。
- 其标准架构始终保持单一空间分辨率。 检测和分割系统通常能从多种分辨率的特征图中受益,因为这些特征图既能表示精细的空间细节,也能表示较大尺度的结构。
Swin Transformer 通过局部注意力和分层组织方式解决这些问题。它保留了依赖内容的注意力机制,同时引入局部性和逐级空间下采样;这些也是与 CNN 相关的归纳偏置。
该架构由 Ze Liu 及其同事在论文《Swin Transformer:使用移位窗口的分层视觉 Transformer》(Swin Transformer: Hierarchical Vision Transformer using Shifted Windows)中提出。论文发表于 2021 年 IEEE/CVF 国际计算机视觉大会(ICCV),并获得该会议的最佳论文奖。
架构
标准 Swin Transformer 由一个图像块嵌入层和随后的四个阶段组成。每个阶段包含若干个在固定空间分辨率下运行的 Transformer 模块。阶段之间的图像块合并层用于缩小空间尺寸,并增加通道数。
图像块嵌入
对于高度为 、宽度为 的输入图像,原始架构将其划分为互不重叠的 图像块。对于三通道图像,每个图像块最初包含 个数值。
一个可学习的线性投影将每个图像块映射为具有 个通道的特征向量。所得表示的空间尺寸为
每个特征向量充当一个词元,但这些词元仍保持二维网格结构。这与语言中的分词与词元化不同:这里的基本单位是固定大小的图像块,而不是词或子词单元。
分层阶段与图像块合并
在阶段之间,图像块合并层将每个 邻域内的词元归为一组。它们的特征经过拼接,得到 个通道,再通过可学习的投影将通道数降至 。
因此,假设输入尺寸能够被所需的因子整除,标准的四阶段层次结构具有以下近似尺寸:
| 阶段 | 空间分辨率 | 通道数 |
|---|---|---|
| 1 | ||
| 2 | ||
| 3 | ||
| 4 |
这种结构为特征提取提供了多尺度的层次表示。较早的阶段保留更多空间细节,较晚的阶段则整合更大区域内的信息。
Transformer 模块
原始 Swin 模块包含:
原始架构采用前置归一化布局:归一化位于注意力子层和多层感知机子层之前。连续的模块交替使用常规窗口注意力和移位窗口注意力。
基于窗口的注意力
Swin 并不在完整的图像词元网格上计算注意力,而是将网格划分为互不重叠的窗口,每个窗口包含 个词元。注意力在各个窗口内独立计算。
对于单个注意力头,其运算为
其中,、 和 分别是通过学习得到的查询、键和值投影; 是每个注意力头的查询/键维度; 是可学习的相对位置偏置。
相对位置偏置
该偏置取决于窗口内词元之间的二维相对位移。对于一个 的窗口,共有 种可能的相对偏移。原始模型为每个注意力头学习一张与这些偏移对应的偏置表。
这种方式无需为每个图像位置单独学习绝对位置嵌入,就能提供空间信息。它是一种适用于局部二维注意力的位置编码。原始架构的默认配置不需要绝对位置嵌入。
计算代价
设某一阶段包含 个词元,每个词元具有 个通道。按照原论文的运算量统计方式,全局多头自注意力的近似计算代价为
而基于窗口的注意力的计算代价为
第一项表示特征投影的计算量;第二项表示注意力分数和加权值的计算量。当窗口大小 和通道数 固定时,窗口注意力的计算量随词元数量线性增长,而不是平方增长。
这一关于计算复杂性的结论,描述的是在架构设置固定时,计算量随图像面积变化的规律。增大窗口、增加通道数或加深模型仍然会增加计算量,而且这些表达式并未涵盖完整实现中的所有运算或内存传输。
移位窗口
如果只使用固定的窗口划分,注意力就无法直接连接不同窗口中的词元。Swin 在交替的模块中改变窗口划分。
常规窗口模块之后,接着使用一个窗口沿两个空间轴各移动约半个窗口的模块。对于窗口大小 ,通常采用的位移为
例如,对于 的窗口,两个方向上的位移均为三个词元。因此,在一个模块中被窗口边界隔开的词元,可以在下一个模块中出现在同一窗口内。
循环移位与掩码
直接移动窗口划分可能会在图像边界产生不完整的窗口。原始实现先对特征图进行循环移位,再按常规方式划分窗口。
循环移位会将空间上不相邻的区域拼接到回绕边界处。注意力掩码用于阻止仅因这种回绕而产生的交互。完成注意力计算后,再进行反向移位。
这种安排保持了窗口形状的一致性,有利于在图形处理器上进行高效的批量计算。当特征图尺寸不能被窗口大小整除时,实现中也可以对其进行填充。
信息传播
移位窗口实现了跨窗口通信,但单个模块并不能让每个词元访问整幅图像。信息通过多个模块的连续处理,以及后续阶段中的图像块合并逐步传播。
Swin 也不同于滑动窗口注意力。滑动窗口机制通常为每个查询提供一个相互重叠的局部邻域。Swin 则在一个模块内将特征图划分为互不重叠的窗口,并在模块之间改变这种划分。
模型变体与训练
原始模型系列包括 Swin-Tiny、Swin-Small、Swin-Base 和 Swin-Large,分别简称为 Swin-T、Swin-S、Swin-B 和 Swin-L。它们具有相同的基本层次结构,但各阶段的通道数、注意力头数量和模块数量有所不同。
典型的原始配置包括:
| 变体 | 初始通道数 | 各阶段的模块数 |
|---|---|---|
| Swin-T | 96 | |
| Swin-S | 96 | |
| Swin-B | 128 | |
| Swin-L | 192 |
原始配置中常用的窗口大小为每边七个词元,但也可以采用其他配置。
用于分类时,通常先对最终特征图进行全局平均池化,再将结果送入分类头。模型可以通过监督学习在 ImageNet 数据集等数据集上进行预训练,再通过微调适配具体任务。骨干网络架构本身并不要求采用某一种特定的学习目标。
应用
图像分类
将 Swin 的分层骨干网络与池化层和输出头结合,即可构成完整的分类网络。学习得到的注意力权重使每个窗口内的交互取决于图像内容。
检测与分割
目标检测、实例分割和语义分割需要具有空间组织结构的特征,而不仅仅是单个图像级向量。Swin 各中间阶段的输出可以作为多尺度检测头或分割解码器的输入。
其层次结构使它在结构上能够兼容原本围绕 CNN 骨干网络设计的系统。不过,更换骨干网络通常仍需匹配特征维度,并调整训练与实现设置。
视频与图像复原
Video Swin Transformer 将这种方法扩展到时空窗口,在视频维度上引入局部注意力和窗口移位。
包括 SwinIR 在内的相关图像复原架构,对 Swin 式模块进行改造,用于超分辨率、去噪和压缩伪影消除等任务。这些改造不一定保留原始的四阶段分类层次结构,因为图像复原通常需要保留高分辨率的空间信息。
Swin Transformer V2
Swin Transformer V2 在 2022 年的一篇论文中提出,对原始设计进行了修改,以支持更大的模型和更高分辨率的输入。主要变化包括:
- 残差后置归一化:改变归一化的位置,以帮助控制大型模型中的激活值幅度。
- 缩放余弦注意力:以余弦相似度和可学习的缩放因子替代点积相似度。
- 对数间隔连续位置偏置:根据变换后的坐标偏移生成相对位置偏置,而不是仅依赖固定的查找表。
连续位置偏置机制旨在方便模型在不同窗口大小和分辨率之间迁移。V2 保留了分层表示与移位窗口注意力相结合的核心设计。
局限与权衡
即时可用的上下文受限。 局部窗口减少了计算量,但相距较远的图像区域无法在单个注意力模块内直接交互。需要显式建模长距离关系的任务,可能受益于额外的机制。
运行时间取决于实现。 理论运算量较低,并不保证神经网络推理延迟会按比例降低。窗口划分、移位、掩码、内存访问和计算内核效率都会影响实际速度。
分辨率变化需要相应处理。 当图像尺寸或窗口大小变化时,需要妥善处理窗口填充和相对位置参数。在原始架构中,改变窗口大小通常需要对相对位置偏置表进行插值或其他适配。
下采样以细节换取效率。 图像块合并会降低空间分辨率。因此,密集预测系统通常会融合多个阶段的特征,或使用解码器来恢复精细的输出结构。
性能取决于训练条件。 与 CNN 或其他 Transformer 的比较结果,取决于模型规模、预训练数据、图像分辨率、数据增强、优化方法和下游任务。仅凭架构差异,无法确定普遍适用的性能排名。