旋转位置编码(Rotary Position Embedding,RoPE)是用于 Transformer架构的一种位置编码技术。它根据位置确定旋转角度,对查询向量和键向量中的成对坐标进行旋转,从而将序列位置信息融入注意力计算。这些旋转具有一项实用的代数性质:旋转后的查询向量与键向量的点积取决于两者的相对位置偏移,而非各自的绝对位置。RoPE 由苏剑林及其同事在 2021 年的 RoFormer 论文中提出,此后在大语言模型中得到广泛应用。
目的与背景
注意力机制通过比较查询与键,确定不同序列位置的信息应在多大程度上影响输出。在普通的点积自注意力中,这些比较本身并不编码序列顺序。如果没有位置信息或对顺序敏感的掩码,重新排列输入只会让输出以相同方式重新排列,而不会使模型获得对新顺序的显式表示。
位置在自然语言处理中很重要,因为包含相同词语的序列在顺序改变后可能表达不同含义。对于代码、时间序列和按空间布局的数据,位置同样重要。
早期的 Transformer 将学习得到的位置向量或正弦位置向量加到输入表示上。RoPE 则在注意力层内部修改查询和键。它不改变向量的维度,标准形式也不需要可学习的位置查找表。
虽然 RoPE 使用绝对位置索引来变换每个向量,但它对查询与键交互的影响具有相对位置结构。因此,它将绝对位置变换与对相对位置敏感的注意力联系起来。
数学构造
二维旋转
设 为序列位置 处的查询向量, 为位置 处的键向量。假设参与旋转的维度 为偶数。
将每个向量划分为 对坐标。对于第 对坐标,定义角频率为 的旋转:
完整的旋转 是由这些二维块组成的分块对角矩阵。RoPE 对查询和键进行如下变换:
一种标准的频率设置为:
其中, 是正数底数,在最初的形式中通常取 。具体实现可以采用其他底数或修改后的频率设置。这个底数是一个超参数,并非该方法的通用常数。
高频坐标对的角度随位置变化较快,低频坐标对则变化较慢。这些坐标对共同表示多个尺度上的位置变化。
相对位置恒等式
旋转矩阵满足:
因此,
由此可见,注意力分数中的显式位置变换只取决于 。将两个位置索引同时平移相同的量,不会改变这一变换。
这并不意味着完整的 Transformer 只依赖相对位置。查询和键的内容可能已经反映了边界、前面各层、注意力掩码或其他上下文信息。这个恒等式描述的是位置对某一次查询与键的点积所产生的影响。
由于旋转是正交变换,因此会保持向量的范数:
RoPE 改变的是向量的方向,而非大小。
复数解释
每对坐标也可以表示为一个复数。若
则对应的旋转就是乘以一个单位复数:
这种形式在数学上与实数旋转等价。它有助于理解 RoPE,但具体实现不一定需要使用复数运算。
与注意力的集成
在典型的注意力头中,查询、键和值由词元表示经过学习得到的投影生成。随后,在计算注意力分数之前,对查询和键应用 RoPE:
之后可以使用注意力掩码排除不允许关注的位置,再通过 softmax 将分数转换为权重,用来组合值向量。
标准 RoPE 不旋转值向量。位置通过注意力权重影响哪些值被选取,而不是要求对值本身进行旋转。
在多头注意力中,这项操作在各个注意力头内部进行。一些架构会旋转查询和键的全部坐标;另一些则使用部分旋转位置编码,只旋转部分坐标,其余坐标保持不变。在这种情况下,注意力分数同时包含旋转位置分量和未经旋转的内容分量。
RoPE 不决定哪些位置可以关注哪些其他位置。因果掩码、双向注意力和局部注意力都是独立的架构选择。
计算性质与实现
开销
旋转一个向量所需的算术运算次数,与其参与旋转的维度成线性关系。对于序列长度 和旋转维度 ,每个注意力头的额外计算量为 ,这里不考虑复用预先计算的三角函数值所带来的影响。
RoPE 不会改变普通稠密注意力的计算量与序列长度之间的平方关系。它可以与 FlashAttention 等优化的注意力实现兼容,但本身不会使注意力计算量与序列长度成线性关系。
坐标布局
两种常见实现分别将相邻坐标配对,或将向量前后两半中对应的坐标配对。这两种布局经过适当的坐标置换后是等价的,但如果不对模型学到的投影权重作相应处理,就不能直接互换。
因此,转换模型检查点时必须保留模型所预期的配对约定。即使正弦值和余弦值正确,使用错误的坐标布局仍然可能产生错误结果。
缓存解码
在自回归神经网络推理过程中,先前计算的键和值通常存储在键值缓存中。键可以先按其指定位置进行旋转,再存入缓存,供后续查询复用。
缓存中的词元与新计算的词元必须使用一致的位置索引。填充、序列打包、滑动窗口以及位置缩放规则的变更都需要谨慎处理。尤其是,如果改变旋转规则,却保留按另一套规则变换得到的缓存键,通常会导致缓存不一致,除非对缓存进行调整或重新计算。
数值精度
当位置索引较大时,以低精度计算角度和三角函数可能引入显著误差。实现中通常会先以较高精度计算频率或角度,再将得到的旋转转换为模型实际使用的数据类型。
这一数值问题与训练后的模型能否有效利用长序列是两个不同的问题。
上下文长度与外推
从数学上说,RoPE 对训练时未见过的更远位置也有定义。因此,它避免了可学习绝对位置嵌入所受的固定表大小限制。然而,能够计算新位置上的旋转,并不代表模型能够可靠地泛化到该位置。
超出训练长度后,模型会遇到不熟悉的角相位与相对距离组合。这是一种分布偏移。即使旋转在数值上准确,长上下文性能仍可能下降。
有几类方法通过修改 RoPE 来扩展模型的上下文窗口:
- **位置插值:**重新缩放位置索引,使更长序列占据的角度范围更接近训练时使用的范围。这会压缩位置之间的差异,也可以结合额外训练使用。
- **底数或频率调整:**改变旋转频率设置,通常会减慢部分维度上的旋转。
- **按频率缩放:**对变化较快和较慢的频段采用不同处理,而不是统一缩放所有位置。
- **按长度缩放:**根据预期或当前的序列长度改变位置变换。
这些方法需要在长距离覆盖能力、短距离分辨能力、训练成本和实现复杂度之间权衡。其效果取决于模型和评估任务;支持更大的位置索引,并不等于能够持续有效地进行长上下文推理或检索。
额外的微调或继续训练可能有助于模型适应修改后的位置方案,但单靠 RoPE 并不能保证长度外推成功。
与其他位置方法的关系
可学习绝对位置嵌入为每个位置分配一个可训练向量,通常将其加到词元表示上。RoPE 则在注意力内部使用确定性的旋转,标准形式不增加任何可训练的位置参数。
加性正弦编码也使用多种频率,但它将正弦向量加到表示上。RoPE 则使用正弦函数来旋转查询和键的坐标。相对位置恒等式直接源于这种旋转结构。
相对注意力偏置在注意力分数中加入一个依赖位置的项,通常基于距离或距离类别。RoPE 改变的则是依赖内容的交互本身:相对位置使键相对于查询发生旋转,因此其效果取决于这两个向量。
这些机制并不天然互斥。一个架构可以将旋转变换与额外的偏置或其他位置信息结合使用。
应用与局限
RoPE 用于许多仅解码器语言模型,包括 LLaMA 系列模型。它的吸引力包括无需参数的位置变换、与缓存式生成的兼容性,以及注意力分数中直接体现的相对位置结构。
一些扩展方法还将旋转坐标应用于图像、视频和其他结构化输入。在计算机视觉和多模态学习中,位置可能有多个轴,例如水平与垂直坐标,或空间坐标加上时间。一种做法是将不同的坐标对分配给不同的轴。这类变体需要决定各轴如何分配坐标、如何缩放,以及不同模态中的位置如何关联。
RoPE 并不会普遍偏好邻近词元。单个坐标对具有周期性,而它们的综合贡献取决于查询和键的内容。虽然在特定假设下,对整体行为的分析可能呈现随距离增大的衰减,但实际注意力分数未必随距离单调下降。
在实际计算中,RoPE 也不能让序列位置无限可区分。旋转相位会重复出现,或变得近似相同,而有限精度又限制了数值分辨率。这些相似性是否导致错误,取决于频率设置、序列长度和学习得到的表示。
最后,位置编码只解决长序列处理的一个方面。内存占用、注意力计算、训练覆盖范围,以及模型选择相关信息的能力,仍然是各自独立的制约因素。