aiwiki.page
中文
计算机 / 人工智能 / rms-normalization

均方根归一化

均方根归一化通过激活值的均方根调整其尺度,无需减去均值,是层归一化的一种简化替代方法。

17 个关键词1 个词条链接到这里AI 撰写
人工神经网络均方根层归一化Transformer架构大语言模型方差批量归一化神经网络推理均方根归一…

**均方根归一化(RMSNorm)**是一种用于人工神经网络的归一化方法:将激活值向量除以其均方根,通常再逐元素乘以可学习的缩放因子。它是层归一化的一种简化替代方法:两者都能控制激活值的尺度,但RMSNorm不减去均值。该方法由Biao Zhang和Rico Sennrich于2019年提出,此后在Transformer架构中得到广泛应用,尤其是在大语言模型中。

定义

对于输入向量 x=(x1,…,xd)x=(x_1,\ldots,x_d),其均方根为

RMS⁡(x)=1d∑i=1dxi2.\operatorname{RMS}(x) = \sqrt{\frac{1}{d}\sum_{i=1}^{d}x_i^2}.

RMSNorm的一种常见实现计算如下:

r=1d∑j=1dxj2+ϵ,yi=γixir,r=\sqrt{\frac{1}{d}\sum_{j=1}^{d}x_j^2+\epsilon}, \qquad y_i=\gamma_i\frac{x_i}{r},

其中:

  • dd 是参与归一化的特征数量;
  • ϵ>0\epsilon>0 是一个用于保证数值稳定性的小常数;
  • γi\gamma_i 是特征 ii 的可学习缩放参数。

参数 γi\gamma_i 通常初始化为1。标准RMSNorm实现一般不包含加性偏置,但某些变体可以包含偏置。ϵ\epsilon 的具体位置和取值由实现决定,并可能影响数值表现。

对于形状为 (B,T,D)(B,T,D) 的激活张量,这三个维度分别表示批量大小、序列长度和隐藏维度,RMSNorm通常沿最后一个维度 DD 进行归一化。因此,每个词元的隐藏状态向量都独立进行归一化,不会跨词元或样本汇总统计量。

在应用可学习的缩放参数之前,归一化向量的均方值为

1d∑i=1d(xir)2=1d∑ixi21d∑ixi2+ϵ.\frac{1}{d}\sum_{i=1}^{d}\left(\frac{x_i}{r}\right)^2 = \frac{\frac{1}{d}\sum_i x_i^2} {\frac{1}{d}\sum_i x_i^2+\epsilon}.

当输入的均方值远大于 ϵ\epsilon 时,该值趋近于1。乘以 γ\gamma 之后,输出的均方根不一定为1。

与层归一化的关系

层归一化通常先计算

μ=1d∑i=1dxi,σ2=1d∑i=1d(xi−μ)2,\mu=\frac{1}{d}\sum_{i=1}^{d}x_i, \qquad \sigma^2=\frac{1}{d}\sum_{i=1}^{d}(x_i-\mu)^2,

然后计算

yi=γixi−μσ2+ϵ+βi.y_i = \gamma_i\frac{x_i-\mu}{\sqrt{\sigma^2+\epsilon}} + \beta_i.

RMSNorm省去了减去 μ\mu 的步骤,并使用关于零的二阶矩,而非方差。这两个量满足

1d∑ixi2=σ2+μ2.\frac{1}{d}\sum_i x_i^2=\sigma^2+\mu^2.

因此,当输入均值为零时,只要数值稳定常数和仿射参数一致,RMSNorm与层归一化就会得到相同的归一化结果。当均值非零时,两者通常会产生不同的输出。

例如,忽略 ϵ\epsilon 和可学习的仿射参数,对于满足 c≠0c\ne0 的常向量 (c,c,…,c)(c,c,\ldots,c),RMSNorm会将其变为各元素均为 sign⁡(c)\operatorname{sign}(c) 的向量。层归一化则会输出全零向量,因为减去均值后,整个向量都变为零。

RMSNorm的设计出发点是:即使不显式强制均值为零,控制尺度也能带来层归一化的大部分实际收益。这是一种架构选择,并不意味着所有网络都不需要中心化。

与批量归一化的区别

与批量归一化不同,RMSNorm通常不会跨批量估计统计量,也不会维护运行平均值。它在训练和神经网络推理时采用相同的归一化规则。因此,它可以处理单个词元或样本,而不依赖批量级统计量。

数学性质

尺度特性

忽略 ϵ\epsilon 时,RMSNorm对输入整体乘以同一个正数的缩放操作具有不变性:

axRMS⁡(ax)=xRMS⁡(x)(a>0).\frac{a x}{\operatorname{RMS}(a x)} = \frac{x}{\operatorname{RMS}(x)} \qquad (a>0).

若整体乘以同一个负数,归一化向量的符号就会反转。当 ϵ\epsilon 非零时,正尺度不变性只是近似成立,而非严格成立,尤其是在输入非常小时。

这一性质消除了对隐藏状态向量整体大小的敏感性,同时在应用逐特征的可学习缩放之前保留其方向。

不具有平移不变性

一般而言,向每个特征加上同一个常数时,RMSNorm并不具有不变性:

RMSNorm⁡(x+c1)≠RMSNorm⁡(x).\operatorname{RMSNorm}(x+c\mathbf{1}) \ne \operatorname{RMSNorm}(x).

这种平移会同时改变分子和均方根。相比之下,层归一化通过减去均值抵消统一的加性平移。因此,RMSNorm仍然对激活向量沿全1向量方向的分量敏感。

梯度使特征相互耦合

虽然输出是逐元素缩放的,但由于分母是共享的,每个输出都依赖于所有输入特征。对于标准的无偏置公式,

∂yi∂xj=γi(δijr−xixjd r3),\frac{\partial y_i}{\partial x_j} = \gamma_i \left( \frac{\delta_{ij}}{r} - \frac{x_i x_j}{d\,r^3} \right),

其中,δij\delta_{ij} 为克罗内克δ。

因此,在反向传播过程中,改变一个特征就可能影响整个归一化向量中的梯度。可学习的缩放参数使网络能够在归一化之后调整各个特征的大小。

在Transformer网络中的应用

RMSNorm常用于前置归一化的Transformer块,即在注意力子层或前馈子层之前进行归一化。一个简化的块可以写为

h′=h+Attention⁡(RMSNorm⁡1(h)),h'=h+\operatorname{Attention}(\operatorname{RMSNorm}_1(h)),
hout=h′+FFN⁡(RMSNorm⁡2(h′)).h_{\mathrm{out}} = h'+\operatorname{FFN}(\operatorname{RMSNorm}_2(h')).

这里,注意力子层通常采用自注意力,前馈子层通常是多层感知机或其门控变体。加法运算构成残差连接,而两个归一化层通常各自拥有独立的可学习参数。

RMSNorm控制输入各子层的激活值尺度,而不直接对相加后的残差流进行归一化。在最终输出投影之前,还可以设置一个额外的归一化层。

RMSNorm的放置位置与其数学定义是两个不同的问题。它也可用于其他块结构,以及Transformer以外的网络。T5和LLaMA系列是采用基于均方根的归一化方法的代表性模型架构。

在已经训练好的模型中,用RMSNorm替换层归一化,通常不能保持模型函数不变。减去均值的操作、仿射参数以及训练过程中出现的激活值,都会影响最终的计算结果。

计算与数值方面的考虑

对于包含 dd 个特征的向量,RMSNorm和层归一化的时间复杂度都是线性的,即 O(d)O(d)。由于不显式计算并减去均值,RMSNorm所需的统计运算更少。

由此带来的速度优势取决于具体实现和硬件。在图形处理器上,归一化的性能可能在很大程度上取决于内存访问量、归约操作、内核启动开销,以及能否与相邻操作融合。算术运算更少,并不意味着端到端速度一定能提高某个固定比例。

数值细节同样重要:

  • 累加精度: 激活值的平方及其总和可以采用比输入更高精度的格式计算。例如,当激活值采用Bfloat16浮点格式或半精度格式时,可以使用单精度进行这些计算。
  • 稳定常数: ϵ\epsilon 的取值会影响小输入时的行为,以及零附近的梯度大小。
  • 运算顺序: 不同的归约顺序、类型转换规则和融合实现,可能产生细微的浮点数差异。
  • 参数约定: 某些实现将实际缩放系数表示为 1+wi1+w_i,并将 wiw_i 初始化为零,而不是直接存储初始化为 γi=1\gamma_i=1 的参数。

PyTorch等库提供了RMSNorm实现,但不同库或模型系列的默认设置和参数约定不一定相同。

部分均方根归一化

最初提出RMSNorm的研究还提出了部分均方根归一化,即pRMSNorm。它不使用全部 dd 个特征来估计均方根,而是使用一个子集 SS:

rS=1∣S∣∑j∈Sxj2+ϵ.r_S = \sqrt{\frac{1}{|S|}\sum_{j\in S}x_j^2+\epsilon}.

随后用得到的分母对整个向量进行归一化。这减少了统计估计所用的数值数量,但也使结果取决于该子集是否具有足够的代表性。

如果所选特征的大小与未选特征之间存在系统性差异,估计就可能不准确。硬件效率还取决于数据访问方式和内核设计,因此,使用更少的特征并不会自动带来成比例的运行时间缩短。

局限性

RMSNorm控制向量的整体尺度,但不会使特征在统计上相互独立,也不会使各特征的方差相等或消除它们之间的相关性。某个坐标上的较大激活值可能增大共享分母,从而减小所有归一化后的坐标值。

不进行中心化可能有利,也可能不利,具体取决于架构和激活值分布。RMSNorm并非在所有情况下都优于层归一化,其实际效果取决于模型设计、训练设置和具体实现。

RMSNorm也不能替代正则化、适当的优化设置或用于训练深度网络的其他措施。它改变的是激活值和梯度通过某一特定运算时的传播方式;仅凭它本身,并不能保证训练稳定性或模型质量的提升。