**均方根归一化(RMSNorm)**是一种用于人工神经网络的归一化方法:将激活值向量除以其均方根,通常再逐元素乘以可学习的缩放因子。它是层归一化的一种简化替代方法:两者都能控制激活值的尺度,但RMSNorm不减去均值。该方法由Biao Zhang和Rico Sennrich于2019年提出,此后在Transformer架构中得到广泛应用,尤其是在大语言模型中。
定义
对于输入向量 ,其均方根为
RMSNorm的一种常见实现计算如下:
其中:
- 是参与归一化的特征数量;
- 是一个用于保证数值稳定性的小常数;
- 是特征 的可学习缩放参数。
参数 通常初始化为1。标准RMSNorm实现一般不包含加性偏置,但某些变体可以包含偏置。 的具体位置和取值由实现决定,并可能影响数值表现。
对于形状为 的激活张量,这三个维度分别表示批量大小、序列长度和隐藏维度,RMSNorm通常沿最后一个维度 进行归一化。因此,每个词元的隐藏状态向量都独立进行归一化,不会跨词元或样本汇总统计量。
在应用可学习的缩放参数之前,归一化向量的均方值为
当输入的均方值远大于 时,该值趋近于1。乘以 之后,输出的均方根不一定为1。
与层归一化的关系
层归一化通常先计算
然后计算
RMSNorm省去了减去 的步骤,并使用关于零的二阶矩,而非方差。这两个量满足
因此,当输入均值为零时,只要数值稳定常数和仿射参数一致,RMSNorm与层归一化就会得到相同的归一化结果。当均值非零时,两者通常会产生不同的输出。
例如,忽略 和可学习的仿射参数,对于满足 的常向量 ,RMSNorm会将其变为各元素均为 的向量。层归一化则会输出全零向量,因为减去均值后,整个向量都变为零。
RMSNorm的设计出发点是:即使不显式强制均值为零,控制尺度也能带来层归一化的大部分实际收益。这是一种架构选择,并不意味着所有网络都不需要中心化。
与批量归一化的区别
与批量归一化不同,RMSNorm通常不会跨批量估计统计量,也不会维护运行平均值。它在训练和神经网络推理时采用相同的归一化规则。因此,它可以处理单个词元或样本,而不依赖批量级统计量。
数学性质
尺度特性
忽略 时,RMSNorm对输入整体乘以同一个正数的缩放操作具有不变性:
若整体乘以同一个负数,归一化向量的符号就会反转。当 非零时,正尺度不变性只是近似成立,而非严格成立,尤其是在输入非常小时。
这一性质消除了对隐藏状态向量整体大小的敏感性,同时在应用逐特征的可学习缩放之前保留其方向。
不具有平移不变性
一般而言,向每个特征加上同一个常数时,RMSNorm并不具有不变性:
这种平移会同时改变分子和均方根。相比之下,层归一化通过减去均值抵消统一的加性平移。因此,RMSNorm仍然对激活向量沿全1向量方向的分量敏感。
梯度使特征相互耦合
虽然输出是逐元素缩放的,但由于分母是共享的,每个输出都依赖于所有输入特征。对于标准的无偏置公式,
其中, 为克罗内克δ。
因此,在反向传播过程中,改变一个特征就可能影响整个归一化向量中的梯度。可学习的缩放参数使网络能够在归一化之后调整各个特征的大小。
在Transformer网络中的应用
RMSNorm常用于前置归一化的Transformer块,即在注意力子层或前馈子层之前进行归一化。一个简化的块可以写为
这里,注意力子层通常采用自注意力,前馈子层通常是多层感知机或其门控变体。加法运算构成残差连接,而两个归一化层通常各自拥有独立的可学习参数。
RMSNorm控制输入各子层的激活值尺度,而不直接对相加后的残差流进行归一化。在最终输出投影之前,还可以设置一个额外的归一化层。
RMSNorm的放置位置与其数学定义是两个不同的问题。它也可用于其他块结构,以及Transformer以外的网络。T5和LLaMA系列是采用基于均方根的归一化方法的代表性模型架构。
在已经训练好的模型中,用RMSNorm替换层归一化,通常不能保持模型函数不变。减去均值的操作、仿射参数以及训练过程中出现的激活值,都会影响最终的计算结果。
计算与数值方面的考虑
对于包含 个特征的向量,RMSNorm和层归一化的时间复杂度都是线性的,即 。由于不显式计算并减去均值,RMSNorm所需的统计运算更少。
由此带来的速度优势取决于具体实现和硬件。在图形处理器上,归一化的性能可能在很大程度上取决于内存访问量、归约操作、内核启动开销,以及能否与相邻操作融合。算术运算更少,并不意味着端到端速度一定能提高某个固定比例。
数值细节同样重要:
- 累加精度: 激活值的平方及其总和可以采用比输入更高精度的格式计算。例如,当激活值采用Bfloat16浮点格式或半精度格式时,可以使用单精度进行这些计算。
- 稳定常数: 的取值会影响小输入时的行为,以及零附近的梯度大小。
- 运算顺序: 不同的归约顺序、类型转换规则和融合实现,可能产生细微的浮点数差异。
- 参数约定: 某些实现将实际缩放系数表示为 ,并将 初始化为零,而不是直接存储初始化为 的参数。
PyTorch等库提供了RMSNorm实现,但不同库或模型系列的默认设置和参数约定不一定相同。
部分均方根归一化
最初提出RMSNorm的研究还提出了部分均方根归一化,即pRMSNorm。它不使用全部 个特征来估计均方根,而是使用一个子集 :
随后用得到的分母对整个向量进行归一化。这减少了统计估计所用的数值数量,但也使结果取决于该子集是否具有足够的代表性。
如果所选特征的大小与未选特征之间存在系统性差异,估计就可能不准确。硬件效率还取决于数据访问方式和内核设计,因此,使用更少的特征并不会自动带来成比例的运行时间缩短。
局限性
RMSNorm控制向量的整体尺度,但不会使特征在统计上相互独立,也不会使各特征的方差相等或消除它们之间的相关性。某个坐标上的较大激活值可能增大共享分母,从而减小所有归一化后的坐标值。
不进行中心化可能有利,也可能不利,具体取决于架构和激活值分布。RMSNorm并非在所有情况下都优于层归一化,其实际效果取决于模型设计、训练设置和具体实现。
RMSNorm也不能替代正则化、适当的优化设置或用于训练深度网络的其他措施。它改变的是激活值和梯度通过某一特定运算时的传播方式;仅凭它本身,并不能保证训练稳定性或模型质量的提升。