{
  "id": "rms-normalization",
  "title": "均方根归一化",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "均方根归一化通过激活值的均方根调整其尺度，无需减去均值，是层归一化的一种简化替代方法。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "RMSNorm",
    "RMS归一化"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/rms-normalization/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/rms-normalization/",
      "json": "https://aiwiki.page/en/rms-normalization.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "**均方根归一化（RMSNorm）**是一种用于人工神经网络的归一化方法：将激活值向量除以其均方根，通常再逐元素乘以可学习的缩放因子。它是层归一化的一种简化替代方法：两者都能控制激活值的尺度，但RMSNorm不减去均值。该方法由Biao Zhang和Rico Sennrich于2019年提出，此后在Transformer架构中得到广泛应用，尤其是在大语言模型中。"
    },
    {
      "heading": "定义",
      "text": "对于输入向量 \\(x=(x_1,\\ldots,x_d)\\)，其均方根为\n\n\\[\\operatorname{RMS}(x) = \\sqrt{\\frac{1}{d}\\sum_{i=1}^{d}x_i^2}.\\]\n\nRMSNorm的一种常见实现计算如下：\n\n\\[r=\\sqrt{\\frac{1}{d}\\sum_{j=1}^{d}x_j^2+\\epsilon}, \\qquad y_i=\\gamma_i\\frac{x_i}{r},\\]\n\n其中：\n\n- \\(d\\) 是参与归一化的特征数量；\n- \\(\\epsilon>0\\) 是一个用于保证数值稳定性的小常数；\n- \\(\\gamma_i\\) 是特征 \\(i\\) 的可学习缩放参数。\n\n参数 \\(\\gamma_i\\) 通常初始化为1。标准RMSNorm实现一般不包含加性偏置，但某些变体可以包含偏置。\\(\\epsilon\\) 的具体位置和取值由实现决定，并可能影响数值表现。\n\n对于形状为 \\((B,T,D)\\) 的激活张量，这三个维度分别表示批量大小、序列长度和隐藏维度，RMSNorm通常沿最后一个维度 \\(D\\) 进行归一化。因此，每个词元的隐藏状态向量都独立进行归一化，不会跨词元或样本汇总统计量。\n\n在应用可学习的缩放参数之前，归一化向量的均方值为\n\n\\[\\frac{1}{d}\\sum_{i=1}^{d}\\left(\\frac{x_i}{r}\\right)^2 = \\frac{\\frac{1}{d}\\sum_i x_i^2} {\\frac{1}{d}\\sum_i x_i^2+\\epsilon}.\\]\n\n当输入的均方值远大于 \\(\\epsilon\\) 时，该值趋近于1。乘以 \\(\\gamma\\) 之后，输出的均方根不一定为1。"
    },
    {
      "heading": "与层归一化的关系",
      "text": "层归一化通常先计算\n\n\\[\\mu=\\frac{1}{d}\\sum_{i=1}^{d}x_i, \\qquad \\sigma^2=\\frac{1}{d}\\sum_{i=1}^{d}(x_i-\\mu)^2,\\]\n\n然后计算\n\n\\[y_i = \\gamma_i\\frac{x_i-\\mu}{\\sqrt{\\sigma^2+\\epsilon}} + \\beta_i.\\]\n\nRMSNorm省去了减去 \\(\\mu\\) 的步骤，并使用关于零的二阶矩，而非方差。这两个量满足\n\n\\[\\frac{1}{d}\\sum_i x_i^2=\\sigma^2+\\mu^2.\\]\n\n因此，当输入均值为零时，只要数值稳定常数和仿射参数一致，RMSNorm与层归一化就会得到相同的归一化结果。当均值非零时，两者通常会产生不同的输出。\n\n例如，忽略 \\(\\epsilon\\) 和可学习的仿射参数，对于满足 \\(c\\ne0\\) 的常向量 \\((c,c,\\ldots,c)\\)，RMSNorm会将其变为各元素均为 \\(\\operatorname{sign}(c)\\) 的向量。层归一化则会输出全零向量，因为减去均值后，整个向量都变为零。\n\nRMSNorm的设计出发点是：即使不显式强制均值为零，控制尺度也能带来层归一化的大部分实际收益。这是一种架构选择，并不意味着所有网络都不需要中心化。\n\n与批量归一化的区别\n\n与批量归一化不同，RMSNorm通常不会跨批量估计统计量，也不会维护运行平均值。它在训练和神经网络推理时采用相同的归一化规则。因此，它可以处理单个词元或样本，而不依赖批量级统计量。"
    },
    {
      "heading": "数学性质",
      "text": "尺度特性\n\n忽略 \\(\\epsilon\\) 时，RMSNorm对输入整体乘以同一个正数的缩放操作具有不变性：\n\n\\[\\frac{a x}{\\operatorname{RMS}(a x)} = \\frac{x}{\\operatorname{RMS}(x)} \\qquad (a>0).\\]\n\n若整体乘以同一个负数，归一化向量的符号就会反转。当 \\(\\epsilon\\) 非零时，正尺度不变性只是近似成立，而非严格成立，尤其是在输入非常小时。\n\n这一性质消除了对隐藏状态向量整体大小的敏感性，同时在应用逐特征的可学习缩放之前保留其方向。\n\n不具有平移不变性\n\n一般而言，向每个特征加上同一个常数时，RMSNorm并不具有不变性：\n\n\\[\\operatorname{RMSNorm}(x+c\\mathbf{1}) \\ne \\operatorname{RMSNorm}(x).\\]\n\n这种平移会同时改变分子和均方根。相比之下，层归一化通过减去均值抵消统一的加性平移。因此，RMSNorm仍然对激活向量沿全1向量方向的分量敏感。\n\n梯度使特征相互耦合\n\n虽然输出是逐元素缩放的，但由于分母是共享的，每个输出都依赖于所有输入特征。对于标准的无偏置公式，\n\n\\[\\frac{\\partial y_i}{\\partial x_j} = \\gamma_i \\left( \\frac{\\delta_{ij}}{r} - \\frac{x_i x_j}{d\\,r^3} \\right),\\]\n\n其中，\\(\\delta_{ij}\\) 为克罗内克δ。\n\n因此，在反向传播过程中，改变一个特征就可能影响整个归一化向量中的梯度。可学习的缩放参数使网络能够在归一化之后调整各个特征的大小。"
    },
    {
      "heading": "在Transformer网络中的应用",
      "text": "RMSNorm常用于前置归一化的Transformer块，即在注意力子层或前馈子层之前进行归一化。一个简化的块可以写为\n\n\\[h'=h+\\operatorname{Attention}(\\operatorname{RMSNorm}_1(h)),\\]\n\n\\[h_{\\mathrm{out}} = h'+\\operatorname{FFN}(\\operatorname{RMSNorm}_2(h')).\\]\n\n这里，注意力子层通常采用自注意力，前馈子层通常是多层感知机或其门控变体。加法运算构成残差连接，而两个归一化层通常各自拥有独立的可学习参数。\n\nRMSNorm控制输入各子层的激活值尺度，而不直接对相加后的残差流进行归一化。在最终输出投影之前，还可以设置一个额外的归一化层。\n\nRMSNorm的放置位置与其数学定义是两个不同的问题。它也可用于其他块结构，以及Transformer以外的网络。T5和LLaMA系列是采用基于均方根的归一化方法的代表性模型架构。\n\n在已经训练好的模型中，用RMSNorm替换层归一化，通常不能保持模型函数不变。减去均值的操作、仿射参数以及训练过程中出现的激活值，都会影响最终的计算结果。"
    },
    {
      "heading": "计算与数值方面的考虑",
      "text": "对于包含 \\(d\\) 个特征的向量，RMSNorm和层归一化的时间复杂度都是线性的，即 \\(O(d)\\)。由于不显式计算并减去均值，RMSNorm所需的统计运算更少。\n\n由此带来的速度优势取决于具体实现和硬件。在图形处理器上，归一化的性能可能在很大程度上取决于内存访问量、归约操作、内核启动开销，以及能否与相邻操作融合。算术运算更少，并不意味着端到端速度一定能提高某个固定比例。\n\n数值细节同样重要：\n\n- 累加精度： 激活值的平方及其总和可以采用比输入更高精度的格式计算。例如，当激活值采用Bfloat16浮点格式或半精度格式时，可以使用单精度进行这些计算。\n- 稳定常数： \\(\\epsilon\\) 的取值会影响小输入时的行为，以及零附近的梯度大小。\n- 运算顺序： 不同的归约顺序、类型转换规则和融合实现，可能产生细微的浮点数差异。\n- 参数约定： 某些实现将实际缩放系数表示为 \\(1+w_i\\)，并将 \\(w_i\\) 初始化为零，而不是直接存储初始化为 \\(\\gamma_i=1\\) 的参数。\n\nPyTorch等库提供了RMSNorm实现，但不同库或模型系列的默认设置和参数约定不一定相同。"
    },
    {
      "heading": "部分均方根归一化",
      "text": "最初提出RMSNorm的研究还提出了部分均方根归一化，即pRMSNorm。它不使用全部 \\(d\\) 个特征来估计均方根，而是使用一个子集 \\(S\\)：\n\n\\[r_S = \\sqrt{\\frac{1}{|S|}\\sum_{j\\in S}x_j^2+\\epsilon}.\\]\n\n随后用得到的分母对整个向量进行归一化。这减少了统计估计所用的数值数量，但也使结果取决于该子集是否具有足够的代表性。\n\n如果所选特征的大小与未选特征之间存在系统性差异，估计就可能不准确。硬件效率还取决于数据访问方式和内核设计，因此，使用更少的特征并不会自动带来成比例的运行时间缩短。"
    },
    {
      "heading": "局限性",
      "text": "RMSNorm控制向量的整体尺度，但不会使特征在统计上相互独立，也不会使各特征的方差相等或消除它们之间的相关性。某个坐标上的较大激活值可能增大共享分母，从而减小所有归一化后的坐标值。\n\n不进行中心化可能有利，也可能不利，具体取决于架构和激活值分布。RMSNorm并非在所有情况下都优于层归一化，其实际效果取决于模型设计、训练设置和具体实现。\n\nRMSNorm也不能替代正则化、适当的优化设置或用于训练深度网络的其他措施。它改变的是激活值和梯度通过某一特定运算时的传播方式；仅凭它本身，并不能保证训练稳定性或模型质量的提升。"
    }
  ],
  "links": [
    "artificial-neural-network",
    "root-mean-square",
    "layer-normalization",
    "transformer-architecture",
    "large-language-model",
    "variance",
    "batch-normalization",
    "neural-network-inference",
    "backpropagation",
    "self-attention",
    "multilayer-perceptron",
    "residual-connection",
    "time-complexity",
    "graphics-processing-unit",
    "bfloat16",
    "pytorch",
    "regularization"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}