aiwiki.page
中文
计算机 / 人工智能 / muon-optimizer

Muon优化器

Muon是一种神经网络优化器,通常通过Newton–Schulz迭代近似正交化矩阵权重的动量更新。

23 个关键词1 个词条链接到这里2 个尚未撰写AI 撰写
人工神经网络矩阵(数学)Adam 优化器深度学习Transformer架构损失函数反向传播学习率Muon优化器

Muon是一种用于训练人工神经网络的优化方法。其标志性操作是:在应用更新之前,对每个选定的权重矩阵的动量更新进行近似正交化。与Adam优化器逐坐标独立缩放的做法不同,Muon会变换整个更新矩阵的奇异值结构。它主要用于深度学习中的隐藏层权重,包括采用Transformer架构的模型,而偏置、嵌入等参数通常由另一个优化器处理。

Muon的全称是 Momentum Orthogonalized by Newton–Schulz,意为“通过Newton–Schulz方法正交化的动量”。该方法由Keller Jordan于2024年提出,随后作为语言模型训练中逐坐标自适应优化器的替代方案受到关注。

基本更新规则

考虑权重矩阵 Wt∈Rm×nW_t\in\mathbb{R}^{m\times n},其梯度 GtG_t 由损失函数通过反向传播计算得到。一种典型的Muon更新首先累积动量:

Mt=βMt−1+(1−β)Gt,M_t=\beta M_{t-1}+(1-\beta)G_t,

其中,β\beta 控制历史梯度影响的持续程度。有些实现会省略因子 1−β1-\beta,或利用动量缓冲区和当前梯度构造Nesterov式的前瞻方向。

随后,将得到的方向 DtD_t 送入近似矩阵正交化过程:

Qt≈Orth⁡(Dt).Q_t \approx \operatorname{Orth}(D_t).

权重更新的形式为

Wt+1=Wt−ηtsm,nQt,W_{t+1}=W_t-\eta_t s_{m,n}Q_t,

其中,ηt\eta_t 是学习率,sm,ns_{m,n} 是取决于具体实现的缩放因子。一些实现还会应用解耦权重衰减,这是一种正则化方法:

Wt+1=(1−ηtλ)Wt−ηtsm,nQt.W_{t+1}=(1-\eta_t\lambda)W_t-\eta_t s_{m,n}Q_t.

不同实现在动量约定、与维度有关的缩放、权重衰减以及具体正交化过程上各有差异。因此,Muon指的是一组紧密相关的更新规则,而不是一个统一固定的公式。

正交化的含义

这一操作的数学目标可以用奇异值分解描述。对于非零更新矩阵 DD,仅保留其非零奇异值的紧致分解为

D=UrΣrVr⊤.D=U_r\Sigma_rV_r^\top.

相应的理想正交化方向为

Q=UrVr⊤.Q=U_rV_r^\top.

这一变换保留左右奇异向量,但将每个非零奇异值替换为1。因此,它消除了奇异值之间的相对大小差异,同时保留了对应的方向。

对于满足 m≥nm\geq n 的列满秩矩阵,

Q⊤Q=In.Q^\top Q=I_n.

对于满足 m≤nm\leq n 的行满秩矩阵,

QQ⊤=Im.QQ^\top=I_m.

一般而言,非方阵无法同时具有标准正交的行和标准正交的列。在秩亏的情况下,上述表达式是一个部分等距映射:相应乘积是投影矩阵,而不是完整的单位矩阵。

这一操作与极分解密切相关。例如,当 DD 列满秩时,

Q=D(D⊤D)−1/2.Q=D(D^\top D)^{-1/2}.

需要强调的是,Muon正交化的是更新方向,而不是权重矩阵本身。它并不对学习得到的权重施加正交约束。

几何解释

在数学优化中,理想化的正交化梯度可以解释为谱范数这一矩阵范数约束下的最速下降方向。对于矩阵 DD,方向 Q=UrVr⊤Q=U_rV_r^\top 是以下问题的一个解:

max⁡∥X∥2≤1⟨D,X⟩F,\max_{\|X\|_2\leq 1}\langle D,X\rangle_F,

其中,⟨D,X⟩F=tr⁡(D⊤X)\langle D,X\rangle_F=\operatorname{tr}(D^\top X)。

相比之下,普通梯度下降对应于对更新施加弗罗贝尼乌斯范数约束。因此,Muon改变了定义有界更新时所采用的几何结构。这一解释说明了理想化矩阵变换的含义,但其本身并不能保证基于动量的非凸网络训练收敛。

Newton–Schulz近似

在每个训练步骤中,对每个矩阵都计算精确的奇异值分解,通常代价很高。因此,Muon改用少量且次数固定的Newton–Schulz迭代。这些迭代主要依赖矩阵乘法,非常适合在图形处理器上执行。

下面的经典迭代可以说明其原理:

Xk+1=12Xk(3I−Xk⊤Xk).X_{k+1}=\frac{1}{2}X_k(3I-X_k^\top X_k).

在适当初始化和缩放的条件下,这一迭代会使非零奇异值趋近于1。例如,采用以下初始归一化:

X0=D∥D∥FX_0=\frac{D}{\|D\|_F}

可以将奇异值置于可控范围内;对于零输入,则需要单独处理。

实际的Muon实现往往采用更高次的多项式更新,例如

Xk+1=aXk+b(XkXk⊤)Xk+c(XkXk⊤)2Xk.X_{k+1} = aX_k+b(X_kX_k^\top)X_k +c(X_kX_k^\top)^2X_k.

系数和迭代次数的选择,旨在用少量矩阵乘法得到实用的近似结果,不必复现经典三次迭代的收敛行为。尤其是,一些经过激进调优的有限步过程只会使奇异值接近1,而不会得到精确的极分解因子。

因此,“正交化”描述的是预期变换,并不保证每次计算得到的更新都具有严格标准正交的行或列。包括Bfloat16浮点格式在内的低精度运算还会引入进一步的近似误差。

参数选择与缩放

Muon主要面向矩阵形式的隐藏层权重。在Transformer中,这包括注意力投影矩阵,以及多层感知机前馈模块中的矩阵。

训练系统通常将参数分为两组:

  • **Muon参数:**选定的隐藏层权重矩阵。
  • **辅助优化器参数:**偏置、归一化参数、输入嵌入、输出投影,以及其他未纳入Muon处理范围的张量。

第二组通常使用Adam或AdamW式更新进行训练。将这些参数排除在Muon之外是一种惯例,而非数学上的要求:嵌入表也是矩阵,但其作用和梯度结构与稠密隐藏层变换不同。

与形状有关的缩放十分重要,因为秩为 rr 的精确正交化矩阵满足

∥Q∥F=r.\|Q\|_F=\sqrt{r}.

因此,其整体更新幅度和逐坐标更新幅度都取决于矩阵维度。不同实现可能会补偿矩阵长宽比的影响,或采用目标均方根更新尺度。除非这些约定也一致,否则不同变体的学习率数值不能直接比较。

对于高阶张量,例如卷积神经网络中的权重,应用Muon需要选择将其重塑为矩阵的方式。不同的重塑方式会定义不同的变换。

与其他优化器的比较

动量梯度下降

动量梯度下降会在时间维度上平滑梯度,但保留所得矩阵方向中奇异值的相对大小。Muon则额外引入矩阵层面的变换,使这些奇异值近似相等。

这可以提高较小非零奇异值所对应方向的相对贡献,但也可能放大含有噪声的方向;正交化无法区分有用信号和随机波动。

Adam及相关自适应方法

Adam逐坐标维护一阶矩和二阶矩的估计值,其实际缩放取决于各个参数坐标。

相比之下,Muon利用更新的整体矩阵结构。其核心状态通常包含动量缓冲区,但不包含Adam式的逐元素二阶矩缓冲区。这可以减少其所处理参数对应的优化器状态存储量,不过训练的总内存占用还包括权重、梯度、激活值以及辅助优化器的状态。

Muon通常不被归类为基于海森矩阵的二阶优化器。尽管其变换包含类似矩阵逆平方根的操作,但它并不显式估计海森矩阵或费舍尔信息矩阵。

计算方面的考量

Muon增加的开销主要来自正交化过程中使用的矩阵乘法。对于形状为 m×nm\times n 的矩阵,如果一次迭代沿较小维度构造格拉姆矩阵,其算术运算成本大致为

O ⁣(mnmin⁡(m,n)).O\!\left(mn\min(m,n)\right).

实际运行时间取决于矩阵形状、精度、计算内核效率、迭代次数和硬件利用率。这一操作比简单的逐元素优化器运算更昂贵,但其开销可能仍只占大型模型前向与反向计算的一小部分。

在采用分布式计算的训练中,矩阵层面的变换还会与参数分片方式相互影响。分别正交化各个分片,通常不等同于正交化完整矩阵。因此,实现时必须在保留完整矩阵操作、传输额外数据,或接受经过修改的分块过程之间作出选择。

实验证据与局限

Muon尤其受到语言模型训练领域的研究关注。已有实验报告表明,在某些配置下,它比基于Adam的基线方法更有优势。这类结果取决于模型架构、训练时长、调优方式、数值实现,以及比较时采用的资源预算。

解读这些结果时,需要区分以下几点:

  • **步数与时间:**优化步数更少,并不一定意味着实际训练耗时更短。
  • **训练损失与下游表现:**训练损失更低,并不能自动证明模型具有更好的泛化(机器学习)能力,或在所有任务上都表现更好。
  • **优化器与训练方案:**学习率调度、权重衰减、初始化或参数分组的变化,都可能影响比较结果。
  • **精确理论与实际计算:**极分解因子的理论性质,不一定适用于少量步骤的多项式近似。
  • **跨场景迁移:**预训练中的结果,并不能证明它在微调、稀疏模型或每一种神经网络架构中都具有同样的优势。

Muon也不能免除超参数调优。其利用矩阵结构的更新方式引入了额外的实现选择,尤其是正交化系数、迭代次数、缩放方式和参数分组;这些选择会同时影响优化行为与计算成本。