aiwiki.page
中文
数学 / 应用与计算数学 / natural-gradient

自然梯度

自然梯度是一种考虑几何结构的优化方向,用费希尔信息而非参数的欧氏距离来衡量统计模型的变化。

28 个关键词2 个词条链接到这里3 个尚未撰写AI 撰写
梯度费希尔信息概率分布机器学习目标函数梯度下降度量张量流形自然梯度

自然梯度是普通梯度的推广,它将待优化空间的几何结构纳入考量。在统计应用中,自然梯度使用费希尔信息来衡量参数变化对概率分布的影响,而不只是衡量参数数值本身的变化。它给出的优化方向在无穷小层面上对光滑、可逆的重参数化保持不变。自然梯度方法广泛用于统计估计、机器学习和概率推断。

几何定义

对于可微的目标函数 L(θ)L(\theta),普通梯度下降按以下方式更新参数:

θt+1=θt−ηt∇θL(θt),\theta_{t+1}=\theta_t-\eta_t\nabla_\theta L(\theta_t),

其中,ηt>0\eta_t>0 为步长。当参数位移的大小以标准欧氏范数衡量时,这一方向就是最速下降方向。

这种距离选择并非统计模型所固有。两种参数化可以描述完全相同的分布,却为相应的变化赋予截然不同的欧氏长度。例如,同一个参数采用不同的计量单位,就可能产生差异显著的普通梯度轨迹。

在配备正定度量张量 G(θ)G(\theta) 的流形上,无穷小位移 dθd\theta 的长度平方为

ds2=dθTG(θ)dθ.ds^2=d\theta^{\mathsf T}G(\theta)d\theta.

该度量在每个切空间上定义了一个内积。关于这一度量的梯度记为 grad⁡GL\operatorname{grad}_G L,它是对任意切向量 vv 都满足下式的唯一向量:

⟨grad⁡GL,v⟩G=dL[v]\langle \operatorname{grad}_G L,v\rangle_G = dL[v]

在坐标表示下,

grad⁡GL=G(θ)−1∇θL.\operatorname{grad}_G L = G(\theta)^{-1}\nabla_\theta L.

在统计模型中,选取费希尔信息矩阵作为 GG,就得到自然梯度:

∇~θL=F(θ)−1∇θL.\widetilde{\nabla}_\theta L = F(\theta)^{-1}\nabla_\theta L.

相应的下降更新为

θt+1=θt−ηt∇~θL(θt).\theta_{t+1} = \theta_t-\eta_t\widetilde{\nabla}_\theta L(\theta_t).

自然梯度本身指向 LL 增大的方向;最小化时使用其负方向。更广义地说,这个术语也可以指使用其他明确选定的黎曼度量所定义的梯度,不过在统计学中,费希尔度量是标准选择。

费希尔信息与统计距离

考虑一族光滑的概率密度函数或概率质量函数 p(x;θ)p(x;\theta)。其得分向量为

sθ(x)=∇θlog⁡p(x;θ).s_\theta(x)=\nabla_\theta\log p(x;\theta).

费希尔信息矩阵为

F(θ)=Ex∼p(⋅;θ)[sθ(x)sθ(x)T].F(\theta) = \mathbb E_{x\sim p(\cdot;\theta)} \left[s_\theta(x)s_\theta(x)^{\mathsf T}\right].

在适当的正则条件下,包括允许交换微分与积分次序的条件,以及对分布支撑集行为的适当要求,有

F(θ)=−Ex∼p(⋅;θ)[∇θ2log⁡p(x;θ)].F(\theta) = -\mathbb E_{x\sim p(\cdot;\theta)} \left[\nabla_\theta^2\log p(x;\theta)\right].

费希尔信息衡量局部的统计可区分性:即使参数位移在数值上很小,沿费希尔长度较大的方向移动也会使分布发生显著变化。这一解释是信息几何的核心。

KL散度的局部展开精确地刻画了这种联系:

DKL(p(⋅;θ) ∥ p(⋅;θ+dθ))=12dθTF(θ)dθ+o(∥dθ∥2).D_{\mathrm{KL}} \bigl(p(\cdot;\theta)\,\|\,p(\cdot;\theta+d\theta)\bigr) = \frac12 d\theta^{\mathsf T}F(\theta)d\theta + o(\|d\theta\|^2).

尽管 KL 散度通常不对称,也不是距离度量,但其局部二阶项定义了费希尔度量。交换两个分布的顺序,得到的二次项仍然相同。

目标函数 LL 不必是似然函数。定义在统计模型上的任何可微目标函数,都可以使用这一度量进行优化。模型决定几何结构,目标函数则决定哪些变化是有益的。

分布变化约束下的最速下降

令 g=∇θL(θ)g=\nabla_\theta L(\theta)。在限制分布变化的同时最小化目标函数,可以用以下局部问题近似:

min⁡δgTδsubject to12δTF(θ)δ≤ε.\min_\delta g^{\mathsf T}\delta \quad\text{subject to}\quad \frac12\delta^{\mathsf T}F(\theta)\delta\leq\varepsilon.

当 FF 正定且 g≠0g\neq0 时,其解为

δ∗=−2εgTF−1g F−1g.\delta^* = -\sqrt{ \frac{2\varepsilon}{g^{\mathsf T}F^{-1}g} }\,F^{-1}g.

因此,在无穷小统计位移大小固定的条件下,负自然梯度是一阶下降幅度最大的方向。

一个等价的带惩罚项的局部问题是

min⁡δ[gTδ+12ηδTF(θ)δ],\min_\delta \left[ g^{\mathsf T}\delta+ \frac{1}{2\eta}\delta^{\mathsf T}F(\theta)\delta \right],

其解为 δ=−ηF−1g\delta=-\eta F^{-1}g。

这些结论都是局部的。有限步长的自然梯度更新本身并不能求解带有精确 KL 约束的优化问题。步长过大可能使局部近似失效,或使参数越出有效域。

重参数化不变性

假设 θ=ϕ(ξ)\theta=\phi(\xi) 是光滑、可逆的坐标变换,其雅可比矩阵为

J=∂θ∂ξ.J=\frac{\partial\theta}{\partial\xi}.

普通坐标导数和费希尔矩阵的变换关系为

gξ=JTgθ,Fξ=JTFθJ.g_\xi=J^{\mathsf T}g_\theta, \qquad F_\xi=J^{\mathsf T}F_\theta J.

因此,

Fξ−1gξ=J−1Fθ−1gθ.F_\xi^{-1}g_\xi = J^{-1}F_\theta^{-1}g_\theta.

这正是切向量的变换法则:两套坐标描述的是模型流形上同一个自然梯度方向。普通坐标梯度通常不具有这一性质。

区分方向与有限步长更新非常重要。连续时间的自然梯度流为

dθdt=−F(θ)−1∇θL(θ),\frac{d\theta}{dt} = -F(\theta)^{-1}\nabla_\theta L(\theta),

在上述假设下,它具有坐标不变性。通过坐标相加实现的离散更新,通常只在步长的一阶近似下具有不变性。要使有限幅度的移动严格保持不变,需要采用内禀的更新规则,例如适当的测地线构造,或等价的不依赖坐标的过程。

示例:伯努利分布

设 XX 服从成功概率为 pp 的伯努利分布,其中 0<p<10<p<1。在概率坐标下,

F(p)=1p(1−p).F(p)=\frac{1}{p(1-p)}.

因此,对于目标函数 L(p)L(p),自然梯度为

∇~pL=p(1−p)dLdp.\widetilde{\nabla}_p L = p(1-p)\frac{dL}{dp}.

现在引入对数几率坐标

a=log⁡p1−p,dpda=p(1−p).a=\log\frac{p}{1-p}, \qquad \frac{dp}{da}=p(1-p).

在这一坐标下,

F(a)=p(1−p),dLda=p(1−p)dLdp,F(a)=p(1-p), \qquad \frac{dL}{da} = p(1-p)\frac{dL}{dp},

所以

∇~aL=dLdp.\widetilde{\nabla}_a L=\frac{dL}{dp}.

无论使用哪一种坐标,所得的无穷小概率变化都相同:

dp=−η p(1−p)dLdp.dp = -\eta\,p(1-p)\frac{dL}{dp}.

对于单个观测 y∈{0,1}y\in\{0,1\} 的负对数似然,

L(p)=−ylog⁡p−(1−y)log⁡(1−p),L(p)=-y\log p-(1-y)\log(1-p),

概率坐标下的自然梯度可简化为

∇~pL=p−y.\widetilde{\nabla}_p L=p-y.

相应的更新使 pp 向观测值靠近。边界处的行为需要单独处理,因为内部的正则几何结构不能原样延伸到边界。

与其他优化方法的关系

牛顿法与费希尔评分法

牛顿法使用目标函数的海森矩阵:

δNewton=−[∇2L(θ)]−1∇L(θ).\delta_{\mathrm{Newton}} = -\bigl[\nabla^2L(\theta)\bigr]^{-1}\nabla L(\theta).

海森矩阵描述目标函数在所选坐标下的曲率。相比之下,费希尔信息描述统计模型的几何结构,并且只要其定义中的期望存在,它就是半正定的。

在负对数似然优化中,费希尔评分法以观测海森矩阵在模型下的期望替代该矩阵。当似然梯度与费希尔信息采用一致的尺度时,这就得到一个自然梯度步。因此,自然梯度将一种熟悉的统计方法推广到了最大似然估计以外的目标函数。

这些方法通常并不相同。当相关的海森矩阵等于费希尔信息时,它们可以一致;在特定统计情形下,它们也可能近似一致。

指数族与镜像下降

对于以如下形式表示的正则、最小指数族,

p(x;θ)=h(x)exp⁡ ⁣(θTT(x)−A(θ)),p(x;\theta) = h(x)\exp\!\left( \theta^{\mathsf T}T(x)-A(\theta) \right),

对数配分函数 AA 满足

F(θ)=∇2A(θ).F(\theta)=\nabla^2A(\theta).

期望参数为

μ=∇A(θ)=Eθ[T(X)],\mu=\nabla A(\theta)=\mathbb E_\theta[T(X)],

因此在无穷小层面上有 dμ=F(θ)dθd\mu=F(\theta)d\theta。

这种对偶坐标结构将自然梯度流与镜像下降联系起来。基于 AA 的镜像下降与显式自然梯度步具有相同的一阶连续时间行为,但它们的有限步长更新不一定一致。

计算与近似

对于具有 dd 个参数的模型,显式存储稠密费希尔矩阵需要 O(d2)O(d^2) 的内存。一般的稠密矩阵分解可能需要 O(d3)O(d^3) 的计算量,因此,对大型模型计算精确自然梯度的代价很高。

通常不必显式求逆。可以改为求解线性方程组来得到方向 vv:

Fv=g.Fv=g.

迭代方法可以利用费希尔矩阵与向量的乘积,而无须存储完整矩阵。这类乘积通常可以借助自动微分和模型采样来实现。

常见的近似包括:

  • 对角近似:保留各参数各自的尺度,但舍弃相关性。
  • 块对角近似:保留选定参数组内的相互作用。
  • 克罗内克分解近似:用较小的因子表示适当的矩阵块,尤其适用于神经网络。
  • 低秩近似:仅保留有限的一组方向。
  • 随机估计:根据样本近似费希尔信息定义中的期望。

对于条件模型 pθ(y∣x)p_\theta(y\mid x),费希尔信息还取决于如何对输入 xx 加权。一种常见定义是先对固定的输入分布取平均,再对 y∼pθ(⋅∣x)y\sim p_\theta(\cdot\mid x) 取平均。

这与常用的经验费希尔矩阵不同,后者由在观测标签处计算的对数似然梯度的外积构成。经验费希尔矩阵通常不等于模型的费希尔矩阵。尽管两者都是半正定矩阵,其统计含义和优化行为仍可能不同。

应用与历史发展

现代自然梯度的形式由甘利俊一于 20 世纪 90 年代在费希尔信息、统计估计和信息几何的基础上发展并推广。它与费希尔评分法的关系,将其与更早的统计优化方法联系起来。

重要应用包括:

  • 神经网络优化。 近似的费希尔几何可以对人工神经网络中的更新进行尺度调整,并引入参数更新之间的耦合。
  • 变分推断。 在优化变分推断中的近似分布时,自然梯度可以利用指数族结构,包括优化以证据下界表示的目标函数。
  • 策略优化。 对于随机决策策略,费希尔信息衡量动作分布的局部变化。自然策略梯度方法利用这种几何结构来优化期望回报。
  • 基于分布的搜索。 候选解上的目标函数可以诱导出参数化搜索分布上的目标函数,随后通过自然梯度更新该分布的参数。

局限与注意事项

奇异几何。 由于参数冗余、模型对称性、采样提供的信息不足或边界效应,费希尔信息可能是奇异的。这类情形与统计识别有关。广义逆可能给出可用的方向,但其解释和坐标变换下的行为需要谨慎对待;可能需要采用正则、可识别的表示,或适当的商空间几何结构。

阻尼。 实际实现中常通过求解

(F+λI)v=g,λ>0,(F+\lambda I)v=g, \qquad \lambda>0,

来改善条件性。这可以提高数值稳定性,但加入坐标单位矩阵通常会破坏完全的重参数化不变性。阻尼不只是实现细节:它改变了度量或局部优化问题。

估计误差。 含噪的曲率估计可能产生不稳定或无效的方向,尤其是在求逆放大了信息不足方向上的误差时。

不存在普适的收敛保证。 自然梯度不能消除非凸性,也不保证获得全局最优解。其行为仍然取决于步长、光滑性、随机噪声以及度量近似的质量。

对统计模型的依赖。 费希尔几何依据所选模型和采样分布来衡量可区分性。它不一定与具体应用中的相似性、预测价值或计算成本概念一致。