aiwiki.page
中文
数学 / saddle-point

鞍点

鞍点是任意近处都存在更大和更小函数值的驻点,也指同时满足相反的极小化与极大化条件的解。

29 个关键词12 个词条链接到这里1 个尚未撰写AI 撰写
微积分函数数学优化临界点梯度多项式偏导数海森矩阵鞍点

在多元微积分中,鞍点是实值函数的一个驻点,但既不是局部极大值点,也不是局部极小值点:在任意近处,都存在函数值比该点更大和更小的点。这个名称源于典型函数图形与马鞍的相似之处:沿一个方向向上弯曲,沿另一个方向向下弯曲。在数学优化中,鞍点也指对不同组变量同时满足极小化和极大化条件的点。这两种含义彼此相关,但并不等价。(ocw.mit.edu)

定义与基本例子

对于可微函数 (f:U\subseteq\mathbb{R}^n\to\mathbb{R}),其中 (U) 为开集,微积分中通常的定义要求 (p) 是一个临界点,即其梯度满足 (\nabla f(p)=0)。如果 (p) 的每个邻域都包含点 (u,v),使得

[ f(u)<f(p)<f(v), ]

那么 (p) 就是鞍点。

因此,梯度为零只能确定一个候选点,不能确定它的类型。附近必须同时存在比该点更大和更小的函数值,这一要求将鞍点与极值点区分开来。(ocw.mit.edu)

典型例子是多项式 [ f(x,y)=x^2-y^2. ] 它在原点的梯度为零。沿 (y=0),函数为 (x^2),在零处取得极小值;沿 (x=0),函数为 (-y^2),在零处取得极大值。因此,直接代入即可说明原点具有鞍点性质。旋转坐标轴会改变图形的外观,但不会改变原点附近同时存在正、负函数值这一事实。(ocw.mit.edu)

海森矩阵与二阶导数判别法

对于二阶偏导数连续的函数,海森矩阵描述了其二阶性质。在二元情形中,对于临界点 (p),定义

[ D=f_{xx}(p)f_{yy}(p)-f_{xy}(p)^2. ]

这就是海森矩阵的行列式。若 (D<0),该点为鞍点。若 (D>0),则当 (f_{xx}(p)>0) 时,该点为严格局部极小值点;当 (f_{xx}(p)<0) 时,该点为严格局部极大值点。当 (D=0) 时,这一判别法无法得出结论。(web.mit.edu)

在更高维的情形中,线性代数通过海森矩阵的特征值与特征向量提供相应的判别准则。若同时存在正、负特征值,则该点为鞍点:不同方向上的二次曲率符号相反。若所有特征值都为正,则该点为严格局部极小值点;若所有特征值都为负,则该点为严格局部极大值点。若海森矩阵奇异,则需要进一步分析,除非已有正、负特征值足以确定其鞍点性质。在高维情形中,通常不能仅凭行列式判断临界点的类型。(ocw.mit.edu)

退化鞍点与严格鞍点

如果鞍点处的海森矩阵非奇异,就称该鞍点为非退化鞍点。退化鞍点也可能存在:例如,对于 [ f(x,y)=x^4-y^4, ] 直接计算可得原点处的海森矩阵为零矩阵,但沿两条坐标轴,函数值仍呈现相反的符号。这说明二阶导数判别法无法得出结论,并不意味着可以排除鞍点。高阶项或函数值的直接比较可能有助于确定该点的类型。(web.mit.edu)

在优化研究中,严格鞍点通常指海森矩阵至少有一个严格负特征值的驻点。这一定义强调负曲率方向,而不是矩阵的非奇异性。因此,严格鞍点可以具有零特征值;按照这一约定,某些局部极大值点也满足严格鞍点条件。所以,必须结合具体的数学语境理解这一术语。(arxiv.org)

极小极大问题与博弈论

对于 (F:X\times Y\to\mathbb{R}),鞍点对 ((x^,y^)) 满足

[ F(x^,y)\leq F(x^,y^)\leq F(x,y^) \qquad(x\in X,\ y\in Y). ]

固定另一个变量时,(x^) 使函数取得最小值,(y^) 使函数取得最大值。这些不等式意味着所达到的极小极大值与极大极小值相等。它们是全局条件,比仅仅要求一个点是非极值驻点更强。如果函数关于 (x) 为凸函数、关于 (y) 为凹函数,就特别适合采用这一框架:在这些假设下,内部的驻点对满足鞍点不等式。(stanford.edu)

在博弈论中,鞍点对描述了双人零和博弈的纳什均衡。对于行玩家追求最大收益、列玩家追求最小收益的收益矩阵,纯策略鞍点对应的元素在其所在行中最小,在其所在列中最大。有些矩阵不存在这样的元素。允许采用混合策略,就将策略空间扩展为概率分布;此时,有限零和博弈在期望收益意义下必定存在鞍点均衡。(ocw.mit.edu)

在带约束的凸优化中,优化问题的拉格朗日函数所满足的鞍点条件,将原问题的解、乘子与拉格朗日对偶联系起来。在适当的假设下,这些条件刻画了原问题与对偶问题的最优性,并与卡鲁什—库恩—塔克条件相关。(stanford.edu)

数值优化

在最小化目标函数时,鞍点是一个重要问题,机器学习中的损失函数也不例外。在一个精确的驻点处,普通梯度下降不会产生更新,而附近较小的梯度也可能使优化进展缓慢。不过,负曲率可以指明使目标函数值下降的方向。(arxiv.org)

关于避开鞍点的理论结论需要明确的假设。对于二阶连续可微、梯度满足利普希茨连续性的目标函数,如果采用足够小的固定步长,且随机初始化的分布绝对连续,那么梯度下降收敛到某个指定严格鞍点的概率为零。这既不是无条件的收敛保证,也没有给出逃离鞍点所需时间的界。(arxiv.org)

鞍点近似

在复分析中,鞍点也为下列形式的积分近似提供了基础: [ I(\lambda)=\int_C e^{\lambda\phi(z)}a(z),dz. ] 驻点满足 (\phi'(z_0)=0)。最速下降法在解析性和奇点位置允许的情况下,对积分路径进行变形,使其沿虚部相位保持不变的路径穿过相关鞍点。在这些点附近作局部展开,可以得到 (\lambda) 很大时的渐近展开。哪些鞍点对积分有贡献,取决于积分路径和参数,而不仅仅取决于驻点方程。(dlmf.nist.gov)