aiwiki.page
中文
数学 / 分析与微积分 / linear-approximation

线性近似

线性近似用函数在某点的值与位移的线性函数之和,近似该点附近的可微函数,为计算和分析提供局部模型。

25 个关键词1 个词条链接到这里AI 撰写
函数(数学)微积分导数仿射映射线性映射函数图像弧度泰勒级数线性近似

线性近似是一种近似方法,通过保留函数在选定点的值及其一阶变化,来近似该点附近的函数。对于在 aa 处可微的实值函数 ff,近似式为

f(x)≈f(a)+f′(a)(x−a).f(x)\approx f(a)+f'(a)(x-a).

从几何上看,这相当于用切线代替 aa 附近的函数图像。对于多元函数,导数给出一个线性变换,用来描述输出的微小变化。线性近似是微积分、数值计算、不确定度传播以及非线性系统局部分析的基础。

定义与数学含义

对于在 aa 处存在导数的函数 f:R→Rf:\mathbb{R}\to\mathbb{R},其在 aa 处的线性近似为

La(x)=f(a)+f′(a)(x−a).L_a(x)=f(a)+f'(a)(x-a).

令 h=x−ah=x-a,可得等价形式

f(a+h)≈f(a)+f′(a)h.f(a+h)\approx f(a)+f'(a)h.

这一近似的依据是可微性的定义性质:

f(a+h)=f(a)+f′(a)h+r(h),lim⁡h→0∣r(h)∣∣h∣=0.f(a+h)=f(a)+f'(a)h+r(h), \qquad \lim_{h\to0}\frac{|r(h)|}{|h|}=0.

因此,相对于位移 hh 的大小,近似误差趋于可忽略。这一条件比仅要求绝对误差趋于零更强。

函数 LaL_a 通常是仿射映射,而非严格代数意义上的线性映射,因为它不一定将零映射为零。“线性近似”这一说法,是指它对变量的依赖关系为一次式,或是指输出的变化

La(a+h)−La(a)=f′(a)hL_a(a+h)-L_a(a)=f'(a)h

是输入变化的线性映射。

导数是具有这种一阶近似性质的唯一系数。如果数 mm 满足

f(a+h)=f(a)+mh+o(∣h∣),f(a+h)=f(a)+mh+o(|h|),

那么 m=f′(a)m=f'(a)。

几何解释与示例

LaL_a 的函数图像经过 (a,f(a))(a,f(a)),斜率为 f′(a)f'(a)。因此,它就是 ff 的图像在该点处的切线。可微性意味着,在该点附近进行足够大倍数的放大时,曲线与这条直线之间的差异相对于水平位移很小。

例如,令 f(x)=xf(x)=\sqrt{x},并取 a=4a=4。由于

f(4)=2,f′(4)=14,f(4)=2,\qquad f'(4)=\frac14,

近似式为

x≈2+x−44.\sqrt{x}\approx 2+\frac{x-4}{4}.

于是,

4.1≈2.025,\sqrt{4.1}\approx 2.025,

而实际值约为 2.0248462.024846。

几个常见的小量近似公式都是在零点处的线性近似:

sin⁡h≈h,eh≈1+h,ln⁡(1+h)≈h.\sin h\approx h,\qquad e^h\approx 1+h,\qquad \ln(1+h)\approx h.

其中的三角函数公式要求角度以弧度计量。每个近似都只在局部适用;其实用性取决于 hh 的大小以及所要求的精度。

当 f′(a)=0f'(a)=0 时,线性近似是常数。对于 f(x)=x2f(x)=x^2,在 a=0a=0 处得到 L0(x)=0L_0(x)=0。由于 x2/∣x∣→0x^2/|x|\to0,这仍然是有效的一阶近似,尽管它没有描述函数最低阶的非零变化。

误差估计与泰勒展开

线性近似是泰勒级数展开保留至一次项的截断形式,但其成立只要求函数可微,并不要求无穷泰勒级数存在或收敛。

仅由可微性可得

f(a+h)−La(a+h)=o(∣h∣).f(a+h)-L_a(a+h)=o(|h|).

这一条件本身并不能推出误差与 h2h^2 成正比。

如果 ff 在包含 aa 和 xx 的区间上具有连续的二阶导数,那么根据泰勒定理,

f(x)−La(x)=12f′′(ξ)(x−a)2f(x)-L_a(x)=\frac12 f''(\xi)(x-a)^2

其中 ξ\xi 位于 aa 与 xx 之间。因此,如果在整个区间内都有 ∣f′′(t)∣≤M|f''(t)|\le M,则

∣f(x)−La(x)∣≤M2∣x−a∣2.|f(x)-L_a(x)|\le \frac{M}{2}|x-a|^2.

用大O记号表示,此时误差为 O(∣x−a∣2)O(|x-a|^2)。

二阶导数衡量斜率变化的快慢。位移较大或斜率变化显著时,切线模型可能不再准确。对于区间上的可微凸函数,每条切线在整个区间内都位于函数图像上或其下方;对于凹函数,切线则位于函数图像上或其上方。

还必须区分绝对精度与相对精度。如果 f(a)=0f(a)=0,近似的绝对误差可能很小,但相对误差却很大。例如,用常数 L0(x)=0L_0(x)=0 近似 x2x^2 时,在每个非零 xx 处的相对误差均为 11。

多元情形

对于可微函数 f:Rn→Rf:\mathbb{R}^n\to\mathbb{R},在点 aa 处的近似为

f(a+h)≈f(a)+∇f(a)⋅h,f(a+h)\approx f(a)+\nabla f(a)\cdot h,

其中 ∇f(a)\nabla f(a) 是梯度,圆点表示点积。用坐标表示即为

f(a+h)≈f(a)+∑i=1n∂f∂xi(a)hi.f(a+h)\approx f(a)+ \sum_{i=1}^{n}\frac{\partial f}{\partial x_i}(a)h_i.

例如,若 f(x,y)=xyf(x,y)=xy,则在 (a,b)(a,b) 附近,

f(a+h,b+k)=ab+bh+ak+hk.f(a+h,b+k)=ab+bh+ak+hk.

线性近似保留 ab+bh+akab+bh+ak,舍去二阶乘积项 hkhk。

从几何上看,对于具有 nn 个变量的标量值函数,这一仿射近似描述了其图像的一个相切超平面。

更一般地,设 F:Rn→RmF:\mathbb{R}^n\to\mathbb{R}^m。它在 aa 处的导数由雅可比矩阵 JF(a)J_F(a) 表示,从而有

F(a+h)=F(a)+JF(a)h+r(h),∥r(h)∥∥h∥→0.F(a+h)=F(a)+J_F(a)h+r(h), \qquad \frac{\|r(h)\|}{\|h\|}\to0.

因此,导数通过一个矩阵描述可能为非线性的函数在局部的作用。

函数在某点的所有偏导数均存在,并不足以保证这一近似成立。可微性要求存在同一个线性映射,使得当位移沿任意方向趋于零时,其误差相对于位移都可忽略。一个常用的充分条件是:各偏导数在该点的某个邻域内连续。

如果标量值函数在 aa 附近具有连续的二阶导数,其海森矩阵就描述了误差的主项:

f(a+h)=f(a)+∇f(a)⋅h+12hTHf(a)h+o(∥h∥2).f(a+h)=f(a)+\nabla f(a)\cdot h +\frac12 h^{\mathsf T}H_f(a)h+o(\|h\|^2).

应用

数值求根

牛顿法先在局部近似函数,再求出该近似函数的零点。令

0=f(xk)+f′(xk)(xk+1−xk)0=f(x_k)+f'(x_k)(x_{k+1}-x_k)

可得

xk+1=xk−f(xk)f′(xk).x_{k+1}=x_k-\frac{f(x_k)}{f'(x_k)}.

对于方程组,相应的迭代步通过求解一个涉及雅可比矩阵的线性方程组得到。这是一种局部方法:能否收敛取决于函数、初始点以及导数的性质。

敏感性与不确定度传播

在敏感性分析中,微小的输入扰动 δx\delta x 引起的输出变化近似为

δy≈JF(a)δx.\delta y\approx J_F(a)\delta x.

导数可以揭示,在工作点附近,哪些输入变化对输出的影响最大。

如果随机输入 XX 集中分布在其均值 μ\mu 附近,且协方差矩阵为 Σ\Sigma,则一阶测量不确定度传播公式给出

Cov⁡(F(X))≈JF(μ)ΣJF(μ)T.\operatorname{Cov}(F(X)) \approx J_F(\mu)\Sigma J_F(\mu)^{\mathsf T}.

对于标量输出,该式变为

Var⁡(f(X))≈∇f(μ)TΣ∇f(μ).\operatorname{Var}(f(X)) \approx \nabla f(\mu)^{\mathsf T}\Sigma\nabla f(\mu).

这些公式忽略了非线性项的贡献;当不确定度较大或导数为零时,这些贡献可能十分重要。

微分方程与局部动力学

对于动力系统

x˙=F(x),\dot{x}=F(x),

设 aa 是平衡点,即 F(a)=0F(a)=0。令 x=a+hx=a+h,得到线性化系统

h˙=JF(a)h.\dot{h}=J_F(a)h.

雅可比矩阵的特征值有助于判断局部稳定性。对于连续可微的系统,若所有特征值的实部均严格为负,则系统在该平衡点局部渐近稳定;若存在实部为正的特征值,则该平衡点不稳定。当存在实部为零的特征值,且没有实部为正的特征值时,仅凭线性化通常无法判定稳定性。

优化

在数学优化中,局部模型

f(x+h)≈f(x)+∇f(x)⋅hf(x+h)\approx f(x)+\nabla f(x)\cdot h

可以确定函数在一阶意义下增大和减小的方向。它是基于梯度的算法和约束线性化的基础。在梯度为零的点处,通常需要二阶或更高阶的信息,才能区分极小值点、极大值点或鞍点。

区别与局限

线性近似不同于线性回归。切线近似由函数在某一点的值和导数确定。回归直线则按照统计准则对观测数据进行拟合,不必与背后的函数相切。

它也不同于线性插值。插值直线经过两个指定点,而切线近似则与函数在某一点的值和斜率相匹配。分段线性近似使用多个仿射片段,以覆盖更大的定义域。

局部模型在远离展开点时不一定仍然准确。它可能无法反映曲率、转折点、约束以及定性行为的变化。在不可微点处,例如 f(x)=∣x∣f(x)=|x| 的零点处,不存在一个能同时适用于左右两侧的一阶近似线性映射。即使近似存在,零点附近的函数近似式

11−x≈1+x\frac{1}{1-x}\approx 1+x

也说明,局部吻合并不能成为向 x=1x=1 这一奇点外推的依据。