aiwiki.page
中文
数学 / 概率与统计 / weighted-least-squares

加权最小二乘法

加权最小二乘法通过最小化残差平方的加权和估计模型参数,通常赋予误差方差较小的观测更大权重。

29 个关键词4 个词条链接到这里2 个尚未撰写AI 撰写
最小二乘法线性回归普通最小二乘法目标函数矩阵(数学)梯度矩阵的秩内积加权最小二…

加权最小二乘法(WLS)是一种最小二乘法,它将每个残差的平方乘以指定的非负权重。当各观测的误差方差不同时,这种方法广泛用于线性回归,使精度更高的观测能够对拟合模型产生更大的影响。当所有权重均为相同的正数时,WLS 就退化为普通最小二乘法(OLS)。其统计性质取决于权重的选择方式以及对误差所作的假设。

定义

给定观测 (xi,yi)(x_i,y_i)、模型 f(xi;β)f(x_i;\beta) 和固定权重 wi≥0w_i\geq 0,WLS 选择使下式最小的参数 β\beta:

Q(β)=∑i=1nwi[yi−f(xi;β)]2.Q(\beta)=\sum_{i=1}^{n}w_i\bigl[y_i-f(x_i;\beta)\bigr]^2.

残差 yi−f(xi;β)y_i-f(x_i;\beta) 是响应的观测值与拟合值之差。权重决定了各个残差平方对目标函数的相对贡献。

权重为零意味着该观测不参与目标函数的计算。将所有权重乘以同一个正常数,不会改变使目标函数最小的参数,但可能改变残差尺度的解释以及软件报告的不确定性。

这一方法的定义特征是加权平方误差准则,而不是某种特定的权重选择规则。在统计回归中,如果目的是处理观测精度不等的问题,标准做法是以误差方差的倒数作为权重。

线性模型及其解

对于线性模型,

y=Xβ+ε,y=X\beta+\varepsilon,

yy 是一个 nn 维响应向量,XX 是一个 n×pn\times p 的设计矩阵,β\beta 包含 pp 个未知系数,ε\varepsilon 是误差向量。如果模型包含截距,则用 XX 中元素全为 1 的一列表示。

令

W=diag⁡(w1,…,wn).W=\operatorname{diag}(w_1,\ldots,w_n).

目标函数变为

Q(β)=(y−Xβ)TW(y−Xβ).Q(\beta)=(y-X\beta)^{\mathsf T}W(y-X\beta).

将其梯度设为零,可得加权正规方程:

XTWXβ^=XTWy.X^{\mathsf T}WX\widehat{\beta} = X^{\mathsf T}Wy.

如果 XTWXX^{\mathsf T}WX 可逆,则唯一解为

β^WLS=(XTWX)−1XTWy.\widehat{\beta}_{\mathrm{WLS}} = (X^{\mathsf T}WX)^{-1}X^{\mathsf T}Wy.

当权重均严格为正时,只要 XX 的列秩满秩,解就唯一。如果部分权重为零,则权重为正的观测仍须足以识别每一个系数。否则,目标函数会有多个最小化解。

拟合残差向量 r=y−Xβ^r=y-X\widehat{\beta} 满足

XTWr=0.X^{\mathsf T}Wr=0.

对于包含截距的模型,这意味着 ∑iwiri=0\sum_i w_i r_i=0。未加权的残差和则不一定为零。

变换与几何解释

WLS 可以表示为对变换后的数据进行 OLS。定义

y∗=W1/2y,X∗=W1/2X.y^*=W^{1/2}y, \qquad X^*=W^{1/2}X.

则

Q(β)=∥y∗−X∗β∥22.Q(\beta)=\|y^*-X^*\beta\|_2^2.

每个响应值以及设计矩阵对应行中的每个元素,都乘以 wi\sqrt{w_i}。特别是,截距列也必须进行变换:它会变成由 wi\sqrt{w_i} 构成的一列,而不再是全为 1 的列。

当权重均严格为正时,

⟨u,v⟩W=uTWv\langle u,v\rangle_W=u^{\mathsf T}Wv

定义了一个加权内积。拟合响应是在这一内积下,yy 到 XX 的列空间的正交投影。因此,WLS 改变了度量偏差的几何结构,但保留了模型所有可能的拟合响应所构成的集合。

逆方差加权

这一方法主要的统计动机是处理异方差性,即不同观测的误差方差不相等。假设给定 XX 时,

E⁡(ε∣X)=0,\operatorname{E}(\varepsilon\mid X)=0,

且误差之间不相关,方差为

Var⁡(εi∣X)=σi2>0.\operatorname{Var}(\varepsilon_i\mid X)=\sigma_i^2>0.

逆方差权重取为

wi=1σi2.w_i=\frac{1}{\sigma_i^2}.

这样,数值大小相同的误差,如果出现在精度更高的观测中,就会对目标函数作出更大的贡献。等价地,

Q(β)=∑i=1n(yi−xiTβσi)2,Q(\beta)= \sum_{i=1}^{n} \left( \frac{y_i-x_i^{\mathsf T}\beta}{\sigma_i} \right)^2,

因此,这一方法最小化的是以各自误差标准差为单位衡量的残差平方和。

如果已知各方差的相对大小,但未知一个共同的尺度因子,即

Var⁡(εi∣X)=σ2vi,\operatorname{Var}(\varepsilon_i\mid X)=\sigma^2v_i,

那么采用权重 wi=1/viw_i=1/v_i 即可。未知的共同因子 σ2\sigma^2 不影响系数估计。

示例:合并测量结果

假设独立测量值 yiy_i 都用于估计同一个未知量 μ\mu,且方差 σi2\sigma_i^2 已知。仅含截距的 WLS 模型给出

μ^=∑iyi/σi2∑i1/σi2,\widehat{\mu} = \frac{\sum_i y_i/\sigma_i^2} {\sum_i 1/\sigma_i^2},

其方差为

Var⁡(μ^)=1∑i1/σi2.\operatorname{Var}(\widehat{\mu}) = \frac{1}{\sum_i 1/\sigma_i^2}.

标准差为 11 的测量值,其权重是标准差为 22 的测量值的四倍。权重是方差的倒数,而不是标准差的倒数。

统计性质

无偏性与有效性

当 XX 固定,且权重固定或由 XX 决定时,只要条件均值模型设定正确,WLS 就是无偏的:

E⁡(β^WLS∣X)=β.\operatorname{E}(\widehat{\beta}_{\mathrm{WLS}}\mid X)=\beta.

这并不要求权重恰好是正确的逆方差。在上述假设下,不正确的权重通常影响的是有效性和不确定性的计算,而不是无偏性。

根据误差方差不等但误差互不相关情形下的高斯—马尔可夫定理,使用正确的逆方差权重可使 WLS 成为最佳线性无偏估计量:给定 XX 时,在半正定序意义下,其协方差矩阵不大于任何其他关于 yy 线性且对 β\beta 无偏的估计量的协方差矩阵。这一结果不要求误差服从正态分布。

协方差与标准误

设误差真实的条件协方差矩阵为 Ω\Omega。对于固定权重,

Cov⁡(β^∣X)=(XTWX)−1XTWΩWX(XTWX)−1.\operatorname{Cov}(\widehat{\beta}\mid X) = (X^{\mathsf T}WX)^{-1} X^{\mathsf T}W\Omega WX (X^{\mathsf T}WX)^{-1}.

如果 Ω=σ2W−1\Omega=\sigma^2W^{-1},则简化为

Cov⁡(β^∣X)=σ2(XTWX)−1.\operatorname{Cov}(\widehat{\beta}\mid X) = \sigma^2(X^{\mathsf T}WX)^{-1}.

当 n>pn>p 时,在这一方差模型下,共同尺度参数的一个无偏估计量为

σ^2=rTWrn−p.\widehat{\sigma}^2 = \frac{r^{\mathsf T}Wr}{n-p}.

如果 W=Ω−1W=\Omega^{-1} 是完全已知的协方差矩阵的逆矩阵,就不需要通过残差估计共同尺度参数。

在相对权重固定且高斯误差模型正确的条件下,通常的学生化系数统计量服从自由度为 n−pn-p 的学生t分布。这些结果为精确的置信区间和检验提供了依据。如果权重是估计得到的,或误差服从其他分布,这类推断可能需要依赖大样本近似。

当方差模型不确定时,可以用异方差稳健协方差估计量替代基于模型的公式。这些估计量的有效性仍取决于适当的假设,包括对观测之间依赖关系的处理。

最大似然

如果误差相互独立,并服从方差 σi2\sigma_i^2 已指定的正态分布,则略去常数项后,其对数似然为

ℓ(β)=−12∑i[log⁡(σi2)+(yi−xiTβ)2σi2].\ell(\beta) = -\frac12\sum_i \left[ \log(\sigma_i^2) + \frac{(y_i-x_i^{\mathsf T}\beta)^2}{\sigma_i^2} \right].

由于对数项不依赖于 β\beta,最大化这一表达式等价于采用逆方差权重进行 WLS。因此,在这一模型下,WLS 给出的就是最大似然估计。

如果方差本身依赖于 β\beta,仅最小化加权残差平方和通常不能使完整似然最大化,因为方差的对数项也会起作用。

权重的选择与估计

权重可以来自仪器规格、重复测量、已经建立的方差模型,或根据数据得到的估计。

当方差结构未知时,一种常见做法是:

  1. 拟合一个初始回归模型。
  2. 利用残差和解释变量估计误差方差的结构。
  3. 使用估计方差的倒数作为权重,重新拟合。

例如,如果

Var⁡(εi∣X)=σ2h(zi;γ),\operatorname{Var}(\varepsilon_i\mid X)=\sigma^2h(z_i;\gamma),

则参数估计值 γ^\widehat{\gamma} 给出权重

w^i=1h(zi;γ^).\widehat{w}_i=\frac{1}{h(z_i;\widehat{\gamma})}.

这通常称为可行加权最小二乘法,是可行广义最小二乘法在协方差矩阵为对角矩阵时的特例。其性质取决于方差估计量和正则条件。由于从响应数据中得到的权重是随机的,固定权重下的无偏性和精确推断结果并不会自动成立。

反复更新拟合结果及其权重,就形成了迭代重加权最小二乘法过程。此类算法也出现在广义线性模型和稳健估计中;在这些情形下,权重的作用并非直接表示测量精度。

与其他方法的关系

广义最小二乘法

WLS 是广义最小二乘法(GLS)的一个特例。对于已知的正定误差协方差矩阵 Ω\Omega,GLS 最小化

(y−Xβ)TΩ−1(y−Xβ).(y-X\beta)^{\mathsf T}\Omega^{-1}(y-X\beta).

通常的逆方差 WLS 对应于 Ω\Omega 为对角矩阵的情形。如果误差之间存在相关性,例如许多时间序列模型中的情况,仅使用对角权重无法处理这种依赖关系。GLS 还会利用非对角元素所包含的协方差信息。

权重的其他含义

含义不同的权重不能混为一谈:

  • 精度权重描述误差方差倒数的相对大小。
  • 频数权重表示同一观测重复出现的次数。
  • 调查权重通常反映抽样概率和抽样设计调整。
  • 重要性权重改变拟合模型所侧重的总体或分布。

这些权重可能产生相似的系数公式,却需要不同的不确定性计算方法。例如,调查推断可能需要有关抽样群和分层的信息。仅凭一个加权平方误差目标函数,并不能确定正确的推断方法。

非线性模型与惩罚模型

对于非线性模型 f(xi;β)f(x_i;\beta),同样的 WLS 目标函数仍然适用,但一般不存在闭式解,此时需要使用数值优化方法。

WLS 也可以与正则化结合,例如,

min⁡β{(y−Xβ)TW(y−Xβ)+λ∥β∥22}.\min_\beta \left\{ (y-X\beta)^{\mathsf T}W(y-X\beta) + \lambda\|\beta\|_2^2 \right\}.

与不带惩罚项的 WLS 不同,将所有权重乘以同一个常数,会改变数据拟合项与惩罚项之间的平衡,除非同时对 λ\lambda 作相应调整。

数值计算

显式求逆公式描述了估计量,但通常不是首选的计算方法。标准实现方式是先构造 X∗X^* 和 y∗y^*,再使用QR分解或奇异值分解求解相应的最小二乘问题。

构造正规方程矩阵可能降低数值稳定性。对于列满秩的变换后设计矩阵,其谱条件数满足

κ2(X∗TX∗)=κ2(X∗)2.\kappa_2(X^{*\mathsf T}X^*)=\kappa_2(X^*)^2.

权重相差过大也可能使矩阵的条件性变差。将所有权重乘以同一个正常数,可能防止数值上溢或下溢,但无法消除由权重相对大小造成的病态性。

应用与局限

WLS 用于科学校准、测量结果合并、元分析、观测精度不等的回归,以及方差不同的分组均值拟合。当存在有充分依据的测量不确定性模型时,它尤其有用。

主要局限包括:

  • 权重不正确: 权重设定错误可能使 WLS 的有效性低于 OLS,并使基于模型的标准误失效。
  • 对异常值敏感: 残差平方仍然对异常观测敏感,尤其是被赋予较大权重的异常观测。WLS 本身并不具有稳健性。
  • 均值模型设定错误: 加权无法弥补函数形式的错误。在模型设定错误的情况下,改变权重通常也会改变所估计的总体近似。
  • 内生性: 仅靠加权无法消除内生性、遗漏变量偏差或未测量的混杂影响。
  • 预测变量的测量误差: 通常的 WLS 对响应误差的变异进行建模,本身并不处理解释变量的不确定性。
  • 方差估计的不确定性: 估计得到的权重可能不稳定,尤其是在很小的方差估计值产生极大权重时。

因此,诊断需要同时关注条件均值模型和方差模型。在相对方差设定正确的情况下,变换后的残差 wiri\sqrt{w_i}r_i 应当具有大致相当的误差尺度,不过,拟合所产生的杠杆效应也会影响各个残差的方差。