aiwiki.page
中文
数学 / 概率与统计 / statistical-residual

统计残差

统计残差是观测值与拟合值之差,用于评估模型拟合、估计未解释的变异并诊断模型假设。

27 个关键词1 个词条链接到这里AI 撰写
统计学条件期望统计独立性概率分布线性回归矩阵(数学)普通最小二乘法正交投影统计残差

统计残差是观测值与统计模型所给出的相应拟合值之差。在统计学中,残差描述拟合后仍然存在的偏差,用于评估模型是否适当、估计未解释的变异,以及识别值得进一步研究的观测。对于观测值 yiy_i 及其拟合值 y^i\hat y_i,普通残差(也称原始残差)为

ei=yi−y^i.e_i=y_i-\hat y_i.

残差为正,表示观测值高于拟合值;残差为负,表示观测值低于拟合值。残差的性质取决于模型、拟合方法,以及这些观测是否被用于估计模型。

残差与统计误差

残差不同于模型的误差项。假设响应变量的模型为

Yi=m(xi)+εi,Y_i=m(x_i)+\varepsilon_i,

其中,m(xi)m(x_i) 是预测变量取值为 xix_i 时响应变量的真实条件期望。误差为

εi=Yi−m(xi),\varepsilon_i=Y_i-m(x_i),

而残差为

ei=Yi−m^(xi),e_i=Y_i-\hat m(x_i),

其中 m^\hat m 由数据估计得到。

由于真实的条件均值未知,误差通常无法直接观测。残差则可以在模型拟合后计算,作为误差的不完全替代。两者之差为

ei−εi=m(xi)−m^(xi),e_i-\varepsilon_i=m(x_i)-\hat m(x_i),

它反映了均值估计中的不确定性,以及可能存在的模型设定错误。

这一区别很重要,因为拟合过程会使残差之间产生特定关系。即使误差具有统计独立性且方差相等,拟合残差通常仍然相互依赖,而且方差不等。

作为比较基准的值不一定总是条件均值。对于拟合概率分布的中位数、分位数或其他特征的模型,原始残差衡量的是观测值对相应拟合特征值的偏离。

普通最小二乘法中的残差

在线性回归中,模型通常写作

y=Xβ+ε,\mathbf y=X\boldsymbol\beta+\boldsymbol\varepsilon,

其中,y\mathbf y 包含 nn 个响应值,XX 是一个 n×pn\times p 的设计矩阵,β\boldsymbol\beta 包含回归系数。这里,pp 是所有待拟合系数的个数;如果模型包含截距,也将其计入。

若 XX 列满秩,普通最小二乘法给出

β^=(XTX)−1XTy.\hat{\boldsymbol\beta}=(X^\mathsf TX)^{-1}X^\mathsf T\mathbf y.

拟合值和残差为

y^=Hy,e=(I−H)y,\hat{\mathbf y}=H\mathbf y, \qquad \mathbf e=(I-H)\mathbf y,

其中

H=X(XTX)−1XTH=X(X^\mathsf TX)^{-1}X^\mathsf T

称为帽子矩阵,II 为单位矩阵。

几何解释

拟合向量是 y\mathbf y 在 XX 的列空间上的正交投影。残差向量位于该空间的正交补中。因此,

XTe=0,y^Te=0.X^\mathsf T\mathbf e=\mathbf 0, \qquad \hat{\mathbf y}^{\mathsf T}\mathbf e=0.

这些是最小二乘拟合的代数结果,并不能证明模型在实质上是正确的。

如果模型包含截距,则

∑i=1nei=0.\sum_{i=1}^{n}e_i=0.

因此,拟合残差的平均值恰好为零。这并不能说明未来的预测是无偏的,也不能说明模型已包含重要的预测变量。不含截距时,残差和为零的性质不一定成立。

残差平方和

普通最小二乘法使残差平方和最小,即

RSS⁡=∑i=1nei2=eTe.\operatorname{RSS}=\sum_{i=1}^{n}e_i^2 =\mathbf e^\mathsf T\mathbf e.

RSS 和 SSE 都可用作其缩写,但不同领域和软件的惯例有所不同。

在线性模型设定正确、误差均值为零且具有共同方差 σ2\sigma^2 的条件下,该方差的一个无偏估计为

s2=RSS⁡n−p,n>p.s^2=\frac{\operatorname{RSS}}{n-p}, \qquad n>p.

分母 n−pn-p 是残差自由度。平方根 ss 称为残差标准差或残差标准误。它估计的是误差的尺度,而不是某个特定系数的标准误。

相比之下,训练均方误差通常定义为 RSS⁡/n\operatorname{RSS}/n。这些量的分母和用途各不相同。

抽样性质

假设在给定固定设计矩阵的条件下,

E(ε∣X)=0,Cov⁡(ε∣X)=σ2I.E(\boldsymbol\varepsilon\mid X)=\mathbf 0, \qquad \operatorname{Cov}(\boldsymbol\varepsilon\mid X)=\sigma^2I.

由于 (I−H)X=0(I-H)X=\mathbf 0,有

e=(I−H)ε.\mathbf e=(I-H)\boldsymbol\varepsilon.

由此可得

E(e∣X)=0,Cov⁡(e∣X)=σ2(I−H).E(\mathbf e\mid X)=\mathbf 0, \qquad \operatorname{Cov}(\mathbf e\mid X)=\sigma^2(I-H).

以 hiih_{ii} 表示 HH 的第 ii 个对角元素,则

Var⁡(ei∣X)=σ2(1−hii).\operatorname{Var}(e_i\mid X)=\sigma^2(1-h_{ii}).

对于不同观测,

Cov⁡(ei,ej∣X)=−σ2hij.\operatorname{Cov}(e_i,e_j\mid X)=-\sigma^2h_{ij}.

因此,即使误差相互独立且方差相等,原始残差的方差通常仍然各不相同,协方差也通常不为零。

对角元素 hiih_{ii} 称为该观测的杠杆值。它衡量的是:在给定预测变量配置下,该观测的响应值对其自身拟合值的贡献程度。在模型假设成立时,高杠杆观测的残差方差较小,因此,即使它们对拟合结果有很大影响,其原始残差也可能显得不大。

如果误差还服从正态分布,则残差向量服从奇异多元正态分布。此外,

RSS⁡σ2∼χn−p2,\frac{\operatorname{RSS}}{\sigma^2} \sim\chi^2_{n-p},

其中,χn−p2\chi^2_{n-p} 表示自由度为 n−pn-p 的卡方分布。这些精确的分布结论需要正态性假设,但前面的均值和协方差公式并不需要这一假设。

标准化残差与学生化残差

原始残差保留了响应变量的计量单位。例如,如果响应变量以千克计量,其原始残差也以千克计量。对残差进行尺度调整有助于比较不同观测,尤其是在残差方差不等时。

内部学生化残差

一种常用的尺度调整残差为

ri=eis1−hii.r_i=\frac{e_i}{s\sqrt{1-h_{ii}}}.

它同时对估计的误差尺度和观测的杠杆值作了调整。它通常称为内部学生化残差或标准化残差,但术语用法并不统一。

由于 ss 是利用包括观测 ii 在内的全部观测估计的,较大的偏差可能会增大其自身用于尺度调整的分母。内部学生化残差并不严格服从学生 tt 分布。

外部学生化残差

外部学生化残差使用删除该观测后得到的误差尺度估计:

ti=eis(i)1−hii,t_i=\frac{e_i}{s_{(i)}\sqrt{1-h_{ii}}},

其中,s(i)s_{(i)} 是删除观测 ii 后重新拟合模型得到的残差标准差。

在正态线性模型下,只要删除观测后的设计矩阵仍然满秩,且 n−p−1>0n-p-1>0,就有

ti∼tn−p−1.t_i\sim t_{n-p-1}.

这一与学生t分布的联系,为正式检验异常响应值提供了依据。同时筛查多个观测会引入多重检验问题;适用于单个观测的阈值,并不一定适用于整个数据集。

残差诊断

残差诊断将实际观测到的残差表现,与拟合模型通常会产生的残差表现进行比较。它可以揭示对模型假设的偏离,但通常无法确定唯一的原因。

残差图

常见的图形包括:

  • **残差对拟合值图:**曲线趋势可能表明均值函数不恰当;散布范围逐渐扩大或缩小,可能表明误差方差不恒定。
  • **残差对预测变量图:**残留的结构可能提示模型缺少非线性项、遗漏了交互作用,或存在组间差异。
  • **残差对观测顺序或时间图:**连续成串、周期性或聚集现象,可能表明存在依赖关系或条件随时间变化。
  • **正态分位数—分位数图:**偏离直线模式可能表明误差与假设的正态分布不符,例如存在重尾或不对称。

对于设定正确的条件均值模型,误差的条件均值为零。因此,通常预期残差图呈大致水平的模式,但其应有的散布程度和形状取决于模型。例如,即使离散响应模型的设定正确,其原始残差图也可能呈现看似有结构的模式。

正态线性回归并不要求响应变量本身服从正态分布。正态性假设针对的是给定预测变量条件下的误差。此外,视觉上令人满意的残差图,也不能证明所有相关假设都成立。

离群值、杠杆值与影响

应当区分以下三个相关概念:

  • 离群响应值是相对于其拟合条件分布而言不寻常的响应值。
  • 高杠杆值反映的是观测在预测变量空间中的位置不寻常。
  • 影响关注的是删除或扰动某个观测后,拟合系数、预测值或其他结果会发生多大变化。

残差大不一定意味着影响大。反过来,高杠杆观测可能将拟合曲面拉向自身,从而只留下很小的残差。因此,影响度量不能仅考虑残差大小。

残差模式也可能反映遗漏变量或混杂,但残差诊断无法实现因果推断中的因果识别。

普通最小二乘法之外的残差

加权最小二乘法与广义最小二乘法

当误差方差不等或误差之间存在相关性时,可以用加权二次准则代替普通平方和。在广义最小二乘法中,准则的形式为

eTΣ−1e,\mathbf e^\mathsf T\Sigma^{-1}\mathbf e,

其中,Σ\Sigma 描述误差的协方差结构。

原始残差仍为 y−y^\mathbf y-\hat{\mathbf y},但诊断时通常使用经过尺度调整或变换的残差,以计及 Σ\Sigma。此时,普通最小二乘法的正交条件由相应的加权条件取代。

广义线性模型

在广义线性模型中,不同的残差定义侧重于拟合的不同方面。

响应残差为

ei=yi−μ^i.e_i=y_i-\hat\mu_i.

一种常用的皮尔逊残差为

rP,i=yi−μ^iV(μ^i),r_{P,i} =\frac{y_i-\hat\mu_i}{\sqrt{V(\hat\mu_i)}},

其中,模型方差写作

Var⁡(Yi)=ϕV(μi).\operatorname{Var}(Y_i)=\phi V(\mu_i).

再除以 ϕ^\sqrt{\hat\phi},即可得到按离散参数调整尺度的版本;不同软件的惯例有所不同。

偏差残差是单个观测对模型偏差贡献的带符号平方根:

rD,i=sign⁡(yi−μ^i)di.r_{D,i} =\operatorname{sign}(y_i-\hat\mu_i)\sqrt{d_i}.

对于标准的独立响应模型,在所采用的尺度约定下,∑idi\sum_i d_i 等于模型偏差。偏差通过拟合模型与饱和模型的似然函数来比较两者。

这些残差不能互相替代。例如,以二元变量为响应的逻辑回归,其原始残差不会呈现方差恒定的正态噪声形态。诊断时的预期表现必须与响应变量的分布及拟合概率相适应。

时间序列模型

在时间序列分析中,残差通常表示拟合得到的一步超前预测误差。残差中仍然存在的序列依赖关系,可能表明某些时间结构尚未被模型捕捉。

模型的理论新息是观测值与给定可用历史信息时其条件期望之差。计算得到的残差是新息的近似,但未必具备新息的全部性质,因为模型参数需要估计,而且初始化可能影响早期观测。

其他拟合准则

即使拟合并非通过最小化平方误差进行,也可以定义残差。不同的损失函数会产生不同的拟合条件。

例如,最小化残差绝对值之和,通常不会使残差之和为零。同样,正则化会改变估计方程,因此,惩罚回归的残差通常不满足无惩罚最小二乘残差所满足的正交条件。

残差与预测误差

训练残差来自参与模型拟合的观测。因此,用其大小衡量模型在新观测上的表现,通常会过于乐观,尤其是对于灵活性较高的模型。

留出观测的预测偏差

ynew−m^(xnew),y_{\mathrm{new}}-\hat m(x_{\mathrm{new}}),

既包含新观测本身的误差,也包含拟合预测规则的不确定性或偏倚。其方差通常与训练残差的方差不同。

交叉验证使用未参与相应拟合步骤的观测来评估预测。在普通最小二乘法中,若删除观测 ii 后设计矩阵仍然满秩,则该观测的留一法预测残差满足

yi−y^i,(−i)=ei1−hii.y_i-\hat y_{i,(-i)} =\frac{e_i}{1-h_{ii}}.

这个公式明确说明了为什么在高杠杆观测处,训练残差可以很小,而留出预测的偏差却大得多。

插值模型可以使每个训练残差都等于零,但在新数据上的预测表现仍然很差。因此,仅凭残差大小,既无法衡量模型的泛化性能,也无法判断模型背后的解释是否成立。