统计残差是观测值与统计模型所给出的相应拟合值之差。在统计学中,残差描述拟合后仍然存在的偏差,用于评估模型是否适当、估计未解释的变异,以及识别值得进一步研究的观测。对于观测值 及其拟合值 ,普通残差(也称原始残差)为
残差为正,表示观测值高于拟合值;残差为负,表示观测值低于拟合值。残差的性质取决于模型、拟合方法,以及这些观测是否被用于估计模型。
残差与统计误差
残差不同于模型的误差项。假设响应变量的模型为
其中, 是预测变量取值为 时响应变量的真实条件期望。误差为
而残差为
其中 由数据估计得到。
由于真实的条件均值未知,误差通常无法直接观测。残差则可以在模型拟合后计算,作为误差的不完全替代。两者之差为
它反映了均值估计中的不确定性,以及可能存在的模型设定错误。
这一区别很重要,因为拟合过程会使残差之间产生特定关系。即使误差具有统计独立性且方差相等,拟合残差通常仍然相互依赖,而且方差不等。
作为比较基准的值不一定总是条件均值。对于拟合概率分布的中位数、分位数或其他特征的模型,原始残差衡量的是观测值对相应拟合特征值的偏离。
普通最小二乘法中的残差
在线性回归中,模型通常写作
其中, 包含 个响应值, 是一个 的设计矩阵, 包含回归系数。这里, 是所有待拟合系数的个数;如果模型包含截距,也将其计入。
若 列满秩,普通最小二乘法给出
拟合值和残差为
其中
称为帽子矩阵, 为单位矩阵。
几何解释
拟合向量是 在 的列空间上的正交投影。残差向量位于该空间的正交补中。因此,
这些是最小二乘拟合的代数结果,并不能证明模型在实质上是正确的。
如果模型包含截距,则
因此,拟合残差的平均值恰好为零。这并不能说明未来的预测是无偏的,也不能说明模型已包含重要的预测变量。不含截距时,残差和为零的性质不一定成立。
残差平方和
普通最小二乘法使残差平方和最小,即
RSS 和 SSE 都可用作其缩写,但不同领域和软件的惯例有所不同。
在线性模型设定正确、误差均值为零且具有共同方差 的条件下,该方差的一个无偏估计为
分母 是残差自由度。平方根 称为残差标准差或残差标准误。它估计的是误差的尺度,而不是某个特定系数的标准误。
相比之下,训练均方误差通常定义为 。这些量的分母和用途各不相同。
抽样性质
假设在给定固定设计矩阵的条件下,
由于 ,有
由此可得
以 表示 的第 个对角元素,则
对于不同观测,
因此,即使误差相互独立且方差相等,原始残差的方差通常仍然各不相同,协方差也通常不为零。
对角元素 称为该观测的杠杆值。它衡量的是:在给定预测变量配置下,该观测的响应值对其自身拟合值的贡献程度。在模型假设成立时,高杠杆观测的残差方差较小,因此,即使它们对拟合结果有很大影响,其原始残差也可能显得不大。
如果误差还服从正态分布,则残差向量服从奇异多元正态分布。此外,
其中, 表示自由度为 的卡方分布。这些精确的分布结论需要正态性假设,但前面的均值和协方差公式并不需要这一假设。
标准化残差与学生化残差
原始残差保留了响应变量的计量单位。例如,如果响应变量以千克计量,其原始残差也以千克计量。对残差进行尺度调整有助于比较不同观测,尤其是在残差方差不等时。
内部学生化残差
一种常用的尺度调整残差为
它同时对估计的误差尺度和观测的杠杆值作了调整。它通常称为内部学生化残差或标准化残差,但术语用法并不统一。
由于 是利用包括观测 在内的全部观测估计的,较大的偏差可能会增大其自身用于尺度调整的分母。内部学生化残差并不严格服从学生 分布。
外部学生化残差
外部学生化残差使用删除该观测后得到的误差尺度估计:
其中, 是删除观测 后重新拟合模型得到的残差标准差。
在正态线性模型下,只要删除观测后的设计矩阵仍然满秩,且 ,就有
这一与学生t分布的联系,为正式检验异常响应值提供了依据。同时筛查多个观测会引入多重检验问题;适用于单个观测的阈值,并不一定适用于整个数据集。
残差诊断
残差诊断将实际观测到的残差表现,与拟合模型通常会产生的残差表现进行比较。它可以揭示对模型假设的偏离,但通常无法确定唯一的原因。
残差图
常见的图形包括:
- **残差对拟合值图:**曲线趋势可能表明均值函数不恰当;散布范围逐渐扩大或缩小,可能表明误差方差不恒定。
- **残差对预测变量图:**残留的结构可能提示模型缺少非线性项、遗漏了交互作用,或存在组间差异。
- **残差对观测顺序或时间图:**连续成串、周期性或聚集现象,可能表明存在依赖关系或条件随时间变化。
- **正态分位数—分位数图:**偏离直线模式可能表明误差与假设的正态分布不符,例如存在重尾或不对称。
对于设定正确的条件均值模型,误差的条件均值为零。因此,通常预期残差图呈大致水平的模式,但其应有的散布程度和形状取决于模型。例如,即使离散响应模型的设定正确,其原始残差图也可能呈现看似有结构的模式。
正态线性回归并不要求响应变量本身服从正态分布。正态性假设针对的是给定预测变量条件下的误差。此外,视觉上令人满意的残差图,也不能证明所有相关假设都成立。
离群值、杠杆值与影响
应当区分以下三个相关概念:
- 离群响应值是相对于其拟合条件分布而言不寻常的响应值。
- 高杠杆值反映的是观测在预测变量空间中的位置不寻常。
- 影响关注的是删除或扰动某个观测后,拟合系数、预测值或其他结果会发生多大变化。
残差大不一定意味着影响大。反过来,高杠杆观测可能将拟合曲面拉向自身,从而只留下很小的残差。因此,影响度量不能仅考虑残差大小。
普通最小二乘法之外的残差
加权最小二乘法与广义最小二乘法
当误差方差不等或误差之间存在相关性时,可以用加权二次准则代替普通平方和。在广义最小二乘法中,准则的形式为
其中, 描述误差的协方差结构。
原始残差仍为 ,但诊断时通常使用经过尺度调整或变换的残差,以计及 。此时,普通最小二乘法的正交条件由相应的加权条件取代。
广义线性模型
在广义线性模型中,不同的残差定义侧重于拟合的不同方面。
响应残差为
一种常用的皮尔逊残差为
其中,模型方差写作
再除以 ,即可得到按离散参数调整尺度的版本;不同软件的惯例有所不同。
偏差残差是单个观测对模型偏差贡献的带符号平方根:
对于标准的独立响应模型,在所采用的尺度约定下, 等于模型偏差。偏差通过拟合模型与饱和模型的似然函数来比较两者。
这些残差不能互相替代。例如,以二元变量为响应的逻辑回归,其原始残差不会呈现方差恒定的正态噪声形态。诊断时的预期表现必须与响应变量的分布及拟合概率相适应。
时间序列模型
在时间序列分析中,残差通常表示拟合得到的一步超前预测误差。残差中仍然存在的序列依赖关系,可能表明某些时间结构尚未被模型捕捉。
模型的理论新息是观测值与给定可用历史信息时其条件期望之差。计算得到的残差是新息的近似,但未必具备新息的全部性质,因为模型参数需要估计,而且初始化可能影响早期观测。
其他拟合准则
即使拟合并非通过最小化平方误差进行,也可以定义残差。不同的损失函数会产生不同的拟合条件。
例如,最小化残差绝对值之和,通常不会使残差之和为零。同样,正则化会改变估计方程,因此,惩罚回归的残差通常不满足无惩罚最小二乘残差所满足的正交条件。
残差与预测误差
训练残差来自参与模型拟合的观测。因此,用其大小衡量模型在新观测上的表现,通常会过于乐观,尤其是对于灵活性较高的模型。
留出观测的预测偏差
既包含新观测本身的误差,也包含拟合预测规则的不确定性或偏倚。其方差通常与训练残差的方差不同。
交叉验证使用未参与相应拟合步骤的观测来评估预测。在普通最小二乘法中,若删除观测 后设计矩阵仍然满秩,则该观测的留一法预测残差满足
这个公式明确说明了为什么在高杠杆观测处,训练残差可以很小,而留出预测的偏差却大得多。
插值模型可以使每个训练残差都等于零,但在新数据上的预测表现仍然很差。因此,仅凭残差大小,既无法衡量模型的泛化性能,也无法判断模型背后的解释是否成立。