{
  "id": "statistical-residual",
  "title": "统计残差",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "统计残差是观测值与拟合值之差，用于评估模型拟合、估计未解释的变异并诊断模型假设。",
  "category": "mathematics",
  "subcategory": "probability-statistics",
  "type": "concept",
  "aliases": [
    "残差",
    "回归残差"
  ],
  "generated_at": "2026-11-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/statistical-residual/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/statistical-residual/",
      "json": "https://aiwiki.page/en/statistical-residual.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "统计残差是观测值与统计模型所给出的相应拟合值之差。在统计学中，残差描述拟合后仍然存在的偏差，用于评估模型是否适当、估计未解释的变异，以及识别值得进一步研究的观测。对于观测值 \\(y_i\\) 及其拟合值 \\(\\hat y_i\\)，普通残差（也称原始残差）为\n\n\\[e_i=y_i-\\hat y_i.\\]\n\n残差为正，表示观测值高于拟合值；残差为负，表示观测值低于拟合值。残差的性质取决于模型、拟合方法，以及这些观测是否被用于估计模型。"
    },
    {
      "heading": "残差与统计误差",
      "text": "残差不同于模型的误差项。假设响应变量的模型为\n\n\\[Y_i=m(x_i)+\\varepsilon_i,\\]\n\n其中，\\(m(x_i)\\) 是预测变量取值为 \\(x_i\\) 时响应变量的真实条件期望。误差为\n\n\\[\\varepsilon_i=Y_i-m(x_i),\\]\n\n而残差为\n\n\\[e_i=Y_i-\\hat m(x_i),\\]\n\n其中 \\(\\hat m\\) 由数据估计得到。\n\n由于真实的条件均值未知，误差通常无法直接观测。残差则可以在模型拟合后计算，作为误差的不完全替代。两者之差为\n\n\\[e_i-\\varepsilon_i=m(x_i)-\\hat m(x_i),\\]\n\n它反映了均值估计中的不确定性，以及可能存在的模型设定错误。\n\n这一区别很重要，因为拟合过程会使残差之间产生特定关系。即使误差具有统计独立性且方差相等，拟合残差通常仍然相互依赖，而且方差不等。\n\n作为比较基准的值不一定总是条件均值。对于拟合概率分布的中位数、分位数或其他特征的模型，原始残差衡量的是观测值对相应拟合特征值的偏离。"
    },
    {
      "heading": "普通最小二乘法中的残差",
      "text": "在线性回归中，模型通常写作\n\n\\[\\mathbf y=X\\boldsymbol\\beta+\\boldsymbol\\varepsilon,\\]\n\n其中，\\(\\mathbf y\\) 包含 \\(n\\) 个响应值，\\(X\\) 是一个 \\(n\\times p\\) 的设计矩阵，\\(\\boldsymbol\\beta\\) 包含回归系数。这里，\\(p\\) 是所有待拟合系数的个数；如果模型包含截距，也将其计入。\n\n若 \\(X\\) 列满秩，普通最小二乘法给出\n\n\\[\\hat{\\boldsymbol\\beta}=(X^\\mathsf TX)^{-1}X^\\mathsf T\\mathbf y.\\]\n\n拟合值和残差为\n\n\\[\\hat{\\mathbf y}=H\\mathbf y, \\qquad \\mathbf e=(I-H)\\mathbf y,\\]\n\n其中\n\n\\[H=X(X^\\mathsf TX)^{-1}X^\\mathsf T\\]\n\n称为帽子矩阵，\\(I\\) 为单位矩阵。\n\n几何解释\n\n拟合向量是 \\(\\mathbf y\\) 在 \\(X\\) 的列空间上的正交投影。残差向量位于该空间的正交补中。因此，\n\n\\[X^\\mathsf T\\mathbf e=\\mathbf 0, \\qquad \\hat{\\mathbf y}^{\\mathsf T}\\mathbf e=0.\\]\n\n这些是最小二乘拟合的代数结果，并不能证明模型在实质上是正确的。\n\n如果模型包含截距，则\n\n\\[\\sum_{i=1}^{n}e_i=0.\\]\n\n因此，拟合残差的平均值恰好为零。这并不能说明未来的预测是无偏的，也不能说明模型已包含重要的预测变量。不含截距时，残差和为零的性质不一定成立。\n\n残差平方和\n\n普通最小二乘法使残差平方和最小，即\n\n\\[\\operatorname{RSS}=\\sum_{i=1}^{n}e_i^2 =\\mathbf e^\\mathsf T\\mathbf e.\\]\n\nRSS 和 SSE 都可用作其缩写，但不同领域和软件的惯例有所不同。\n\n在线性模型设定正确、误差均值为零且具有共同方差 \\(\\sigma^2\\) 的条件下，该方差的一个无偏估计为\n\n\\[s^2=\\frac{\\operatorname{RSS}}{n-p}, \\qquad n>p.\\]\n\n分母 \\(n-p\\) 是残差自由度。平方根 \\(s\\) 称为残差标准差或残差标准误。它估计的是误差的尺度，而不是某个特定系数的标准误。\n\n相比之下，训练均方误差通常定义为 \\(\\operatorname{RSS}/n\\)。这些量的分母和用途各不相同。"
    },
    {
      "heading": "抽样性质",
      "text": "假设在给定固定设计矩阵的条件下，\n\n\\[E(\\boldsymbol\\varepsilon\\mid X)=\\mathbf 0, \\qquad \\operatorname{Cov}(\\boldsymbol\\varepsilon\\mid X)=\\sigma^2I.\\]\n\n由于 \\((I-H)X=\\mathbf 0\\)，有\n\n\\[\\mathbf e=(I-H)\\boldsymbol\\varepsilon.\\]\n\n由此可得\n\n\\[E(\\mathbf e\\mid X)=\\mathbf 0, \\qquad \\operatorname{Cov}(\\mathbf e\\mid X)=\\sigma^2(I-H).\\]\n\n以 \\(h_{ii}\\) 表示 \\(H\\) 的第 \\(i\\) 个对角元素，则\n\n\\[\\operatorname{Var}(e_i\\mid X)=\\sigma^2(1-h_{ii}).\\]\n\n对于不同观测，\n\n\\[\\operatorname{Cov}(e_i,e_j\\mid X)=-\\sigma^2h_{ij}.\\]\n\n因此，即使误差相互独立且方差相等，原始残差的方差通常仍然各不相同，协方差也通常不为零。\n\n对角元素 \\(h_{ii}\\) 称为该观测的杠杆值。它衡量的是：在给定预测变量配置下，该观测的响应值对其自身拟合值的贡献程度。在模型假设成立时，高杠杆观测的残差方差较小，因此，即使它们对拟合结果有很大影响，其原始残差也可能显得不大。\n\n如果误差还服从正态分布，则残差向量服从奇异多元正态分布。此外，\n\n\\[\\frac{\\operatorname{RSS}}{\\sigma^2} \\sim\\chi^2_{n-p},\\]\n\n其中，\\(\\chi^2_{n-p}\\) 表示自由度为 \\(n-p\\) 的卡方分布。这些精确的分布结论需要正态性假设，但前面的均值和协方差公式并不需要这一假设。"
    },
    {
      "heading": "标准化残差与学生化残差",
      "text": "原始残差保留了响应变量的计量单位。例如，如果响应变量以千克计量，其原始残差也以千克计量。对残差进行尺度调整有助于比较不同观测，尤其是在残差方差不等时。\n\n内部学生化残差\n\n一种常用的尺度调整残差为\n\n\\[r_i=\\frac{e_i}{s\\sqrt{1-h_{ii}}}.\\]\n\n它同时对估计的误差尺度和观测的杠杆值作了调整。它通常称为内部学生化残差或标准化残差，但术语用法并不统一。\n\n由于 \\(s\\) 是利用包括观测 \\(i\\) 在内的全部观测估计的，较大的偏差可能会增大其自身用于尺度调整的分母。内部学生化残差并不严格服从学生 \\(t\\) 分布。\n\n外部学生化残差\n\n外部学生化残差使用删除该观测后得到的误差尺度估计：\n\n\\[t_i=\\frac{e_i}{s_{(i)}\\sqrt{1-h_{ii}}},\\]\n\n其中，\\(s_{(i)}\\) 是删除观测 \\(i\\) 后重新拟合模型得到的残差标准差。\n\n在正态线性模型下，只要删除观测后的设计矩阵仍然满秩，且 \\(n-p-1>0\\)，就有\n\n\\[t_i\\sim t_{n-p-1}.\\]\n\n这一与学生t分布的联系，为正式检验异常响应值提供了依据。同时筛查多个观测会引入多重检验问题；适用于单个观测的阈值，并不一定适用于整个数据集。"
    },
    {
      "heading": "残差诊断",
      "text": "残差诊断将实际观测到的残差表现，与拟合模型通常会产生的残差表现进行比较。它可以揭示对模型假设的偏离，但通常无法确定唯一的原因。\n\n残差图\n\n常见的图形包括：\n\n- **残差对拟合值图：**曲线趋势可能表明均值函数不恰当；散布范围逐渐扩大或缩小，可能表明误差方差不恒定。\n- **残差对预测变量图：**残留的结构可能提示模型缺少非线性项、遗漏了交互作用，或存在组间差异。\n- **残差对观测顺序或时间图：**连续成串、周期性或聚集现象，可能表明存在依赖关系或条件随时间变化。\n- **正态分位数—分位数图：**偏离直线模式可能表明误差与假设的正态分布不符，例如存在重尾或不对称。\n\n对于设定正确的条件均值模型，误差的条件均值为零。因此，通常预期残差图呈大致水平的模式，但其应有的散布程度和形状取决于模型。例如，即使离散响应模型的设定正确，其原始残差图也可能呈现看似有结构的模式。\n\n正态线性回归并不要求响应变量本身服从正态分布。正态性假设针对的是给定预测变量条件下的误差。此外，视觉上令人满意的残差图，也不能证明所有相关假设都成立。\n\n离群值、杠杆值与影响\n\n应当区分以下三个相关概念：\n\n- 离群响应值是相对于其拟合条件分布而言不寻常的响应值。\n- 高杠杆值反映的是观测在预测变量空间中的位置不寻常。\n- 影响关注的是删除或扰动某个观测后，拟合系数、预测值或其他结果会发生多大变化。\n\n残差大不一定意味着影响大。反过来，高杠杆观测可能将拟合曲面拉向自身，从而只留下很小的残差。因此，影响度量不能仅考虑残差大小。\n\n残差模式也可能反映遗漏变量或混杂，但残差诊断无法实现因果推断中的因果识别。"
    },
    {
      "heading": "普通最小二乘法之外的残差",
      "text": "加权最小二乘法与广义最小二乘法\n\n当误差方差不等或误差之间存在相关性时，可以用加权二次准则代替普通平方和。在广义最小二乘法中，准则的形式为\n\n\\[\\mathbf e^\\mathsf T\\Sigma^{-1}\\mathbf e,\\]\n\n其中，\\(\\Sigma\\) 描述误差的协方差结构。\n\n原始残差仍为 \\(\\mathbf y-\\hat{\\mathbf y}\\)，但诊断时通常使用经过尺度调整或变换的残差，以计及 \\(\\Sigma\\)。此时，普通最小二乘法的正交条件由相应的加权条件取代。\n\n广义线性模型\n\n在广义线性模型中，不同的残差定义侧重于拟合的不同方面。\n\n响应残差为\n\n\\[e_i=y_i-\\hat\\mu_i.\\]\n\n一种常用的皮尔逊残差为\n\n\\[r_{P,i} =\\frac{y_i-\\hat\\mu_i}{\\sqrt{V(\\hat\\mu_i)}},\\]\n\n其中，模型方差写作\n\n\\[\\operatorname{Var}(Y_i)=\\phi V(\\mu_i).\\]\n\n再除以 \\(\\sqrt{\\hat\\phi}\\)，即可得到按离散参数调整尺度的版本；不同软件的惯例有所不同。\n\n偏差残差是单个观测对模型偏差贡献的带符号平方根：\n\n\\[r_{D,i} =\\operatorname{sign}(y_i-\\hat\\mu_i)\\sqrt{d_i}.\\]\n\n对于标准的独立响应模型，在所采用的尺度约定下，\\(\\sum_i d_i\\) 等于模型偏差。偏差通过拟合模型与饱和模型的似然函数来比较两者。\n\n这些残差不能互相替代。例如，以二元变量为响应的逻辑回归，其原始残差不会呈现方差恒定的正态噪声形态。诊断时的预期表现必须与响应变量的分布及拟合概率相适应。\n\n时间序列模型\n\n在时间序列分析中，残差通常表示拟合得到的一步超前预测误差。残差中仍然存在的序列依赖关系，可能表明某些时间结构尚未被模型捕捉。\n\n模型的理论新息是观测值与给定可用历史信息时其条件期望之差。计算得到的残差是新息的近似，但未必具备新息的全部性质，因为模型参数需要估计，而且初始化可能影响早期观测。\n\n其他拟合准则\n\n即使拟合并非通过最小化平方误差进行，也可以定义残差。不同的损失函数会产生不同的拟合条件。\n\n例如，最小化残差绝对值之和，通常不会使残差之和为零。同样，正则化会改变估计方程，因此，惩罚回归的残差通常不满足无惩罚最小二乘残差所满足的正交条件。"
    },
    {
      "heading": "残差与预测误差",
      "text": "训练残差来自参与模型拟合的观测。因此，用其大小衡量模型在新观测上的表现，通常会过于乐观，尤其是对于灵活性较高的模型。\n\n留出观测的预测偏差\n\n\\[y_{\\mathrm{new}}-\\hat m(x_{\\mathrm{new}}),\\]\n\n既包含新观测本身的误差，也包含拟合预测规则的不确定性或偏倚。其方差通常与训练残差的方差不同。\n\n交叉验证使用未参与相应拟合步骤的观测来评估预测。在普通最小二乘法中，若删除观测 \\(i\\) 后设计矩阵仍然满秩，则该观测的留一法预测残差满足\n\n\\[y_i-\\hat y_{i,(-i)} =\\frac{e_i}{1-h_{ii}}.\\]\n\n这个公式明确说明了为什么在高杠杆观测处，训练残差可以很小，而留出预测的偏差却大得多。\n\n插值模型可以使每个训练残差都等于零，但在新数据上的预测表现仍然很差。因此，仅凭残差大小，既无法衡量模型的泛化性能，也无法判断模型背后的解释是否成立。"
    }
  ],
  "links": [
    "statistics",
    "conditional-expectation",
    "statistical-independence",
    "probability-distribution",
    "linear-regression",
    "matrix",
    "ordinary-least-squares",
    "orthogonal-projection",
    "orthogonal-complement",
    "variance",
    "degrees-of-freedom",
    "standard-error",
    "mean-squared-error",
    "covariance",
    "normal-distribution",
    "chi-squared-distribution",
    "students-t-distribution",
    "multiple-testing",
    "confounding",
    "causal-inference",
    "generalized-linear-model",
    "likelihood-function",
    "logistic-regression",
    "time-series",
    "loss-function",
    "regularization",
    "cross-validation"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}