{
  "id": "estimator-bias",
  "title": "估计量的偏差",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "估计量的偏差是其在重复抽样下的期望值与所估计参数的真值之差。",
  "category": "mathematics",
  "subcategory": "probability-statistics",
  "type": "concept",
  "aliases": [
    "估计量的偏倚",
    "估计偏差"
  ],
  "generated_at": "2026-10-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/estimator-bias/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/estimator-bias/",
      "json": "https://aiwiki.page/en/estimator-bias.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "在统计学中，估计量的偏差是估计量的期望值与被估计量的真值之差。它衡量的是重复抽样中系统性的高估或低估，而非某一次结果的误差。偏差是在特定统计模型或抽样设计下，估计方法所具有的性质；无偏的估计方法不一定在每个样本中都能给出准确的估计。(stat.berkeley.edu)"
    },
    {
      "heading": "定义与解释",
      "text": "设 \\(X=(X_1,\\ldots,X_n)\\) 表示从某个概率分布中抽取的数据，该分布由未知参数 \\(\\theta\\) 决定。估计量 \\(T(X)\\) 是用于估计 \\(\\theta\\) 的数据函数。在观测到数据之前，它是一个具有抽样分布的随机变量。只要期望存在，其偏差就定义为\n\n\\[b_T(\\theta)=\\operatorname{Bias}_\\theta(T) =\\mathbb E_\\theta[T(X)]-\\theta.\\]\n\n下标表示期望是在 \\(\\theta\\) 所对应的分布下计算的。如果对于指定模型中的每一个参数值，都有 \\(b_T(\\theta)=0\\)，则称该估计量是无偏的。仅在某个特定参数值处无偏，并不能说明它在整个模型中都是无偏的。(statlect.com)\n\n正偏差意味着估计量平均而言偏大，负偏差则意味着平均而言偏小。实际的估计误差可以分解为\n\n\\[T-\\theta=b_T(\\theta)+(T-\\mathbb E_\\theta T).\\]\n\n第二项的期望为零，代表随机的抽样波动。因此，无偏性关注的是抽样分布的中心，而不是其离散程度，也不是某个具体估计值与目标值有多接近。(stat.berkeley.edu)"
    },
    {
      "heading": "基本例子",
      "text": "假设 \\(X_1,\\ldots,X_n\\) 是同分布的观测值，且具有有限均值 \\(\\mu\\)。由期望的线性性质，样本均值\n\n\\[\\bar X=\\frac1n\\sum_{i=1}^n X_i\\]\n\n满足 \\(\\mathbb E[\\bar X]=\\mu\\)，因此它是 \\(\\mu\\) 的无偏估计量。如果这些观测值还具有统计独立性，并且具有相同的有限方差 \\(\\sigma^2\\)，则 \\(\\operatorname{Var}(\\bar X)=\\sigma^2/n\\)。这体现了无偏性与精度的区别：期望确定估计所针对的目标，而方差描述抽样的变异程度。(homepages.ecs.vuw.ac.nz)\n\n一个典型的有偏估计量是以 \\(n\\) 为分母计算的样本方差。对于方差有限的独立同分布观测值，在 \\(n>1\\) 时，定义\n\n\\[V_n=\\frac1n\\sum_{i=1}^n(X_i-\\bar X)^2.\\]\n\n则有\n\n\\[\\mathbb E[V_n]=\\frac{n-1}{n}\\sigma^2, \\qquad \\operatorname{Bias}(V_n)=-\\frac{\\sigma^2}{n}.\\]\n\n将分母 \\(n\\) 替换为 \\(n-1\\)，就能得到 \\(\\sigma^2\\) 的无偏估计量；这一修正称为贝塞尔校正。不过，在均值未知的正态分布模型下，\\(V_n\\) 仍然是方差的最大似然估计量。因此，最大似然原则与无偏性要求不一定会选出同一个估计量。(stats-web.quarto.pub)"
    },
    {
      "heading": "偏差、方差与估计损失",
      "text": "仅凭偏差无法判断估计量的优劣。在平方误差损失函数下，均方误差为\n\n\\[\\operatorname{MSE}_\\theta(T) =\\mathbb E_\\theta[(T-\\theta)^2] =\\operatorname{Var}_\\theta(T)+b_T(\\theta)^2.\\]\n\n当相关二阶矩有限时，这一恒等式成立。将误差围绕 \\(\\mathbb E_\\theta T\\) 展开即可得到该式；由于中心化后的估计量期望为零，交叉项随之消失。对于无偏估计量，均方误差等于方差。如果方差的减少足以抵消偏差平方带来的增加，有偏估计量也可以具有更小的均方误差。(bookdown.org)\n\n例如，设 \\(K\\) 服从参数为 \\(n\\) 和 \\(p\\) 的二项分布。样本比例 \\(K/n\\) 是无偏的。对于平滑估计量\n\n\\[\\tilde p=\\frac{K+1}{n+2},\\]\n\n直接计算可得\n\n\\[\\operatorname{Bias}_p(\\tilde p)=\\frac{1-2p}{n+2}, \\qquad \\operatorname{Var}_p(\\tilde p)=\\frac{np(1-p)}{(n+2)^2}.\\]\n\n它将估计值向 \\(1/2\\) 收缩，并降低方差，但它在均方误差方面是否具有优势取决于 \\(p\\)。当 \\(p=1/2\\) 时，其偏差为零，方差也小于 \\(K/n\\) 的方差。(stat135.berkeley.edu)\n\n这种偏差-方差权衡也出现在机器学习中。在线性回归中，岭回归通过正则化来收缩系数估计值。这种收缩通常会引入偏差，但与未加惩罚的拟合相比，可以减少变异并改善预测。其目标不一定是严格无偏，而是在所选损失函数下获得更低的期望预测误差。(stat.cmu.edu)"
    },
    {
      "heading": "有限样本偏差与一致性",
      "text": "对于估计量序列 \\(T_n\\)，渐近无偏性是指随着样本量增加，\\(\\mathbb E_\\theta[T_n]-\\theta\\) 趋于零。上文的方差估计量 \\(V_n\\) 就具有这一性质，尽管在 \\(\\sigma^2>0\\) 时，它对每个有限的 \\(n\\) 都是有偏的。相比之下，一致性是指依概率收敛于目标值：\n\n\\[\\Pr_\\theta(|T_n-\\theta|>\\varepsilon)\\longrightarrow0 \\quad\\text{对每个 }\\varepsilon>0.\\]\n\n它描述的是估计量集中在参数值附近，而不仅仅是期望的收敛。(stats-web.quarto.pub)\n\n无偏性并不蕴含一致性：仅使用第一个观测值的估计量可以始终是总体均值的无偏估计量，但即使获得了更多观测值，其抽样分布也不会改变。一致性的一个实用充分条件是偏差和方差都趋于零。此时均方误差趋于零，对估计误差的平方应用切比雪夫不等式即可证明依概率收敛。(mcrovella.github.io)"
    },
    {
      "heading": "偏差的估计与校正",
      "text": "如果期望可以通过解析方法求得，就有可能精确消除偏差。例如，若 \\(\\mathbb E_\\theta[T]=c\\theta\\)，其中 \\(c\\) 是已知的非零常数，则 \\(T/c\\) 是无偏的。这类校正依赖于具体模型，也不一定能使均方误差最小。(stat135.berkeley.edu)\n\n无法精确计算偏差时，可以通过自助采样近似估计偏差。若 \\(T^{*}\\) 表示根据自助样本数据计算出的估计量，则条件期望与原估计量之差 \\(\\mathbb E_*[T^{*}]-T\\) 可用作自助法偏差估计。减去这一估计偏差后，得到 \\(2T-\\mathbb E_*[T^{*}]\\)。其可靠性取决于自助分布对实际抽样分布的近似程度；通过估计进行校正，并不能保证严格无偏。(stat.cmu.edu)"
    }
  ],
  "links": [
    "statistics",
    "expected-value",
    "probability-distribution",
    "estimator",
    "sampling-distribution",
    "random-variable",
    "statistical-independence",
    "variance",
    "bessels-correction",
    "normal-distribution",
    "maximum-likelihood-estimation",
    "loss-function",
    "mean-squared-error",
    "binomial-distribution",
    "bias-variance-tradeoff",
    "machine-learning",
    "linear-regression",
    "ridge-regression",
    "regularization",
    "consistent-estimator",
    "chebyshevs-inequality",
    "bootstrap-sampling"
  ],
  "sources": [
    {
      "title": "stat.berkeley.edu/~stark/SticiGui/Text/estimation.htm",
      "url": "https://www.stat.berkeley.edu/~stark/SticiGui/Text/estimation.htm"
    },
    {
      "title": "statlect.com/fundamentals-of-statistics/point-estimation",
      "url": "https://www.statlect.com/fundamentals-of-statistics/point-estimation"
    },
    {
      "title": "homepages.ecs.vuw.ac.nz/~rarnold/STAT392/SampleSurveysBook/_book/sampling-and-e…",
      "url": "https://homepages.ecs.vuw.ac.nz/~rarnold/STAT392/SampleSurveysBook/_book/sampling-and-estimation.html"
    },
    {
      "title": "stats-web.quarto.pub/stat_415_q_dev/Lesson02.html",
      "url": "https://stats-web.quarto.pub/stat_415_q_dev/Lesson02.html"
    },
    {
      "title": "bookdown.org/jkang37/stat205b-notes/lecture09.html",
      "url": "https://bookdown.org/jkang37/stat205b-notes/lecture09.html"
    },
    {
      "title": "stat135.berkeley.edu/spring-2026/lectures/lecture-6.html",
      "url": "https://stat135.berkeley.edu/spring-2026/lectures/lecture-6.html"
    },
    {
      "title": "stat.cmu.edu/cmsac/sure/2022/materials/lectures/slides/13-Regularization.html",
      "url": "https://www.stat.cmu.edu/cmsac/sure/2022/materials/lectures/slides/13-Regularization.html"
    },
    {
      "title": "mcrovella.github.io/DS122-Foundations-of-Data-Science-III/13-Consistency-Effici…",
      "url": "https://mcrovella.github.io/DS122-Foundations-of-Data-Science-III/13-Consistency-Efficiency-Sufficiency.html"
    },
    {
      "title": "stat.cmu.edu/~cshalizi/dst/18/lectures/18/lecture-18.html",
      "url": "https://stat.cmu.edu/~cshalizi/dst/18/lectures/18/lecture-18.html"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}