{
  "id": "empirical-distribution",
  "title": "经验分布",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "经验分布按观测值的相对频数分配概率，是对潜在概率分布的一种非参数估计。",
  "category": "mathematics",
  "subcategory": "probability-statistics",
  "type": "concept",
  "aliases": [
    "经验概率分布"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/empirical-distribution/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/empirical-distribution/",
      "json": "https://aiwiki.page/en/empirical-distribution.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "经验分布是一种概率分布，它为数据集中的每个观测值赋予相等的概率，并在数值重复出现时将相应概率合并。它不假定正态分布或指数分布等参数模型，而是直接描述数据。对于数值型观测，经验分布通常用经验累积分布函数（ECDF）表示，该函数给出小于或等于各个数值的观测所占的比例。经验分布是统计学的基础概念，将观测频数与概率模型、估计和重采样联系起来。"
    },
    {
      "heading": "定义",
      "text": "设 \\(x_1,\\ldots,x_n\\) 是可测空间 \\((S,\\mathcal A)\\) 中的观测值，其中 \\(n\\geq 1\\)。它们的经验分布是如下定义的概率测度 \\(P_n\\)：\n\n\\[P_n(A)=\\frac{1}{n}\\sum_{i=1}^{n}\\mathbf 1_{\\{x_i\\in A\\}}, \\qquad A\\in\\mathcal A,\\]\n\n其中，\\(\\mathbf 1\\) 是示性函数。因此，一个集合的经验概率，就是属于该集合的观测值占全部观测值的比例。\n\n等价地，\n\n\\[P_n=\\frac{1}{n}\\sum_{i=1}^{n}\\delta_{x_i},\\]\n\n其中，\\(\\delta_{x_i}\\) 表示集中在 \\(x_i\\) 处的点质量概率测度。\n\n每个观测值贡献 \\(1/n\\) 的概率质量。如果某个数值出现了 \\(k\\) 次，则该数值处的总概率质量为 \\(k/n\\)。因此，即使观测值是从连续的总体分布中抽取的，经验分布仍然是离散的。\n\n定义本身不要求对数据的获取方式作出任何假设。但在利用经验分布推断总体性质时，统计独立性和同分布等假设就变得重要。"
    },
    {
      "heading": "经验累积分布函数",
      "text": "对于实值观测，经验累积分布函数为\n\n\\[F_n(x)=P_n((-\\infty,x]) =\\frac{1}{n}\\sum_{i=1}^{n}\\mathbf 1_{\\{x_i\\leq x\\}}.\\]\n\n它是一个单调不减、右连续的阶梯函数。在小于最小观测值的位置，它等于零；在最大观测值及其以上的位置，它等于一。在每个不同的观测值处，其跳跃幅度等于该数值的相对频数。\n\n若将观测值排序为\n\n\\[x_{(1)}\\leq x_{(2)}\\leq\\cdots\\leq x_{(n)},\\]\n\n那么，当所有观测值互不相同时，在 \\(x_{(k)}\\) 与 \\(x_{(k+1)}\\) 之间有 \\(F_n(x)=k/n\\)。重复的观测值会产生更大的跳跃。\n\n示例\n\n对于数据集\n\n\\[2,\\;2,\\;5,\\;8,\\]\n\n经验概率为\n\n\\[P_n(\\{2\\})=\\frac12,\\qquad P_n(\\{5\\})=\\frac14,\\qquad P_n(\\{8\\})=\\frac14.\\]\n\n相应的经验累积分布函数为\n\n\\[F_n(x)= \\begin{cases} 0, & x<2,\\\\ 1/2, & 2\\leq x<5,\\\\ 3/4, & 5\\leq x<8,\\\\ 1, & x\\geq 8. \\end{cases}\\]\n\n因此，区间 \\((2,8]\\) 的经验概率为\n\n\\[P_n((2,8])=F_n(8)-F_n(2)=\\frac12.\\]\n\n对于实值数据，经验分布及其经验累积分布函数包含相同的信息。前者侧重于赋予集合的概率，后者则提供了便于数值计算和图形展示的表示方式。"
    },
    {
      "heading": "经验平均、矩与分位数",
      "text": "对于在各个观测值处取有限值的任意实值函数 \\(g\\)，关于经验分布的积分为\n\n\\[\\int g(x)\\,dP_n(x)=\\frac1n\\sum_{i=1}^{n}g(x_i).\\]\n\n因此，许多常见的样本统计量都是经验分布的性质。\n\n它的期望值就是样本均值：\n\n\\[\\int x\\,dP_n(x)=\\bar x =\\frac1n\\sum_{i=1}^{n}x_i.\\]\n\n它的方差为\n\n\\[\\int (x-\\bar x)^2\\,dP_n(x) =\\frac1n\\sum_{i=1}^{n}(x_i-\\bar x)^2.\\]\n\n这里采用分母 \\(n\\)，因为计算的是经验概率分布本身的方差。相比之下，在独立同分布抽样且总体方差有限的条件下，总体方差通常使用的无偏估计量以 \\(n-1\\) 为分母。这一区别是贝塞尔校正的基础。\n\n对于 \\(0<p<1\\)，经验分位数可以通过广义逆定义：\n\n\\[Q_n(p)=\\inf\\{x:F_n(x)\\geq p\\}.\\]\n\n按照这一约定，\n\n\\[Q_n(p)=x_{(\\lceil np\\rceil)}.\\]\n\n统计软件也会采用在相邻观测值之间插值的分位数计算约定。这类插值结果不一定与阶梯状经验累积分布函数的广义逆一致。例如，对于观测数为偶数的数据集，常见的做法是取中间两个观测值的平均数作为中位数，这与通过广义逆定义的中位数不同。"
    },
    {
      "heading": "统计性质",
      "text": "设 \\(X_1,\\ldots,X_n\\) 为独立同分布的观测值，总体累积分布函数为 \\(F\\)。在观测到数据之前，\\(P_n\\) 和 \\(F_n\\) 都是随机对象。\n\n固定点处的表现\n\n对于任意固定的 \\(x\\)，不超过 \\(x\\) 的观测值个数服从二项分布：\n\n\\[nF_n(x)\\sim\\operatorname{Binomial}(n,F(x)).\\]\n\n由此可得\n\n\\[\\mathbb E[F_n(x)]=F(x), \\qquad \\operatorname{Var}(F_n(x)) =\\frac{F(x)(1-F(x))}{n}.\\]\n\n因此，\\(F_n(x)\\) 是 \\(F(x)\\) 的无偏估计量。由大数定律，对于每个固定的 \\(x\\)，有\n\n\\[F_n(x)\\longrightarrow F(x) \\quad\\text{almost surely}\\]\n\n即几乎必然收敛。\n\n当 \\(0<F(x)<1\\) 时，由中心极限定理还可得\n\n\\[\\sqrt n\\bigl(F_n(x)-F(x)\\bigr) \\xrightarrow{d} N\\!\\left(0,F(x)(1-F(x))\\right).\\]\n\n一致收敛\n\n一个更强的结论是格利文科—坎泰利定理，它指出\n\n\\[\\sup_{x\\in\\mathbb R}|F_n(x)-F(x)| \\longrightarrow 0 \\quad\\text{almost surely}.\\]\n\n这就是一致收敛：趋于零的是整条实数轴上的最大偏差，而不仅仅是某个固定点处的偏差。\n\n德沃雷茨基–基弗–沃尔福维茨不等式给出了有限样本下的界：\n\n\\[\\Pr\\!\\left( \\sup_x|F_n(x)-F(x)|>\\varepsilon \\right) \\leq 2e^{-2n\\varepsilon^2}, \\qquad \\varepsilon>0.\\]\n\n对于 \\(0<\\alpha<1\\)，令\n\n\\[\\varepsilon_{n,\\alpha} =\\sqrt{\\frac{\\log(2/\\alpha)}{2n}}\\]\n\n即可得到覆盖概率至少为 \\(1-\\alpha\\) 的同时置信带：\n\n\\[\\max\\{0,F_n(x)-\\varepsilon_{n,\\alpha}\\} \\leq F(x)\\leq \\min\\{1,F_n(x)+\\varepsilon_{n,\\alpha}\\}\\]\n\n上述不等式以所述概率对所有 \\(x\\) 同时成立。与逐点置信区间不同，这条置信带同时覆盖整个累积分布函数。"
    },
    {
      "heading": "应用",
      "text": "非参数估计\n\n经验分布是一种基本的非参数估计量：它无须选定有限维参数分布族，就能对分布进行估计。\n\n代入原则通过对经验分布施加相同的数学运算来估计总体量 \\(T(P)\\)：\n\n\\[T(P)\\approx T(P_n).\\]\n\n由此可以得到样本矩、分位数、比例以及许多其他统计量。代入估计是否有用，既取决于抽样假设，也取决于泛函 \\(T\\) 的性质。\n\n自助重采样\n\n在通常的非参数自助采样中，以已观测到的数据为条件，从 \\(P_n\\) 中独立抽取新样本。在实际操作中，这意味着对原始观测值进行有放回抽样。\n\n在这些样本上反复重新计算某个统计量，可以近似得到它的抽样分布。因此，经验分布起到了替代总体的作用。自助法并非总是有效：其有效性取决于所用统计量和抽样情境，对于某些极值问题或其他非正则问题，通常的自助法可能失效。\n\n拟合优度检验\n\n经验累积分布函数在拟合优度检验中发挥着核心作用。单样本柯尔莫哥洛夫—斯米尔诺夫检验使用下式，将经验累积分布函数与指定的累积分布函数 \\(F_0\\) 进行比较：\n\n\\[D_n=\\sup_x|F_n(x)-F_0(x)|.\\]\n\n当原假设分布是完全指定的连续分布时，该统计量在原假设下的分布不依赖于 \\(F_0\\) 的具体形式。如果原假设分布是离散的，或者其参数是用同一份数据估计的，通常就需要调整标准的检验校准方式。\n\n双样本版本则比较来自两个不同数据集的经验累积分布函数。\n\n经验风险最小化\n\n在统计学习中，经验分布将总体平均损失函数转化为观测数据上的平均损失。对于数据 \\(Z_1,\\ldots,Z_n\\) 和损失函数 \\(\\ell(\\theta,z)\\)，有\n\n\\[R_n(\\theta) =\\int \\ell(\\theta,z)\\,dP_n(z) =\\frac1n\\sum_{i=1}^{n}\\ell(\\theta,Z_i).\\]\n\n最小化这一经验风险是一种核心估计方法。在观测数据上表现良好，本身并不能保证在新数据上也表现良好；模型复杂度和抽样条件同样重要。"
    },
    {
      "heading": "扩展",
      "text": "加权经验分布为观测值赋予非负权重 \\(w_i\\)，满足 \\(\\sum_iw_i=1\\)：\n\n\\[P_w=\\sum_{i=1}^{n}w_i\\delta_{x_i}.\\]\n\n权重可以用于反映不等的抽样概率、表示重要性权重，或进行其他调整。其统计性质取决于权重的构造方式；普通经验累积分布函数的结论不能不加修改地直接套用。\n\n对于 \\(\\mathbb R^d\\) 中的向量值观测，同样可以采用点质量定义。多元经验累积分布函数为\n\n\\[F_n(t_1,\\ldots,t_d) = \\frac1n\\sum_{i=1}^{n} \\mathbf1_{\\{X_{i1}\\leq t_1,\\ldots,X_{id}\\leq t_d\\}}.\\]\n\n基于测度的定义也适用于分类数据和其他可测观测空间，即使这些空间不存在自然的排序或一维累积分布函数。"
    },
    {
      "heading": "区别与局限",
      "text": "经验分布不是直方图。直方图将观测值分组到各个区间中，其形状取决于分组边界和宽度。经验分布则保留观测值的精确数值及其频数，但不保留它们的原始顺序。\n\n它也不是相对于通常长度测度的概率密度函数。有限样本的经验分布具有点质量。核平滑等密度估计方法通过将概率分散到观测值周围，构造出另一种对象。\n\n经验分布也不同于统计量的抽样分布。前者描述已观测到的数据，后者描述某个统计量在重复抽样中的变化情况。\n\n经验分布的主要局限在于观测数据所能支持的推断范围：\n\n- 未观测到的结果被赋予零经验概率。 这并不意味着它们在总体中的概率为零。特别是，经验分布无法直接向观测到的最小值和最大值之外进行外推。\n- 代表性无法保证。 选择偏差或不合适的抽样设计，可能导致经验分布无法逼近目标总体。\n- 相依性会改变不确定性。 对于时间序列或成簇观测，独立抽样下的方差公式和置信界通常不能不加修改地使用。\n- 累积分布函数收敛并不保证每个统计量都收敛。 矩和其他无界泛函的一致性需要可积性等额外条件。\n- 顺序信息会丢失。 具有相同数值及频数的数据集，其经验分布相同，即使它们在时间或空间上的排列不同。"
    }
  ],
  "links": [
    "probability-distribution",
    "statistics",
    "measurable-space",
    "indicator-function",
    "statistical-independence",
    "cumulative-distribution-function",
    "expected-value",
    "sample-mean",
    "variance",
    "bessels-correction",
    "quantile",
    "binomial-distribution",
    "law-of-large-numbers",
    "central-limit-theorem",
    "uniform-convergence",
    "confidence-interval",
    "estimator",
    "bootstrap-sampling",
    "sampling-distribution",
    "statistical-hypothesis-testing",
    "kolmogorov-smirnov-test",
    "loss-function",
    "probability-density-function",
    "density-estimation",
    "selection-bias",
    "time-series"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}