{
  "id": "proper-scoring-rule",
  "title": "适当评分规则",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "适当评分规则用于评价概率预测，使报告真实概率分布能够获得最优的期望评分。",
  "category": "mathematics",
  "subcategory": "probability-statistics",
  "type": "concept",
  "aliases": [
    "恰当评分规则",
    "适当评分函数"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/proper-scoring-rule/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/proper-scoring-rule/",
      "json": "https://aiwiki.page/en/proper-scoring-rule.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "适当评分规则是一种评价概率预测的方法，使如实报告在期望意义下成为最优选择。它根据所报告的概率分布和实际发生的结果给出一个数值评分。如果结果服从分布 \\(P\\)，那么报告 \\(P\\) 而非其他分布就能使期望评分达到最优。如果报告 \\(P\\) 是唯一的最优选择，则称该规则是严格适当的。适当评分规则应用于统计学、决策理论和机器学习，用于引导人们如实表达信念、比较预测以及拟合预测模型。"
    },
    {
      "heading": "定义与约定",
      "text": "评分规则有两种符号方向相反的约定：奖励需要最大化，而损失需要最小化。两种约定都有效，但必须明确优化方向。本文采用损失约定。\n\n设 \\(\\mathcal P\\) 是结果空间 \\(\\mathcal Y\\) 上的一类概率分布。评分规则是一个损失函数\n\n\\[S:\\mathcal P\\times\\mathcal Y\\longrightarrow\\mathbb R\\cup\\{+\\infty\\},\\]\n\n其中，\\(S(Q,y)\\) 表示结果 \\(y\\) 发生时赋予预测 \\(Q\\) 的损失。记\n\n\\[\\overline S(Q,P)=\\mathbb E_{Y\\sim P}[S(Q,Y)]\\]\n\n为其在 \\(P\\) 下的期望损失，并假设该期望有明确定义。\n\n如果\n\n\\[\\overline S(P,P)\\leq \\overline S(Q,P) \\qquad\\text{for every }P,Q\\in\\mathcal P.\\]\n\n则称该规则相对于 \\(\\mathcal P\\) 是适当的。如果等号仅在 \\(Q=P\\) 时成立，则称其为严格适当的。\n\n因此，适当性是评分规则及其允许的分布类共同具有的性质。可积性、支撑集限制以及分布相等的含义都很重要，对连续结果尤其如此。\n\n这一定义关注的是期望表现，而不是每一次单独观测中的表现。对于某个实际发生的结果，不准确的预测可能比准确的预测表现更好。"
    },
    {
      "heading": "激励与解释",
      "text": "假设预测者认为某事件发生的概率为 \\(p\\)，但可以对外报告另一个数值 \\(q\\)。适当评分规则保证，报告 \\(q=p\\) 能使预测者的期望损失最小。严格适当性则排除了其他报告也能达到同样最小损失的可能。\n\n例如，如果某事件的发生概率为 \\(0.7\\)，那么适当的规则会在期望意义下奖励报告 \\(0.7\\) 的行为，而不是奖励断言该事件一定发生，或将概率夸大为 \\(0.95\\) 之类的报告。\n\n这种激励解释以预测者追求期望评分最小化为前提。如果评分被换算为报酬，金钱效用的非线性或其他激励因素可能会改变报告行为。仅靠适当性无法解决这些问题。\n\n“适当”也不意味着该规则能够衡量预测中所有具有实际重要性的方面。不同的适当规则侧重于不同的偏差，对不完美的预测系统可能给出不同的排名。"
    },
    {
      "heading": "主要示例",
      "text": "对数评分\n\n对于有限结果空间，设 \\(q_i\\) 为预测中结果 \\(i\\) 的概率。对数损失为\n\n\\[S(q,i)=-\\log q_i.\\]\n\n如果给实际观测到的结果赋予零概率，就会产生无穷大的损失。\n\n如果真实概率向量为 \\(p\\)，则期望对数损失就是交叉熵\n\n\\[\\mathbb E_p[S(q,Y)]=-\\sum_i p_i\\log q_i.\\]\n\n它超出如实预测的期望损失的部分为\n\n\\[\\mathbb E_p[S(q,Y)]-\\mathbb E_p[S(p,Y)] =\\sum_i p_i\\log\\frac{p_i}{q_i} =D_{\\mathrm{KL}}(p\\|q),\\]\n\n即KL散度。采用处理零概率的通常约定时，这一散度的非负性可证明该规则的严格适当性。\n\n对于连续结果，相应的评分为\n\n\\[S(Q,y)=-\\log q(y),\\]\n\n其中，\\(q\\) 是相对于某个指定的共同参考测度的概率密度函数。密度可以大于一，因此连续情形的对数损失可以为负值。其数值还依赖于计量单位，不过，当所有密度采用相同的变量变换时，预测之间的比较也会随之作一致的变换。\n\n最小化经验对数损失，等价于对相应概率模型进行最大似然估计。\n\n布里尔评分\n\n对于预测概率为 \\(q\\)、结果为 \\(y\\in\\{0,1\\}\\) 的二元事件，布里尔评分为\n\n\\[S(q,y)=(q-y)^2.\\]\n\n如果事件的真实概率为 \\(p\\)，则\n\n\\[\\mathbb E_p[(q-Y)^2] =p(1-p)+(q-p)^2.\\]\n\n第一项与报告值无关，第二项仅在 \\(q=p\\) 时达到最小。因此，该规则是严格适当的。\n\n对于 \\(K\\) 个互斥且完备的类别，一种常见定义为\n\n\\[S(q,y)=\\sum_{k=1}^{K} \\left(q_k-\\mathbf 1\\{y=k\\}\\right)^2,\\]\n\n其中，\\(\\mathbf 1\\) 是示性函数。当只有两个类别时，这一形式等于上述二元公式的两倍；两种归一化方式都具有严格适当性。\n\n布里尔评分有界，并对概率误差施加二次惩罚。与对数损失不同，当预测中概率为零的结果实际发生时，它不会赋予无穷大的惩罚。\n\n球面评分\n\n在有限结果空间上，损失形式的球面评分为\n\n\\[S(q,i)=-\\frac{q_i}{\\sqrt{\\sum_j q_j^2}}.\\]\n\n其在 \\(p\\) 下的期望损失为\n\n\\[-\\frac{p\\cdot q}{\\|q\\|_2}.\\]\n\n由柯西—施瓦茨不等式可知，当 \\(q\\) 与 \\(p\\) 成比例时，该表达式达到最小值。由于两个向量的分量之和均为一，这就要求 \\(q=p\\)。因此，球面评分是严格适当的。\n\n连续秩概率评分\n\n对于实数轴上由累积分布函数 \\(F\\) 表示的预测，连续秩概率评分为\n\n\\[\\operatorname{CRPS}(F,y) = \\int_{-\\infty}^{\\infty} \\left(F(z)-\\mathbf 1\\{y\\leq z\\}\\right)^2\\,dz.\\]\n\n它将所有阈值下的二元布里尔评分积分起来。如果真实分布的累积分布函数为 \\(G\\)，那么在适当的有限性条件下，\n\n\\[\\mathbb E_G[\\operatorname{CRPS}(F,Y)] - \\mathbb E_G[\\operatorname{CRPS}(G,Y)] = \\int_{-\\infty}^{\\infty}(F(z)-G(z))^2\\,dz.\\]\n\n因此，CRPS 在具有有限一阶绝对矩的分布类上是严格适当的。\n\n一个等价表达式为\n\n\\[\\operatorname{CRPS}(F,y) = \\mathbb E|X-y| -\\frac12\\mathbb E|X-X'|,\\]\n\n其中，\\(X\\) 和 \\(X'\\) 是从 \\(F\\) 中独立抽取的样本。这一表示便于利用预测样本进行计算。\n\nCRPS 与结果具有相同的物理单位。如果预测集中在单点 \\(x\\) 上，它就退化为 \\(|x-y|\\)。"
    },
    {
      "heading": "熵、散度与凸性",
      "text": "每个适当评分规则都定义了一种广义熵，也称贝叶斯风险：\n\n\\[H(P)=\\overline S(P,P).\\]\n\n由于如实报告使期望损失最小，\n\n\\[H(P)=\\inf_{Q\\in\\mathcal P}\\overline S(Q,P).\\]\n\n对于每个固定的 \\(Q\\)，期望损失都是 \\(P\\) 的线性函数。这些线性函数的下确界是凹函数，因此 \\(H\\) 在凸分布类上是凹的。\n\n相应的评分散度为\n\n\\[D_S(P,Q)=\\overline S(Q,P)-H(P).\\]\n\n适当性意味着 \\(D_S(P,Q)\\geq0\\)；严格适当性意味着它仅在 \\(P=Q\\) 时为零。这一散度不一定对称，也不一定满足三角不等式，因此通常不是度量。\n\n对于对数损失，\\(H\\) 是信息熵，而 \\(D_S\\) 是 KL 散度。对于多类别布里尔评分，\n\n\\[H(p)=1-\\sum_i p_i^2, \\qquad D_S(p,q)=\\sum_i(p_i-q_i)^2.\\]\n\n反过来，凹函数也可以生成适当评分。在有限维概率单纯形上，设 \\(H\\) 是可微凹函数。定义\n\n\\[S(q,i) = H(q)+\\nabla H(q)\\cdot(e_i-q),\\]\n\n其中，\\(e_i\\) 将全部概率赋予结果 \\(i\\)。由凹性可得\n\n\\[H(p)\\leq H(q)+\\nabla H(q)\\cdot(p-q) =\\mathbb E_p[S(q,Y)],\\]\n\n从而证明其适当性。在相应的可微性条件下，严格凹性可推出严格适当性。\n\n令 \\(F=-H\\)，则它是一个凸函数，所诱导的散度是布雷格曼散度：\n\n\\[D_S(p,q) = F(p)-F(q)-\\nabla F(q)\\cdot(p-q).\\]\n\n在边界点处，可以用适当的支撑超平面代替导数。"
    },
    {
      "heading": "分布预测与点预测",
      "text": "适当评分规则评价的是完整的概率分布。另一个相关但不同的理论，研究的是针对分布的点值特征所使用的损失。\n\n例如，均方误差所引导报告的是均值：\n\n\\[\\arg\\min_a\\mathbb E[(a-Y)^2]=\\mathbb E[Y],\\]\n\n前提是相关的矩存在。绝对误差所引导报告的是中位数，而分位数损失所引导报告的是指定的分位数。\n\n这类损失通常被称为对相应统计泛函具有一致性，而不是对整个分布具有严格适当性。两个分布可能具有相同的均值、中位数或分位数，因此，引导报告其中某个量并不能识别完整分布。\n\n同样，分类准确率评价的是类别决策，而不是概率分布。对于给出相同最可能类别的不同概率报告，它通常无法加以区分。"
    },
    {
      "heading": "预测评价与模型拟合",
      "text": "给定预测 \\(Q_t\\) 和实际结果 \\(y_t\\)，其平均评分为\n\n\\[\\frac1n\\sum_{t=1}^{n}S(Q_t,y_t).\\]\n\n在适当的抽样条件和相依性条件下，它可以估计期望预测损失。因此，适当评分规则既可为模型拟合提供目标函数，也可为包括交叉验证在内的样本外评价提供准则。\n\n只有当真实分布属于允许的预测范围时，严格适当性才能识别它。在设定有误的模型族中，拟合会根据所选评分选出最佳近似。不同的评分规则可能选出不同的近似。\n\n一个核心区别是校准性与锐度之间的区别。概率校准关注的是，在适当的重复预测意义下，预测概率与观测频率是否一致。锐度关注的是预测分布的集中程度。始终采用气候平均分布的预测可以是校准的，却不提供有用信息；高度集中的预测可以具有很高的锐度，却并不准确。适当评分评价整体预测表现，但单一的平均评分无法诊断所有形式的校准偏差。\n\n对于二元预测 \\(Q\\) 和结果 \\(Y\\)，定义\n\n\\[m(Q)=\\mathbb E[Y\\mid Q], \\qquad \\pi=\\mathbb E[Y].\\]\n\n总体布里尔评分可分解为\n\n\\[\\mathbb E[(Q-Y)^2] = \\mathbb E[(Q-m(Q))^2] -\\mathbb E[(m(Q)-\\pi)^2] +\\pi(1-\\pi).\\]\n\n这些项通常分别解释为可靠性误差、分辨率和不确定性。可靠性衡量预测值与相应条件事件频率之间的差异；分辨率衡量这些频率与事件总体发生率的差异程度。"
    },
    {
      "heading": "变换与局限",
      "text": "乘以正数以及加上仅依赖结果的偏移项，都能保持适当性。如果 \\(S\\) 是适当的，那么只要所需期望存在，\n\n\\[S'(Q,y)=aS(Q,y)+b(y),\\qquad a>0,\\]\n\n也是适当的。乘以正数也能保持严格适当性。\n\n任意的结果加权则不同。将对数损失乘以非常数的正权重 \\(w_i\\)，会使期望损失的最小化解变为\n\n\\[q_i=\\frac{w_i p_i}{\\sum_j w_jp_j},\\]\n\n而不再是 \\(p_i\\)。因此，对罕见结果赋予更高权重可能破坏适当性，除非规则经过专门构造以保持这一性质。\n\n其他局限包括：\n\n- **抽样不确定性：**有限数据集上的评分差异可能含有较大噪声，尤其是在结果罕见或观测之间存在相依性时。\n- **敏感性不同：**对于实际发生的事件，对数损失会强烈惩罚接近零的预测概率，而有界规则的表现则有所不同。\n- **诊断不完整：**平均评分相同，并不意味着校准性、尾部行为或子群体表现相同。\n- **决策依赖性：**具有普遍适当性的评价准则，不能替代选择行动时所需的、与具体应用相关的成本信息。\n- **适用域依赖性：**如果预测违反规则对支撑集、矩或正则性的假设，该规则的保证就可能失效。"
    },
    {
      "heading": "历史发展",
      "text": "格伦·W. 布里尔于 1950 年提出了如今以他命名的概率评分，用于评价天气预报。I. J. 古德于 1952 年讨论了对数评分。伦纳德·J. 萨维奇在 1971 年的研究中，将引导报告概率的问题与评分规则及其数学表示联系起来。\n\n此后，这一领域在统计决策理论、气象学、经济学和预测建模等学科中不断发展。适当评分、熵与凸性之间的关系，为具有激励相容性的概率报告和预测分布评价提供了共同框架。"
    }
  ],
  "links": [
    "probability-distribution",
    "statistics",
    "decision-theory",
    "machine-learning",
    "loss-function",
    "expected-value",
    "cross-entropy",
    "kullback-leibler-divergence",
    "probability-density-function",
    "maximum-likelihood-estimation",
    "brier-score",
    "indicator-function",
    "cauchy-schwarz-inequality",
    "cumulative-distribution-function",
    "continuous-ranked-probability-score",
    "information-entropy",
    "convex-function",
    "mean-squared-error",
    "median",
    "quantile",
    "cross-validation",
    "probability-calibration",
    "conditional-expectation"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}