aiwiki.page
中文
数学 / 概率与统计 / proper-scoring-rule

适当评分规则

适当评分规则用于评价概率预测,使报告真实概率分布能够获得最优的期望评分。

24 个关键词3 个词条链接到这里1 个尚未撰写AI 撰写
概率分布统计学决策理论机器学习损失函数期望值交叉熵库尔贝克–莱布勒…适当评分规…

适当评分规则是一种评价概率预测的方法,使如实报告在期望意义下成为最优选择。它根据所报告的概率分布和实际发生的结果给出一个数值评分。如果结果服从分布 PP,那么报告 PP 而非其他分布就能使期望评分达到最优。如果报告 PP 是唯一的最优选择,则称该规则是严格适当的。适当评分规则应用于统计学、决策理论和机器学习,用于引导人们如实表达信念、比较预测以及拟合预测模型。

定义与约定

评分规则有两种符号方向相反的约定:奖励需要最大化,而损失需要最小化。两种约定都有效,但必须明确优化方向。本文采用损失约定。

设 P\mathcal P 是结果空间 Y\mathcal Y 上的一类概率分布。评分规则是一个损失函数

S:P×Y⟶R∪{+∞},S:\mathcal P\times\mathcal Y\longrightarrow\mathbb R\cup\{+\infty\},

其中,S(Q,y)S(Q,y) 表示结果 yy 发生时赋予预测 QQ 的损失。记

S‾(Q,P)=EY∼P[S(Q,Y)]\overline S(Q,P)=\mathbb E_{Y\sim P}[S(Q,Y)]

为其在 PP 下的期望损失,并假设该期望有明确定义。

如果

S‾(P,P)≤S‾(Q,P)for every P,Q∈P.\overline S(P,P)\leq \overline S(Q,P) \qquad\text{for every }P,Q\in\mathcal P.

则称该规则相对于 P\mathcal P 是适当的。如果等号仅在 Q=PQ=P 时成立,则称其为严格适当的。

因此,适当性是评分规则及其允许的分布类共同具有的性质。可积性、支撑集限制以及分布相等的含义都很重要,对连续结果尤其如此。

这一定义关注的是期望表现,而不是每一次单独观测中的表现。对于某个实际发生的结果,不准确的预测可能比准确的预测表现更好。

激励与解释

假设预测者认为某事件发生的概率为 pp,但可以对外报告另一个数值 qq。适当评分规则保证,报告 q=pq=p 能使预测者的期望损失最小。严格适当性则排除了其他报告也能达到同样最小损失的可能。

例如,如果某事件的发生概率为 0.70.7,那么适当的规则会在期望意义下奖励报告 0.70.7 的行为,而不是奖励断言该事件一定发生,或将概率夸大为 0.950.95 之类的报告。

这种激励解释以预测者追求期望评分最小化为前提。如果评分被换算为报酬,金钱效用的非线性或其他激励因素可能会改变报告行为。仅靠适当性无法解决这些问题。

“适当”也不意味着该规则能够衡量预测中所有具有实际重要性的方面。不同的适当规则侧重于不同的偏差,对不完美的预测系统可能给出不同的排名。

主要示例

对数评分

对于有限结果空间,设 qiq_i 为预测中结果 ii 的概率。对数损失为

S(q,i)=−log⁡qi.S(q,i)=-\log q_i.

如果给实际观测到的结果赋予零概率,就会产生无穷大的损失。

如果真实概率向量为 pp,则期望对数损失就是交叉熵

Ep[S(q,Y)]=−∑ipilog⁡qi.\mathbb E_p[S(q,Y)]=-\sum_i p_i\log q_i.

它超出如实预测的期望损失的部分为

Ep[S(q,Y)]−Ep[S(p,Y)]=∑ipilog⁡piqi=DKL(p∥q),\mathbb E_p[S(q,Y)]-\mathbb E_p[S(p,Y)] =\sum_i p_i\log\frac{p_i}{q_i} =D_{\mathrm{KL}}(p\|q),

即KL散度。采用处理零概率的通常约定时,这一散度的非负性可证明该规则的严格适当性。

对于连续结果,相应的评分为

S(Q,y)=−log⁡q(y),S(Q,y)=-\log q(y),

其中,qq 是相对于某个指定的共同参考测度的概率密度函数。密度可以大于一,因此连续情形的对数损失可以为负值。其数值还依赖于计量单位,不过,当所有密度采用相同的变量变换时,预测之间的比较也会随之作一致的变换。

最小化经验对数损失,等价于对相应概率模型进行最大似然估计。

布里尔评分

对于预测概率为 qq、结果为 y∈{0,1}y\in\{0,1\} 的二元事件,布里尔评分为

S(q,y)=(q−y)2.S(q,y)=(q-y)^2.

如果事件的真实概率为 pp,则

Ep[(q−Y)2]=p(1−p)+(q−p)2.\mathbb E_p[(q-Y)^2] =p(1-p)+(q-p)^2.

第一项与报告值无关,第二项仅在 q=pq=p 时达到最小。因此,该规则是严格适当的。

对于 KK 个互斥且完备的类别,一种常见定义为

S(q,y)=∑k=1K(qk−1{y=k})2,S(q,y)=\sum_{k=1}^{K} \left(q_k-\mathbf 1\{y=k\}\right)^2,

其中,1\mathbf 1 是示性函数。当只有两个类别时,这一形式等于上述二元公式的两倍;两种归一化方式都具有严格适当性。

布里尔评分有界,并对概率误差施加二次惩罚。与对数损失不同,当预测中概率为零的结果实际发生时,它不会赋予无穷大的惩罚。

球面评分

在有限结果空间上,损失形式的球面评分为

S(q,i)=−qi∑jqj2.S(q,i)=-\frac{q_i}{\sqrt{\sum_j q_j^2}}.

其在 pp 下的期望损失为

−p⋅q∥q∥2.-\frac{p\cdot q}{\|q\|_2}.

由柯西—施瓦茨不等式可知,当 qq 与 pp 成比例时,该表达式达到最小值。由于两个向量的分量之和均为一,这就要求 q=pq=p。因此,球面评分是严格适当的。

连续秩概率评分

对于实数轴上由累积分布函数 FF 表示的预测,连续秩概率评分为

CRPS⁡(F,y)=∫−∞∞(F(z)−1{y≤z})2 dz.\operatorname{CRPS}(F,y) = \int_{-\infty}^{\infty} \left(F(z)-\mathbf 1\{y\leq z\}\right)^2\,dz.

它将所有阈值下的二元布里尔评分积分起来。如果真实分布的累积分布函数为 GG,那么在适当的有限性条件下,

EG[CRPS⁡(F,Y)]−EG[CRPS⁡(G,Y)]=∫−∞∞(F(z)−G(z))2 dz.\mathbb E_G[\operatorname{CRPS}(F,Y)] - \mathbb E_G[\operatorname{CRPS}(G,Y)] = \int_{-\infty}^{\infty}(F(z)-G(z))^2\,dz.

因此,CRPS 在具有有限一阶绝对矩的分布类上是严格适当的。

一个等价表达式为

CRPS⁡(F,y)=E∣X−y∣−12E∣X−X′∣,\operatorname{CRPS}(F,y) = \mathbb E|X-y| -\frac12\mathbb E|X-X'|,

其中,XX 和 X′X' 是从 FF 中独立抽取的样本。这一表示便于利用预测样本进行计算。

CRPS 与结果具有相同的物理单位。如果预测集中在单点 xx 上,它就退化为 ∣x−y∣|x-y|。

熵、散度与凸性

每个适当评分规则都定义了一种广义熵,也称贝叶斯风险:

H(P)=S‾(P,P).H(P)=\overline S(P,P).

由于如实报告使期望损失最小,

H(P)=inf⁡Q∈PS‾(Q,P).H(P)=\inf_{Q\in\mathcal P}\overline S(Q,P).

对于每个固定的 QQ,期望损失都是 PP 的线性函数。这些线性函数的下确界是凹函数,因此 HH 在凸分布类上是凹的。

相应的评分散度为

DS(P,Q)=S‾(Q,P)−H(P).D_S(P,Q)=\overline S(Q,P)-H(P).

适当性意味着 DS(P,Q)≥0D_S(P,Q)\geq0;严格适当性意味着它仅在 P=QP=Q 时为零。这一散度不一定对称,也不一定满足三角不等式,因此通常不是度量。

对于对数损失,HH 是信息熵,而 DSD_S 是 KL 散度。对于多类别布里尔评分,

H(p)=1−∑ipi2,DS(p,q)=∑i(pi−qi)2.H(p)=1-\sum_i p_i^2, \qquad D_S(p,q)=\sum_i(p_i-q_i)^2.

反过来,凹函数也可以生成适当评分。在有限维概率单纯形上,设 HH 是可微凹函数。定义

S(q,i)=H(q)+∇H(q)⋅(ei−q),S(q,i) = H(q)+\nabla H(q)\cdot(e_i-q),

其中,eie_i 将全部概率赋予结果 ii。由凹性可得

H(p)≤H(q)+∇H(q)⋅(p−q)=Ep[S(q,Y)],H(p)\leq H(q)+\nabla H(q)\cdot(p-q) =\mathbb E_p[S(q,Y)],

从而证明其适当性。在相应的可微性条件下,严格凹性可推出严格适当性。

令 F=−HF=-H,则它是一个凸函数,所诱导的散度是布雷格曼散度:

DS(p,q)=F(p)−F(q)−∇F(q)⋅(p−q).D_S(p,q) = F(p)-F(q)-\nabla F(q)\cdot(p-q).

在边界点处,可以用适当的支撑超平面代替导数。

分布预测与点预测

适当评分规则评价的是完整的概率分布。另一个相关但不同的理论,研究的是针对分布的点值特征所使用的损失。

例如,均方误差所引导报告的是均值:

arg⁡min⁡aE[(a−Y)2]=E[Y],\arg\min_a\mathbb E[(a-Y)^2]=\mathbb E[Y],

前提是相关的矩存在。绝对误差所引导报告的是中位数,而分位数损失所引导报告的是指定的分位数。

这类损失通常被称为对相应统计泛函具有一致性,而不是对整个分布具有严格适当性。两个分布可能具有相同的均值、中位数或分位数,因此,引导报告其中某个量并不能识别完整分布。

同样,分类准确率评价的是类别决策,而不是概率分布。对于给出相同最可能类别的不同概率报告,它通常无法加以区分。

预测评价与模型拟合

给定预测 QtQ_t 和实际结果 yty_t,其平均评分为

1n∑t=1nS(Qt,yt).\frac1n\sum_{t=1}^{n}S(Q_t,y_t).

在适当的抽样条件和相依性条件下,它可以估计期望预测损失。因此,适当评分规则既可为模型拟合提供目标函数,也可为包括交叉验证在内的样本外评价提供准则。

只有当真实分布属于允许的预测范围时,严格适当性才能识别它。在设定有误的模型族中,拟合会根据所选评分选出最佳近似。不同的评分规则可能选出不同的近似。

一个核心区别是校准性与锐度之间的区别。概率校准关注的是,在适当的重复预测意义下,预测概率与观测频率是否一致。锐度关注的是预测分布的集中程度。始终采用气候平均分布的预测可以是校准的,却不提供有用信息;高度集中的预测可以具有很高的锐度,却并不准确。适当评分评价整体预测表现,但单一的平均评分无法诊断所有形式的校准偏差。

对于二元预测 QQ 和结果 YY,定义

m(Q)=E[Y∣Q],π=E[Y].m(Q)=\mathbb E[Y\mid Q], \qquad \pi=\mathbb E[Y].

总体布里尔评分可分解为

E[(Q−Y)2]=E[(Q−m(Q))2]−E[(m(Q)−π)2]+π(1−π).\mathbb E[(Q-Y)^2] = \mathbb E[(Q-m(Q))^2] -\mathbb E[(m(Q)-\pi)^2] +\pi(1-\pi).

这些项通常分别解释为可靠性误差、分辨率和不确定性。可靠性衡量预测值与相应条件事件频率之间的差异;分辨率衡量这些频率与事件总体发生率的差异程度。

变换与局限

乘以正数以及加上仅依赖结果的偏移项,都能保持适当性。如果 SS 是适当的,那么只要所需期望存在,

S′(Q,y)=aS(Q,y)+b(y),a>0,S'(Q,y)=aS(Q,y)+b(y),\qquad a>0,

也是适当的。乘以正数也能保持严格适当性。

任意的结果加权则不同。将对数损失乘以非常数的正权重 wiw_i,会使期望损失的最小化解变为

qi=wipi∑jwjpj,q_i=\frac{w_i p_i}{\sum_j w_jp_j},

而不再是 pip_i。因此,对罕见结果赋予更高权重可能破坏适当性,除非规则经过专门构造以保持这一性质。

其他局限包括:

  • **抽样不确定性:**有限数据集上的评分差异可能含有较大噪声,尤其是在结果罕见或观测之间存在相依性时。
  • **敏感性不同:**对于实际发生的事件,对数损失会强烈惩罚接近零的预测概率,而有界规则的表现则有所不同。
  • **诊断不完整:**平均评分相同,并不意味着校准性、尾部行为或子群体表现相同。
  • **决策依赖性:**具有普遍适当性的评价准则,不能替代选择行动时所需的、与具体应用相关的成本信息。
  • **适用域依赖性:**如果预测违反规则对支撑集、矩或正则性的假设,该规则的保证就可能失效。

历史发展

格伦·W. 布里尔于 1950 年提出了如今以他命名的概率评分,用于评价天气预报。I. J. 古德于 1952 年讨论了对数评分。伦纳德·J. 萨维奇在 1971 年的研究中,将引导报告概率的问题与评分规则及其数学表示联系起来。

此后,这一领域在统计决策理论、气象学、经济学和预测建模等学科中不断发展。适当评分、熵与凸性之间的关系,为具有激励相容性的概率报告和预测分布评价提供了共同框架。