适当评分规则 是一种评价概率预测的方法,使如实报告在期望意义下成为最优选择。它根据所报告的概率分布 和实际发生的结果给出一个数值评分。如果结果服从分布 P P P ,那么报告 P P P 而非其他分布就能使期望评分达到最优。如果报告 P P P 是唯一的最优选择,则称该规则是严格适当的 。适当评分规则应用于统计学 、决策理论 和机器学习 ,用于引导人们如实表达信念、比较预测以及拟合预测模型。
定义与约定 评分规则有两种符号方向相反的约定:奖励 需要最大化,而损失 需要最小化。两种约定都有效,但必须明确优化方向。本文采用损失约定。
设 P \mathcal P P 是结果空间 Y \mathcal Y Y 上的一类概率分布。评分规则是一个损失函数
S : P × Y ⟶ R ∪ { + ∞ } , S:\mathcal P\times\mathcal Y\longrightarrow\mathbb R\cup\{+\infty\}, S : P × Y ⟶ R ∪ { + ∞ } ,
其中,S ( Q , y ) S(Q,y) S ( Q , y ) 表示结果 y y y 发生时赋予预测 Q Q Q 的损失。记
S ‾ ( Q , P ) = E Y ∼ P [ S ( Q , Y ) ] \overline S(Q,P)=\mathbb E_{Y\sim P}[S(Q,Y)] S ( Q , P ) = E Y ∼ P [ S ( Q , Y )]
为其在 P P P 下的期望损失 ,并假设该期望有明确定义。
如果
S ‾ ( P , P ) ≤ S ‾ ( Q , P ) for every P , Q ∈ P . \overline S(P,P)\leq \overline S(Q,P) \qquad\text{for every }P,Q\in\mathcal P. S ( P , P ) ≤ S ( Q , P ) for every P , Q ∈ P .
则称该规则相对于 P \mathcal P P 是适当的 。如果等号仅在 Q = P Q=P Q = P 时成立,则称其为严格适当的 。
因此,适当性是评分规则及其允许的分布类共同具有的性质。可积性、支撑集限制以及分布相等的含义都很重要,对连续结果尤其如此。
这一定义关注的是期望表现,而不是每一次单独观测中的表现。对于某个实际发生的结果,不准确的预测可能比准确的预测表现更好。
激励与解释 假设预测者认为某事件发生的概率为 p p p ,但可以对外报告另一个数值 q q q 。适当评分规则保证,报告 q = p q=p q = p 能使预测者的期望损失最小。严格适当性则排除了其他报告也能达到同样最小损失的可能。
例如,如果某事件的发生概率为 0.7 0.7 0.7 ,那么适当的规则会在期望意义下奖励报告 0.7 0.7 0.7 的行为,而不是奖励断言该事件一定发生,或将概率夸大为 0.95 0.95 0.95 之类的报告。
这种激励解释以预测者追求期望评分最小化为前提。如果评分被换算为报酬,金钱效用的非线性或其他激励因素可能会改变报告行为。仅靠适当性无法解决这些问题。
“适当”也不意味着该规则能够衡量预测中所有具有实际重要性的方面。不同的适当规则侧重于不同的偏差,对不完美的预测系统可能给出不同的排名。
主要示例 对数评分
对于有限结果空间,设 q i q_i q i 为预测中结果 i i i 的概率。对数损失为
S ( q , i ) = − log q i . S(q,i)=-\log q_i. S ( q , i ) = − log q i .
如果给实际观测到的结果赋予零概率,就会产生无穷大的损失。
如果真实概率向量为 p p p ,则期望对数损失就是交叉熵
E p [ S ( q , Y ) ] = − ∑ i p i log q i . \mathbb E_p[S(q,Y)]=-\sum_i p_i\log q_i. E p [ S ( q , Y )] = − i ∑ p i log q i .
它超出如实预测的期望损失的部分为
E p [ S ( q , Y ) ] − E p [ S ( p , Y ) ] = ∑ i p i log p i q i = D K L ( p ∥ q ) , \mathbb E_p[S(q,Y)]-\mathbb E_p[S(p,Y)] =\sum_i p_i\log\frac{p_i}{q_i} =D_{\mathrm{KL}}(p\|q), E p [ S ( q , Y )] − E p [ S ( p , Y )] = i ∑ p i log q i p i = D KL ( p ∥ q ) ,
即KL散度 。采用处理零概率的通常约定时,这一散度的非负性可证明该规则的严格适当性。
对于连续结果,相应的评分为
S ( Q , y ) = − log q ( y ) , S(Q,y)=-\log q(y), S ( Q , y ) = − log q ( y ) ,
其中,q q q 是相对于某个指定的共同参考测度的概率密度函数 。密度可以大于一,因此连续情形的对数损失可以为负值。其数值还依赖于计量单位,不过,当所有密度采用相同的变量变换时,预测之间的比较也会随之作一致的变换。
最小化经验对数损失,等价于对相应概率模型进行最大似然估计 。
布里尔评分
对于预测概率为 q q q 、结果为 y ∈ { 0 , 1 } y\in\{0,1\} y ∈ { 0 , 1 } 的二元事件,布里尔评分 为
S ( q , y ) = ( q − y ) 2 . S(q,y)=(q-y)^2. S ( q , y ) = ( q − y ) 2 .
如果事件的真实概率为 p p p ,则
E p [ ( q − Y ) 2 ] = p ( 1 − p ) + ( q − p ) 2 . \mathbb E_p[(q-Y)^2] =p(1-p)+(q-p)^2. E p [( q − Y ) 2 ] = p ( 1 − p ) + ( q − p ) 2 .
第一项与报告值无关,第二项仅在 q = p q=p q = p 时达到最小。因此,该规则是严格适当的。
对于 K K K 个互斥且完备的类别,一种常见定义为
S ( q , y ) = ∑ k = 1 K ( q k − 1 { y = k } ) 2 , S(q,y)=\sum_{k=1}^{K} \left(q_k-\mathbf 1\{y=k\}\right)^2, S ( q , y ) = k = 1 ∑ K ( q k − 1 { y = k } ) 2 ,
其中,1 \mathbf 1 1 是示性函数 。当只有两个类别时,这一形式等于上述二元公式的两倍;两种归一化方式都具有严格适当性。
布里尔评分有界,并对概率误差施加二次惩罚。与对数损失不同,当预测中概率为零的结果实际发生时,它不会赋予无穷大的惩罚。
球面评分
在有限结果空间上,损失形式的球面评分为
S ( q , i ) = − q i ∑ j q j 2 . S(q,i)=-\frac{q_i}{\sqrt{\sum_j q_j^2}}. S ( q , i ) = − ∑ j q j 2 q i .
其在 p p p 下的期望损失为
− p ⋅ q ∥ q ∥ 2 . -\frac{p\cdot q}{\|q\|_2}. − ∥ q ∥ 2 p ⋅ q .
由柯西—施瓦茨不等式 可知,当 q q q 与 p p p 成比例时,该表达式达到最小值。由于两个向量的分量之和均为一,这就要求 q = p q=p q = p 。因此,球面评分是严格适当的。
连续秩概率评分
对于实数轴上由累积分布函数 F F F 表示的预测,连续秩概率评分 为
CRPS ( F , y ) = ∫ − ∞ ∞ ( F ( z ) − 1 { y ≤ z } ) 2 d z . \operatorname{CRPS}(F,y) = \int_{-\infty}^{\infty} \left(F(z)-\mathbf 1\{y\leq z\}\right)^2\,dz. CRPS ( F , y ) = ∫ − ∞ ∞ ( F ( z ) − 1 { y ≤ z } ) 2 d z .
它将所有阈值下的二元布里尔评分积分起来。如果真实分布的累积分布函数为 G G G ,那么在适当的有限性条件下,
E G [ CRPS ( F , Y ) ] − E G [ CRPS ( G , Y ) ] = ∫ − ∞ ∞ ( F ( z ) − G ( z ) ) 2 d z . \mathbb E_G[\operatorname{CRPS}(F,Y)] - \mathbb E_G[\operatorname{CRPS}(G,Y)] = \int_{-\infty}^{\infty}(F(z)-G(z))^2\,dz. E G [ CRPS ( F , Y )] − E G [ CRPS ( G , Y )] = ∫ − ∞ ∞ ( F ( z ) − G ( z ) ) 2 d z .
因此,CRPS 在具有有限一阶绝对矩的分布类上是严格适当的。
一个等价表达式为
CRPS ( F , y ) = E ∣ X − y ∣ − 1 2 E ∣ X − X ′ ∣ , \operatorname{CRPS}(F,y) = \mathbb E|X-y| -\frac12\mathbb E|X-X'|, CRPS ( F , y ) = E ∣ X − y ∣ − 2 1 E ∣ X − X ′ ∣ ,
其中,X X X 和 X ′ X' X ′ 是从 F F F 中独立抽取的样本。这一表示便于利用预测样本进行计算。
CRPS 与结果具有相同的物理单位。如果预测集中在单点 x x x 上,它就退化为 ∣ x − y ∣ |x-y| ∣ x − y ∣ 。
熵、散度与凸性 每个适当评分规则都定义了一种广义熵,也称贝叶斯风险:
H ( P ) = S ‾ ( P , P ) . H(P)=\overline S(P,P). H ( P ) = S ( P , P ) .
由于如实报告使期望损失最小,
H ( P ) = inf Q ∈ P S ‾ ( Q , P ) . H(P)=\inf_{Q\in\mathcal P}\overline S(Q,P). H ( P ) = Q ∈ P inf S ( Q , P ) .
对于每个固定的 Q Q Q ,期望损失都是 P P P 的线性函数。这些线性函数的下确界是凹函数,因此 H H H 在凸分布类上是凹的。
相应的评分散度为
D S ( P , Q ) = S ‾ ( Q , P ) − H ( P ) . D_S(P,Q)=\overline S(Q,P)-H(P). D S ( P , Q ) = S ( Q , P ) − H ( P ) .
适当性意味着 D S ( P , Q ) ≥ 0 D_S(P,Q)\geq0 D S ( P , Q ) ≥ 0 ;严格适当性意味着它仅在 P = Q P=Q P = Q 时为零。这一散度不一定对称,也不一定满足三角不等式,因此通常不是度量。
对于对数损失,H H H 是信息熵 ,而 D S D_S D S 是 KL 散度。对于多类别布里尔评分,
H ( p ) = 1 − ∑ i p i 2 , D S ( p , q ) = ∑ i ( p i − q i ) 2 . H(p)=1-\sum_i p_i^2, \qquad D_S(p,q)=\sum_i(p_i-q_i)^2. H ( p ) = 1 − i ∑ p i 2 , D S ( p , q ) = i ∑ ( p i − q i ) 2 .
反过来,凹函数也可以生成适当评分。在有限维概率单纯形上,设 H H H 是可微凹函数。定义
S ( q , i ) = H ( q ) + ∇ H ( q ) ⋅ ( e i − q ) , S(q,i) = H(q)+\nabla H(q)\cdot(e_i-q), S ( q , i ) = H ( q ) + ∇ H ( q ) ⋅ ( e i − q ) ,
其中,e i e_i e i 将全部概率赋予结果 i i i 。由凹性可得
H ( p ) ≤ H ( q ) + ∇ H ( q ) ⋅ ( p − q ) = E p [ S ( q , Y ) ] , H(p)\leq H(q)+\nabla H(q)\cdot(p-q) =\mathbb E_p[S(q,Y)], H ( p ) ≤ H ( q ) + ∇ H ( q ) ⋅ ( p − q ) = E p [ S ( q , Y )] ,
从而证明其适当性。在相应的可微性条件下,严格凹性可推出严格适当性。
令 F = − H F=-H F = − H ,则它是一个凸函数 ,所诱导的散度是布雷格曼散度 :
D S ( p , q ) = F ( p ) − F ( q ) − ∇ F ( q ) ⋅ ( p − q ) . D_S(p,q) = F(p)-F(q)-\nabla F(q)\cdot(p-q). D S ( p , q ) = F ( p ) − F ( q ) − ∇ F ( q ) ⋅ ( p − q ) .
在边界点处,可以用适当的支撑超平面代替导数。
分布预测与点预测 适当评分规则评价的是完整的概率分布。另一个相关但不同的理论,研究的是针对分布的点值特征所使用的损失。
例如,均方误差 所引导报告的是均值:
arg min a E [ ( a − Y ) 2 ] = E [ Y ] , \arg\min_a\mathbb E[(a-Y)^2]=\mathbb E[Y], arg a min E [( a − Y ) 2 ] = E [ Y ] ,
前提是相关的矩存在。绝对误差所引导报告的是中位数 ,而分位数损失所引导报告的是指定的分位数 。
这类损失通常被称为对相应统计泛函具有一致性 ,而不是对整个分布具有严格适当性。两个分布可能具有相同的均值、中位数或分位数,因此,引导报告其中某个量并不能识别完整分布。
同样,分类准确率评价的是类别决策,而不是概率分布。对于给出相同最可能类别的不同概率报告,它通常无法加以区分。
预测评价与模型拟合 给定预测 Q t Q_t Q t 和实际结果 y t y_t y t ,其平均评分为
1 n ∑ t = 1 n S ( Q t , y t ) . \frac1n\sum_{t=1}^{n}S(Q_t,y_t). n 1 t = 1 ∑ n S ( Q t , y t ) .
在适当的抽样条件和相依性条件下,它可以估计期望预测损失。因此,适当评分规则既可为模型拟合提供目标函数,也可为包括交叉验证 在内的样本外评价提供准则。
只有当真实分布属于允许的预测范围时,严格适当性才能识别它。在设定有误的模型族中,拟合会根据所选评分选出最佳近似。不同的评分规则可能选出不同的近似。
一个核心区别是校准性 与锐度 之间的区别。概率校准 关注的是,在适当的重复预测意义下,预测概率与观测频率是否一致。锐度关注的是预测分布的集中程度。始终采用气候平均分布的预测可以是校准的,却不提供有用信息;高度集中的预测可以具有很高的锐度,却并不准确。适当评分评价整体预测表现,但单一的平均评分无法诊断所有形式的校准偏差。
对于二元预测 Q Q Q 和结果 Y Y Y ,定义
m ( Q ) = E [ Y ∣ Q ] , π = E [ Y ] . m(Q)=\mathbb E[Y\mid Q], \qquad \pi=\mathbb E[Y]. m ( Q ) = E [ Y ∣ Q ] , π = E [ Y ] .
总体布里尔评分可分解为
E [ ( Q − Y ) 2 ] = E [ ( Q − m ( Q ) ) 2 ] − E [ ( m ( Q ) − π ) 2 ] + π ( 1 − π ) . \mathbb E[(Q-Y)^2] = \mathbb E[(Q-m(Q))^2] -\mathbb E[(m(Q)-\pi)^2] +\pi(1-\pi). E [( Q − Y ) 2 ] = E [( Q − m ( Q ) ) 2 ] − E [( m ( Q ) − π ) 2 ] + π ( 1 − π ) .
这些项通常分别解释为可靠性误差、分辨率和不确定性。可靠性衡量预测值与相应条件事件频率 之间的差异;分辨率衡量这些频率与事件总体发生率的差异程度。
变换与局限 乘以正数以及加上仅依赖结果的偏移项,都能保持适当性。如果 S S S 是适当的,那么只要所需期望存在,
S ′ ( Q , y ) = a S ( Q , y ) + b ( y ) , a > 0 , S'(Q,y)=aS(Q,y)+b(y),\qquad a>0, S ′ ( Q , y ) = a S ( Q , y ) + b ( y ) , a > 0 ,
也是适当的。乘以正数也能保持严格适当性。
任意的结果加权则不同。将对数损失乘以非常数的正权重 w i w_i w i ,会使期望损失的最小化解变为
q i = w i p i ∑ j w j p j , q_i=\frac{w_i p_i}{\sum_j w_jp_j}, q i = ∑ j w j p j w i p i ,
而不再是 p i p_i p i 。因此,对罕见结果赋予更高权重可能破坏适当性,除非规则经过专门构造以保持这一性质。
其他局限包括:
**抽样不确定性:**有限数据集上的评分差异可能含有较大噪声,尤其是在结果罕见或观测之间存在相依性时。
**敏感性不同:**对于实际发生的事件,对数损失会强烈惩罚接近零的预测概率,而有界规则的表现则有所不同。
**诊断不完整:**平均评分相同,并不意味着校准性、尾部行为或子群体表现相同。
**决策依赖性:**具有普遍适当性的评价准则,不能替代选择行动时所需的、与具体应用相关的成本信息。
**适用域依赖性:**如果预测违反规则对支撑集、矩或正则性的假设,该规则的保证就可能失效。
历史发展 格伦·W. 布里尔于 1950 年提出了如今以他命名的概率评分,用于评价天气预报。I. J. 古德于 1952 年讨论了对数评分。伦纳德·J. 萨维奇在 1971 年的研究中,将引导报告概率的问题与评分规则及其数学表示联系起来。
此后,这一领域在统计决策理论、气象学、经济学和预测建模等学科中不断发展。适当评分、熵与凸性之间的关系,为具有激励相容性的概率报告和预测分布评价提供了共同框架。