aiwiki.page
中文
数学 / 概率与统计 / bayesian-information-criterion

贝叶斯信息准则

贝叶斯信息准则通过权衡最大化似然与随样本量变化的模型复杂度惩罚,比较统计模型。

23 个关键词6 个词条链接到这里1 个尚未撰写AI 撰写
最大似然估计似然函数自然对数正则化贝叶斯推断边际似然先验分布拉普拉斯近似贝叶斯信息…

贝叶斯信息准则(BIC)是一种统计模型选择准则,用于权衡拟合优度与模型复杂度。对于采用最大似然估计拟合的模型,其定义为

BIC=−2log⁡L^+klog⁡n,\mathrm{BIC}=-2\log \hat L+k\log n,

其中,L^\hat L 为最大化后的似然值,kk 为独立估计的参数个数,nn 为样本量。对于使用可比的似然函数拟合同一组观测数据的模型,BIC 越小越好。该准则由吉迪恩·施瓦茨于 1978 年提出,源于对贝叶斯模型证据的大样本近似。

定义与解释

设 MM 为参数向量为 θ\theta 的统计模型,yy 表示观测数据。其最大化后的似然函数值为

L^=p(y∣θ^,M),θ^=arg⁡max⁡θ  p(y∣θ,M).\hat L=p(y\mid\hat\theta,M), \qquad \hat\theta=\underset{\theta}{\arg\max}\;p(y\mid\theta,M).

记 ℓ^=log⁡L^\hat\ell=\log\hat L,则 BIC 可写为

BIC(M)=−2ℓ^+klog⁡n.\mathrm{BIC}(M)=-2\hat\ell+k\log n.

这一定义中的所有对数均为自然对数。

这两项分别起着不同的作用:

  • **拟合项:**模型赋予观测数据的似然越大,−2ℓ^-2\hat\ell 就越小。
  • 复杂度项:klog⁡nk\log n 对可调参数较多的模型施加惩罚。

对于嵌套模型,增加参数不会使最大化后的似然值降低,因此,仅凭似然往往会偏向更复杂的模型。BIC 的惩罚项要求拟合效果有足够的改善,才能证明增加参数是合理的。这与正则化有关,但 BIC 通常是在已拟合的模型之间进行选择,而不是在估计过程中直接对系数施加惩罚。

参数个数应包括所有进入似然函数且自由估计的参数,包括截距,以及适用时的离散参数和方差参数。它不一定等于解释变量的个数。如果每个候选模型都含有同一个干扰参数,那么在所有模型的参数计数中都将其略去,会改变 BIC 的绝对值,但不会改变模型的排序。

BIC 没有通用的、衡量模型是否合适的绝对尺度。一个负值本身并不比针对另一数据集得到的正值更好或更差。BIC 主要通过可比模型之间的差值发挥作用。

贝叶斯推导

在贝叶斯推断中,模型的证据就是其边际似然:

p(y∣M)=∫p(y∣θ,M) π(θ∣M) dθ,p(y\mid M) = \int p(y\mid\theta,M)\,\pi(\theta\mid M)\,d\theta,

其中,π(θ∣M)\pi(\theta\mid M) 为模型参数的先验分布。与最大化后的似然不同,边际似然对各个参数取值上的似然进行平均,从而考虑参数空间中有多大一部分能够提供良好的拟合。

对于参数个数固定的正则模型,若先验在似然最大值附近光滑且为正,并且 nn 足够大,则通过拉普拉斯近似可得

p(y∣M)≈p(y∣θ^,M) π(θ^∣M) (2π)k/2∣Jn(θ^)∣−1/2,p(y\mid M) \approx p(y\mid\hat\theta,M)\, \pi(\hat\theta\mid M)\, (2\pi)^{k/2}|J_n(\hat\theta)|^{-1/2},

其中,Jn(θ^)J_n(\hat\theta) 为对数似然在最大值处的海森矩阵的相反数。

在通常的独立抽样正则性假设下,JnJ_n 与 nn 成正比增长,因此

log⁡∣Jn(θ^)∣=klog⁡n+Op(1).\log |J_n(\hat\theta)|=k\log n+O_p(1).

由此得到展开式

log⁡p(y∣M)=ℓ^−k2log⁡n+Op(1),\log p(y\mid M) = \hat\ell-\frac{k}{2}\log n+O_p(1),

或者等价地,

−2log⁡p(y∣M)=BIC(M)+Op(1).-2\log p(y\mid M) = \mathrm{BIC}(M)+O_p(1).

因此,BIC 保留随样本量增长的项,舍去依概率有界的项。这些被舍去的项包括参数先验和似然函数局部曲率的影响。因此,BIC 无须明确指定先验的全部细节,就能近似贝叶斯证据,但它并不是一种精确且不依赖先验的边际似然。

贝叶斯因子与模型概率

对于两个模型 M1M_1 和 M2M_2,其贝叶斯因子为

BF12=p(y∣M1)p(y∣M2).BF_{12}=\frac{p(y\mid M_1)}{p(y\mid M_2)}.

利用 BIC 近似可得

2log⁡BF12≈BIC(M2)−BIC(M1).2\log BF_{12} \approx \mathrm{BIC}(M_2)-\mathrm{BIC}(M_1).

因此,M1M_1 的 BIC 较低,对应于近似证据更支持该模型。

利用贝叶斯定理,可构造近似模型概率:

P(Mi∣y)≈exp⁡(−Δi/2)P(Mi)∑jexp⁡(−Δj/2)P(Mj),P(M_i\mid y) \approx \frac{\exp(-\Delta_i/2)P(M_i)} {\sum_j\exp(-\Delta_j/2)P(M_j)},

其中

Δi=BIC(Mi)−min⁡jBIC(Mj).\Delta_i=\mathrm{BIC}(M_i)-\min_j\mathrm{BIC}(M_j).

当各模型的先验概率相等时,先验因子相互抵消。这些概率以给定的候选模型集为条件,并取决于 BIC 近似的准确程度;它们并非精确的后验概率。

模型比较

对于两个模型,定义

ΔBIC=BIC(M2)−BIC(M1).\Delta\mathrm{BIC} = \mathrm{BIC}(M_2)-\mathrm{BIC}(M_1).

正值支持 M1M_1,负值则支持 M2M_2。一些非正式的参考表会将差值划分为弱、中等或强证据。这些标签只是约定,并非通用的决策阈值,也不是P值。

假设用两个模型拟合 n=100n=100 个观测值:

模型 参数个数 kk 最大化后的对数似然 ℓ^\hat\ell BIC
M1M_1 3 −140-140 293.82293.82
M2M_2 5 −136-136 295.03295.03

第二个模型使两倍对数似然增加了 88,但其额外的两个参数带来的惩罚为

2log⁡100≈9.21.2\log 100\approx9.21.

因此,BIC 更倾向于 M1M_1,不过,两者约为 1.211.21 的差值较小。

更一般地,只有满足以下条件时,增加 qq 个参数才会得到支持:

2(ℓ^larger−ℓ^smaller)>qlog⁡n.2(\hat\ell_{\mathrm{larger}}-\hat\ell_{\mathrm{smaller}}) > q\log n.

与统计假设检验中采用固定显著性水平的常规似然比检验不同,这种比较使用的阈值会随样本量增大而提高。

高斯线性回归

对于误差相互独立、服从具有共同未知方差的正态分布的线性回归,设 pp 为回归系数的个数,包括截距(若有),并令

RSS=∑i=1n(yi−y^i)2.\mathrm{RSS}=\sum_{i=1}^{n}(y_i-\hat y_i)^2.

误差方差的最大似然估计为

σ^2=RSSn.\hat\sigma^2=\frac{\mathrm{RSS}}{n}.

由最大化后的似然可得

−2ℓ^=nlog⁡ ⁣(RSSn)+n[1+log⁡(2π)].-2\hat\ell = n\log\!\left(\frac{\mathrm{RSS}}{n}\right) +n\bigl[1+\log(2\pi)\bigr].

计入方差参数后,k=p+1k=p+1,因此

BIC=nlog⁡ ⁣(RSSn)+(p+1)log⁡n+n[1+log⁡(2π)].\mathrm{BIC} = n\log\!\left(\frac{\mathrm{RSS}}{n}\right) +(p+1)\log n +n\bigl[1+\log(2\pi)\bigr].

对于拟合同一组响应观测值的模型,最后一项是共同项,可以略去。方差参数对应的共同惩罚项也可以略去而不改变排序,由此得到常用的比较公式

nlog⁡(RSS/n)+plog⁡n.n\log(\mathrm{RSS}/n)+p\log n.

这一简化表达式仅适用于上述高斯似然。若不作修改就将它用于其他响应分布、相关误差,或采用不同定义的残差平方和,通常无法得到相应的 BIC。

大样本性质

BIC 的一个重要性质是模型选择一致性。在适当的正则条件下,如果一个固定且有限的候选模型集包含真实模型,且其最简正确表示可识别,那么随着 nn 增大,BIC 选中该表示的概率趋近于一。

对于欠拟合和过拟合,其直观解释有所不同:

  • 欠拟合模型的对数似然损失通常以与 nn 成正比的速度增长,压过对数级的复杂度惩罚。
  • 正则的过拟合模型相对于较小的真实模型,通常只能获得依概率有界的对数似然增益,而其额外惩罚却按 log⁡n\log n 增长。

这一结论针对重复抽样和渐近情形。它既不能保证在有限数据集中选出正确模型,也不能证明候选模型集中包含数据生成过程。

当所有候选模型都存在误设时,BIC 可能偏向期望对数似然更高的模型,这与模型相对于数据生成分布的KL散度有关。然而,其经典的一致性结论并不能自动保证在模型误设或模型维数随样本量增长时实现最优预测。

与 AIC 和交叉验证的比较

赤池信息准则为

AIC=−2ℓ^+2k.\mathrm{AIC}=-2\hat\ell+2k.

AIC 的出发点是估计预期的样本外信息损失,而 BIC 的出发点是近似边际似然。

当 n>e2n>e^2(约为 7.397.39)时,BIC 对每个参数施加的惩罚比 AIC 更大。因此,BIC 往往会选择较小的模型,不过实际选择仍取决于候选模型之间的似然改善程度。

它们的理论目标有所不同:

  • BIC 侧重于在支持模型选择一致性的假设下,识别一个有限维模型。
  • AIC 侧重于预测性能,不一定能一致地选中最小的真实模型。
  • 交叉验证 根据选定的损失函数或评分规则,估计模型在留出观测数据上的表现。

没有哪种准则在所有情形下都更优。一致地识别模型与提高预测准确性是不同的目标:某个变量的效应可能弱到无法被可靠选中,却仍有助于预测;而增加一个变量也可能只改善训练拟合,却不能改善样本外表现。

应用与局限

BIC 用于回归变量选择、广义线性模型、时间序列分析,以及依赖结构或潜在模型成分的选择。其公式简单,在需要比较大量基于似然的候选模型时尤为实用。

解释 BIC 时,需要注意以下限制条件。

数据与似然的可比性

候选模型应描述同一组观测数据,并使用尺度相容的似然。来自不同响应数据集、不同观测子集,或在省略常数项时处理不一致的似然的 BIC 值,通常不能直接比较。对响应变量作变换后,若要在同一观测尺度上比较似然,还可能需要进行雅可比调整。

依赖性与样本量的定义

通常的 klog⁡nk\log n 惩罚项建立在信息量与 nn 成正比累积的基础上。对于聚类数据、纵向数据、空间数据或其他具有依赖性的数据,不同参数的信息量可能以不同速度累积。用非正式定义的“有效样本量”替代 nn,并不是普遍有效的修正方法;适当的近似取决于似然函数和抽样结构。

非正则模型与奇异模型

标准推导假设模型满足可识别性、似然最大值位于参数空间内部,且局部信息矩阵非奇异。对于边界参数、潜变量模型和高斯混合模型,这些假设可能不成立。在奇异模型中,复杂度修正的主导项不一定是 klog⁡nk\log n。尽管如此,标准 BIC 仍经常用于这些情形,但其通常的证据近似和一致性论证需要另行证明。

高维模型搜索

经典 BIC 假设维数固定的渐近情形。当参数个数或候选模型数量随样本量迅速增长时,其惩罚可能不足以充分考虑搜索规模。扩展贝叶斯信息准则等推广方法,会在特定假设下引入额外惩罚。

有限样本、先验与估计

在小样本中,证据近似中被舍去的项可能实质性地影响模型排序。边际似然也可能强烈依赖于先验的尺度,而普通 BIC 只是略去了这种依赖,并未将其消除。此外,该公式以似然已最大化为前提:如果代入局部最优值、惩罚拟合结果或变分界,其解释就会改变。

最后,选择 BIC 最小的模型,并不能证明其绝对拟合优度良好,也不能充分反映模型选择所引入的不确定性。所选模型仍可能存在分布假设不当、依赖结构误设或预测校准不佳等问题。