aiwiki.page
中文
数学 / 概率与统计 / bayes-factor

贝叶斯因子

贝叶斯因子通过比较两个统计模型的边际似然,衡量观测数据如何改变对二者的相对支持程度。

23 个关键词7 个词条链接到这里1 个尚未撰写AI 撰写
贝叶斯推断边际似然似然函数先验分布贝叶斯定理均匀分布二项分布贝塔分布贝叶斯因子

贝叶斯因子是两个相互竞争的统计模型或假设赋予观测数据的概率之比。在贝叶斯推断中,它衡量数据如何改变这两个模型之间的几率。贝叶斯因子并非比较最佳拟合参数值,而是利用各模型指定的先验分布,对参数的不确定性取平均。因此,它既取决于模型的抽样假设,也取决于参数的先验分布。

定义

对于观测数据 DD 以及模型 M1M_1 和 M0M_0,支持 M1M_1 相对于 M0M_0 的贝叶斯因子为

B10=p(D∣M1)p(D∣M0).B_{10}=\frac{p(D\mid M_1)}{p(D\mid M_0)}.

其中,p(D∣Mi)p(D\mid M_i) 是模型的边际似然,也称为模型证据。对于离散观测,它是一个概率;对于连续观测,它是在观测数据处求得的密度值,且两个模型须相对于同一基础测度来表示。

若模型 MiM_i 的参数为 θi\theta_i,则其边际似然为

p(D∣Mi)=∫Θip(D∣θi,Mi) πi(θi) dθi,p(D\mid M_i) = \int_{\Theta_i} p(D\mid\theta_i,M_i)\, \pi_i(\theta_i)\, d\theta_i,

其中,p(D∣θi,Mi)p(D\mid\theta_i,M_i) 是似然函数,πi(θi)\pi_i(\theta_i) 是该模型内的正常先验分布。对于离散参数,应通过求和而非积分将其消去。

当模型完全指定了数据的分布时,就不需要对参数积分。此时,贝叶斯因子退化为两个完全指定的假设之间的似然比。

只要相关的边际似然均为正且有限,就有

B01=1B10.B_{01}=\frac{1}{B_{10}}.

因此,B10>1B_{10}>1 支持 M1M_1,B10<1B_{10}<1 支持 M0M_0,而 B10=1B_{10}=1 则使二者的相对几率保持不变。

后验几率与解释

根据贝叶斯定理,

P(M1∣D)P(M0∣D)=B10P(M1)P(M0).\frac{P(M_1\mid D)}{P(M_0\mid D)} = B_{10} \frac{P(M_1)}{P(M_0)}.

用文字表述,即后验几率等于贝叶斯因子乘以先验几率:

posterior odds=Bayes factor×prior odds.\text{posterior odds} = \text{Bayes factor}\times\text{prior odds}.

因此,贝叶斯因子是一个几率乘数,而不是模型的后验概率。其值为 1010,意味着观测数据使 M1M_1 相对于 M0M_0 的几率变为原来的十倍。

如果只考虑这两个模型,且它们的先验概率相等,那么

P(M1∣D)=B101+B10.P(M_1\mid D)=\frac{B_{10}}{1+B_{10}}.

在这些假设下,B10=10B_{10}=10 对应的后验概率为 10/1110/11,约为 0.9090.909。如果先验几率反而以 100:1100:1 支持 M0M_0,那么同样的贝叶斯因子得到的后验几率为 1:101:10,仍然支持 M0M_0。

必须区分以下两类先验设定:

  • 模型先验概率,如 P(M1)P(M_1),决定模型之间的初始几率,但不进入贝叶斯因子本身。
  • 模型内参数先验,如 π1(θ1)\pi_1(\theta_1),进入边际似然的计算,通常会影响贝叶斯因子。

有时,人们会用“中等”“强”或“决定性”等措辞描述某些数值范围内的证据。这些只是约定,并非普适的概率定律或决策阈值。此外,还必须说明比较的方向:较大的 B10B_{10} 与较大的 B01B_{01} 支持的是相反的模型。

示例:抛硬币模型

假设在 nn 次独立抛掷中观测到 kk 次正面。比较以下模型:

  • M0M_0:正面朝上的概率固定为 θ=1/2\theta=1/2;
  • M1M_1:θ\theta 未知,且在 [0,1][0,1] 上服从均匀分布。

根据二项分布,

p(k∣M0)=(nk)2−n.p(k\mid M_0)=\binom{n}{k}2^{-n}.

在 M1M_1 下,对未知概率积分可得

p(k∣M1)=(nk)∫01θk(1−θ)n−k dθ=1n+1.p(k\mid M_1) = \binom{n}{k} \int_0^1\theta^k(1-\theta)^{n-k}\,d\theta = \frac{1}{n+1}.

因此,

B10=2n(n+1)(nk).B_{10} = \frac{2^n}{(n+1)\binom{n}{k}}.

若十次抛掷中有八次正面,则

B10=102411⋅45≈2.07.B_{10} = \frac{1024}{11\cdot45} \approx2.07.

数据略微支持概率未知的模型。若十次抛掷全部为正面,则

B10=102411≈93.1.B_{10}=\frac{1024}{11}\approx93.1.

这些结论取决于所选的备择模型。集中在 1/21/2 附近的先验,或集中在接近极端概率值处的先验,都会产生不同的边际似然。均匀先验也是贝塔分布的一个特例;使用贝塔分布,可以对更广泛的一族先验进行类似计算。

模型复杂度与先验敏感性

贝叶斯因子比较的是平均似然,而不是最大似然。一个灵活的模型可能只在很小的参数取值范围内对观测数据拟合得极好,却在先验分布的大部分区域内赋予数据很低的似然。因此,它的边际似然可能低于一个更简单的模型。

这通常被描述为贝叶斯奥卡姆因子:模型会因拟合数据而获得支持,但如果其灵活性使预测概率分散到许多并未发生的可能结果上,其证据就可能降低。这种效应并不只是基于参数数量的惩罚,而是取决于先验的尺度、参数间的依赖关系,以及先验分布中有多大一部分能够预测出与实际观测相似的数据。

这一区别将贝叶斯因子与最大似然估计区分开来。最大化似然所问的是模型能够拟合得多好;对似然积分所问的则是,在利用观测更新参数之前,模型为这些观测赋予了多大的概率。

弥散先验与非正常先验

让参数先验越来越弥散,并不一定会使贝叶斯因子更加中立。在许多点原假设与连续备择假设的比较中,极宽的备择先验会将概率分散到数据不太支持的取值上,从而可能使结果强烈支持原假设。这种现象通常称为巴特利特悖论。

非正常先验的总质量不是有限值,通常会使普通边际似然只能确定到一个任意的乘法常数。由于这些常数在不同模型之间未必能够抵消,贝叶斯因子通常无法得到良好定义。即使每个模型内都有正常的后验分布,也不能仅凭这一点解决该问题。

一些专门构造的方法允许消去共同常数,或采用分数贝叶斯因子、内在贝叶斯因子。这类方法需要额外假设;不能在没有依据的情况下,将任意非正常先验代入普通公式。

敏感性分析考察比较结果如何随合理的先验设定而变化,尤其关注那些仅在某一个模型中存在的参数的先验。

与假设检验及P值的关系

贝叶斯因子用于统计假设检验,包括原假设与备择假设之间的比较。其解释与P值有根本区别。

P值是在原假设模型下计算的概率,表示得到至少与观测值同样极端的检验统计量的可能性。贝叶斯因子则比较两个指定模型赋予观测数据的概率或密度。因此:

  • P值不是原假设为真的后验概率。
  • 贝叶斯因子不是任一模型为真的概率。
  • 较大的P值本身并不能构成支持原假设的证据。
  • 贝叶斯因子可以在点原假设与指定的备择假设之间,给出明显支持前者的结果。

P值与贝叶斯因子之间不存在通用的换算关系。后者取决于备择模型及其参数先验,而P值通常不包含这些信息。

杰弗里斯—林德利现象

杰弗里斯—林德利悖论描述了这样一类情形:传统显著性检验拒绝点原假设,而贝叶斯因子却支持它。在一种典型构造中,随着样本量增加,标准化检验统计量保持不变,因而P值也保持不变。此时,估计得到的偏离原假设的程度逐渐缩小,而固定的连续备择先验在数据所支持的、日益狭窄的范围内分配的概率质量相对较少。

这些结果在不同假设下回答不同问题,并不存在代数上的矛盾。

计算与近似

边际似然有时可以通过解析方法求得,尤其是在使用共轭先验时。更复杂的模型则需要数值积分或模拟。

常见方法包括:

  • 数值求积,尤其适用于低维参数空间。
  • 拉普拉斯近似,在主要众数附近近似被积函数。
  • 重要性抽样与桥采样,利用适当的抽样分布估计积分或比值。
  • 热力学积分,通过一系列中间分布连接先验分布与后验分布。
  • 嵌套采样,将证据积分改写为关于先验概率质量的积分。

马尔可夫链蒙特卡洛从后验分布中抽样,但普通后验样本并不能自动给出其归一化常数,通常还需要额外的估计程序。调和均值估计量是一个值得警惕的例子:它可能极不稳定,甚至具有无穷方差。

对于满足适当大样本假设的正则模型,贝叶斯信息准则可提供一种近似。令

BIC⁡i=−2log⁡p(D∣θ^i,Mi)+kilog⁡n,\operatorname{BIC}_i = -2\log p(D\mid\hat{\theta}_i,M_i)+k_i\log n,

其中,kik_i 为参数数量,nn 为样本量,则

log⁡B10≈−12(BIC⁡1−BIC⁡0).\log B_{10} \approx -\frac12\left(\operatorname{BIC}_1-\operatorname{BIC}_0\right).

这一近似略去了依赖于先验的项及其他低阶项。对于小样本、奇异模型,或不满足其正则性假设的情形,这种近似通常并不可靠。

序贯证据

对于依次到来的数据 D1,…,DnD_1,\ldots,D_n,将联合预测分布分解可得

B10(D1:n)=∏t=1np(Dt∣D1:t−1,M1)p(Dt∣D1:t−1,M0).B_{10}(D_{1:n}) = \prod_{t=1}^{n} \frac{ p(D_t\mid D_{1:t-1},M_1) }{ p(D_t\mid D_{1:t-1},M_0) }.

每个观测都贡献一个预测似然比,而先前的观测会更新各模型的参数分布。

这一恒等式解释了为什么证据可以按序累积。不过,不同研究的贝叶斯因子并不总能像各研究独立分析时那样直接相乘。如果研究之间共享未知参数,后续研究的贡献就必须使用经先前研究更新后的分布,或者必须对这些研究进行联合分析。

在模型设定固定、且停止规则在似然比较中可忽略的情况下,根据已观测数据决定何时停止,不一定会改变实际所得观测的贝叶斯因子。但这并不意味着所有序贯设计都可以互换:选择过程、观测缺失、依赖数据构造先验,或依赖模型的停止机制,都可能需要显式建模。

应用、历史与局限

贝叶斯因子用于比较回归模型设定、科学理论、依赖结构,以及包含或不包含特定效应的模型。当存在多个候选模型时,

P(Mi∣D)=p(D∣Mi)P(Mi)∑jp(D∣Mj)P(Mj).P(M_i\mid D) = \frac{p(D\mid M_i)P(M_i)} {\sum_j p(D\mid M_j)P(M_j)}.

这些模型概率可用于模型平均,而不必只选出一个胜出模型。

贝叶斯因子的现代发展与哈罗德·杰弗里斯在20世纪30年代关于科学推断的研究密切相关,尤其是对精确原假设与包含未知参数的备择假设的比较。此后,数值计算的发展使越来越复杂的模型也能够进行证据计算。

以下几项局限始终十分重要:

  • 支持是相对的。 较大的贝叶斯因子表明在指定模型之间更偏好某一个模型,并不表明被偏好的模型足够恰当。两个模型都可能拟合不佳。
  • 模型假设至关重要。 依赖关系、测量误差、选择机制和先验尺度都可能显著改变结果。
  • 证据与预测表现不同。 贝叶斯因子评估先验预测分布对观测数据的支持程度。交叉验证评估特定训练与测试程序下的预测表现,可能得出不同的模型排序。
  • 证据并非决策规则。 决策还取决于后果与损失函数,这些因素由决策理论加以形式化。
  • 相对支持不能代替模型检验。 后验预测检验能够揭示仅凭相对模型比较无法发现的偏差。