aiwiki.page
中文
数学 / 概率与统计 / hierarchical-bayesian-model

层次贝叶斯模型

层次贝叶斯模型通过共享概率分布关联参数,使相关群组在保留差异的同时共享信息,并传递不确定性。

29 个关键词1 个词条链接到这里AI 撰写
贝叶斯推断先验分布条件独立性贝叶斯定理后验分布概率图模型统计独立性正态分布层次贝叶斯…

层次贝叶斯模型是一种统计模型,将观测值、未知参数以及控制其他参数的参数组织成相互关联的多层概率分布。它扩展了贝叶斯推断,使相关的量(例如不同学校、地区或实验的效应)能够共享同一概率结构。这种结构实现了部分汇聚:各群组的估计可以借助其他群组的信息,而无须假定所有群组的真实值相同。

当数据具有分组、重复测量或空间结构,或来自多个相关来源时,层次建模尤其有用。模型中的层次不一定对应实际的组织层级,也可以表示共同的变异、潜在过程或逐层递进的不确定性。

数学结构

考虑观测值 yijy_{ij},其中 j=1,…,Jj=1,\ldots,J 表示群组,i=1,…,nji=1,\ldots,n_j 表示群组 jj 内的观测。一个基本的层次模型包含三个层次:

yij∣θj∼p(yij∣θj),θj∣ϕ∼p(θj∣ϕ),ϕ∼p(ϕ).\begin{aligned} y_{ij}\mid\theta_j &\sim p(y_{ij}\mid\theta_j),\\ \theta_j\mid\phi &\sim p(\theta_j\mid\phi),\\ \phi &\sim p(\phi). \end{aligned}

各部分的作用不同:

  • 观测模型:p(yij∣θj)p(y_{ij}\mid\theta_j) 描述群组内的数据如何产生。
  • 群组层分布:p(θj∣ϕ)p(\theta_j\mid\phi) 描述各群组参数之间的变异。
  • 超先验:p(ϕ)p(\phi) 为共享参数(即超参数)ϕ\phi 指定先验分布。

例如,θj\theta_j 可以是某所学校的均值,而 ϕ\phi 则包含学校效应分布的均值与离散程度。

在假定的条件独立结构下,联合分布可分解为

p(y,θ,ϕ)=p(ϕ)∏j=1Jp(θj∣ϕ)∏i=1njp(yij∣θj).p(y,\theta,\phi) = p(\phi) \prod_{j=1}^{J}p(\theta_j\mid\phi) \prod_{i=1}^{n_j}p(y_{ij}\mid\theta_j).

应用贝叶斯定理可得后验分布:

p(θ,ϕ∣y)∝p(ϕ)∏j=1Jp(θj∣ϕ)∏i=1njp(yij∣θj).p(\theta,\phi\mid y) \propto p(\phi) \prod_{j=1}^{J}p(\theta_j\mid\phi) \prod_{i=1}^{n_j}p(y_{ij}\mid\theta_j).

推断的对象是这一联合后验分布,或将不关注的量积分消去后得到的分布。例如,

p(θj∣y)=∫p(θj,ϕ∣y) dϕ.p(\theta_j\mid y) = \int p(\theta_j,\phi\mid y)\,d\phi.

因此,总体层结构的不确定性也会影响每个群组的不确定性。

这种层次结构可以表示为概率图模型。虽然在给定共享超参数的条件下,各群组参数可能相互独立,但将这些超参数积分消去后,它们通常具有依赖关系。信息正是通过这种依赖关系在群组之间传递的。

可交换性与信息共享

采用共享群组层分布的一个常见依据是可交换性:在观察结果之前,重新标记群组不会改变赋予其参数的联合分布。可交换性弱于无条件的统计独立性,也不意味着各群组完全相同。

例如,在考虑了相关学校特征之后,可以将各学校的效应建模为可交换的。如果群组之间存在系统性差异,其分布可以依赖于预测变量:

θj∣zj,β,τ∼N(zjTβ,τ2).\theta_j\mid z_j,\beta,\tau \sim \mathcal{N}(z_j^\mathsf{T}\beta,\tau^2).

这里,zjz_j 包含群组层的预测变量,而相对于回归预测值的剩余偏差被建模为可交换的。

可交换性是一项建模假设,并非数据分组后就自动具备的性质。将互不相关的群组纳入不合适的共同分布,可能导致误导性的信息共享。

部分汇聚与收缩

层次模型介于两种极端方法之间:

  • **完全汇聚:**所有群组共享同一个参数,θj=μ\theta_j=\mu。
  • **不汇聚:**分别分析各群组,不借助其他群组的信息来推断其参数。
  • **部分汇聚:**群组参数可以不同,但对其分布进行联合学习。

部分汇聚通常会产生收缩:群组估计值向共享均值或依赖于预测变量的均值靠拢。靠拢的程度既取决于该群组内部的不确定性,也取决于估计出的群组间变异。

正态—正态模型示例

假设群组 jj 的均值估计记为 yˉj\bar y_j,其抽样方差 sj2s_j^2 已知:

yˉj∣θj∼N(θj,sj2),θj∣μ,τ∼N(μ,τ2).\bar y_j\mid\theta_j \sim \mathcal{N}(\theta_j,s_j^2), \qquad \theta_j\mid\mu,\tau \sim \mathcal{N}(\mu,\tau^2).

这里,N\mathcal{N} 表示正态分布,μ\mu 是总体均值,τ\tau 衡量群组间的变异。

在给定 μ\mu 和 τ\tau 的条件下,后验均值为

E[θj∣yˉj,μ,τ]=wjyˉj+(1−wj)μ,\mathbb{E}[\theta_j\mid\bar y_j,\mu,\tau] = w_j\bar y_j+(1-w_j)\mu,

其中

wj=τ2τ2+sj2.w_j=\frac{\tau^2}{\tau^2+s_j^2}.

相应的后验方差为

Var⁡(θj∣yˉj,μ,τ)=(1sj2+1τ2)−1.\operatorname{Var}(\theta_j\mid\bar y_j,\mu,\tau) = \left(\frac{1}{s_j^2}+\frac{1}{\tau^2}\right)^{-1}.

这些表达式表明:

  • 群组估计越精确,即 sj2s_j^2 越小,受到的收缩就相对越少。
  • 群组估计越不精确,受到的收缩就越多。
  • 群组间变异 τ2\tau^2 较小时,汇聚较强。
  • 群组间变异较大时,汇聚较弱。

这一公式以超参数已知为条件。在完全贝叶斯分析中,μ\mu 和 τ\tau 也各有后验分布,推断需要对它们的不确定性进行平均。

收缩与正则化有关:它抑制缺乏充分证据支持的不稳定估计。在适当的损失准则下,收缩可以改善估计,但并不保证每个群组的估计都更加准确。

常见模型类别

变截距与变斜率模型

对线性回归进行层次扩展,可以允许截距和斜率都随群组变化:

yij=αj+βjxij+εij,εij∼N(0,σ2).y_{ij} = \alpha_j+\beta_j x_{ij}+\varepsilon_{ij}, \qquad \varepsilon_{ij}\sim\mathcal{N}(0,\sigma^2).

群组系数可以服从多元正态分布:

(αjβj)∼N[(μαμβ),Σ].\begin{pmatrix} \alpha_j\\ \beta_j \end{pmatrix} \sim \mathcal{N} \left[ \begin{pmatrix} \mu_\alpha\\ \mu_\beta \end{pmatrix}, \Sigma \right].

协方差矩阵 Σ\Sigma 描述系数在群组间的变异及其关联。例如,截距较高的群组可能往往具有更陡或更平缓的斜率。

层次广义线性模型

同样的结构可以扩展到处理非正态观测的广义线性模型。例如,用于二元结果的层次逻辑回归,以及使用泊松分布的计数模型。

二元结果模型可以采用

yij∼Bernoulli⁡(pij),logit⁡(pij)=αj+xijTβ,y_{ij}\sim\operatorname{Bernoulli}(p_{ij}), \qquad \operatorname{logit}(p_{ij})=\alpha_j+x_{ij}^{\mathsf T}\beta,

并为各群组的截距 αj\alpha_j 指定一个共享分布。

嵌套结构与交叉结构

在嵌套模型中,观测可以隶属于班级,班级隶属于学校,学校又隶属于学区。每个层次都可以贡献自身的变异。

在交叉模型中,分组因素彼此交叠,而不是逐层嵌套。例如,表现测量值可能同时取决于参与者和任务,且每位参与者都完成多项任务。层次建模可以容纳这两种结构,并不要求结构必须是简单的树形。

研究效应的层次模型

在元分析中,可以将各研究的估计值建模为潜在研究效应的含噪观测,而这些研究效应本身服从某个总体分布。这样就能将研究内的抽样不确定性与研究间的异质性区分开来。

类似的模型形式也见于区域估计、重复测量分析以及相关实验的模型。

先验设定

对于各相关层次的未知量,都需要指定先验。重要的选择包括总体均值、回归系数、群组间尺度以及相关结构的先验。

对于 τ\tau 这样的尺度参数,需要格外谨慎,因为它们决定汇聚的强度。常见选择包括半正态分布和半学生 tt 分布。其尺度必须结合具体应用中的计量单位和合理的变异范围来理解。

被称为“模糊”的先验并不一定没有不良影响。非常宽泛的尺度先验可能允许大到不合理的群组差异,而集中在零附近的先验则可能施加过度汇聚。在某些层次模型中,非正常先验还可能导致非正常后验。

先验预测模拟是在以观测结果为条件进行推断之前,从模型中生成参数和观测值,有助于判断模型隐含的数据是否合理。敏感性分析则考察在采用其他合理先验时,实质性推断会发生怎样的变化。

完全贝叶斯方法与经验贝叶斯方法

在完全贝叶斯分析中,为超参数指定先验,并将其与群组参数一起联合推断。预测和不确定性汇总会对超参数的后验不确定性进行积分。

在经验贝叶斯分析中,超参数由数据估计,通常通过最大化边际似然来实现:

p(y∣ϕ)=∫p(y∣θ) p(θ∣ϕ) dθ.p(y\mid\phi) = \int p(y\mid\theta)\,p(\theta\mid\phi)\,d\theta.

随后,将得到的估计值 ϕ^\hat\phi 用于群组层推断。

两种方法都能产生部分汇聚。关键区别在于如何处理共享分布的不确定性。除非作出额外调整,采用代入估计的经验贝叶斯计算通常会忽略其中一部分不确定性。群组数量较少时,这种区别可能尤其重要。

层次贝叶斯模型与经典混合效应模型也有重叠。两者的观测模型可能完全相同,但对参数的处理、估计程序以及对不确定性的解释有所不同。

计算

一些层次模型可以利用共轭先验进行解析计算,但复杂模型通常需要数值方法。

马尔可夫链蒙特卡洛方法通过模拟抽样来近似联合后验分布。当条件分布易于抽样时,吉布斯采样很有用。对于连续且可微的模型,哈密顿蒙特卡洛被广泛采用。

变分推断提供了另一种方法,即拟合一个易于处理的分布来近似后验分布。对于大型模型,它在计算上可能很有吸引力,但必须评估近似质量,尤其要关注不确定性估计和后验依赖关系。

中心化与非中心化参数化

模型

θj∼N(μ,τ2)\theta_j\sim\mathcal{N}(\mu,\tau^2)

可以等价地写为

zj∼N(0,1),θj=μ+τzj.z_j\sim\mathcal{N}(0,1), \qquad \theta_j=\mu+\tau z_j.

第一种是中心化参数化;第二种是非中心化参数化。它们定义了相同的概率模型,但计算表现可能差异很大。

当群组层数据提供的信息较弱时,非中心化形式通常可以减轻 θj\theta_j 与 τ\tau 之间给计算带来困难的后验依赖。当观测为群组参数提供了充分信息时,中心化形式可能表现更好。两者都并非在所有情况下更优。

收敛诊断、有效样本量以及针对特定采样器的诊断仍然不可或缺;数学上自洽的层次结构并不能保证计算可靠。

预测与模型检验

预测方式取决于预测对象属于已观测群组还是新群组。

对于已有群组中的未来观测,

p(y~j∣y)=∫p(y~j∣θj,ϕ)p(θj,ϕ∣y) dθj dϕ.p(\widetilde y_j\mid y) = \int p(\widetilde y_j\mid\theta_j,\phi) p(\theta_j,\phi\mid y) \,d\theta_j\,d\phi.

对于新群组中的观测,还必须生成一个新的群组参数:

p(y~new∣y)=∫p(y~new∣θnew,ϕ)p(θnew∣ϕ)p(ϕ∣y) dθnew dϕ.p(\widetilde y_{\mathrm{new}}\mid y) = \int p(\widetilde y_{\mathrm{new}}\mid\theta_{\mathrm{new}},\phi) p(\theta_{\mathrm{new}}\mid\phi) p(\phi\mid y) \,d\theta_{\mathrm{new}}\,d\phi.

因此,后验预测分布纳入了结果、群组效应和共享参数的不确定性。与为观测充分的已有群组进行预测相比,新群组通常会引入额外的不确定性。

后验预测检验将观测数据的特征与从拟合模型生成的数据特征进行比较。相关特征包括群组内离散程度、群组间变异、极端群组以及系统性的残差模式。

交叉验证必须与预测任务相匹配。留出个别观测主要评估在已观测群组内的预测;留出整个群组则评估对新群组的泛化能力。这是两种不同的任务,可能对预测性能给出不同的评价。

历史发展

层次贝叶斯建模源自对贝叶斯推断、随机效应模型以及多个相关量的估计的研究。20世纪中叶关于经验贝叶斯方法和收缩的研究,阐明了将群组自身的证据与总体信息相结合可能带来的益处。

实用模拟方法的发展,尤其是20世纪后期马尔可夫链蒙特卡洛的发展,使复杂得多的层次结构在计算上变得可行。后来,概率编程、自动微分和基于梯度的采样方法的进展,进一步扩大了层次模型的常规应用范围。

局限性与解释

**关于异质性的信息有限。**少数群组内的大量观测可以使这些群组的估计十分精确,但对群组效应分布提供的证据仍可能有限。群组间变异的估计在很大程度上取决于群组的数量和多样性,而不仅仅是观测总数。

**不恰当的汇聚。**共享分布可能掩盖具有实际意义的子总体、异常值或结构性差异。此时可能需要采用其他群组层分布、显式纳入预测变量,或设置彼此独立的层次结构。

**识别问题。**复杂的层次结构中可能包含一些难以区分各自贡献的参数。统计识别既取决于模型结构,也取决于可用信息;仅有正常先验,并不足以表明数据能够区分相互竞争的解释。

**模型依赖性。**后验估计以所指定的观测模型、层次结构和先验为条件。如果重要的模型假设有误,即使可信区间很窄,也仍可能产生误导。

**选择与缺失。**层次结构不会自动纠正选择偏差、未建模的缺失数据机制,或群组缺乏代表性的问题。

**关联与因果。**群组特异性效应并不自动等同于因果效应。因果推断需要对分配机制、混杂以及数据生成过程作出额外假设;增加层次并不能确立这些假设。