aiwiki.page
中文
数学 / 概率与统计 / generalized-linear-mixed-model

广义线性混合模型

广义线性混合模型结合非高斯响应分布与固定效应、随机效应,用于分析聚类、重复测量或层次结构的观测数据。

58 个关键词4 个词条链接到这里7 个尚未撰写AI 撰写
广义线性模型逻辑回归统计学贝叶斯推断条件期望协方差矩阵条件独立性概率分布广义线性混…

广义线性混合模型(GLMM)是一种统计模型,将广义线性模型的响应分布和连接函数与随机效应相结合,后者用于表示组间差异或其他共同来源造成的异质性。当结果变量为二元变量、计数、比例或其他非高斯测量值,且观测值因来自同一受试者、机构、地点、实验单元或重复测量而相互关联时,可以使用这类模型。例如,普通的逻辑回归可以描述某个事件是否发生;逻辑混合模型则还能表示产生这些事件的个体或机构之间持续存在的差异。

这类模型的关键在于区分以潜在随机效应为条件的观测模型,以及将这些随机效应积分消去后得到的总体分布。这个区别决定了如何解释回归系数、观测值之间的依赖关系如何产生,也解释了为什么估计通常需要数值近似。广义线性混合模型将处理层次数据的统计学与积分、优化及贝叶斯推断的计算方法联系起来。在实验研究、生态学、教育学、流行病学等领域,抽样结构往往无法简化为相互独立的观测值,而广义线性混合模型的灵活性使其在这些领域发挥着重要作用。

数学定义

设 YiY_i 表示一个观测响应,xix_i 包含其观测到的预测变量,ziz_i 则描述该响应如何依赖于随机效应向量 bb。标准的广义线性混合模型(GLMM)规定:

Yi∣b∼F(μi,ϕ),g(μi)=ηi=xiTβ+ziTb,b∼Nq(0,Σθ).Y_i\mid b \sim F(\mu_i,\phi), \qquad g(\mu_i)=\eta_i=x_i^{\mathsf T}\beta+z_i^{\mathsf T}b, \qquad b\sim N_q(0,\Sigma_\theta).

其中,μi=E⁡(Yi∣b)\mu_i=\operatorname{E}(Y_i\mid b) 是条件期望,gg 是连接函数,β\beta 是固定效应系数向量,Σθ\Sigma_\theta 是由 θ\theta 参数化的协方差矩阵。若模型中含有参数 ϕ\phi,它用于控制离散程度。响应分布族 FF 通常属于指数族,不过,广义上的用法也包括超出该分布族的扩展模型。

通常的似然表述以条件独立为假设:给定随机效应和预测变量后,各响应相互独立。对随机效应积分消去后,共享这些随机效应的观测通常相互依赖。因此,GLMM 无须在响应的条件分布中直接引入相关参数,就能生成相互关联的观测。更复杂的模型可以纳入额外的依赖关系,但这是对基本模型设定的扩展,而非每个 GLMM 都自带的特征。

用矩阵表示时,线性预测子为 η=Xβ+Zb\eta=X\beta+Zb。固定效应设计矩阵 XX 描述各自的系数需要单独估计的预测变量。随机效应设计矩阵 ZZ 则将潜在系数映射到观测。在包含 JJ 个组的随机截距模型中,ZZ 的每一列对应一个组,矩阵元素表示观测所属的组。如果模型还包含各组特有的斜率,则会增加相应的列,填入各组内有关预测变量的取值。

“固定”并不意味着预测变量不能变化,“随机”也不意味着其观测值是随机分配的。固定效应是直接建模的未知系数;随机效应则是被赋予同一概率分布的未知量。该分布表达了对组间异质性的假设,并使各组之间能够共享信息。这些区别涉及统计模型,而不只是测量数据的实际来源。

线性混合模型是采用高斯分布和恒等连接函数的特例。当 Y∣b∼N(Xβ+Zb,R)Y\mid b\sim N(X\beta+Zb,R) 时,对高斯随机效应积分可得 Y∼N(Xβ,R+ZΣθZT)Y\sim N(X\beta,R+Z\Sigma_\theta Z^{\mathsf T})。对于非高斯响应,通常不存在同样简单的边际分布。失去这种解析封闭性,是 GLMM 的拟合在计算上比高斯混合效应模型更为复杂的主要原因。

响应分布与连接函数

响应分布描述结果变量的取值范围和条件变异性,而连接函数则将其条件均值与线性预测子联系起来。这是两个独立的建模选择。指数族分布自然对应着一个典范连接函数,但广义线性混合模型并不一定要使用它。例如,二元结果可以采用对数几率、概率单位或互补双对数连接函数建模,每一种连接函数都规定了协变量与条件事件概率之间的不同关系。

对于二元观测,一种常见的模型设定采用伯努利分布:

Yij∣bj∼Bernoulli⁡(pij),log⁡pij1−pij=xijTβ+bj.Y_{ij}\mid b_j\sim\operatorname{Bernoulli}(p_{ij}), \qquad \log\frac{p_{ij}}{1-p_{ij}} =x_{ij}^{\mathsf T}\beta+b_j.

对数几率连接函数将 (0,1)(0,1) 内的概率映射到实数轴。它的反函数,即逻辑斯蒂函数,将任意有限的线性预测子映射回有效的概率。对于 mijm_{ij} 次试验中汇总的成功次数,也可以使用二项分布建模,前提是有关各次试验及其共同成功概率的条件假设成立。

对于计数数据,常见的选择是采用具有对数连接函数的泊松分布:

Yij∣bj∼Poisson⁡(μij),log⁡μij=log⁡eij+xijTβ+bj.Y_{ij}\mid b_j\sim\operatorname{Poisson}(\mu_{ij}), \qquad \log\mu_{ij}=\log e_{ij}+x_{ij}^{\mathsf T}\beta+b_j.

已知的暴露量 eije_{ij},如人时或抽样面积,以偏置项的形式进入模型,其系数固定为一。因此,协变量描述的是发生率,而非未经调整的计数。条件泊松方差等于条件均值,但对随机效应积分后,边际方差通常会大于边际均值。

过度离散既可能源于组内观测共有的组间异质性,也可能源于泊松模型未能捕捉的观测层面变异。负二项分布可以表示额外的条件计数变异;在一种常见的参数化方式下,

Var⁡(Yi∣b)=μi+αμi2,α>0.\operatorname{Var}(Y_i\mid b)=\mu_i+\alpha\mu_i^2, \qquad \alpha>0.

因此,负二项广义线性混合模型可以区分组内的额外变异与组间的随机效应变异。不过,如果研究设计中的重复观测不足,这些成分可能难以分别识别。

正值连续型结果可以用具有对数连接函数的伽马分布来表示。严格介于零和一之间的比例可以用贝塔分布建模,不过,贝塔混合回归不属于最狭义的、基于单参数指数族分布的广义线性混合模型。针对有序分类、多项分类、门槛机制以及零膨胀模型的建模方法,将相关思想扩展到了更复杂的响应机制。在零膨胀混合模型中,一个成分描述额外零值的产生过程,另一个成分描述计数分布;每个成分都可以有各自的预测变量和随机效应。这些模型所需的假设比单纯更换连接函数更多。

随机效应结构与层次依赖关系

随机效应模型通过概率分布来表示不同单位之间的变异,而不是为每个单位单独设置一个不受约束的系数。最简单的广义线性混合模型包含一个随机截距 bj∼N(0,σb2)b_j\sim N(0,\sigma_b^2)。组 jj 中的所有观测共享同一个潜在偏移量。在学校研究中,这可以表示在控制已观测到的学生特征和学校特征后,各学校在事件发生倾向上的差异。

随机斜率允许预测变量与响应变量之间的关联因组而异。对于在时间 tijt_{ij} 进行的重复测量,模型可以写为

g(μij)=β0+β1tij+b0j+b1jtij,g(\mu_{ij}) =\beta_0+\beta_1t_{ij}+b_{0j}+b_{1j}t_{ij},

其中

(b0jb1j)∼N2[(00),(σ02σ01σ01σ12)].\begin{pmatrix}b_{0j}\\b_{1j}\end{pmatrix} \sim N_2\left[ \begin{pmatrix}0\\0\end{pmatrix}, \begin{pmatrix} \sigma_0^2&\sigma_{01}\\ \sigma_{01}&\sigma_1^2 \end{pmatrix} \right].

协方差 σ01\sigma_{01} 描述潜在截距较高的单位,其变化轨迹是否倾向于更陡或更平缓。改变时间原点会改变截距及其与斜率的协方差,因此,解释这些参数时必须以所选的时间尺度为依据。

分组因子可以是嵌套的,也可以是交叉的。学生嵌套于班级、班级嵌套于学校的情形,与每位参与者都对若干共同刺激项目作出反应的实验,需要不同的结构。在后一种情形中,参与者效应与项目效应是交叉的:两个反应可能因为来自同一参与者、针对同一项目,或同时满足这两点而彼此相关。将交叉因子当作嵌套因子处理,会改变模型所假定的依赖关系,并可能使不确定性估计失真。

不同单位的效应不一定相互独立。具有特定结构的 Σθ\Sigma_\theta 可以通过潜在的随机过程来刻画空间依赖、遗传亲缘关系或序列依赖。这些构造将广义线性混合模型与潜在高斯模型和高斯过程模型联系起来。仅靠共享的随机截距无法再现所有时间模式:它们表示的是持续存在的组间异质性,而短程的序列依赖可能需要额外的潜在结构。

由此产生的一个重要结果是部分汇聚。与观测充分的组相比,信息较少的组,其潜在效应估计会更大程度地向总体均值收缩。这并不等同于将所有组的估计值替换为同一个值。汇聚程度取决于各组的样本量、响应数据所提供的信息,以及估计出的组间变异。对于二元数据,即使某一组的观测结果全为成功,其对数优势估计也不一定为无穷大,因为总体分布会约束该组的潜在效应。

估计组间变异所需的信息,在很大程度上来自组的数量,而不仅仅是观测总数。即使有数千次测量,如果它们仅来自极少数几个组,通常也无法高精度地识别复杂的随机斜率协方差结构。同样,组层面预测变量的效应主要依赖组间比较来确定,即便每组内部都有大量观测也是如此。

条件解释与总体平均解释

广义线性混合模型的系数通常描述给定随机效应条件下的关联。在逻辑斯蒂随机截距模型中,exp⁡(βk)\exp(\beta_k) 表示在其他预测变量和潜在组效应保持不变时,预测变量 kk 每增加一个单位所对应的条件优势比。在采用对数连接函数的泊松模型中,exp⁡(βk)\exp(\beta_k) 表示条件率比。这些解释源于连接函数,并不意味着预测变量具有因果效应。

对随机效应积分,即可得到总体平均意义下的均值:

mi=E⁡b[g−1(xiTβ+ziTb)].m_i=\operatorname{E}_b \left[g^{-1}(x_i^{\mathsf T}\beta+z_i^{\mathsf T}b)\right].

除特殊情况外,

mi≠g−1(xiTβ).m_i\ne g^{-1}(x_i^{\mathsf T}\beta).

令 b=0b=0,描述的是在潜在尺度上处于随机效应分布中心的个体;这样通常并不能得到总体的平均响应。这种差异是非线性变换的结果,与詹森不等式密切相关。

对于采用对数连接函数且满足 bj∼N(0,σb2)b_j\sim N(0,\sigma_b^2) 的随机截距模型,由高斯分布的指数矩可得如下精确结果:

E⁡(Yij∣xij)=exp⁡(xijTβ+σb22).\operatorname{E}(Y_{ij}\mid x_{ij}) =\exp\left(x_{ij}^{\mathsf T}\beta+\frac{\sigma_b^2}{2}\right).

当随机截距的分布在所有预测变量取值下都相同时,固定效应对比所对应的边际率比与条件率比相同,但两者的截距不同。引入随机斜率后,这一简化可能不再成立,因为此时随机项的方差取决于预测变量。在逻辑斯蒂混合模型中,边际概率通常需要通过数值积分求得,而条件优势比与边际优势比一般并不相同。

依赖关系也可在多个尺度上刻画。在残差方差为 σe2\sigma_e^2 的高斯随机截距模型中,组内相关为

ρ=σb2σb2+σe2.\rho=\frac{\sigma_b^2}{\sigma_b^2+\sigma_e^2}.

对于逻辑斯蒂模型,一种广泛采用的潜变量约定是用 π2/3\pi^2/3 替代 σe2\sigma_e^2,前者是服从标准逻辑斯蒂分布的潜在误差的方差。这是在潜在尺度上的度量,不一定等于观测到的二元响应之间的相关性。观测尺度上的相关性取决于事件发生率和协变量取值,因此不一定在各个观测之间保持恒定。

广义估计方程提供了另一种框架,直接以边际均值参数为目标,通常采用工作相关结构和稳健方差估计。相比之下,广义线性混合模型为潜在异质性和结局指定概率模型。这两种建模目标并无普遍的优劣之分;它们回答的是不同的问题。另一个需要区分的方面涉及因果推断:纳入随机效应并不会自动消除混杂、选择效应,或潜在群组特征与预测变量之间的依赖关系。条件关联、边际关联与因果效应是不同的概念。

边际似然与统计识别

频率学派的估计通常通过最大化边际似然来进行,边际似然由对所有随机效应积分消去后得到。若 fif_i 表示响应的条件概率密度函数或概率质量函数,φq\varphi_q 表示高斯随机效应的密度函数,则

L(β,θ,ϕ;y)=∫Rq{∏i=1nfi(yi∣b,β,ϕ)}φq(b;0,Σθ) db.L(\beta,\theta,\phi;y) = \int_{\mathbb R^q} \left\{\prod_{i=1}^{n} f_i(y_i\mid b,\beta,\phi)\right\} \varphi_q(b;0,\Sigma_\theta)\,db.

这是总体参数的似然,并不意味着要将每个随机效应都作为不受约束的固定系数来估计。积分既考虑了潜在效应的分布,也考虑了其取值的不确定性。

当各组相互独立,且随机效应不跨组共享时,似然可分解为各组积分的乘积。因此,随机截距模型可能只需计算许多个一维积分,而不必求解单个高维积分问题。交叉随机效应通常会使这种简单分解无法实现。因此,计算难度在很大程度上取决于随机效应的结构,而不只是观测数量。

随机效应的估计值通常是在给定拟合得到的总体参数和观测响应后求得的条件众数或条件均值。这通常称为经验贝叶斯预测,即使总体参数是通过最大似然估计得到的,也是如此。如果不进行适当的积分或校正,而直接同时对参数和随机效应最大化联合密度,一般并不等同于最大化边际似然。混淆这些目标可能导致错误的方差估计。

统计识别要求不同的参数值对应可区分的观测分布。如果每个个体只观测一次二元响应,那么这些数据几乎无法提供直接信息,以区分个体层面的潜在异质性与响应机制。重复观测、协变量变异和结构约束决定了能够从数据中估计哪些方差分量。随机斜率要求相应预测变量在组内具有足够的信息性变异;如果某个预测变量在各组内部均为常量,就无法单独依靠它识别组内的斜率变化趋势。

标准模型设定通常假定,在所有观测到的预测变量取值下,随机效应都服从相同的零均值分布。在纵向数据或面板数据情境中,如果潜在的组特征与预测变量相关,这一假设就可能存在问题。将预测变量分解为其组均值和相对于组均值的偏差,可以区分组间关联与组内关联。这种分解会改变模型的解释,并可能处理某些形式的潜在组层面依赖,但其本身并不能确立因果识别。

边界行为是另一个结构性特征。方差分量可以等于零,从而消除某个随机效应;协方差矩阵也可能出现秩亏。奇异拟合可能表明,观测数据所支持的独立随机效应维度少于模型设定的维度。它也可能源于信息不足或数值问题。要区分这些情况,需要考察模型、研究设计和拟合诊断,而不能仅依赖收敛提示。

数值近似与贝叶斯计算

大多数非高斯广义线性混合模型的似然函数都无法通过积分得到闭式表达式。拉普拉斯近似用条件众数附近的二次展开来近似被积函数的对数。若 h(b)h(b) 为被积函数的对数,b^\hat b 为使其达到最大值的点,且 H=−∇2h(b^)H=-\nabla^2h(\hat b),则

∫exp⁡{h(b)} db≈exp⁡{h(b^)}(2π)q/2∣H∣−1/2.\int \exp\{h(b)\}\,db \approx \exp\{h(\hat b)\}(2\pi)^{q/2}|H|^{-1/2}.

这种近似利用局部曲率来刻画被积函数的形状。当二元响应中某一类别的观测很稀少、每个潜在效应所对应的信息量很少,或这些效应的条件分布明显偏离高斯分布时,近似精度可能下降。

高斯求积,尤其是自适应高斯–埃尔米特求积,通过对函数在若干节点处的取值加权求和来近似积分。自适应方法以估计的条件众数为中心,对积分节点进行平移和缩放。对于低维积分,增加节点数可以提高精度,但普通的乘积求积规则在 rr 个维度上各使用 KK 个节点时,需要进行 KrK^r 次函数求值。计算量的这种快速增长,使直接求积不适用于许多具有高维交叉效应的模型。

惩罚拟似然基于对条件均值和条件方差的局部近似,逐次构造并拟合工作线性混合模型。这种方法曾发挥重要作用,因为它使研究者能够利用已有的混合模型计算工具处理复杂模型。不过,其估计可能存在偏差,尤其是在簇较小或随机效应变异较大的二元响应情形下。基于模拟的积分、重要性抽样和蒙特卡洛似然提供了其他选择,但必须控制模拟误差。

高效的实现会利用随机效应设计矩阵中的稀疏矩阵结构,并采用Cholesky分解等矩阵分解方法。自动微分为优化和近似计算提供所需的导数。通过三角因子对协方差矩阵进行参数化,有助于确保方差非负且协方差结构有效。即使底层统计模型不变,预测变量的尺度调整以及相关效应的参数化方式,也可能显著影响数值稳定性。

贝叶斯广义线性混合模型为固定效应、方差参数及其他未知量指定先验分布,进而得到联合后验分布。马尔可夫链蒙特卡洛可以对该分布进行采样探索,而无须在每个参数取值处直接计算边际似然积分。当数据对组效应提供的信息较少时,非中心化参数化,例如 b=Lθub=L_\theta u 且 u∼N(0,I)u\sim N(0,I),可以改善采样表现;不过,在其他情形下,中心化参数化可能表现更好。

贝叶斯分析中的不确定性既包括总体参数的不确定性,也包括潜在效应的不确定性。当数据难以充分识别方差分量时,标准差和相关矩阵的先验选择会产生重要影响。变分推断及其他确定性近似方法可以加快计算,但可能无法准确刻画后验依赖关系或不确定性。因此,计算上的便利本身并不能证明推断准确;近似质量仍是模型评估的一部分。

推断、模型比较与研究设计

对固定效应的推断通常从沃尔德统计量开始,这类统计量由系数估计值及其标准误构造而成。在数据信息充分的模型中,近似置信区间可能表现良好;但当结局罕见、群组数量较少、参数识别较弱,或方差估计值接近边界时,其可靠性可能下降。如果所关注的效应主要依靠少量群组来识别,那么大量个体观测所呈现出的高精度可能具有误导性。

似然比检验用于比较采用可比似然方法拟合的嵌套模型。其通常采用的卡方参考分布要求满足一定的正则条件。检验某个随机效应的方差是否为零时,由于方差不能为负,参数必须位于参数空间内部的条件便不再成立。在简单情形下,渐近参考分布是包含零点处点质量的混合分布,而不是普通的卡方分布。更复杂的随机效应检验,其参考分布可能更难确定。

剖面似然区间允许似然在估计值两侧呈不对称形态。参数自助采样则从拟合模型中模拟响应,重新拟合模型,再利用所得的经验分布评估不确定性或校准检验。这类程序可以反映非线性和边界行为,但也继承了数据生成模型的假设,并且可能需要较高的计算成本。重采样必须遵循数据结构;若将聚类观测视为相互独立且可交换,就会丢弃广义线性混合模型原本旨在刻画的依赖关系。

贝叶斯分析通常报告后验区间,包括可信区间,以及具有科学意义的对比量的后验汇总。这些是在给定似然与先验条件下的概率陈述,不同于频率学派关于覆盖率的陈述。无论采用哪种框架,报告预测概率、率差或其他响应尺度上的对比量,往往比仅报告连接函数尺度上的系数更有信息价值。非线性对比量必须根据拟合模型计算,并将不确定性通过变换传递到最终结果中。

模型比较取决于目标。基于边际似然的准则在对随机效应积分消去后,评估总体层面的模型;条件准则则可以针对已观测群组的预测。适合预测现有群组中新观测值的模型,不一定最适合预测全新群组中的观测值。比较时还必须一致地处理响应尺度、偏置项、数据子集和似然近似。惩罚拟似然的输出并不天然支持与完整似然拟合相同的常规似然比较。

研究设计决定了能够达到的统计功效。增加群组数量,对于估计群组层面的变异及在群组层面分配的效应尤为重要;增加组内观测数量,则有助于估计各群组特有的响应和组内关联。由于连接函数、基线事件发生率、群组大小和随机斜率之间存在非线性相互作用,功效计算通常需要在明确设定的参数情景下进行模拟。模拟必须复现预定的分配结构、依赖关系和计划采用的分析方法,而不能仅仅匹配总样本量。

诊断、预测与稳健性

广义线性混合模型的诊断涉及对响应分布、均值结构、依赖结构、随机效应假设以及计算拟合情况的评估。当各观测的均值和方差不同时,原始残差通常不具有可比性。皮尔逊残差用估计的条件方差进行标准化,而偏差残差则衡量各观测相对于饱和响应模型的偏差贡献。在离散响应混合模型中,这两类残差的抽样性质都可能较为复杂,因此不能直接套用熟悉的高斯残差诊断准则。

基于模拟的诊断将观测到的模式与根据拟合模型生成的重复数据集进行比较。检验内容可以包括事件频数、计数分布的尾部、零值比例、组间变异,以及残差的时间或空间关联。在贝叶斯分析中,后验预测检验在生成重复数据时会纳入后验不确定性。频率学派的预测模拟可以使用拟合得到的参数,也可以进一步考虑参数不确定性。一个模型可能重现了响应的总体分布,却未能重现组内聚集现象,反之亦然。

预测需要明确指定目标。对于已经观测到的组,可以根据关于该组随机效应的已有信息进行条件预测。对于新组,其未知效应来自总体分布,必须通过积分将其消去。将新组的随机效应设为零所得的预测,通常并不是总体平均响应。未来观测的预测区间还必须包含响应本身的变异,而不能只考虑期望响应的不确定性。

交叉验证必须与预期的预测任务相符。将单个观测随机分配到训练集和测试集,通常会使一些组同时出现在两个数据集中,因此评估的是利用这些组的已有数据所作的预测。将整个组留出,则评估的是对从未见过的组进行预测的能力。对于纵向数据,时间顺序也可能很重要:如果允许利用未来观测来预测较早的观测,就改变了预测任务,并可能高估前瞻性预测表现。

有几种模型设定错误值得分别讨论。过多的零值可能反映了某个被遗漏的过程,而不只是计数方差过大。当一个组的观测数量取决于其结局过程或潜在效应时,就会出现信息性簇大小。响应是否缺失可能取决于未观测到的数值,从而违反以已观测预测变量和随机效应为条件的分析所依据的假设。随机截距并不能自动解决上述任何一种机制带来的问题。

假定随机效应服从正态分布虽然方便,但并非在所有情况下都无碍。固定效应估计有时对分布设定错误相对稳健,而方差分量、尾部预测和组别排序则更为敏感。估计的组效应本身经过收缩处理且带有噪声,因此其经验直方图并不是来自所假定潜在分布的直接样本。敏感性分析可以比较不同的分布、协方差结构或响应分布族,以确定哪些实质性结论依赖于特定的建模假设。

历史发展与应用

广义线性混合模型(GLMM)源于广义线性建模、混合效应分析与数值计算技术进步的融合。约翰·内尔德和罗伯特·韦德伯恩于1972年提出广义线性模型框架,将响应分布与连接函数纳入统一体系。高斯混合模型此前已提供分析方差分量和相关测量数据的方法;要将这些思路推广至离散响应,就需要处理非线性条件均值和难以求解的积分。

南·莱尔德和詹姆斯·韦尔于1982年开展的纵向数据随机效应模型研究,推动了用于重复观测的现代混合模型方法的确立。1984年,斯蒂拉泰利、莱尔德和韦尔提出了用于序列二元响应的随机效应模型。罗伯特·沙尔1991年的研究,以及诺曼·布雷斯洛和戴维·克莱顿1993年的研究,为广义线性混合模型提供了具有重要影响的方法,其中包括近似估计策略,使日益复杂的分析在计算上变得可行。

此后的软件开发扩大了这些模型在实际应用中可处理的数据规模。道格拉斯·贝茨及其同事在2015年发表的一篇广泛使用的方法论文中介绍了R软件包 lme4,使基于稀疏矩阵的混合模型拟合得到广泛应用。莫莉·布鲁克斯及其同事在2017年的论文中推出了 glmmTMB,利用自动微分和拉普拉斯近似,拓展了灵活的计数数据及相关混合模型的建模能力。Stan 等贝叶斯平台则支持对定制层级模型进行联合后验计算。这些系统在所支持的响应分布族、协方差结构、近似方法以及默认推断设置方面各有不同。

具体应用取决于数据的依赖结构。在教育领域,可以对学校内学生的是否达标或是否完成学业等二元结果建模,同时利用学校层面的预测变量解释部分校际差异。在生态学中,计数型GLMM用于描述采样点的重复观测,以偏置项校正采样力度,并引入额外成分来处理过度离散或零值过多的情况。在农业试验中,区组和小区效应可以与二项或计数型结果相结合。在心理语言学实验中,采用被试与项目的交叉效应,可以体现抽样被试和抽样刺激材料均会带来变异这一事实。

在流行病学和公共卫生领域,重复二元结果、聚类事件计数以及机构间差异都是常见的应用对象。模型在既定假设下描述关联和依赖关系,但其本身并不足以为机构排名或因果解释提供依据。当整群分配属于随机对照试验的一部分时,分析仍须体现分配单位、群组数量以及相关结果的产生过程。

当前的方法学研究致力于实现适用于大规模交叉结构的可扩展拟合、可靠的小样本推断、灵活的潜变量分布,以及对结果与缺失机制或观测过程的联合建模。空间和时间GLMM将层级回归与结构化潜在场联系起来,而高维变体则针对大量系数引入正则化或信息性先验。这些发展保留了从条件分布构建边际分布这一核心思路,同时改变了潜在变异的表示、计算和评估方式。