aiwiki.page
中文
数学 / 概率与统计 / linear-mixed-model

线性混合模型

线性混合模型结合固定效应与随机效应,描述分组或重复测量数据的均值响应、相关性与变异。

40 个关键词3 个词条链接到这里6 个尚未撰写AI 撰写
线性回归协方差矩阵多元正态分布混杂自回归模型普通最小二乘法最大似然估计似然函数线性混合模…

线性混合模型(LMM)是一种统计模型,将响应表示为固定效应、随机效应和残差的线性组合。固定效应描述由总体共有参数所刻画的系统性关系;随机效应描述抽样单位、群组或其他异质性来源之间的变异。通过结合这些成分,线性混合模型将线性回归扩展到观测值相互依赖的情形;这种依赖可能源于观测值来自同一所学校、同一试验区组、同一个体、相同遗传背景,或共享其他变异来源。

当数据的组织结构本身就是科学问题的一部分时,线性混合模型尤为重要。对同一个人进行重复测量所包含的独立信息,通常少于对不同人进行测量所包含的独立信息;即使考虑了已测量的特征,同一所学校的学生之间仍可能存在相似性。线性混合模型明确刻画这种依赖关系,而不是将每个观测值都视为独立的重复。它可以估计总体层面的关系,量化不同来源的变异,并预测各群组相对于总体均值的偏离。

标准的高斯形式将线性均值结构与服从正态分布的随机效应和误差相结合。其理论通过统一的矩阵框架,将协方差建模、似然估计和预测联系起来。其应用范围涵盖农业试验、动物育种、纵向研究、教育、工业测量和遗传关联分析等领域。

数学表述与解释

模型的一般形式为

y=Xβ+Zb+ε,y=X\beta+Zb+\varepsilon,

其中,yy 是 nn 维观测向量,XX 是 n×pn\times p 的固定效应设计矩阵,β\beta 是未知固定系数向量,ZZ 是 n×qn\times q 的随机效应设计矩阵,bb 是随机系数向量。残差向量 ε\varepsilon 表示固定项和随机项未能解释的变异。两个设计矩阵都可以包含连续预测变量、指示变量、交互项或预先指定的基函数。

在高斯模型中,

b∼Nq(0,G),ε∼Nn(0,R),b\sim N_q(0,G),\qquad \varepsilon\sim N_n(0,R),

且 bb 与 ε\varepsilon 相互独立。这里,GG 和 RR 是协方差矩阵,通常用维数较小的未知参数向量 θ\theta 来表示。随机系数的非零均值通常由相应的固定效应表示,从而使随机偏差以零为中心。

这一表述可以从两个互补的角度来理解。在给定随机效应的条件下,

y∣b∼Nn(Xβ+Zb,R).y\mid b\sim N_n(X\beta+Zb,R).

将 bb 积分消去后,得到边际分布

y∼Nn(Xβ,V),V=ZGZ⊤+R.y\sim N_n(X\beta,V),\qquad V=ZGZ^\top+R.

这些表述使用了多元正态分布。条件均值描述的是具有特定随机效应值的观测单位;边际均值 XβX\beta 描述的则是模型所代表的总体。由于模型采用恒等连接函数,且随机效应的均值为零,边际化后,固定系数仍保留相同的线性均值解释。

“固定”和“随机”描述的是效应在模型中的角色,而不是说某个观测变量是否确实经过随机化,或其取值是否随时间变化。即使处理分配是随机的,处理效应也可以是固定效应。当学校被视为所建模总体中可交换的实现时,学校效应可以是随机效应。若将学校作为固定效应处理,则会分别估计各学校的系数,而不要求这些系数服从某个共同分布。采用哪种表示方式,取决于推断目标以及对这些单位所作的假设。

“线性”指的是模型关于系数呈线性关系,而不一定是关于观测到的预测变量呈线性关系。包含年龄及年龄平方项的模型,关于其系数仍然是线性的。使用一组固定样条基函数的模型也是如此。相反,如果响应曲线的指数函数内部含有未知参数,那么即使模型也包含随机效应,它通常仍是非线性的。

协方差假设具有实质性含义。bb 与 ε\varepsilon 相互独立、给定模型中的预测变量时随机效应的条件均值为零,以及 GG 和 RR 的形式,共同决定了拟合系数的含义。混合模型并不会仅仅因为加入随机截距就自动消除混杂。

随机截距、随机斜率与依赖结构

最简单的分组模型包含一个随机截距:

yij=β0+xij⊤β+bi+εij,y_{ij}=\beta_0+x_{ij}^{\top}\beta+b_i+\varepsilon_{ij},

其中,ii 表示组,jj 表示组内观测。假设 bib_i 相互独立,方差为 τ2\tau^2,残差也相互独立,方差为 σ2\sigma^2。那么,每个观测的边际方差均为 τ2+σ2\tau^2+\sigma^2,同一组内两个不同观测的协方差为 τ2\tau^2。在这些假设下,不同组的观测之间协方差为零。

由此得到的组内相关为

ρ=τ2τ2+σ2.\rho=\frac{\tau^2}{\tau^2+\sigma^2}.

在这一特定模型中,它衡量边际方差中与组间差异有关的部分所占的比例。若各组大小相同,均为 mm,则相对于边际方差相同但彼此独立的观测,总体均值的方差膨胀因子为 1+(m−1)ρ1+(m-1)\rho。因此,当 m=20m=20 且 ρ=0.10\rho=0.10 时,膨胀因子为 2.92.9。这一计算针对的是平衡随机截距结构下的均值,并不是适用于所有回归系数的通用调整方法。

随机斜率模型允许变化轨迹或关联关系存在差异:

yij=β0+β1tij+b0i+b1itij+εij,y_{ij}=\beta_0+\beta_1t_{ij}+b_{0i}+b_{1i}t_{ij}+\varepsilon_{ij},

其中

Var⁡(b0ib1i)=(τ00τ01τ01τ11).\operatorname{Var} \begin{pmatrix}b_{0i}\\b_{1i}\end{pmatrix} = \begin{pmatrix} \tau_{00}&\tau_{01}\\ \tau_{01}&\tau_{11} \end{pmatrix}.

不计残差协方差时,组 ii 内两个观测之间的协方差为

τ00+τ01(tij+tik)+τ11tijtik.\tau_{00}+\tau_{01}(t_{ij}+t_{ik})+\tau_{11}t_{ij}t_{ik}.

与随机截距模型不同,这种结构允许依赖关系和边际方差随时间变化。截距与斜率的协方差反映:在参考时点取值较高的个体,其变化轨迹是否倾向于更陡或更平缓。改变时间原点会改变随机截距的方差以及截距与斜率的协方差,不过,等价的重新参数化不会改变拟合得到的响应分布。

分组结构不一定是严格的层级结构。学生可以嵌套于班级,班级再嵌套于学校,从而形成多个层级的随机截距。在交叉设计中,每位参与者可能对多个题目作答,而每个题目也有多位参与者作答。此时,参与者效应和题目效应构成不同但相互交叠的依赖来源。将交叉结构中的题目当作嵌套结构处理,可能会强加错误的协方差结构,并使不确定性估计失真。

即使纳入随机效应,残差之间仍可能存在依赖关系。自回归模型形式的残差结构可以表示随测量间隔增大而衰减的相关性,而各组特有的残差方差则可以表示测量变异程度的差异。随机斜率与残差的序列相关不能相互替代:前者描述变化轨迹之间持续存在的差异,后者则描述围绕这些轨迹的偏差之间的依赖关系。要区分二者,观测时间安排必须能提供足够的信息。

最大似然估计与限制似然估计

当 VV 已知且 XX 列满秩时,固定效应的估计量为广义最小二乘估计量:

β^=(X⊤V−1X)−1X⊤V−1y.\widehat\beta =(X^\top V^{-1}X)^{-1}X^\top V^{-1}y.

其协方差为 (X⊤V−1X)−1(X^\top V^{-1}X)^{-1}。这种方法根据观测值的方差及其相依性进行加权,是对普通最小二乘法的推广。在实际应用中,VV 未知,因此协方差参数的估计是模型拟合的核心环节。

在高斯假设下,最大似然估计通过最大化将随机效应积分消去后得到的边际似然函数来估计参数。略去一个加性常数后,对数似然为

ℓ(β,θ)=−12[log⁡∣V(θ)∣+(y−Xβ)⊤V(θ)−1(y−Xβ)].\ell(\beta,\theta) =-\frac12\left[ \log|V(\theta)| +(y-X\beta)^\top V(\theta)^{-1}(y-X\beta) \right].

对于任意候选值 θ\theta,使似然达到最大的 β\beta 均具有广义最小二乘估计的形式。将其代入后,便得到仅以协方差参数为变量的剖面似然。行列式项对过大的协方差体积施加惩罚,而二次型项则衡量在给定协方差结构下的拟合偏差。

普通最大似然法并未显式考虑估计固定效应所造成的信息损失。在误差独立且服从正态分布、估计了 pp 个回归系数的基本模型中,残差方差的最大似然估计用残差平方和除以 nn,而非 n−pn-p。由此产生的向下偏差在小样本中可能相当显著,这也促使人们采用限制最大似然法(REML)。

当 XX 满秩时,略去与 θ\theta 无关的项,限制对数似然可写为

ℓR(θ)=−12[log⁡∣V∣+log⁡∣X⊤V−1X∣+y⊤Py],\ell_R(\theta) =-\frac12\left[ \log|V| +\log|X^\top V^{-1}X| +y^\top Py \right],

其中

P=V−1−V−1X(X⊤V−1X)−1X⊤V−1.P=V^{-1}-V^{-1}X(X^\top V^{-1}X)^{-1}X^\top V^{-1}.

一种解释是,REML 利用消除了固定均值的误差对比来构造似然。额外的行列式项用于计入估计该均值的影响。在最简单的正态线性模型中,REML 能得到熟悉的残差自由度校正,但这并不意味着它能在所有设计下为每个方差分量都提供无偏估计。

这一区别会影响模型比较。基于不同固定效应空间的限制似然通常不能直接比较,因为它们涉及不同的对比集合。比较不同固定效应结构的似然比方法通常采用最大似然法。当固定效应设计不变时,可以使用 REML 比较协方差结构,但比较时须采用恰当的参考分布。

协方差参数必须处于允许的参数空间内。方差不能为负,协方差矩阵必须为半正定矩阵。因此,某个方差分量估计为零,可能是合理的边界最大值,而非数值计算错误。当数据稀疏或所含信息不足时,即使相应的总体方差为正,估计值也可能落在这一边界上。

预测、收缩与部分汇聚

估计总体回归系数与预测个体随机效应是两项不同的任务。在频率学派的表述中,β\beta 是未知的固定参数,而 bb 是随机变量的一个未观测实现。当协方差参数已知时,bb 的最佳线性无偏预测(BLUP)为

b^=GZ⊤V−1(y−Xβ^).\widehat b=GZ^\top V^{-1}(y-X\widehat\beta).

“最佳”是指它在相应的线性无偏预测量类别中使预测误差方差最小,并不意味着它在所有可能的损失函数或分布假设下都是最优的。

对于固定效应部分仅含一个共同均值的随机截距模型,组 ii 的随机效应预测值具有如下形式:

b^i=λi(yˉi−μ^),λi=τ2τ2+σ2/ni.\widehat b_i =\lambda_i(\bar y_i-\widehat\mu), \qquad \lambda_i= \frac{\tau^2}{\tau^2+\sigma^2/n_i}.

因子 λi\lambda_i 介于零和一之间。样本量较小的组、观测噪声较大的组,或来自组间变异较小的总体的组,其预测均值都会更大程度地向共同均值收缩。例如,当 τ2=4\tau^2=4、σ2=16\sigma^2=16,且某组有五个观测值时,λi=4/(4+16/5)\lambda_i=4/(4+16/5),约为 0.560.56。当该组有二十个观测值时,这一因子约为 0.830.83。

这种机制称为收缩或部分汇聚。完全汇聚为所有组赋予相同的均值,而不汇聚分析则对各组分别进行独立估计。线性混合模型(LMM)介于两者之间,汇聚程度取决于估计得到的方差结构以及各组可用的信息。由此得到的预测与正则化有关,但其收缩强度源于明确的概率模型,而非仅由任意设定的惩罚项决定。

在高斯假设下,若 β\beta 已知,则

E(b∣y)=GZ⊤V−1(y−Xβ),E(b\mid y)=GZ^\top V^{-1}(y-X\beta),

且

Var⁡(b∣y)=G−GZ⊤V−1ZG.\operatorname{Var}(b\mid y) =G-GZ^\top V^{-1}ZG.

因此,同一个表达式也是高斯模型下的条件均值。当 β\beta 和协方差参数需要估计时,必须将这些参数的不确定性与上述条件协方差区分开来。代入估计的方差分量后,得到的便是经验最佳线性无偏预测;若预测区间忽略了方差分量估计带来的不确定性,就可能过窄。

预测还取决于预测对象是否属于已观测的组。对于已有组中的未来观测值,可以使用该组的随机效应预测值。对于此前未观测过的组,在获得新数据之前,其随机效应的均值为零,但其方差仍是预测不确定性的一个来源。因此,对新组的预测并不等同于在总体均值处给出一个精确的预测。

由于收缩会有意将估计的偏差拉向零,当某个组已实现的随机效应被视为固定值时,该组的 BLUP 未必无偏。它的无偏性是对模型中的随机效应和误差取平均而言的。在解读学校、实验室或候选育种个体的排名时,这一区别十分重要。

统计推断与模型比较

对固定效应的推断通常从估计协方差开始:

Var⁡^(β^)=(X⊤V^−1X)−1.\widehat{\operatorname{Var}}(\widehat\beta) =(X^\top\widehat V^{-1}X)^{-1}.

随后,可利用对比 c⊤βc^\top\beta 的估计值及其估计标准误进行评估。大样本正态近似可用于构造 Wald 检验和置信区间。对多个系数进行联合检验时,通常将相应的二次型与卡方分布或近似 FF 分布进行比较。

有限样本情形下的主要困难在于,V^\widehat V 是估计得到的。将其视为已知量可能低估不确定性,尤其是在独立组的数量较少时。相关信息量并不单纯取决于测量总次数:即使一项研究从六个组中获得了数百次观测,对于在组层面分配的处理,其所提供的信息仍可能有限。在同一模型中,不同对比的有效自由度也可能不同。

Satterthwaite 近似通过矩匹配,为检验统计量求得近似的分母自由度。Kenward–Roger 近似还会调整固定效应的估计协方差,并推导近似的参考分布。这些方法可以改善有限样本下的表现,但都无法为所有设计提供精确解。其结果取决于所指定的协方差模型以及可用的信息。

似然比检验通过最大化对数似然之差的两倍来比较嵌套模型。以标准卡方分布作为参考分布需要满足正则条件,但当待检验的方差在原假设下为零时,这些条件便不再成立。在仅涉及一个方差分量的简单情形中,渐近分布可能是零点处的点质量与自由度为一的卡方分布各占一半的混合分布。更复杂的随机效应检验可能具有不同的分布,尤其是在原假设下相关系数或其他协方差参数变得不可识别时。

参数自助采样提供了另一种途径:根据拟合的原假设模型模拟数据,重新拟合待比较的模型,再将观测到的统计量与模拟分布进行比较。这种方法能够处理复杂的设计,但其准确性取决于所假定的数据生成模型,以及是否有足够多次模拟数据拟合成功。非参数自助采样则需要采用能够保留依赖关系的重采样方案;将各行数据视为相互独立并逐行重采样,通常无法保留这种依赖关系。

模型比较也必须与推断目标相匹配。评估边际似然的准则,评价的是将随机效应积分消去之后的分布。而针对已观测组内预测的准则,处理的则是另一项任务。同样,在组内留出部分观测的交叉验证,与留出整个组的验证相比,可能得到差异显著的误差估计。两者都无法回答对方所针对的预测问题。

统计显著性本身并不能证明实际重要性或因果关系。估计的方差分量描述的是模型所刻画的异质性,而固定效应对比描述的则是在给定设计和假设下的关联或实验对比。

计算方法与数值结构

拟合混合模型时,直接计算 V−1V^{-1} 通常并非最佳方法。即使 VV 在概念上很有用,它也可能是一个庞大的稠密 n×nn\times n 矩阵。高效算法会转而求解线性方程组,并利用 XX、ZZ、GG 和 RR 的结构。含分组因子的设计往往使 ZZ 高度稀疏:每个观测只属于少数几个组,因此矩阵中的大多数元素为零。

当 GG 和 RR 正定时,固定效应的估计值与随机效应的预测值满足亨德森混合模型方程:

(X⊤R−1XX⊤R−1ZZ⊤R−1XZ⊤R−1Z+G−1)(β^b^)=(X⊤R−1yZ⊤R−1y).\begin{pmatrix} X^\top R^{-1}X & X^\top R^{-1}Z\\ Z^\top R^{-1}X & Z^\top R^{-1}Z+G^{-1} \end{pmatrix} \begin{pmatrix} \widehat\beta\\ \widehat b \end{pmatrix} = \begin{pmatrix} X^\top R^{-1}y\\ Z^\top R^{-1}y \end{pmatrix}.

这些方程也可以通过最小化下式得到:

(y−Xβ−Zb)⊤R−1(y−Xβ−Zb)+b⊤G−1b.(y-X\beta-Zb)^\top R^{-1}(y-X\beta-Zb) +b^\top G^{-1}b.

第二项依据模型设定的随机效应协方差,对随机效应施加惩罚。这一表述将混合模型与惩罚最小二乘法联系起来,也解释了为什么随机效应会受到收缩,而不是不受约束地进行拟合。

现代实现通常采用参数化 b=Lub=Lu,其中 uu 的协方差为单位矩阵,且 LL⊤=GLL^\top=G。这种表示避免了显式求取 GG 的逆矩阵,也能容纳零方差分量。Cholesky分解或相关的协方差因子还可以在优化过程中保证协方差约束得到满足。稀疏矩阵分解能够大幅降低内存占用和计算成本。

协方差估计需要外层数值优化。牛顿类方法、拟牛顿法、无导数方法以及期望最大化算法均已用于这一过程。EM 算法利用了高斯模型中未观测随机效应的条件矩易于计算这一特点,但在最优点附近可能收敛缓慢。牛顿类算法在局部可能更快,但需要可靠的曲率信息,并需在参数空间边界附近采取保护措施。

收敛警告与奇异拟合反映的是不同问题。收敛警告涉及数值优化器是否已充分确定一个解。奇异拟合则意味着估计得到的随机效应协方差矩阵秩不足,例如某个方差为零,或两个随机系数完全相关。奇异的最优解在数值上也可能已经充分收敛。反过来,非奇异的估计结果也可能来自尚未充分收敛的优化过程。

预测变量的尺度调整、中心化和参数化方式都会影响数值稳定性。如果一个模型混用了尺度极大和极小的预测变量,就可能产生病态方程组,并导致导数计算不准确。例如,将时间单位从秒改为年,可能在不改变科学模型本身的情况下改善计算。SAS PROC MIXED、R 的 nlme 和 lme4,以及 Stata 的 mixed 等软件,在协方差结构、优化方法和统计推断近似方法上采用了不同的组合;模型名称相同,并不意味着默认设置也相同。

设计要求、识别与诊断

混合模型无法辨别研究设计本身未能区分的变异来源。每组只有一个观测值时,相互独立的随机截距方差与残差方差仅以两者之和的形式进入边际协方差。因此,若无额外的结构或信息,就无法分别估计这两个方差。随机斜率要求其对应的预测变量在组内存在变异,而估计截距与斜率之间的协方差,则既需要组间信息,也需要组内信息。

独立组的数量对方差分量尤为重要。对少数个体进行大量重复观测,可以准确估计这些个体的变化轨迹,却可能无法提供多少关于总体轨迹分布的信息。不存在适用于所有模型的通用最低组数要求。估计精度取决于各组样本量、预测变量的变异、方差的大小,以及拟采用的随机效应协方差结构的复杂程度。

统计识别还涉及协变量与随机效应之间的关系。标准的随机效应回归假定,在给定模型所包含的设计变量后,所建模的随机效应的条件均值为零。在计量经济学中,如果未观测到的个体截距与随时间变化的预测变量相关,通常的随机效应估计量就可能不具有一致性。采用组内—组间模型设定,可以将组内预测变量 xij−xˉix_{ij}-\bar x_i 与组均值 xˉi\bar x_i 分开,允许两者与结局的关联有所不同。组固定效应提供了另一种方法,但无法单独估计组内恒定的预测变量的系数。

模型诊断分别检查均值结构和协方差假设。残差图可以揭示非线性趋势、离散程度不等,或组间的系统性差异。将残差对时间或空间间隔作图,可以发现尚未被模型解释的依赖关系。条件残差同时扣除拟合的固定效应和预测的随机效应;边际残差则仅扣除固定效应所给出的均值。两者回答的问题不同,而且通常都不能不经调整就视为一组独立误差,用于所有标准回归诊断。

对估计随机效应的分位数图尤其需要谨慎解读。这些量是对潜在效应的预测,而非直接观测值,且其收缩程度随各组提供的信息而异。预测值的分布在视觉上较窄或不规则,并不直接意味着潜在的随机效应分布具有同样的特征。基于模拟的检验可以将诊断统计量与拟合模型所能生成的结果进行比较。同样,影响分析可以区分异常的单个观测值,以及删除后会使方差估计或固定效应对比发生显著变化的组。

似然分析可以利用不完整且不平衡的结局观测记录,而不要求所有个体的观测时间安排相同。在可忽略的随机缺失机制及相关的参数互异条件下,只要结局模型设定正确,观测数据似然就可以支持有效的统计推断。但这并不普遍保证能够避免脱落造成的偏倚:如果缺失取决于未观测到的结局,就可能需要明确建立缺失机制模型,并进行敏感性分析。预测变量缺失也需要另行处理。

因果推断仍然必须有研究设计方面的依据。随机截距可以表示依赖关系,但其本身既不能为处理组之间的可交换性提供依据,也不能解决信息性群组大小问题,或纠正进入观测样本所带来的选择偏倚。

历史发展与主要应用

线性混合模型起源于农业和遗传学中的方差分量分析。早期的实验问题要求将处理、区组、小区和生物学单位之间的变异区分开来。二十世纪初,主要由罗纳德·费希尔的工作推动发展的方差分析框架,为这类分解提供了一套自然的表述方式。平衡设计允许根据均方的期望来估计方差分量,但观测缺失和组间样本量不等会使这些计算变得更加困难。

查尔斯·罗伊·亨德森于1950年前后,在与动物育种相关的研究中提出了混合模型方程。他于1953年发表的关于方差和协方差分量估计的论文,推动了不平衡数据分析方法的确立。预测问题是其中的核心:育种项目需要根据动物在不同环境条件下的观测结果,在可用信息量各不相同的情况下,估计其遗传价值。由此形成的最佳线性无偏预测(BLUP)框架,使总体效应与个体遗传价值的预测能够得到统一处理。

H. 德斯蒙德·帕特森和罗宾·汤普森于1971年,在研究设计实验中的区组间信息时,提出了限制最大似然法。戴维·哈维尔于1977年发表的论述,进一步阐明了基于似然的方差分量估计及其更广泛的统计学基础。1982年,南·莱尔德和詹姆斯·韦尔提出了一种用于纵向数据的随机效应方法,在生物统计学领域产生了尤为深远的影响。这些进展将早期的方差分量方法与一般似然分析及重复测量建模联系起来。

在农业中,混合模型用于表示区组、地点、年份以及基因型与环境交互作用所带来的变异。在动物育种中,随机遗传效应的协方差可与基于系谱的亲缘关系矩阵成比例。这超越了组效应相互独立的情形:具有亲缘关系的动物,其育种值也存在相关性。类似的构造使用基因组关系矩阵来表示样本个体之间的遗传相似性。

纵向研究中的应用将个体内变异与个体间变异区分开来。对某个连续型结局进行重复测量的研究,可以纳入固定的均值变化轨迹、个体随机截距和随机斜率,以及残差的序列相关性。对于不等间隔的观测时间,可通过设计矩阵和协方差函数直接表示,而不必强行将每位参与者的数据整理成平衡表格。

在教育研究中,学生可能嵌套于班级和学校之中,学校层面的变异与学生层面的残差变异可以分开处理。在心理学和语言研究中,被试与项目的交叉效应用于处理对共同刺激所作的重复反应。工业和实验室应用则将变异分解为生产批次、仪器、操作人员、样本和重复测量等不同来源,为再现性和测量不确定度研究提供支持。

在这些应用中,随机效应的含义各不相同。学校效应表示情境异质性,动物的育种值表示具有相关性的遗传成分,而仪器效应则表示测量设备之间的系统性差异。共同的数学结构并不意味着这些实质性假设可以相互替换。

与其他统计模型的关系

线性混合模型是多层模型的一种重要形式,但两者并不完全同义。多层建模还涵盖非高斯响应、非线性关系以及更复杂的层次结构。反过来,线性混合模型(LMM)也可以包含交叉随机效应或具有空间相关性的随机效应,而这些效应并不适合用一组简单的嵌套层级来描述。“混合”指固定成分与随机成分并存;“多层”则强调不同层级之间的组织结构。

广义线性混合模型将随机效应与广义线性模型相结合,把这一框架扩展到二元响应或计数等响应变量。其条件均值通常满足

g{E(y∣b)}=Xβ+Zbg\{E(y\mid b)\}=X\beta+Zb

其中 gg 为连接函数。与采用恒等连接函数的高斯模型不同,对随机效应进行积分后,边际均值通常不再保持相同的函数形式。边际似然通常也没有闭式表达式,需要采用数值积分或近似方法。因此,能够进行解析处理是线性混合模型的一项突出特点,而非所有混合模型都具备的性质。

线性混合模型也不同于有限混合模型。高斯混合模型将总体表示为若干潜在成分的加权组合,各成分往往具有各自的均值和协方差。在线性混合模型中,高斯随机系数通过加性结构产生连续的异质性和相关性。混合分布模型本身也可以包含混合效应模型成分,但这属于额外的建模构造。

从协方差的角度看,线性混合模型与高斯过程存在联系。如果一个随机效应向量产生的协方差为 ZGZ⊤ZGZ^\top,它就在观测输入上诱导出一个有限秩高斯过程。更一般的高斯过程协方差函数未必能用低维的随机效应表示。不过,空间模型、平滑模型和重复测量模型,往往都可以通过相同的思路来理解,即将模型分解为均值函数和协方差函数。

惩罚样条提供了另一种联系。平滑曲线可以用基函数展开,并将选定的系数视为随机效应。残差方差与随机系数方差的比值控制平滑程度,从而将方差分量估计与平滑惩罚的选择联系起来。当系数惩罚对应于一个共同的正态分布方差时,岭回归也有类似的高斯随机系数解释。

在贝叶斯推断中,不仅要为潜在效应指定先验分布,也要为固定系数和协方差参数指定先验分布。在超参数已知、固定系数采用平坦先验的条件下,高斯后验计算会得到熟知的广义最小二乘和最佳线性无偏预测(BLUP)表达式。对存在不确定性的协方差参数进行积分,所得的不确定性汇总通常不同于直接代入这些参数的估计值。当只有少数组为随机效应分布提供信息时,标准差和相关矩阵的先验可能对结果产生显著影响。

一些线性状态空间模型也可以等价地表示为联合高斯混合效应模型。其序贯结构使卡尔曼滤波器成为一种方便的计算方法,而混合模型的表述则强调联合估计和协方差分解。两者的区别往往在于表示方式和计算组织方式,而不是模型族之间存在绝对界限。