混合效应模型是一种将固定效应与随机效应相结合的统计模型。固定效应用整个总体或指定群组共同的系数表示,随机效应则用服从某种概率分布的未观测量表示。这一区分使模型既能描述系统性关系,也能描述个体、机构、地点、实验单位或其他群组之间的变异。一个常见的例子是重复测量研究:每个人都有各自的基线水平,而总体中结局变量与时间之间存在共同的平均关系。
当观测值不相互独立、各组所含信息量不均衡,或组间变异本身就是科学研究的关注对象时,混合效应模型尤为重要。它们是线性回归的扩展,并与方差分析、纵向分析、贝叶斯推断和统计预测密切相关。其主要形式包括适用于近似连续结局的线性混合模型、适用于二元或计数结局的广义线性混合模型,以及适用于生物生长、药物浓度曲线等关系的非线性混合模型。
多层模型和层次模型这两个术语强调观测值按层级组织的方式,而混合效应模型则强调固定成分与随机成分的结合。这些术语的用法有很大重叠,不过混合效应模型也能容纳不具有严格层次关系的交叉结构。其核心方法学问题包括:如何表示组间变异、如何估计模型参数、如何在组间共享信息,以及在模型假设下哪些结论仍然成立。
线性混合模型的结构
标准的线性混合模型为
其中, 包含 个观测值, 是固定效应设计矩阵, 包含固定效应系数, 是随机效应设计矩阵, 包含随机效应。一种常见的高斯分布设定为
其中 与 相互独立。这里, 和 是协方差矩阵,由一个维数通常远小于矩阵维数的未知参数向量决定。通常取 ,但也可以表示残差方差不等和序列依赖的情形。
给定随机效应时,条件均值为 。对随机效应的分布取平均后,模型变为
条件描述与边际描述之间的这一区别至关重要。随机效应既进入条件均值,也会在边际分布中引入依赖性。因此,两个观测值在给定其共有的随机效应时可以条件独立,但当该随机效应未被观测到时,两者仍然相关。
对于第 组中的第 个观测值,随机截距模型为
其中 ,残差相互独立,方差为 。每个组都有自己的截距 。同一组中两个不同观测值的协方差为 ,而在这一设定下,不同组的观测值相互独立。由此得到的组内相关系数为
在这一特定模型中,该系数衡量结局变量的边际变异中可归因于组间截距差异的比例。
随机斜率模型进一步允许结局变量与预测变量之间的关系发生变化:
若截距和斜率的方差分别为 和 ,两者的协方差为 ,则对于残差相互独立的不同观测值,有
与随机截距模型不同,这里的依赖性随测量时间而变化。对时间变量进行中心化会改变截距和斜率的解释及其协方差,但只要对模型进行一致的相应变换,就不会改变原有的拟合轨迹。
固定效应、随机效应与分组结构
固定效应通常是直接估计的系数,在抽样模型中不为其指定总体分布。随机效应则是某个组特有的潜在量,被建模为从某一分布中抽取的值。两者都可能是未知的;二者的区别并不在于固定效应是已知的,也不在于随机效应只产生于随机化实验。变量本身也并非天然属于固定或随机。如何建模,取决于所要进行的比较、模型所代表的总体,以及对组间差异能够合理作出的假设。
例如,在比较三种特定教学方法的模型中,可以用固定系数表示教学方法之间的对比,同时用随机截距表示学校之间的变异。也可以将学校指示变量作为固定系数纳入模型,但这样得到的模型具有不同的假设和推断目标。将学校效应视为随机效应,意味着为学校间差异建立分布模型,并能够对从该模型所描述的总体中抽取的其他学校进行预测。这并不能证明,观测到的学校是通过具有代表性的随机抽样选出的。
分组结构可以是嵌套的、交叉的或部分交叉的。学生嵌套于班级、班级嵌套于学校,构成了一个层级结构。然而,在语言实验中,每位参与者可能对多个词语作出反应,而每个词语也可能呈现给多位参与者。此时,参与者效应与词语效应是交叉的。模型可以同时包含这两类效应:
只要观测涉及同一位参与者或同一个词语,观测之间就存在依赖性。多重隶属模型将这一思路扩展到同时隶属于多个组的观测,例如由多位教师授课的学生,并且可以使用预先指定的隶属权重。
在计量经济学中,“固定效应”往往更具体地指个体特有的截距,用来控制稳定不变的未观测差异。传统的随机截距模型假设,在给定所纳入的预测变量后,这些潜在差异的条件均值为零。如果由于模型未涵盖的原因,截距较高的个体系统性地具有更高的预测变量取值,这一假设就可能不成立,从而产生内生性。加入随机截距并不能自动消除这种偏差。
一种有用的分解方法,是将取值变化的预测变量拆分为组内离差和组均值:
组内系数 比较同一组内的观测; 则比较预测变量均值不同的组。这两种关系不一定相同。与亚伊尔·蒙德拉克相关的相关随机效应模型,对组间异质性如何依赖于观测到的组均值进行建模。这类模型有助于明确关于未观测异质性的假设,但其本身并不能确立因果识别。
似然估计与方差分量
对于高斯线性混合模型,将随机效应积分消去后,可以得到显式的似然函数。略去常数项后,对数似然为
其中, 是表征协方差结构的参数。最大似然估计同时估计固定效应系数和协方差参数。给定 时,固定效应的估计值为广义最小二乘解:
协方差参数通常没有闭式解,需要通过数值优化求得。
另一种重要方法是限制最大似然法,通常缩写为 REML。它利用观测值的线性组合来消除固定效应均值,并据此估计协方差参数。当 有 个线性无关的列时,这些组合构成一个 维空间。略去不依赖于协方差参数的项后,限制对数似然包含
其中
额外的行列式项反映了对固定效应的估计。
在观测值相互独立且具有未知共同均值的简单模型中,最大似然法估计残差方差时使用的除数为 ,而 REML 使用的是熟悉的除数 。这说明了为什么 REML 往往能减轻方差估计的向下偏差。但这并不保证在所有非平衡模型或受约束模型中,每个协方差估计都是无偏的。此外,基于不同固定效应设计空间的限制似然,也不能直接用于常规似然比检验中的比较。比较固定效应项不同的模型时,通常使用最大似然法。
方差分量必须满足结构性约束。方差不能为负,随机截距与随机斜率的协方差矩阵必须为半正定矩阵。实际实现中通常采用 Cholesky分解或其他受约束的参数化方式来满足这些要求。拟合得到的方差为零,是合法的边界估计,不一定意味着优化出错。同样,协方差矩阵的秩降低,可能表明数据所支持的随机变异独立维度少于指定模型所允许的维度。
计算方法包括牛顿类方法、剖面似然法和期望最大化算法。这些方法的表现很大程度上取决于预测变量的尺度、协方差参数的数量以及重复观测的多少。在少数组内增加观测值,与观测许多相互独立的组,并不能提供同等的组间变异信息。
部分汇聚与随机效应预测
混合效应模型的一个显著特点是部分汇聚:各组的估计值介于完全独立估计所得的值与统一的共同估计值之间。在方差分量已知的随机截距模型中,假设第 组有 个观测值,其残差均值为
该组随机截距的条件均值为
乘数 介于零与一之间。观测数量多且测量精确的组,估计值收缩较少;而观测数量少或噪声较大的组,估计值则会更大程度地向总体均值收缩。
这是基于模型对信息进行分配,而不只是机械地偏好较小的效应。如果估计的组间变异相对于测量噪声较大,即使观测数量中等的组也会保留明显差异。如果组间变异接近于零,各组估计值就会高度汇聚。在包含随机斜率的模型中,收缩会依据截距与斜率的协方差结构共同作用于二者。由此得到的估计值不一定在每个坐标上都向零移动,因为一个随机系数的信息可能影响另一个随机系数。
对于协方差参数已知的高斯线性混合模型,在通常的可估条件下,
是随机效应的最佳线性无偏预测量,简称 BLUP。“最佳”是指在线性无偏预测量这一类别中,预测误差方差最小,而不是指在任意模型误设下都具有普遍的最优性。当 和 由估计得到时,所得结果通常称为经验 BLUP。在高斯假设下,且模型参数已知时,相应的表达式也是随机效应的条件期望。
收缩将混合模型与正则化联系起来。当协方差矩阵已知时,系数估计与随机效应预测可表示为对下式求最小值:
第二项沿着由 决定的方向对随机效应施加惩罚。对于相互独立且方差相同的系数,这与岭回归相似,但惩罚强度与估计的方差分量相联系,而不一定作为外部调优参数另行选择。
预测时必须区分已有组与新组。对于已有观测的组,其数据可为该组特有的随机效应提供信息。对于没有观测值的新组,在随机效应以零为中心的模型下,其随机效应预测值为零,但不确定性仍包含组间方差。新结局的预测区间还需计入残差变异。如果在构建区间时将估计的方差分量视为已知值,就可能低估不确定性,尤其是在组数较少时。
固定效应与方差分量的推断
混合模型中的推断较为复杂,原因在于协方差参数需要估计,而且观测数量与独立重复次数并不相同。当 已知时,广义最小二乘估计量的协方差为
实际应用中, 需要通过估计获得。直接代入其估计值,可以得到常见的基于模型的标准误,但当组数较少、各组规模极不均衡,或方差分量的可识别性较弱时,由此得到的正态近似或 Wald 近似可能并不准确。相关的有效信息量取决于所检验的具体系数。
对于高斯线性混合模型,Satterthwaite 型近似为检验赋予近似的分母自由度。Kenward–Roger 方法还会调整固定效应的估计协方差,并近似检验统计量的分布。这些方法旨在处理有限样本下的统计性质,而非改变所研究的科学问题本身。不同模型类别和软件对这些方法的支持程度及实现方式各不相同;对于复杂模型,也不存在一个能自动适用于所有系数的统一分母自由度。
似然比检验通过最大化后的对数似然之差的两倍来比较嵌套模型。对于采用最大似然法拟合、且满足常规正则条件的固定效应比较,大样本下的卡方分布可能提供有用的近似。检验某个方差分量是否为零则有所不同,因为零位于允许的参数空间边界上。在仅检验一个方差分量且满足适当正则条件的简单情形下,渐近零分布是零点处的点质量分布与自由度为一的卡方分布按各占一半混合而成的分布。更复杂的随机效应检验不一定服从这一混合分布。
参数自助采样方法通过在拟合模型下模拟数据集并对其重新拟合,来近似检验统计量的分布或区间估计所需的分布。这类方法可以纳入实际的组规模和协方差结构,但其有效性仍取决于所假定的数据生成模型。非参数自助采样必须保留相关的依赖结构:当观测值存在聚类时,对单个观测值独立进行重采样通常并不合适。即使以聚类为单位进行重采样,在独立聚类数量很少时也会面临困难。
平均斜率的置信区间、特定组斜率的预测区间,以及方差分量的区间估计,回答的是不同的问题。检验平均斜率是否为零,并不等于检验每一组的斜率是否都为零;平均效应可能为零,同时仍存在显著的异质性。反过来,平均效应不为零也不能证明各组效应的符号都相同。因此,对统计假设检验的解释取决于其目标是总体均值、某个特定组,还是各组特有效应的分布。
广义线性与非线性混合模型
广义线性混合模型通过在线性预测子中加入随机效应,对广义线性模型进行扩展。在给定 的条件下,结局通常服从伯努利分布、二项分布、泊松分布或其他指数族分布,并满足
其中, 为连接函数,。在纳入的随机效应得到控制后,通常假定各观测值条件独立,但也可以引入额外的依赖结构。随机截距逻辑回归模型描述条件对数优势的变异;采用对数连接函数的泊松混合模型则描述事件发生率的乘性异质性。
与高斯线性模型的情形不同,边际似然通常需要通过数值积分计算:
所用方法包括拉普拉斯近似、自适应高斯求积和基于模拟的积分。这些方法的精度取决于被积函数的形状,以及每个随机效应可利用的信息量。对于二元结局,若簇规模较小,数据所能提供的组别特异截距信息可能尤其有限。惩罚拟似然是另一种较早采用的方法,但在某些二元数据情形下,其近似可能产生相当大的偏差。
非线性使条件效应与总体平均效应之间产生了重要区别。在逻辑混合模型中,一般有
对随机效应积分后,所得关系不再保持相同的逻辑回归方程。因此,随机截距逻辑回归模型中的系数取指数后得到的是条件优势比,通常并非总体平均优势比。求取总体平均概率需要对随机效应分布积分;若还要对预测变量进一步取平均,则必须明确其平均方式。
广义估计方程提供了一种相关但不同的方法。它指定边际均值和工作关联结构,而不一定定义完整的潜变量似然。在适当条件下,稳健方差估计能够使统计推断不受工作关联结构误设的影响。因此,广义估计方程的回归系数与混合模型的系数可能针对不同的目标量,尤其是在采用非线性连接函数时;两者存在差异,并不必然说明其中一种方法有误。
非线性混合效应模型将随机效应置于真正非线性的响应函数之中。例如,一条简化的浓度曲线可以写为
其中,正值参数通过 和 表示。这类模型广泛应用于药代动力学和生长分析。由于取平均与非线性变换的顺序不可互换,用平均参数计算得到的曲线通常并不等于各个体曲线的平均。估计、解释和预测时都必须保留这一区别。
贝叶斯分层表述
贝叶斯混合效应模型不仅为组效应指定分布,也为未知的总体回归系数和协方差参数指定分布。其基本层次结构为
由此得到的后验分布将似然与先验分布结合起来。这种表述将协方差参数的不确定性纳入推断计算,而不是在后续预测中把估计得到的协方差参数当作固定值。
组效应的分布提供了与频率学派混合模型相同的基本信息汇聚机制。对于参数已知的高斯随机截距模型,组效应的后验均值具有常见的收缩形式。完全贝叶斯分析还会对总体均值和方差的不确定性进行积分平均。相比之下,经验贝叶斯方法根据观测数据估计超参数,并将这些估计值用于条件计算。这些方法与经验最佳线性无偏预测量(经验 BLUP)密切相关,不过,将超参数估计值直接代入所构造的区间未必能涵盖超参数的全部不确定性。
在数据信息不足的地方,先验的影响最大。当组数很少时,即使每组都有大量观测,组间标准差仍可能难以准确确定。通常会分别为随机效应的标准差及其相关矩阵指定先验。这种分离方式允许对合理的尺度和相关性表达不同的假设。数值范围宽泛的先验,并不意味着它对结果的约束就一定很弱:例如,逻辑斯蒂尺度上某个系数的宽泛先验,可能意味着概率主要集中在接近零和一的位置。
后验计算通常采用马尔可夫链蒙特卡洛方法,其中包括哈密顿方法。参数化方式可能显著影响计算效率。中心化表示直接从层次分布中抽取 ;非中心化表示则写为
其中 。当数据对组效应提供的信息较少时,非中心化通常能改善采样表现;而当每组的数据都提供了充分信息时,中心化可能表现更好。只要以等价方式实现,这两种表示都不会改变所要表达的概率模型。
贝叶斯分析在报告结果时,会区分参数的不确定性与未来观测的不确定性。可信区间描述的是给定模型和数据条件下的后验不确定性。后验预测分布还会根据预测目标的需要,生成未来的组效应或残差。后验预测检验将观测数据的汇总统计量与重复生成数据的相应统计量进行比较,例如组内变异、极端的组均值,或零计数的出现频率。所选检验结果的一致性为模型的相应特征提供了支持,但并不能证明每一项假设都正确。
假设、诊断与模型适切性
混合模型的假设涉及几个不同的组成部分:均值关系、随机效应的分布、残差的分布、给定条件后仍然存在的依赖性,以及预测变量与潜在组效应之间的关系。原始结局变量服从正态分布并不是混合模型的一般要求。高斯线性混合模型假设条件残差和随机效应服从高斯分布,而二元混合模型则采用离散的条件分布。混淆结局变量的边际分布与模型中的条件分布,可能导致采用不恰当的诊断方法。
对于线性混合模型,残差图可以揭示非线性的均值关系、残差方差不齐或异常观测值。按时间排列的残差可以揭示随机截距和随机斜率未能刻画的依赖性。随机截距使同一组内观测值之间具有相同的协方差,但通常无法再现随时间间隔增大而衰减的相关性。因此,除随机效应外,可能还需要引入自回归模型形式的残差结构。反过来,添加复杂的残差结构,也不能弥补对实质性均值关系的遗漏。
检验随机效应的分布较为困难,因为组效应是潜在的。其拟合预测值经过收缩处理,精度各不相同,而且并非来自所假设分布的独立观测。因此,预测随机效应的正态分位数图,与直接观测到的独立测量值的正态分位数图,并不具有相同的解释。基于模拟的比较可以重现估计和收缩过程,从而将实际得到的诊断结果与拟合模型可能生成的结果进行比较。
奇异拟合是指估计得到的随机效应协方差矩阵不满秩。某个方差为零,或随机系数之间存在线性依赖,都可能导致奇异拟合;后者有时表现为相关系数接近 或 。这种拟合结果可能反映某个成分确实微不足道、重复观测不足、随机效应结构过于复杂,或变量尺度设置不当。数值计算不收敛则是另一回事:即使模型可识别,优化算法也可能无法找到合适的解;而位于参数空间边界上的奇异解,却可能被成功求得。
另一些困难涉及观测数据进入数据集的方式。在满足适当的随机缺失假设,且观测数据似然设定正确的情况下,似然方法无需填补每一个缺失值,就能利用响应值不完整的记录。但这并不意味着混合模型不受缺失数据偏倚的影响。如果缺失情况取决于未观测到的结局,可能需要采用联合模型或敏感性分析模型,而预测变量的缺失则需要单独处理。信息性群组大小也可能产生影响:如果组的大小取决于潜在结局,那么忽略这种抽样关系的分析,其实际估计的总体量可能与原本想估计的量不同。
研究设计、应用与预测评估
混合效应模型与实验设计密切相关,因为随机化方式和测量结构决定了哪些效应能够被区分。在整群随机研究中,处理被分配给学校等群组,而不是单个学生。同一所学校内的学生并未各自接受独立的处理分配。学校层面的随机截距可以表示其结果之间的依赖性,但随机分配的学校数量仍是决定处理效应估计精度以及近似推断可靠性的关键因素。
当各群组大小均为 ,且群组内相关性具有可交换性、相关系数为 时,相对于独立观测的方差膨胀程度通常概括为
例如, 且 时,。在这一计算所依据的假设下,200 个成群观测值用于估计均值时所提供的信息量,大致相当于 ,即约 103 个独立观测值。这是用于研究设计的近似计算,而不是适用于所有混合模型的信息量公式。群组大小不等、处理分配方式、协变量调整以及随机斜率,都可能显著改变计算结果。
在纵向数据分析中,混合模型用于刻画个体的变化轨迹,并能处理测量次数或测量时间不一致的情况。一项对每位受试者进行多次随访的研究,可以纳入随机截距、时间的随机斜率,以及处理与时间之间的固定统计交互作用。该交互作用描述平均的时间关系如何因处理而异;随机斜率则描述个体相对于所属组平均关系的变异。当直线轨迹不足以描述变化时,可以加入样条或分段斜率等非线性时间效应。
其他应用则侧重于不同来源的重复观测。动物育种利用亲缘关系矩阵对遗传效应之间的协方差建模。多环境农业试验区分基因型差异、环境差异及其交互作用。语言实验往往需要纳入相互交叉的参与者效应和刺激材料效应。在元分析中,随机效应模型将各研究的估计值视为对各自真实效应的含噪声测量,而这些研究特异的真实效应分布在总体均值周围。混合效应元回归进一步加入研究层面的预测变量,并用方差分量表示剩余的异质性。
预测评估必须与预期用途相匹配。将单条记录随机划分到训练集和测试集,可能使同一群组的观测值同时出现在两个数据集中。这种评估考察的是部分借助已知群组信息进行预测的能力,并不一定反映模型对全新群组的预测表现。在交叉验证中将整个群组留出,评估的是另一项通常更困难的任务。在重复测量数据的预测中,时间顺序同样重要:利用较晚的观测值估计某个受试者的随机效应,可能使较早结果的预测发生信息泄漏。只有当验证设计反映了实际预测时能够获得的信息,模型比较才有意义。
历史发展与计算实践
混合效应建模并非源于某一项单独的发明,而是由多个研究传统发展而来。20 世纪初的方差分析,尤其是 罗纳德·费希尔的工作,为区分实验变异的不同来源提供了方法。农业试验和育种项目需要区分处理效应、环境变异,以及动物个体或试验地块之间持续存在的差异。平衡设计允许通过均方进行简单计算,但不规则的记录和不相等的组样本量则要求采用更一般的方法。
20 世纪中叶,查尔斯·R. 亨德森在动物育种方面的工作,对方差分量估计和随机效应预测的发展产生了尤为重要的影响。当相关逆矩阵存在时,他提出的混合模型方程可写为
在协方差参数已知的情况下,这些方程可同时给出固定效应的广义最小二乘估计和随机效应的线性无偏预测。其分块结构还将统计预测与惩罚最小二乘法联系起来。
1971 年,H. D. 帕特森与罗宾·汤普森提出了用于恢复区组间信息的限制似然方法,为现代限制最大似然(REML)估计奠定了重要基础。阿瑟·登普斯特、南·莱尔德和唐纳德·鲁宾于 1977 年提出的期望最大化算法,为潜变量估计提供了一个实用的通用框架。莱尔德与詹姆斯·韦尔于 1982 年发表的关于纵向数据随机效应模型的论文,推动了适用于不规则重复测量的现代模型表述的确立。与此同时,教育学和社会科学领域的研究发展出了多层模型和层次模型的术语体系。
现代实现高度依赖稀疏矩阵方法。由于每个观测只归属于少数组,随机效应设计矩阵通常包含大量零元素。稀疏矩阵分解可以利用这一结构,而不必构造稠密的 边际协方差矩阵。这对于含有交叉效应和大量组的模型尤其有用。不过,计算成本不仅取决于观测数量,还受到连接结构以及分解过程中产生的填充元素的影响。
不同软件环境采用不同的参数化方式、近似方法和默认推断设置。广泛使用的系统包括 SAS 中用于混合模型和广义混合模型的过程、R 软件包 nlme 和 lme4,以及 Stan 等贝叶斯框架。(1 + time | subject) 这样的公式通常表示设置一个随机截距和一个时间随机斜率,并允许两者相关,但具体含义必须结合所用实现来解释。跨程序比较时,需要统一采用最大似然还是 REML、协方差约束、积分方法、残差依赖性的处理方式以及预测目标;仅仅让书写出的模型公式一致,并不能保证统计计算完全相同。