随机效应模型是一种统计模型,将与群组、个体、实验单位或其他变异来源相关的某些效应表示为随机变量。这类模型并不把每个组的效应都作为彼此无关的参数分别估计,而是用一个共同的概率分布来描述这些效应,该分布通常由均值和一个或多个方差参数来刻画。这样既能汇集不同组的信息,又能保留组间差异。
随机效应模型是分析聚类观测和重复观测的重要工具,例如同一学校内的学生、同一个体的重复测量、同一工厂内的生产批次,以及不同研究的结果。这类模型能够解释为什么同组观测可能彼此相似,并提供一个框架,用于估计总体平均关系、组间变异,以及对特定组作出预测。同时包含固定效应和随机效应的模型通常称为混合效应模型;具有明确层级结构的模型也称为多层模型。
“随机效应”的含义在不同统计学传统中略有差异。在实验设计中,它通常涉及抽样所得的因子水平之间的变异;在纵向分析中,它表示个体特有的变化轨迹;在计量经济学中,它通常指有关不可观测的个体特征与解释变量之间关系的假设;在元分析中,它则描述不同研究的潜在真实效应之间的变异。这些用法都以概率方式处理异质性,但各自的假设和推断目标并不能相互替代。
含义、解释与历史发展
固定效应与随机效应的区别,在于如何表述变异,以及分析所针对的总体是什么。在固定效应模型中,与观测到的各组相关的效应被视为彼此独立的未知常数。在随机效应模型中,各组效应则被建模为某个分布的实现值。此时,未知量既包括该分布的参数,例如方差,也包括各组共有的回归系数。
例如,一项比较三种特意选定的制造工艺的实验,可以将工艺视为固定因子,因为这三种工艺涵盖了研究者感兴趣的全部比较对象。如果实验还使用了从持续生产过程中抽取的批次,那么批次间的差异就可以用随机效应来表示。这一区别并不意味着固定效应在物理上不可改变,也不意味着随机效应每次测量时都会发生不可预测的变化。同一批次的所有观测值可以具有恒定的批次效应,而在描述批次间变异的模型中,这一效应仍可视为随机效应。
对组别水平进行实际的随机抽样,可为将结论推广至总体提供直接依据,但这并不是使用随机效应模型的普遍必要条件。模型也可以假定,在考虑已测量的预测变量后,观测到的各组具有足够的可交换性。通俗地说,可交换性意味着重新标记各组不会改变它们的联合分布。这种近似是否合理,取决于抽样过程、具体研究情境以及模型中纳入的协变量。将一批为方便而选取的学校建模为可交换的,并不会自动使它们具有代表所有学校的能力。
随机效应模型的历史发展与方差分析和实验设计密切相关。20 世纪初,罗纳德·费希尔提出了将观测变异分解为与不同来源相关的分量的方法。平衡的农业和生物学实验使研究者能够通过均方的期望值来估计方差分量。当各组样本量相同、设计能够产生正交比较时,这些方法尤其方便。
此后,动物育种成为混合模型理论的重要应用领域。C. R. 亨德森提出了同时估计固定效应和预测随机遗传效应的计算方法,并于 1953 年发表了影响深远的方差分量研究。H. D. 帕特森和 R. 汤普森于 1971 年提出限制最大似然法,提供了一种将固定效应估计的影响纳入考虑的似然方法。后续研究将这些方法与纵向模型、分层贝叶斯分析和大规模数值计算联系起来。南·莱尔德和詹姆斯·韦尔于 1982 年发表的纵向随机效应模型,在处理测量时间不规则的重复测量数据方面产生了尤为重要的影响。
线性表述及其引入的依赖关系
标准线性混合模型写作
这里, 包含 个观测值, 是固定系数 的设计矩阵, 将观测值与随机效应向量 联系起来。常用的高斯设定假定
并假定 与 具有统计独立性。矩阵 和 分别描述随机效应和残差的协方差。将随机效应积分消去,得到
上标 表示转置。这种边际表述说明,随机效应为观测值的协方差矩阵提供了一种具有特定结构的模型。
对于第 组中的第 个观测值,一个简单的随机截距模型为
其中 ,。如果残差相互独立,则每个观测值的方差为 ,而同一组中两个不同观测值的协方差为 。属于不同独立组的观测值之间协方差为零。因此,组内观测值之间的相关关系可用以下相关系数表示:
这个量称为组内相关系数。在这一特定模型下,它衡量未被解释的边际方差中可归因于组间差异的比例。
例如,如果组间方差为 ,组内残差方差为 ,则组内相关系数为 。此时,从已有组中收集更多观测值,所增加的独立信息少于从新组中收集同等观测值所增加的独立信息。在每组有 个观测值、模型仅含截距的平衡情形下,常见的设计效应表达式 描述了均值的方差相对于按观测值独立计算所得方差的膨胀倍数。它并不是适用于所有回归系数或抽样设计的通用校正。
条件表述与边际表述回答的是不同的问题。在给定 的条件下,模型描述的是特定组的结果;从边际角度看,模型描述的则是跨组得到的分布。在线性模型中,如果随机效应的均值为零,两种表述的均值均为 ,但其不确定性有所不同。正态性使似然计算和条件预测尤其易于处理;协方差恒等式本身则只要求具备适当的二阶矩,并满足前述独立性假设。
随机截距、随机斜率与分组结构
随机截距允许各组的基线水平不同,但假定每个预测变量的效应在各组间相同。随机斜率模型还允许预测变量与结局之间的关联因组而异。对于随时间进行的重复测量,一种常见的模型设定为
其中
协方差 描述的是:在时间原点取值较高的组,其斜率是否倾向于更大或更小。随机斜率方差不为零,意味着即使考虑了共同斜率,各组的变化轨迹仍存在差异。
对于同一个体在时刻 和 的两次测量,随机效应对协方差的贡献为
因此,随机斜率产生的依赖关系随测量时间而变化,不同于随机截距模型中的恒定协方差。对时间进行中心化会改变截距的含义,并使截距与斜率之间的协方差发生变换。只要对完整的协方差结构进行相应变换,拟合得到的一组轨迹就不会改变。然而,如果限定截距与斜率相互独立,时间原点的选择就会影响模型。
分组因子可以是嵌套的,也可以是交叉的。当每名学生只属于一个班级、每个班级只属于一所学校时,学校内的班级以及班级内的学生就构成了嵌套结构。模型可以分别为学校和班级设置随机效应,其中班级标识是在各自所属学校内识别的。当观测同时属于彼此不存在嵌套关系的多个组时,就形成了交叉结构:某个作答结果可能既取决于作答者,也取决于所回答的试题。此时,个体和试题的随机效应会沿两个不同维度引入依赖关系。
有些观测在同一分组体系中具有多重隶属关系。一名由多位教师授课的学生,其教师效应可以表示为多位教师效应的加权组合,而不是单一的教师截距。遗传模型提供了另一种扩展:有亲缘关系的个体,其随机效应之间的协方差可以与已知或估计的亲缘关系矩阵成比例。因此,各组效应相互独立是一种常见的特例,而不是所有随机效应模型都必须满足的定义性要求。
随机效应也不必解释组内的全部依赖关系。即使纳入了个体截距和斜率,重复测量仍可能存在序列相关。残差矩阵 可以表示这种额外结构,例如通过自回归模型或随时间变化的测量方差来表示。要区分个体缓慢变化的轨迹与残差的序列依赖,需要观测时间的安排和重复观测提供足够的信息。如果缺乏这些信息却加入大量协方差参数,就可能产生数据无法分别识别的结构。
系数与方差分量的估计
若 已知,且满足所需的秩条件,则可用广义最小二乘法估计固定效应系数:
与普通最小二乘法不同,这一计算会同时根据观测值的方差及其相互依赖关系进行加权。实际中, 含有未知的方差分量,因此系数估计与协方差估计相互关联。通常在迭代拟合过程中,将协方差参数的估计值代入广义最小二乘估计式。
对于每组有 个观测值的平衡单因素随机截距模型,经典方差分析给出
由此得到矩估计值
尽管方差不可能为负,第二个表达式却可能取负值。这类结果反映了无约束矩估计量的抽样变异。不平衡设计的情况更为复杂,因为简单的均方分解已无法如此清晰地分离各个分量。
最大似然估计则通过优化边际高斯似然来进行估计。略去常数项,其对数似然为
其中, 表示协方差参数。方差须为非负值,协方差矩阵须为半正定矩阵。为满足这些约束,通常采用基于三角因子的参数化方法。在小样本中,方差分量的最大似然估计可能存在向下偏差,因为拟合均值结构会消耗信息,而直接最大化似然并未明确扣除这部分信息。
限制最大似然法通常缩写为 REML,它基于能够消去固定效应的观测值线性组合进行估计。当 满秩时,略去与参数无关的常数,一个等价的目标函数为
其中
而 为固定效应系数的个数。REML 通常能减小有限样本偏差,但并不保证在所有设计中都能得到无偏估计。
数值拟合可采用牛顿类方法、评分算法或期望最大化算法。当组数很多、但与每个随机效应相关联的观测值相对较少时,稀疏矩阵分解尤为重要。固定效应空间不同的模型,其 REML 似然通常不能直接比较;这类比较一般采用普通最大似然法。方差估计值为零是有效的边界解,而数值优化器未能成功求解则是另一个独立的计算问题。
预测、收缩与贝叶斯解释
随机效应模型区分总体参数的估计与各组特有偏差的预测。如果协方差参数已知,随机效应向量的最佳线性无偏预测为
“最佳”是指,在假定的协方差模型下,该预测量在相应的线性无偏预测量类别中具有最小的预测误差方差。这并不意味着在模型存在任意误设的情况下,它仍然是最优的。当协方差参数由估计得到时,所得预测量通常称为经验最佳线性无偏预测量(经验 BLUP)。
在仅含截距、残差相互独立且第 组有 个观测值的模型中,这一预测机制尤为直观。如果将总体均值 和方差分量视为已知,则
预测的组均值为
这是观测到的组均值与总体均值的加权组合。信息较少的组会更多地向共同均值收缩;测量充分的组则收缩较少。较大的组间变异也会减少收缩,因为在这种情况下,模型认为组间存在较大差异的可能性更高。
这种特性通常称为部分汇聚。完全汇聚会为所有组指定相同的均值,而不汇聚则会独立估计各组的均值。部分汇聚允许个别组的效应估计存在一定偏差,以换取抽样变异的减小,从而可能降低平均均方误差。这并不意味着每一个组的预测都会得到改善。异常的组可能会被大幅拉向某个并不能很好描述它们的共同分布,因此,该分布是否适切是一个具有实质意义的重要问题。
在高斯假设下,预测公式也具有贝叶斯解释。当 和协方差参数已知时,
该条件均值既是预测量,也是后验分布的均值。先根据数据估计分布参数,再将这些参数视为固定值,是一种经验贝叶斯方法。完整的贝叶斯推断则为回归系数和协方差参数指定概率分布,并通过积分计入它们的不确定性。
同样的思想也将随机效应与正则化联系起来。对于已知的正定矩阵 和 ,高斯模型的拟合可以表示为最小化下式:
第二项对较大的随机效应施加惩罚,与岭回归类似。不同于从外部选定并固定的惩罚,这里的惩罚强度通常通过方差分量来估计。对全新组进行预测时,还需要抽取新组的随机效应,或对其进行积分,而不能假定新组的偏差已经已知。
推断、可识别性与模型评估
当协方差参数已知时,对固定效应系数的推断相对直接:系数估计量的协方差为 。当协方差分量需要估计时,将其估计值代入这一表达式会忽略一部分不确定性。如果研究设计包含许多相互独立的组,大样本正态近似可能是适用的;但仅在少数组内进行大量测量,并不一定足以支持这种近似。对于组层面的预测变量,组的数量及其配置尤为重要。
小样本方法包括对分母自由度采用 Satterthwaite 近似,以及对系数协方差和参照分布进行 Kenward–Roger 调整。这些方法处理了协方差估计所引入的部分不确定性,但其表现仍取决于研究设计和模型假设。总体层面系数的置信区间,不同于现有组潜在效应的区间,也不同于未来观测值的预测区间。最后一种区间必须计入相应的残差变异;如果预测对象来自新组,还必须计入新增的组间变异。
检验方差分量会遇到边界问题。在原假设 下,参数位于其允许取值范围的边界。因此,通常的似然比检验所用的参照分布未必是标准的卡方分布。在某些仅含一个方差分量的简单情形中,其渐近分布是零点处的点质量分布与自由度为一的卡方分布按相等权重混合而成的分布。更复杂的随机斜率检验和协方差检验可能具有不同的参照分布特征。参数自助采样可通过反复模拟并重新拟合指定模型,来近似检验统计量在原假设下的分布。
可识别性关注的是:不同的参数值是否对应可区分的可观测分布。当每组只有一个观测值时,简单随机截距模型中的随机截距方差与独立残差方差无法分离,只能观测到二者之和。随机斜率要求相关组内的相应预测变量具有足够的变异。估计得到的随机效应协方差矩阵可能是奇异的,即有一个或多个零特征值;这表明拟合出的变异所占据的维度少于所设结构的维度。奇异性并不等同于数值计算不收敛,尽管两者可能同时出现。
模型评估既要考察均值设定,也要考察协方差设定。残差中的模式可能揭示非线性的均值关系、残差方差不等或序列依赖。在考察预测随机效应的分布时需要谨慎,因为收缩效应使其不同于直接观测到的独立抽样值。基于模拟的检验可以将实际观测数据的汇总统计量与拟合模型下生成的重复数据进行比较。交叉验证也必须与预测目标相匹配:留出现有组内的部分观测值,与留出整个组,评估的是不同的预测任务。最后,如果观测过程依赖于未纳入模型的潜在效应,却仍被视为可忽略,那么具有信息性的组大小或与结局相关的失访,就可能使标准似然分析失效。
广义与非线性随机效应模型
对于二元结局、计数及其他非高斯响应,可以将随机效应纳入广义线性模型。广义线性混合模型在指定响应的条件分布的同时,规定
其中, 为连接函数,。二元模型可以采用伯努利分布和对数几率连接函数;计数模型可以采用泊松分布和对数连接函数。通常假定,在考虑随机效应后,各响应条件独立,但也可以引入额外的依赖结构。
与高斯线性模型的情形不同,边际均值通常不等于将逆连接函数作用于固定效应线性预测子所得的值:
在逻辑斯蒂随机截距模型中,固定效应系数描述的是在随机效应取值相同的条件下,观测值之间进行比较所得到的条件对数优势比。它通常不等于对各组取平均后得到的对数优势比。由于优势比具有不可折叠性,即使不存在混杂,这种差异也可能出现。因此,条件模型与总体平均模型得出大小不同的系数,并不一定存在矛盾。
某些边际量具有简单的形式。在具有独立高斯随机截距 的泊松对数连接模型中,
随机截距既会改变边际均值,也会使模型相对于普通泊松模型呈现过度离散。它还会使共享同一截距的观测值之间产生正相关。不过,过度离散也可能由其他机制引起,因此,引入随机截距与改用其他条件响应分布,并不一定代表相同的科学解释。
边际似然函数需要对随机效应进行积分。逻辑斯蒂—正态模型的这一积分通常没有闭式解。拟合方法包括拉普拉斯近似、自适应高斯求积、数值积分以及基于模拟的方法。贝叶斯实现通常采用马尔可夫链蒙特卡洛。近似精度取决于簇的大小、响应数据的稀疏程度、随机效应的维数以及异质性的大小。当二元数据中每组的观测数很少时,数据所能提供的有关复杂协方差结构的信息可能十分有限。
非线性混合模型允许使用非线性响应函数,从而扩展了这一方法:
例如,在生长曲线和浓度—时间曲线中,个体特异的参数可用于描述速率、容量或衰减常数。通过变换可以施加约束,例如要求速率参数为正。对不同非线性参数引入随机效应,可能会产生显著不同的可观测轨迹,而这些随机效应的分布必须在其定义所在的尺度上加以解释。由于均值参数与方差参数之间可能存在很强的相互作用,这类模型通常需要谨慎地进行数值优化。
面板数据计量经济学中的随机效应
在计量经济学中,随机效应常见于对同一单位进行重复观测的面板数据。一个标准模型为
单位特定效应 表示持续存在的不可观测特征。传统的随机效应设定假定,该效应与各观测时期的回归变量均不相关;更强的设定则施加适当的条件均值为零假设。这一假设是一致估计的核心条件,而不仅仅是为了方便而采用的分布设定细节。
当残差相互独立且同方差,面板为平衡面板、每个单位均有 次观测时,可以通过准去均值变换实现广义最小二乘估计:
其中
当 时,这一变换便退化为混合回归。当持续存在的单位间变异相对于残差变异越来越大时, 趋近于一,变换也趋近于单位内去均值变换。对于非平衡面板,则使用包含 的单位特定形式。
面板固定效应估计量通过单位内离差或等价的单位指示变量消除 。在适当的外生性条件下,这允许持续存在的单位特征与回归变量相关。代价是,对于在每个单位内保持不变的预测变量,其系数无法与不受约束的单位效应分别估计。随机效应模型可以估计这些系数,但必须依赖特定假设,使单位间比较能够为所要研究的关系提供有效信息。
杰里·豪斯曼于1978年提出的豪斯曼检验,用于比较在随机效应约束成立时差异应当很小的估计量。固定效应估计与随机效应估计之间若存在系统性差异,可能表明随机效应的约束条件不成立。该检验并非普遍适用的决策规则:其标准形式依赖于协方差假设,而采用稳健形式时也需谨慎。结果不显著并不能证明不可观测效应与回归变量相互独立。
相关随机效应设定提供了另一种方法。亚伊尔·蒙德拉克于1978年提出的设定,用单位层面的回归变量均值表示单位效应的一部分:
在相应的条件均值假设下,将这些均值纳入模型,可以在保留随机残余效应的同时,区分单位内关联与单位间关联。这明确呈现了传统随机效应模型所排除的一种关系。不过,无论随机效应还是固定效应,都不能自动解决所有形式的内生性。随时间变化的遗漏变量、反向因果关系、测量误差或动态反馈,都可能需要额外的假设和方法。针对重复观测构建的协方差模型,本身并不构成因果推断的识别策略。
随机效应元分析与研究间异质性
在元分析中,随机效应模型用于描述不同研究的潜在真实效应之间的变异。一种基本的两阶段表述为
其中, 是某项研究的效应量估计值, 是其抽样方差, 是研究间方差。其边际分布为
该模型将研究内的不确定性与各研究潜在真实效应之间的实际变异区分开来。对模型的解释,取决于能否合理地将纳入的研究视为代表了一个有实际意义的研究情境分布。
给定 后,平均效应的估计值为按方差倒数加权的平均值,
当 时,这些权重就退化为共同效应分析所用的权重。随着异质性增大,各项研究的权重趋于接近,因此,相较于共同效应加权,小型研究获得的相对权重更大。这种变化并不能纠正研究偏倚。如果小型研究因选择性发表或其他机制而存在系统性差异,改变权重可能会改变合并估计值,却无法解决根本问题。
丽贝卡·德西蒙尼安与南·莱尔德于1986年提出的方法,使基于矩估计研究间方差的做法得到广泛应用。限制性最大似然法(REML)和其他估计方法也被广泛采用。当可用研究较少时, 的不确定性可能很大。此时,将估计值直接代入计算的常规 区间可能低估不确定性,因此发展出了 Hartung–Knapp 类推断方法,以及为异质性明确设定概率分布的贝叶斯分析等方法。这些方法的表现取决于研究数量、方差模式以及具体实现方式。
的置信区间针对的是模型中潜在真实效应分布的均值。预测区间则针对一个新的、可比的研究情境中的真实效应。其大样本下的示意性表达式为
其中,参照分位数 取决于所采用的推断方法。该区间不包含未来研究观测估计值的抽样误差;要预测这一估计值,还需要纳入其抽样方差。预测区间可能远宽于均值的置信区间。
元回归引入研究层面的预测变量,以解释部分异质性,剩余部分则体现为残余研究间方差。研究层面的关联不一定等同于个体层面的关联。此外,同一研究中的多个结局或比较之间存在依赖关系;除非模型体现了这种依赖关系,否则它们不符合简单模型中研究相互独立的假设。多变量元分析和多层次元分析可以对这类结构建模,但无论是异质性参数,还是更丰富的层级结构,都无法消除选择偏差、所报告抽样方差中的误差,或研究设计上的系统性差异。