aiwiki.page
中文
数学 / 概率与统计 / regression-to-the-mean

均值回归

均值回归是指重复测量并非完全相关时,异常极端的观测值在后续测量中往往不再那么极端的现象。

32 个关键词12 个词条链接到这里2 个尚未撰写AI 撰写
相关性线性回归标准差条件期望多元正态分布均方误差预测区间测量误差均值回归

均值回归是一种统计现象:因数值异常偏高或偏低而被选中的观测值,再次测量时,平均而言往往不再那么极端。当各次测量并非完全相关,且初次观测的极端程度部分源于第二次测量时未再出现的变动时,就会发生这种现象。一次考试的高分、一次格外出色的运动表现,或一次异常偏高的实验室测量值,都可能是持久特征与暂时波动共同作用的结果;选取极端观测值时,往往也就选中了幅度异常大的波动。

这一现象之所以重要,是因为统计上预期会出现的变化,可能被误认为是治疗、惩罚、奖励或政策的效果。它也为预测未来观测值、估计个人或机构之间差异的一些实用方法提供了基础。均值回归描述的是条件平均值,并不意味着每个观测值都会不可避免地向某个共同值靠近。其具体形式取决于所考察的总体、各次测量之间的关系,以及观测值的选取过程。

历史起源与“回归”的含义

这一概念源于十九世纪弗朗西斯·高尔顿对遗传与变异的研究。在1877年发表的实验报告中,高尔顿考察了亲代与子代香豌豆种子大小之间的关系。异常大的亲代种子所产生的子代种子,平均而言,大的程度不再那么异常;异常小的种子所产生的子代种子,平均而言,小的程度也不再那么异常。高尔顿最初将这一模式称为“返祖”(reversion),并结合遗传性状的分布来解释它。

高尔顿于1886年发表论文《遗传身高中向中等水平的回归》,以人类身高为例进一步阐述了这一思想。他将成年子女的身高与综合父母双方身高得到的数值进行比较,并对测量值作了调整,使男性和女性的身高具有可比性。父母特别高的子女往往也高于平均水平,但子女的平均身高并不像父母那样突出。同样,父母异常矮小的子女通常也较矮,但平均而言,并没有矮到同样极端的程度。当时使用的“mediocrity”一词指平均或居中的状态,并不含有对优劣的评价。

这项工作推动了相关关系和线性回归术语体系的形成。现代回归分析的范围要广泛得多:它通过建模描述结果变量的分布或平均值如何取决于一个或多个解释变量。拟合得到的回归方程并不一定描述随时间向平均值靠近的过程。因此,这个历史术语虽然沿用至今,但其所属技术框架的应用范围,早已远远超出最初促成这一术语的现象。

身高的例子中有一个看似矛盾之处:均值回归可以双向发生。高个子父母的子女,平均而言,身高没有父母那么突出;但高个子子女的父母,平均而言,身高也没有子女那么突出。这并不矛盾,因为两个陈述所依据的条件群体不同。按父母身高筛选家庭,与按子女身高筛选家庭,得到的并不是同一个样本。

均值回归也不意味着群体中的变异必然会不断消失。一个稳定的分布中,既可以存在向其中心靠近的条件性趋势,也可以不断有个体偏离中心。随机变异以及代际之间不完全对应的关系,可以维持群体的离散程度,即使以亲代极端特征为条件计算出的子代平均值并不那么极端。区分条件关系与整个分布的表现,至今仍是现代解释的核心。

数学表述及其假设

设 XX 为初次测量值,YY 为第二次测量值,两者的均值分别为 μX,μY\mu_X,\mu_Y,标准差分别为正值 σX,σY\sigma_X,\sigma_Y,相关系数为 ρ\rho。如果两者之间的条件期望关系是线性的,则

E⁡[Y∣X=x]=μY+ρσYσX(x−μX).\operatorname{E}[Y\mid X=x] = \mu_Y+\rho\frac{\sigma_Y}{\sigma_X}(x-\mu_X).

对于非退化的联合正态分布,这一公式严格成立。更一般地,在以均方误差为准则时,同一表达式给出了最佳线性预测值,但真实的条件期望可能是非线性的。这一区别十分重要:仅凭相关系数,无法确定完整的条件关系。

将标准化测量值定义为

ZX=X−μXσX,ZY=Y−μYσY.Z_X=\frac{X-\mu_X}{\sigma_X}, \qquad Z_Y=\frac{Y-\mu_Y}{\sigma_Y}.

在条件均值为线性的假设下,

E⁡[ZY∣ZX=z]=ρz.\operatorname{E}[Z_Y\mid Z_X=z]=\rho z.

当 0<ρ<10<\rho<1 时,条件均值与初次标准化观测值同号,但绝对值更小。如果初次结果比其均值高两个标准差,且 ρ=0.6\rho=0.6,那么第二次结果的期望值将比它自身的均值高 1.21.2 个标准差。它仍然高于平均水平;回归并不意味着完全回到中心。

当两次测量的均值同为 μ\mu,且标准差相同时,变化量的期望具有特别简单的形式:

E⁡[Y−X∣X=x]=−(1−ρ)(x−μ).\operatorname{E}[Y-X\mid X=x] = -(1-\rho)(x-\mu).

因此,初始值高于 μ\mu 时,预期后续会下降;初始值低于 μ\mu 时,预期后续会上升。当 ρ=0\rho=0 时,初始值不提供任何线性预测信息;若两次测量相互独立,第二次测量的条件均值就等于 μ\mu。当 ρ=1\rho=1 时,以标准化单位衡量的偏差不会缩小。负相关会使条件偏差的符号反转,因此,用“回归”这类非正式说法描述时需要谨慎。

回归涉及的是一个分布,而不只是一个预测值。在联合正态分布的情形下,

Var⁡(Y∣X=x)=σY2(1−ρ2).\operatorname{Var}(Y\mid X=x)=\sigma_Y^2(1-\rho^2).

因此,即使后续观测的条件均值不那么极端,个别后续观测值仍可能比初始值更加极端。预测区间能够表达这种不确定性;单凭条件均值则不能。

当两次测量的离散程度不同时,比较未经标准化的偏差也可能产生误导。它们未经标准化的回归斜率为 ρσY/σX\rho\sigma_Y/\sigma_X,即使 ∣ρ∣<1|\rho|<1,该斜率也可能大于一。关于偏差缩小的明确结论,适用于标准化后的条件偏差。无论是任意一个联合分布,还是单独一次极端观测,本身都不足以证明必然会发生向某个特定均值的回归。

稳定特征、暂时性变动与测量误差

一种有用的模型将个体的稳定特征与特定测量时点的变动区分开来:

X=θ+ε1,Y=θ+ε2.X=\theta+\varepsilon_1, \qquad Y=\theta+\varepsilon_2.

这里,θ\theta 因人而异,而 ε1\varepsilon_1 和 ε2\varepsilon_2 表示暂时性影响或测量误差。假设误差的均值为零,彼此独立,且均与 θ\theta 独立,并具有相同的方差 σε2\sigma_\varepsilon^2。如果 θ\theta 的均值为 μ\mu、方差为 σθ2\sigma_\theta^2,那么

Var⁡(X)=σθ2+σε2,Cov⁡(X,Y)=σθ2.\operatorname{Var}(X)=\sigma_\theta^2+\sigma_\varepsilon^2, \qquad \operatorname{Cov}(X,Y)=\sigma_\theta^2.

因此,重复测量之间的相关系数为

ρ=σθ2σθ2+σε2.\rho= \frac{\sigma_\theta^2} {\sigma_\theta^2+\sigma_\varepsilon^2}.

在这个模型中,该比值也是一个信度系数:它衡量观测变异中可归因于稳定差异的比例。信度高时,均值回归的余地相对较小;信度低则意味着异常观测值中暂时性成分所占的比例较大。信度取决于所考察的总体,因为同样的测量误差,在异质性较高的总体中可能只占总变异的一小部分,而在同质性较高的总体中却可能占很大一部分。

如果稳定特征和误差均服从正态分布,那么给定一个观测值时,稳定特征值的条件期望为

E⁡[θ∣X=x]=μ+ρ(x−μ).\operatorname{E}[\theta\mid X=x] = \mu+\rho(x-\mu).

由于第二次误差的条件均值为零,重复测量值的条件期望也与之相同。因此,一个异常偏高的观测值,一部分被解释为稳定特征较高的证据,另一部分则被解释为有利的暂时性波动的证据。对于某个具体个体,这个模型无法精确确定这两个成分各自的大小。

例如,假设某项测试的总体均值为 100,观测值的标准差为 15,重复测量之间的相关系数为 0.8。某人首次得分为 130,则其再次测试得分的期望为

100+0.8(130−100)=124.100+0.8(130-100)=124.

预测得分下降六分,并不意味着其潜在能力必须有所下降。在这个模型中,筛选出得分为 130 的人,会使首次测量误差为正的人更容易被选中。下一次得分低于 130,完全可能与稳定能力毫无变化的情况相符。

这种分解中的“误差”不一定意味着测量工具存在缺陷。睡眠、动机、天气、对手或短期生理状况的变化,都可能产生相同的统计结构。暂时性影响之间存在相关、潜在特征发生变化,以及测量精度不一致,都会改变上述公式。对多次相互独立的测量取平均,可以降低平均值的误差方差,但无法消除随时间发生的真实变化,也无法消除不同测量时点共有的误差。

极端值的选择及其与变化的表面关系

当是否纳入研究或项目取决于某次极端的基线测量结果时,均值回归会格外明显。例如,一个项目可能招收分数最低的学生,在工厂事故异常频发后开展检查,或在某项服务表现特别糟糕的一年之后对其进行评估。即使没有有效的干预,后续测量结果也可能改善,因为这种选择规则更容易选中受到不利暂时波动影响的对象。这是选择偏差扭曲表面干预效果的一种方式。

假设 XX 和 YY 具有相同的均值 μ\mu、标准差 σ\sigma,且两者的条件关系为线性,相关系数为 ρ\rho。对于因满足 X>cX>c 而被选中的观测,

E⁡[Y−X∣X>c]=−(1−ρ){E⁡[X∣X>c]−μ}.\operatorname{E}[Y-X\mid X>c] = -(1-\rho) \left\{\operatorname{E}[X\mid X>c]-\mu\right\}.

所选对象的基线均值高于总体均值,因此,当 ρ<1\rho<1 时,后续变化的期望值为负。选择的对象越极端,预期变化通常就越大。如果选择的是低值群体,则会出现相应的预期上升。

对于正态分布,记 a=(c−μ)/σa=(c-\mu)/\sigma。所选对象的基线均值为

E⁡[X∣X>c]=μ+σϕ(a)1−Φ(a),\operatorname{E}[X\mid X>c] = \mu+\sigma\frac{\phi(a)}{1-\Phi(a)},

其中,ϕ\phi 和 Φ\Phi 分别为标准正态分布的概率密度函数和累积分布函数。如果入选条件是基线值高于平均值两个标准差以上,那么所选群体的均值约高于平均值 2.372.37 个标准差。当 ρ=0.5\rho=0.5 时,该群体后续测量的预期均值约高于平均值 1.191.19 个标准差。这一显著下降仅由选择规则和联合分布产生,并不需要任何治疗效应。

将变化量相对于基线值作图时,也会遇到类似的问题。定义 D=Y−XD=Y-X。根据协方差的代数性质,

Cov⁡(X,D)=Cov⁡(X,Y)−Var⁡(X).\operatorname{Cov}(X,D) = \operatorname{Cov}(X,Y)-\operatorname{Var}(X).

当方差相等时,上式变为

Cov⁡(X,D)=−(1−ρ)σ2.\operatorname{Cov}(X,D)=-(1-\rho)\sigma^2.

因此,基线值与变化量之间出现负相关,部分原因可能在于计算变化量时,基线值前带有负号。仅仅观察到起点最高者下降最多,并不足以证实存在某种生物反馈机制,也不能说明某项干预对他们最有效。

相关的选择过程并不一定依赖于明文规定的阈值。管理者可能在某个月的表现异常糟糕之后采取行动,研究者可能因为某个亚组的结果引人注目而对其展开调查,某家机构也可能因为排名垫底而被选中。关键在于明确这一异常观测是从哪个总体中选出的:根据所选极端值计算出的均值,通常并不是决定这些对象重复测量期望值的参照均值。

对实验和因果解释的影响

如果在出现极端观测值后采取某项行动,并将原本就可预期的变化归因于该行动,均值回归就会给因果推断带来问题。设想某个群体因初始结果不佳而接受干预。观测到的改善既包含可能存在的干预效应,也包含即使没有干预也会发生的变化。均值回归是这种未受干预情况下变化的组成部分,其他组成部分还包括趋势、自然成熟、季节性效应及其他影响。

仅对一个群体进行前后比较,通常无法区分这些组成部分。尤其是,基线与随访之间的差异即使具有统计显著性,也不能证明该差异是由干预造成的。检验平均变化是否为零,与判断干预组的变化是否大于其未受干预时本会发生的变化,回答的是不同的问题。增大样本量或许能非常精确地估计前后差异,却仍无法解决这一因果问题。

随机对照试验通过在采用相同入组标准筛选后,将符合条件的参与者分配到干预组和对照组,来应对这一问题。如果入组资格取决于极端的基线值,两组都会受到均值回归的影响。在有效的随机化下,均值回归对两组未受干预时预期结果的影响相同,而不会系统性地使干预组占优。因此,即使两组相较基线都有明显改善,组间比较仍能识别干预效应。

基线调整可以提高估计精度,并校正偶然产生的组间不平衡。一种常见模型为

Yfollow-up=α+τT+βXbaseline+ε,Y_{\text{follow-up}} = \alpha+\tau T+\beta X_{\text{baseline}}+\varepsilon,

其中,TT 表示干预分配情况。在该模型下,系数 τ\tau 比较的是给定基线条件下的随访结果。这种方法通常称为协方差分析,属于更广义的方差分析方法体系。它不假定基线系数为一,而简单的、未经调整的变化分数模型实际上隐含了这一假定。当变量间的关系因组别或基线水平而异时,可能需要加入交互项或非线性项。

非随机研究设计需要额外的假设。如果选择比较组时没有采用相同的极端基线值筛选规则,该组受到均值回归影响的程度可能不同。同样,如果干预恰恰是针对某次暂时性异常不利结果而启动的,双重差分法就可能产生误导:干预组预期会出现的反弹,可能违背未受干预时两组趋势平行的假设。

干预前的重复测量有助于区分持续存在的水平与暂时性偏离。这些测量可以改善对基线状态的估计,并揭示原有趋势,但本身并不能保证因果识别。研究设计的核心问题仍然是:所采用的比较能否反映干预组在未接受干预时本会遵循的结果变化轨迹,包括由其筛选方式引发的均值回归。

预测、收缩与贝叶斯估计

均值回归不只是造成解读错误的一个来源。它还解释了为什么直接根据极端观测值作出的预测往往也过于极端。如果一个测量值同时包含持久的信号和暂时的噪声,那么,把观测到的偏差全部视为持久成分的预测,就往往会夸大未来的差异。将预测值向适当的参照均值调整,可以降低预期预测误差。

正态模型可以清楚地展示这种联系。假设某个未知的个体参数具有如下先验分布:

θ∼N(μ,τ2),\theta\sim N(\mu,\tau^2),

且观测到的估计值满足

X∣θ∼N(θ,s2).X\mid\theta\sim N(\theta,s^2).

在贝叶斯推断中,后验分布为正态分布,其均值为

E⁡[θ∣X=x]=μ+τ2τ2+s2(x−μ)\operatorname{E}[\theta\mid X=x] = \mu+ \frac{\tau^2}{\tau^2+s^2}(x-\mu)

方差为

Var⁡(θ∣X=x)=τ2s2τ2+s2.\operatorname{Var}(\theta\mid X=x) = \frac{\tau^2s^2}{\tau^2+s^2}.

因子 τ2/(τ2+s2)\tau^2/(\tau^2+s^2) 决定了观测偏差中有多少被保留下来。精确的观测值收缩幅度较小;噪声较大的观测值收缩幅度则较大。

由此可以区分作为重复观测性质的均值回归与作为估计方法的收缩。无论分析者是否为其建立模型,均值回归都存在于相应的联合分布之中。收缩则是有意识地利用有关该分布的信息,来估计潜在参数或预测后续观测值。合适的估计量会预先考虑预期的回归效应,而不是将观测到的极端表现视为完全稳定的特征。

例如,一家机构的观测案例很少,其结局发生率可能有很大的波动;另一家机构的案例很多,其发生率的估计则可能精确得多。层次模型可以将前者的估计值更大幅度地向同类机构的均值收缩,同时使后者的估计值基本保持不变。选择适当的参照总体十分重要:如果不同机构所服务的人群存在系统性差异,这些机构就未必服从同一个底层分布。

在经验贝叶斯方法中,总体均值、单位间方差等特征是根据全部观测数据估计的。这些方法通过部分汇聚将均值回归与收缩联系起来:各个单位保有各自不同的估计值,但这些估计值会借助更大群体的信息。收缩权重同时取决于测量的不确定性和单位之间的真实变异。

收缩也与预测建模中的正则化有关。例如,岭回归通过收缩拟合系数来抑制不稳定性,不过,它的目标和数学框架不同于将重复测量的预测值向总体均值调整。仅仅因为一个值很极端,并不能自动证明收缩是合理的。参照群体选择不当、不确定性模型有误,或存在真实的结构性变化,都可能使向中心收缩的估计产生误导。

均值回归与时间上的均值回复

均值回归常与时间序列中的均值回复混淆。两者在数学上有所交集,但并不相同。均值回归可以出现在没有时间先后关系的两次测量之间,例如父母与子女的身高关系,或同一场合进行的两项不同测试之间的关系。时间上的均值回复关注的是一个过程如何演变,以及偏离某个参考水平是否能预测后续的变化。

一个简单的自回归模型可以说明两者的交集:

Xt+1−μ=ϕ(Xt−μ)+ηt+1,X_{t+1}-\mu = \phi(X_t-\mu)+\eta_{t+1},

其中,给定过去的信息,新息的条件均值为零。如果 0<ϕ<10<\phi<1,则

E⁡[Xt+1−Xt∣Xt]=−(1−ϕ)(Xt−μ).\operatorname{E}[X_{t+1}-X_t\mid X_t] = -(1-\phi)(X_t-\mu).

条件均值朝 μ\mu 移动,经过 kk 步后,

E⁡[Xt+k∣Xt]=μ+ϕk(Xt−μ).\operatorname{E}[X_{t+k}\mid X_t] = \mu+\phi^k(X_t-\mu).

在通常的新息具有有限方差的假设下,∣ϕ∣<1|\phi|<1 可使该模型具有平稳性。当 ϕ\phi 为负时,条件偏差会正负交替,而不是单调趋近于均值。

这个模型有明确的时间转移规则。相比之下,对某个不变的潜在特征进行带有噪声的重复测量,即使该特征本身没有发生任何恢复性变化,也可能表现出均值回归。仪器的一次高读数之后可能出现较低读数,原因是第一次测量的误差异常偏正,而不是被测对象因读数偏高而发生了变化。

随机游走提供了一个有用的对照。如果

Xt+1=Xt+ηt+1X_{t+1}=X_t+\eta_{t+1}

且增量的条件均值为零,那么

E⁡[Xt+1∣Xt]=Xt.\operatorname{E}[X_{t+1}\mid X_t]=X_t.

此时,并不存在回到某个固定长期均值的预期趋势。一个序列不会仅仅因为当前值相对于历史记录显得极端,就具有均值回复性。确定性趋势、结构突变以及参考水平的变化,都会使人们更难根据观察到的反转推断出一个稳定的中心水平。

大数定律又是另一个不同的概念。它描述的是平均值在适当假设下的收敛,并不要求未来的观测值补偿过去的极端值。在相互独立的公平抛硬币试验中,连续出现正面不会使下一次出现反面的概率增大。观测到的正面比例之所以能够趋近二分之一,是因为随着抛掷总次数增加,早期形成的固定数量差异所占的比重越来越小。

因此,物理上的恢复力、重复测量中的均值回归、时间上的均值回复,以及样本平均值的收敛,都需要分别解释。看似相似的图形可能由不同机制产生,仅凭存在一个历史平均值,并不能确定究竟是哪种机制在起作用。

在表现评估与科学研究中的应用

表现排名是均值回归的一个典型应用场景。运动员一个赛季的统计数据综合反映了其持久的竞技水平、健康状况、比赛条件、对手实力以及偶然因素。选出表现最出色的运动员,也就同时选中了实力较强、且其他因素恰好异常有利的人。如果下个赛季的暂时性因素不再那么有利,即使竞技水平没有下降,表现也会下滑。同样的道理也适用于表现异常糟糕的赛季:此后即使没有发生特别的纠偏事件,表现也可能改善。

获奖或受到媒体重点关注,往往发生在一次出色表现之后。因此,随后的表现下滑可能与这些认可相伴出现,即使认可本身并无因果影响。这是从选择机制出发,对某些表面上的“魔咒”作出的解释,并不是说所有表现变化都只是统计现象。年龄、训练、伤病、竞争或机会的变化也可能产生影响,而要判断各自的作用,需要另外的证据。

教育领域的比较也有类似结构。因考试成绩很低而被选中的学校,在下一次评估中可能有所进步,部分原因是首次受测的那一届学生或那次考试的情况异常不利。年度间的变化还取决于各届学生的构成以及参加评估的学生人数。小规模学校出现的极端平均值,通常不如规模大得多的学校取得的同一平均值精确,因此,解读排名时必须重视样本量和不确定性。考察多届学生,并进行恰当匹配的比较,有助于区分持续存在的差异与暂时性的极端表现。

科学研究中还存在另一种选择。假设许多研究都在带有抽样误差的情况下估计效应,而关注集中在估计值最大或P值最小的研究上。如果选择机制偏向极端的正向估计值,那么这一估计值很可能同时包含真实效应和正向抽样误差。因此,即使潜在效应没有变化,独立的重复研究也可能得到较小的估计值。这种模式通常被称为“赢家诅咒”;它与发表偏倚有关,但并不相同,后者关注的是研究结果被选择性地公开。

重复研究中预期出现的估计值缩减幅度,取决于选择规则、抽样不确定性以及潜在效应的分布。认为每个已发表的估计值都必然按固定比例下降,是不正确的。仅按统计显著性进行选择,也不同于从大量分析中挑选最大的估计值。多重检验会增加发现极端结果的机会,而预注册则在结果揭晓之前记录假设和分析计划,有助于区分预先计划的分析与依赖数据作出的选择。

在这些应用中,相关的均值可能是有条件的,而非普遍适用的:预期表现可能取决于年龄、机构类型、病例构成或历史时期。因此,评估需要了解最初的选择规则、测量的精确度、重复观测结果之间的关系,并确定恰当的参照总体。缺少这些要素,无论表现反弹还是下滑,都无法据此判断观测到的变化有多少源于均值回归。