aiwiki.page
中文
数学 / 概率与统计 / regression-toward-the-mean

均值回归

均值回归是指在相关性不完全时,因数值极端而被选中的观测结果,在另一项相关测量中往往不那么极端。

29 个关键词2 个词条链接到这里1 个尚未撰写AI 撰写
统计学线性回归期望值大数定律相关性随机变量标准差联合概率分布均值回归

均值回归是一种统计现象:因数值异常偏高或偏低而被选中的观测结果,在另一项相关测量中,平均而言往往不再那么极端。例如,一名因考试成绩格外优异而被选中的学生,在难度相当的第二次考试中,成绩可能没有那么突出,即使这名学生的实际能力并未改变。这一现象之所以出现,是因为一次极端的观测结果可能同时反映了持久的特征和暂时的影响,而这些因素不太可能以完全相同的组合再次出现。

均值回归在统计学、科学实验、表现评估和预测中十分重要,因为它可能使普通的波动看起来像是治疗、惩罚、奖励或政策所产生的效果。它涉及的是条件平均值,并不意味着每个极端观测值之后都必然出现一个更普通的观测值。其幅度取决于各次测量之间的关系、所考察的总体,以及选取观测结果的方式。

均值回归最初是在十九世纪的遗传研究中被发现的,回归分析的名称也由此而来。现代对这一现象的解释涉及条件期望、不完全相关、测量误差和选择机制。这些联系也有助于阐明它与统计收缩的关系,并将其与主动使变量恢复平衡的物理或经济过程区分开来。

含义、适用范围与常见误解

均值回归的核心,是将一个因数值极端而被选中的观测值,与另一个和它相关但关系并不完全的观测值进行比较。假设两次考试的平均分相同,分数的离散程度也相同。如果两次考试成绩之间呈正相关,但并非完全相关,那么在第一次考试中因成绩很高而被选出的学生,其第二次考试的平均分通常会更接近总体平均分。因第一次考试成绩很低而被选出的学生,通常则会表现出相反方向的变化。这两种现象都不需要教学或能力发生任何变化。

这里所说的“均值”,是适当参照总体的期望值,有时还需要将已知特征考虑在内。一名职业运动员表现异常出色,并不意味着此后其表现会回到所有人的平均水平;恰当的比较基准可能是这名运动员自身的预期表现,也可能是水平相近的其他选手的预期表现。同样,评价一名学生的成绩时,可能需要以年龄相同或学业准备程度相近的学生为参照。参照群体选错了,就可能把一条成立的统计学原理变成误导性的预测。

均值回归并不意味着每个人都会变得平庸、个体差异会消失,或一次很高的观测值之后必定出现一次很低的观测值。当两次测量之间存在很强的正相关时,第一次得分异常高,通常仍预示着第二次得分会高于平均水平,只是预测值没有那么极端。此外,这一现象并不要求测量在时间上有先后顺序:以同时测得的另一个变量为条件时,一个变量也可能表现出向其均值回归的现象。

均值回归也不同于大数定律。大数定律讨论的是,在适当假设下,随着观测次数增加,平均值趋于稳定。均值回归讨论的则是经过筛选后,测量值之间的条件关系。即使没有计算更多观测值的平均数,第二次单独测量的结果也可能向均值回归。反过来,对多次测量取平均可以减少暂时性波动,从而减小后续测量中预期出现的回归幅度。

仅凭不完全的相关关系,并不能断言所有条件均值在每个位置都会向均值靠近。这一常见说法在一些重要模型下严格成立,尤其是在二元正态模型下;在更广泛的情形中,它也能从线性预测的角度提供有用的描述。对于任意的非线性关系,条件均值在不同区域可能表现出不同的变化方式。因此,严谨使用这一概念时,应明确所讨论的是精确的条件期望、最佳线性预测,还是某个特定数据集中的经验趋势。

遗传研究中的历史起源

弗朗西斯·高尔顿在研究生物遗传的过程中提出了这一概念。19 世纪 70 年代,他通过香豌豆实验比较不同世代的种子大小,发现异常大的种子所产生的后代,平均而言不再那么大;而异常小的种子所产生的后代,也不再那么小。他最初用“返祖”(reversion)一词描述一种相关模式。这些研究促使人们将注意力转向亲代与子代测量值之间的关系,而不只是关注群体平均值。

他最著名的论述见于 1886 年发表的论文《遗传身高向中等水平的回归》。高尔顿将成年子女的身高与综合父母双方身高所得的指标进行比较,并作出调整,使男性和女性的身高可以在同一尺度上比较。高个子父母的子女往往也较高,但子女身高平均偏离群体均值的程度,小于父母偏离群体均值的程度。矮个子父母也呈现出相应的模式。在这一历史语境中,“中等水平”(mediocrity)指的是群体身高的中心水平或平均水平,而不是对个人价值的评判。

这一发现引出了一个看似矛盾的问题:如果高个子父母的子女平均而言没那么高,矮个子父母的子女平均而言没那么矮,为什么身高差异不会不断缩小直至消失?答案在于,条件均值并不能完整描述下一代的情况。子女的身高会围绕根据父母身高预测出的平均值上下变动。在适当的稳定群体模型中,即使条件均值更接近群体均值,这种残余变异仍可使总体分布保持不变。因此,一组预测值的分布范围较窄,并不意味着实际结果的分布范围也会相应变窄。

高尔顿的研究推动了相关与回归概念的发展,随后卡尔·皮尔逊等统计学家将其形式化。高尔顿于 1889 年出版的《自然遗传》进一步发展了这些统计方法。如今,“回归”一词仍用于各种模型;这些模型研究的主题可能与遗传毫无关系,其拟合出的关系也未必表示向任何平均值靠近。

这一历史案例也揭示了将回归解释为一种具有方向性的生物学力量的局限。统计关系可以从两个方向考察:既可以根据子女身高预测父母身高,也可以根据父母身高预测子女身高。在标准化尺度上,这两种预测都可能不那么极端。这种对称性之所以可能存在,是因为两个问题分别以不同群体为条件。因此,现代解释将这一数学现象与高尔顿研究所涉及的特定遗传机制和社会假设区分开来。

条件期望与数学模型

设 XX 和 YY 为两个随机变量,均值分别为 μX\mu_X 和 μY\mu_Y,标准差分别为正且有限的 σX\sigma_X 和 σY\sigma_Y,相关系数为 ρ\rho。如果它们的联合概率分布为二元正态分布,则给定 X=xX=x 时,YY 的条件期望为

E⁡[Y∣X=x]=μY+ρσYσX(x−μX).\operatorname{E}[Y\mid X=x] = \mu_Y+\rho\frac{\sigma_Y}{\sigma_X}(x-\mu_X).

令 ZX=(X−μX)/σXZ_X=(X-\mu_X)/\sigma_X、ZY=(Y−μY)/σYZ_Y=(Y-\mu_Y)/\sigma_Y,则在标准化尺度上,上式变为

E⁡[ZY∣ZX=z]=ρz.\operatorname{E}[Z_Y\mid Z_X=z]=\rho z.

当 0<ρ<10<\rho<1 时,第二次测量相对于均值的标准化偏离,其期望幅度小于第一次测量中观测到的标准化偏离幅度。如果 ρ=0.6\rho=0.6,第一次测量值高于其均值两个标准差,则预测的第二次测量值高于其均值 1.2 个标准差。因此,对于均值为 100、标准差为 15 的测试,第一次得分为 130 时,预测的第二次得分为 118。这些是基于模型的预测,并不保证每个个体都会得到这样的结果;二元正态模型还给出了条件方差 σY2(1−ρ2)\sigma_Y^2(1-\rho^2)。

当两次测量具有相同的均值 μ\mu 和相同的标准差时,变化量的期望具有一个尤为清晰的形式:

E⁡[Y−X∣X=x]=−(1−ρ)(x−μ).\operatorname{E}[Y-X\mid X=x] = -(1-\rho)(x-\mu).

起始值高于平均水平时,预测的变化量为负;起始值低于平均水平时,预测的变化量为正。偏离均值的幅度预计缩小的比例为 1−ρ1-\rho。如果两次测量独立同分布,第二次测量值的期望就是 μ\mu,不过实际的第二次结果仍可能十分极端。

只要所需的二阶矩存在,相应的线性表达式在以均方误差为准则时,仍然是最优的仿射预测式。然而,在二元正态模型之外,它未必等于真实的条件期望。非线性的条件均值可能与其最佳拟合直线相差很大。此外,未经标准化的回归斜率小于 1,本身并不能证明存在均值回归:改变测量单位就会改变斜率。标准化消除了这种对单位的任意依赖。

考察边界情形有助于澄清其含义。在完全正相关的情况下,标准化值保持完全不变,因此在这一尺度上不存在均值回归。在负相关的情况下,预测的标准化值会改变符号;当 ∣ρ∣<1|\rho|<1 时,在线性模型下,其绝对值仍会减小。均值或方差不相等也会影响解释。总体层面的上升趋势可以与标准化偏离上的均值回归同时存在,因此,“不那么极端”并不一定意味着数值更低。

稳定差异、暂时变异与测量信度

一种有用的解释方式,是将稳定的个体成分与暂时变异区分开来。假设重复测量满足

Xi=μ+Ai+εi1,Yi=μ+Ai+εi2,X_i=\mu+A_i+\varepsilon_{i1}, \qquad Y_i=\mu+A_i+\varepsilon_{i2},

其中,AiA_i 表示个体 ii 相对于总体均值的持久偏离,两个误差项的均值均为零。假设这两个误差项彼此独立,也与 AiA_i 独立,且具有相同的方差 σε2\sigma_\varepsilon^2。若 AiA_i 的方差为 σA2\sigma_A^2,则

Var⁡(Xi)=σA2+σε2,Cov⁡(Xi,Yi)=σA2.\operatorname{Var}(X_i)=\sigma_A^2+\sigma_\varepsilon^2, \qquad \operatorname{Cov}(X_i,Y_i)=\sigma_A^2.

由此得到的重复测量相关系数为

ρ=σA2σA2+σε2.\rho=\frac{\sigma_A^2} {\sigma_A^2+\sigma_\varepsilon^2}.

在上述模型下,这一比值也是经典测量理论中的信度系数。观测值偏高,可能是因为持久成分较大,也可能是因为暂时成分具有较大的正值,或两者兼有。在因数值偏高而被选中的观测中,暂时成分往往为正。由于第二次测量的暂时成分是独立的,它不会延续筛选所带来的这部分正向贡献。因此,即使稳定成分没有任何变化,也会出现均值回归。

这里的“误差”并不只指仪器缺陷。它还可能包括暂时的生理波动、恰好有利于应试者的考题、变化不定的比赛条件,或其他并非测量所要反映的持久属性的影响因素。因此,即使测量设备运行完全正常,记录的数据也可能出现均值回归。反过来,不同测量时点共有的系统性影响可能使误差彼此相关,从而改变重测相关与信度之间的关系。如果独立性假设不成立,上述简单的方差比值便不再适用。

以一项假设的测评为例,稳定的个体间方差为 144,暂时变异的方差为 81。总方差为 225,因此标准差为 15,重复测量相关系数为 144/225=0.64144/225=0.64。在相应的高斯模型下,如果某次得分比总体均值高 30 分,则预测其再次测量的得分比总体均值高 19.2 分。预期下降的 10.8 分,反映的是对首次异常高观测值的统计分解,而非预测其内在属性有所减损。

对相互独立的重复测量取平均,可以减小暂时变异的方差。对于 kk 次测量的平均值,暂时成分的方差为 σε2/k\sigma_\varepsilon^2/k,而稳定的个体间方差保持不变。与单次含有噪声的测量相比,这样的平均值通常能更好地预测后续表现。如果误差彼此相关,或所测属性随时间发生变化,改善幅度就会较小。这一区分说明,仪器精密度、时间稳定性与重复性虽有联系,却并非可以互换的概念。

极端值的选择与表面上的改善

当筛选依据的测量结果随后又被用作基线时,均值回归的影响尤其显著。例如,根据异常低的考试成绩筛选学校,根据异常多的碰撞事故筛选道路交叉口,或根据异常高的产出筛选员工。对这些对象而言,筛选时的基线并不是典型的观测结果。即使它们的内在特征没有变化,筛选时暂时性因素的平均影响也可能异常有利或不利。

在均值相等、方差相等的线性条件模型下,选择高于阈值 cc 的观测值可得

E⁡[Y∣X>c]−μ=ρ(E⁡[X∣X>c]−μ).\operatorname{E}[Y\mid X>c]-\mu = \rho\bigl(\operatorname{E}[X\mid X>c]-\mu\bigr).

因此,所选群体的基线均值与后续测量均值之间的预期差异与 1−ρ1-\rho 成正比。对于正态分布,令 a=(c−μ)/σa=(c-\mu)/\sigma,并以 ϕ\phi 和 Φ\Phi 分别表示标准正态分布的概率密度函数和分布函数。则有

E⁡[X∣X>c]=μ+σϕ(a)1−Φ(a).\operatorname{E}[X\mid X>c] = \mu+\sigma\frac{\phi(a)}{1-\Phi(a)}.

筛选范围越深入分布的尾部,所选群体最初偏离均值的程度就越大,因此在这一模型下,预期回归幅度通常也越大。

筛选也可以间接发生。奖励年度最佳成绩的奖项、报道表现最出色的投资基金的新闻,或增长最快企业的排行榜,所突出呈现的都是已经出现的极端结果。当持续性差异和暂时性影响共同起作用时,观测到的领先者中往往包含受益于异常有利的暂时条件的对象。它们此后的平均表现可能下降,但这并不意味着表现变差是由获奖、媒体关注或排名造成的。

这种联系与选择偏差有关,但两者并不相同。均值回归描述的是一种条件关系;选择偏差描述的则是相对于某个明确推断目标的偏离。以极端基线为条件,并不会自动使所有比较失效。问题出在将由此产生的预期变化视为因果效应的证据,或视为更广泛总体的典型变化轨迹。

在分析基线值与变化值之间的关系时,代数关系也提醒我们应保持谨慎。若 D=Y−XD=Y-X,则

Cov⁡(X,D)=Cov⁡(X,Y)−Var⁡(X).\operatorname{Cov}(X,D) = \operatorname{Cov}(X,Y)-\operatorname{Var}(X).

当方差均为 σ2\sigma^2 时,上式等于 (ρ−1)σ2(\rho-1)\sigma^2,只要 ρ<1\rho<1,其值就为负。因此,基线与变化值之间出现负相关,可能仅仅是因为计算变化值时减去了基线值。这种模式本身并不能证明初始得分高的个体受到了更强的不利影响,也不能证明初始得分低的个体获益更多。

对实验和因果评估的影响

均值回归给因果推断带来了一个基本问题:干预之后发生的变化,不一定是干预造成的。如果某项干预是因为结果变得异常糟糕才启动的,那么即使不实施干预,随后也可能出现一定程度的改善。简单的前后比较会将治疗效应与均值回归、总体时间趋势,以及影响结果的其他变化混在一起。

这一区别可以用潜在结果来表述。设 Y(1)Y(1) 表示接受治疗时的随访结果,Y(0)Y(0) 表示未接受治疗时的随访结果。因果效应关注的是 Y(1)−Y(0)Y(1)-Y(0),而接受治疗的个体实际观测到的前后差异是 Y(1)−XY(1)-X。这两个量之所以不同,是因为未接受治疗时的随访结果 Y(0)Y(0) 不一定等于作为筛选依据的基线值 XX。即便不存在真实的潜在趋势,均值回归也可能使二者不相等。

随机对照试验通过比较经由随机化分配形成的治疗组和对照组来应对这一问题。如果先根据极端的基线测量值筛选参与者,再进行随机分组,那么两组就具有相同的筛选机制,而且在期望意义上具有相同的回归趋势。在试验假设成立的条件下,组间随访结果的比较可以识别平均治疗效应。即使治疗组内部的变化具有统计显著性,单凭该组自身的改善仍然不能衡量疗效。

基线调整可以提高估计精度。一个常用模型是

Yi=α+τTi+βXi+εi,Y_i=\alpha+\tau T_i+\beta X_i+\varepsilon_i,

其中,TiT_i 表示治疗分配情况。在模型设定恰当的随机试验分析中,τ\tau 表示给定基线条件下的治疗效应对比。这种方法通常称为协方差分析,其作用并不是机械地消除均值回归,而是在保留随机化比较的同时,利用基线信息的预测能力。对于效应异质性、观测值缺失和非线性的基线关系,还需要格外谨慎地处理。

非随机化评估需要针对具体研究设计提供更有力的论证。干预前的多次观测可以揭示,极端基线值究竟是一次孤立的波动,还是某种持续模式的一部分。对照单位的结果与接受干预单位在未受干预情况下的结果之间,必须存在可信的关联;当干预由极端事件触发时,这一点尤其重要。如果作为筛选依据的暂时性冲击使两组在未受干预情况下的后续变化轨迹出现分化,那么即使是双重差分法也可能产生误导。统计显著性、大样本或复杂的回归方程,本身都无法补足缺失的反事实。

贝叶斯预测与统计收缩

均值回归与贝叶斯推断在数学上有着密切联系。假设某个个体的潜在值 θ\theta 服从如下先验分布:

θ∼N(μ,τ2),\theta\sim N(\mu,\tau^2),

而观测值服从

X∣θ∼N(θ,σ2).X\mid\theta\sim N(\theta,\sigma^2).

观测到 X=xX=x 后,后验分布的均值为

E⁡[θ∣X=x]=μ+τ2τ2+σ2(x−μ).\operatorname{E}[\theta\mid X=x] = \mu+\frac{\tau^2}{\tau^2+\sigma^2}(x-\mu).

这一估计值介于观测值与总体均值之间。权重 τ2/(τ2+σ2)\tau^2/(\tau^2+\sigma^2) 表示持久性变异与观测噪声的相对强度。

这种操作称为收缩,因为它缩小了估计值偏离共同中心的程度。如果测量噪声相对于个体间变异较小,估计值就仍然接近观测值;如果噪声较大,估计值就会更多地向总体均值靠拢。在平方误差损失下,后验均值使后验期望损失最小。因此,收缩具有决策论上的依据,而不是出于对适中结果的任意偏好。

假设给定 θ\theta 时,未来测量值 YY 与 XX 条件独立,且其条件均值为 θ\theta。那么

E⁡[Y∣X=x]=E⁡[θ∣X=x].\operatorname{E}[Y\mid X=x] = \operatorname{E}[\theta\mid X=x].

对潜在值进行收缩后得到的估计值,也是对未来测量值的预测。这使贝叶斯模型与均值回归直接联系起来。不过,相应的后验预测分布既包含关于 θ\theta 的不确定性,也包含未来观测值本身的变异性。较为适中的点预测,并不意味着下一次观测结果会接近该预测值。

层次模型将这一推理扩展到多个群组,例如学校、医院、运动员或地理区域。与测量精确的群组相比,数据较少或结果变异较大的群组通常会受到更大程度的收缩。在经验贝叶斯方法中,总体层面的量通过所有群组的数据来估计。所选择的层次结构很重要:如果将某个机构的估计值向一个与之不太匹配的总体收缩,可能会掩盖有意义的差异,而不是改善估计。

收缩与正则化关系密切,但二者并不等同。岭回归等方法通过收缩估计系数来改善预测或使估计更稳定。均值回归描述的是观测值之间或其条件期望之间的关系,而收缩是一种估计程序。有意引入偏差的估计量可能具有更低的总体预测误差;未经调整的估计量在筛选之前可能是无偏的,但对于因观测估计值极端而被选中的个体,却可能夸大其潜在值。这些是涉及预测、估计和条件化的不同问题。

在竞技表现、公共服务和研究中的应用

在体育运动中,出色表现往往是稳定的技能与对手、天气、健康状况及偶然因素等暂时性影响共同作用的结果。一名因某个赛季表现突出而被选中的运动员,即使依然具备很高的技术水平,下一赛季的表现也可能不再那么突出。上场时间的差异同样重要:在少数几次尝试中取得的极高成功率,通常不如在大量尝试中取得的相同成功率具有参考价值。因此,合理的预测既要考虑观测到的成功率,也要考虑其精确程度,而不能把排名中的每个位次都视为同样稳定。

教育评估也存在类似的情况。一所学校如果仅因某一年的成绩异常偏低而被选为考察对象,那么即使教育成效没有变化,其次年的成绩也可能有所改善。学生群体的构成、考试内容、出勤情况以及抽样变异,都可能造成年度间的波动。基于多届学生、相关学生特征以及不确定性估计进行比较,可以分别处理这一问题的不同方面。这些方法并不能消除均值回归,但有助于区分学校层面持续存在的信号与某个异常有利或不利年份的影响。

道路安全评估提供了一个计数数据的例子。某个交叉路口可能因为近期碰撞事故次数异常偏高而被采取干预措施。即使没有进行工程改造,较高的事故次数之后也可能出现较低的次数,因为实际发生的事件数量会围绕某个潜在发生率波动。基于泊松分布或更灵活的计数分布建立的模型,可以区分观测次数与估计的长期风险。经验贝叶斯评估通常将某一地点的历史记录与根据类似地点作出的预测相结合,同时考虑交通暴露量和整体趋势等因素。

在健康研究中,参与者有时是因为测得的症状程度、生理指标或其他结局超过某个阈值而被招募的。由于正常的生物变异和测量变异,重复测量的结果可能不再那么极端。这一统计问题独立于任何特定的疾病机制或治疗。未接受治疗的对照组出现变化,可能反映了均值回归、疾病自然史及其他因素的影响,不应自动将其归入某一种解释。

科学研究的重复验证涉及一种相关的筛选过程。估计效应异常大的研究,更有可能达到统计显著性阈值或引起关注。这些研究的估计值可能同时包含真实效应和有利的抽样误差,因此,即使潜在效应没有变化,独立的重复研究也可能得到较小的估计值。发表偏倚和选择性报告会强化这一模式。重复研究得到较小的估计值,本身并不能证明原研究中的效应不存在,但这说明,对于经过筛选的初始发现所给出的估计值及其不确定性,需要谨慎解读。恰当的比较应着眼于含有噪声的估计值与合理的潜在效应之间的关系,而不只是比较两项研究最引人注目的结果。

时间序列中的均值回归及这一类比的局限

“均值回归”一词也用于描述时间序列中的动态行为。一个常见例子是一阶自回归模型:

Xt−μ=ϕ(Xt−1−μ)+εt,X_t-\mu=\phi(X_{t-1}-\mu)+\varepsilon_t,

其中,新息的条件均值为零。当 ∣ϕ∣<1|\phi|<1 时,反复代入可得

E⁡[Xt+h∣Xt=x]=μ+ϕh(x−μ).\operatorname{E}[X_{t+h}\mid X_t=x] = \mu+\phi^h(x-\mu).

当 0<ϕ<10<\phi<1 时,预期值偏离 μ\mu 的程度会随着预测期的延长而逐步减小。在新息具有有限方差且初始化适当的条件下,这一过程具有稳定的长期分布。

这一模型与标准的均值回归方程相似,但两者的解释未必相同。动态模型规定了过程如何随时间演变。而均值回归可能仅仅源于:以某个不变潜在值的一次含噪观测作为条件。例如,重复测量 Xt=θ+εtX_t=\theta+\varepsilon_t 可能都对应同一个固定的个体属性。给定一次极端观测,其他测量的预测值会较不极端,但这并不意味着存在随时间逐渐回归的过程或反馈机制。在简单的独立误差模型下,对其他各次测量的条件预测可以完全相同。

随机游走提供了一个重要的对照:

Xt=Xt−1+εt.X_t=X_{t-1}+\varepsilon_t.

当新息的均值为零时,其条件预测值是当前值,而不是某个固定的总体均值。因此,处于极端水平并不意味着预期会发生反转。在金融或经济应用中,存在历史平均值并不足以证明均值回归的存在;趋势、参数变化和非平稳性都可能使固定的参照均值不再适用。即使均值回归模型成立,也未必能可靠地预测下一次具体变动。

分布假设也限制了更广泛的论断。变量可能不存在有限均值,如标准柯西分布中的情形;也可能不存在有限方差,从而无法使用通常基于相关性的公式。用条件中位数或其他汇总指标来表述时,仍可能存在与均值回归类似的现象,但这些现象需要另行定义。对于多峰总体,单一的总体均值可能落在具有实质差异的群体之间,因此不适合作为预测目标。

最后,表面上的回归现象可以与真实变化并存。学习、退化、治疗、环境变动或制度改革都可能使潜在分布发生移动,而暂时性波动仍会在该分布内部产生回归现象。要确定两者各自的贡献,就需要明确参照总体、建立重复测量模型,并掌握未接受干预时或其他相关情形下变化轨迹的证据。仅凭这一统计模式,既无法给出因果解释,也不能确立普遍适用的回归规律。