幸存者偏差是选择偏差的一种形式:通过筛选过程的人、组织、物品或观测对象受到过多关注,而那些消失、失败或变得无法获取的对象则被忽略。“幸存”不一定意味着仍然活着,也可以指继续经营、仍被保留在数据库中、完成一项研究,或留下可供后人查验的证据。由此获得的证据可能准确描述了幸存者,却歪曲了它们所来自的总体的情况。
这一概念在统计学、金融、历史研究、工程学和流行病学等领域都很重要。仅凭成功企业,无法判断哪些做法能可靠地带来成功;仅凭返航飞机,也无法判断所有参战飞机的损伤分布。在这些情形中,决定哪些对象能够被观察到的机制,本身就是解释所观察到的模式的一部分。
因此,幸存者偏差并不只是过度乐观或崇拜赢家的倾向,而是一个推断问题:人们依据某个子集对目标总体作出结论,但对象能否被纳入这个子集,却取决于与这些结论相关的特征。偏差的方向、大小以及可能的纠正方法,取决于筛选机制如何运作、被排除对象还留下了哪些信息,以及分析试图估计什么量。
定义、目标总体与选择机制
幸存者偏差问题始于目标总体与观测总体之间的区别。目标总体可能是某一年成立的所有企业,而观测总体只包括五年后仍在经营的企业。又如,目标总体可能是所有开始接受治疗的患者,但现有记录只涵盖回来复诊的患者。如果与持续可被观测相关的特征也会影响所研究的结果,那么观测到的群体就可能呈现出系统性失真的图景。
关键不在于有些个案缺失了,而在于它们为何缺失。假设一次记录存储故障随机毁掉了数据集中的一半数据,而且这种损毁与任何相关特征都无关。估计的精确度可能下降,但未必会因此产生系统性的幸存者偏差。相比之下,如果业绩不佳的投资基金被移出业绩数据库的比例过高,剩余记录就可能夸大历史投资表现。这种选择过程本身包含信息:缺失这一事实传递了有关结果或其决定因素的信息。
这个术语既用于专业场合,也用于日常讨论。在专业研究中,它通常指一种特定的抽样或观测机制。在日常讨论中,它往往用来描述根据可见的成功案例构建的论证,例如通过研究著名小说家来解释写作生涯,通过采访富有的企业家来解释财富,或通过考察历经数百年仍然留存的建筑来评判过去的建筑质量。当人们利用这些观测结果对更广泛的总体作出判断时,这些例子就成为统计学问题。
幸存者偏差还应与估计量的偏差区分开来。后者是一种形式化性质,通过比较估计量在重复抽样中的平均值与某个指定参数来界定。幸存者偏差则描述现有观测对象是如何被选择出来的。一个估计量对于幸存者的均值可以是无偏的,却不适合用来估计所有最初参与者的均值。反过来,即使没有发生幸存者选择,估计量也可能在数学意义上存在偏差。
选择本身并不意味着错误。如果一项研究明确关注已站稳脚跟的企业,那么分析存续达到规定年限的企业完全可以是恰当的。错误出现在以下情形:不加说明地用这个附带条件的总体替代另一个总体,或将仅在幸存者中观察到的关联解读为有关选择发生之前某种作用过程的证据。因此,要判断是否适合使用“幸存者偏差”这一称谓,就必须明确总体、时间范围、纳入条件以及打算进行的比较。
数学表述与偏差方向
设 为关注的结果, 表示某个单位是否被观测到:纳入观测的单位取 ,否则取 。目标可能是总体的期望值 ,而仅分析幸存者所估计的则是条件期望 。两者之差为
记 ,其中 ,则有
因此,
这个表达式区分了两个因素:被排除单位的比例,以及纳入单位与被排除单位之间的差异。如果被排除群体的结果非常极端,即使其占比很小,也可能造成严重失真。反之,即使被排除群体占比很大,只要其平均值与纳入群体相同,就未必会使某个特定均值失真。
另一个等价恒等式将选择过程与协方差联系起来:
因此,幸存者偏差并不一定是向上的偏差。如果表现优异的参与者因为在其他地方找到工作而更有可能退出某个项目,那么留下来的参与者可能显得不那么成功。偏差是正、是负还是为零,取决于是否被观测到与结果之间的关系。
对于总体密度为 的连续型结果,令 为纳入概率。观测到的单位中,结果的概率密度函数为
因此,观测数据同时反映了底层总体分布和选择机制的筛选作用。如果缺乏关于这一筛选机制的信息,不同的总体分布就可能产生相同的观测分布。这是一个统计识别问题,而不只是观测数量不足的问题。
举一个数值例子:假设有100只基金,每只基金的初始资金相同。其中80只的收益率为 ,继续运营,并被收录于年末数据库;另外20只亏损 ,在计量期结束后关闭,因此未被收录。仅计算幸存基金所得的平均收益率为 ,但最初所有基金的等权平均收益率为
即 。除非将缺失群体或选择过程纳入考虑,否则增加观测到的幸存者数量,只会更精确地估计出错误的目标量。
亚伯拉罕·瓦尔德与战时飞机分析
最广为人知的历史案例涉及第二次世界大战期间军用飞机的受损情况。人们可以检查作战返航飞机上的弹孔和其他损伤,但通常无法检查未能返航的飞机。因此,返航飞机的损伤分布图反映的是以幸存为条件的损伤分布,而非执行任务期间所有受损情况的直接呈现。
1943 年,在哥伦比亚大学统计研究组工作的数学家亚伯拉罕·瓦尔德,在一系列战时备忘录中研究了飞机的易损性。他探讨的是:在检查数据不包含作战损失飞机的情况下,如何利用返航飞机上观察到的损伤来估计飞机的易损性。这一数学问题的核心,是从一个未被完整观测的总体中重建信息,而不只是清点弹孔。
这个案例通常传达的启示是:返航飞机上受损严重的部位,可能恰恰是飞机中弹后仍能返航的部位。反过来,如果某个部位中弹往往会导致飞机无法返航,那么幸存飞机上该部位的损伤相对较少,反而可能说明它格外脆弱。这就颠覆了那种仅对观测到弹孔最密集的部位进行加固的直觉建议。
这一推断需要以若干假设为前提。某个部位观测到的中弹次数较少,可能是因为它很少暴露于火力之下、目标面积较小,或难以检查,而不一定是因为该部位一旦受损就必然导致飞机坠毁。飞机也可能因多种相互作用的原因而损失,包括多次中弹、机械故障、天气和作战环境。如果不对暴露于火力的情况和损失机制加以说明,仅凭观测到的损伤分布,并不能确定中弹的因果效应。
通俗介绍往往将这段历史简化为一幅布满红点的飞机轮廓图。这类图可以作为有用的示意图,但图本身既不能替代战时的分析,也不能证明图中每一处标记都对应着有记录的数据集。瓦尔德的贡献在于,在明确列出假设的基础上,对如何从幸存飞机推断总体情况进行了形式化处理。
这个案例至今仍有启发意义,因为观测数据的缺失并非偶然带来的不便:这些数据之所以系统性地缺失,恰恰与所研究的原因有关。检查更多返航飞机,可以增进对返航飞机受损情况的了解,却仍可能丝毫未触及核心的选择问题。同样的逻辑也适用于送回维修的机器、仍在服役的船舶,以及只有在成功完成任务后才接受检查的零部件。
因果推断与以存活为条件
幸存者偏差与因果推断密切相关,因为选择过程可能产生原始总体中并不存在的关联。一种标准的表示方法是使用有向无环图。假设两个变量 和 都会影响是否入选:
这里, 是一个碰撞点:两个箭头在此汇合。即使 和 在总体中统计独立,将考察范围限制在 的对象上,也可能使二者产生关联。
设想一个简化的录取制度:考试成绩特别优异或体育成绩特别突出,满足其中任一条件即可被录取。在所有申请者中,这两方面的成绩可能彼此独立。然而,在已录取的申请者中,考试分数较低的人可能更有可能具备突出的体育资历,因为在选拔过程中,一方面的优势可以弥补另一方面的不足。因此,即使总体层面不存在相应关系,入选群体内部也可能出现负相关。
存续企业中也可能出现同样的结构。假设资金储备和产品质量都能提高企业持续经营的概率。在存续企业中,资金储备有限的企业可能有较高比例拥有格外出色的产品。因此,仅分析存续企业,可能会歪曲资金储备与产品质量之间的关系。这种由选择过程诱发的关联,进而可能干扰对盈利能力或后续存续情况所受影响的估计。
这与混杂不同。在标准因果结构中,混杂因素是暴露与结局的共同原因。以适当的混杂因素为条件,有助于消除非因果关联;而以碰撞点为条件,反而可能引入这种关联。选择过程可能通过碰撞点本身发生,也可能通过该碰撞点的某个后果发生;必须评估相关结构,而不能仅凭某个变量是在结局之前还是之后测量的,就推断其作用。
干预后的存活还会带来另一重困难。如果治疗会影响哪些人能存活到测量时点,那么接受治疗的存活者与未接受治疗的存活者,可能代表不同的潜在人群。即使最初采用了随机分配治疗的方式,比较两组后续结局也不一定构成因果比较。一种称为主分层的方法,根据个体在各治疗条件下的潜在存活状态来划分群体,例如在两种条件下都能存活的个体。这些群体通常无法被直接观测到,因为每个个体只会接受其中一种治疗。
因此,幸存者偏差不只是使平均值偏高。它还可能改变关联、逆转表面上的关系,并破坏群体间比较的有效性。在因果研究中,关键问题在于选择过程如何产生,以及就所研究的因果效应而言,入选群体是否仍具有可比性。
金融、投资数据库与企业成功
投资业绩为考察幸存者偏差提供了一个清晰的制度性场景。基金可能清盘、合并、更名,或从商业数据库中消失。如果历史分析只纳入考察期结束时仍在运作的基金,业绩不佳基金的记录就可能被系统性地遗漏。由此得到的平均值描述的是最终存续基金的过往表现,而不是期初从所有可选基金中进行选择的投资体验。
斯蒂芬·布朗、威廉·戈茨曼、罗杰·伊博森和斯蒂芬·罗斯于1992年发表的《业绩研究中的幸存者偏差》是一项被广泛引用的研究,探讨了以存续为条件筛选样本对投资评价的影响。这一问题影响的不只是平均收益,还可能改变业绩持续性、风险分布,以及收益与基金特征之间关系所呈现的面貌。偏差的大小取决于数据库、考察时期、纳入规则,以及对消失基金的处理方式;并不存在适用于所有数据集的通用修正方法。
另一种相关错误是,分析者以股票指数当前的成分股为基础,计算该投资组合在多年前本会取得怎样的表现。因财务困境、被收购或不再符合纳入标准而被剔除的公司遭到遗漏,后来加入的公司则被当作事先就已知晓的投资对象。这在幸存者偏差之外,又引入了前视偏差。恰当的历史投资机会集应由过去各个时点符合条件且可供投资的证券构成,而不只是今天仍能看到的那些证券。
数据库中的其他筛选机制需要另行处理。有些投资数据库只有在基金管理人决定报送数据后,才会收录其此前的收益记录。如果早期业绩出色会提高报送数据的可能性,那么补录的历史记录就可能存在回填偏差或孵化偏差。因此,即使数据库纳入了已关闭的基金,仍可能存在其他形式的选择偏差。同样,如果缺少基金关闭前夕的亏损或最终清算所得,仅仅记录该基金曾经存在也不够。
关于企业成功的叙事也呈现出类似机制。研究存续企业或许能找出它们的共同做法,却不能据此证明这些做法促成了企业存续。失败的企业可能也采取过同样的做法,而成功的企业则可能受益于有利的时机或市场条件。几乎所有入场企业都采用的策略,在赢家中可能十分常见,却几乎无助于区分赢家和输家。
相关总体的界定也取决于所研究的问题。随机选取一家新入场企业时的预期结果,不同于以存续五年为条件的预期结果。这两个量本身都合理,但用其中一个替代另一个,可能会改变人们对风险、收益、创业表现,以及管理做法看似有多可靠的判断。
医学、流行病学与随访研究
在医学研究中,生存状况或是否持续参与所造成的选择,会影响哪些患者进入研究,以及哪些患者的结局仍能得到测量。一项招募现患某种疾病者的研究,所抽取的是既已发病、又存活至招募时且仍可被识别和找到的人。迅速致死的病例进入样本的机会较少。这通常被称为现患率—发病率偏倚或奈曼偏倚,可能扭曲暴露与疾病发生之间的关联。
假设某种暴露既增加患病概率,又缩短发病后的生存时间。那么,现患病例样本中暴露患者的比例可能较低,因为在招募之前,他们患病后仍存活的时间较短。因此,该样本中的暴露与疾病之间的关系,可能与随访最初未患病的人群并记录新发病例所得到的关系大不相同。这一区别既涉及抽样人群,也涉及观测时机。
一个相关现象是长度偏倚抽样。如果在某一时点对正在持续的事件进行抽样,持续时间较长的事件比持续时间较短的事件更容易被抽中。例如,对当前住院患者进行横断面抽样,其住院时长分布不同于对入院患者进行抽样所得的分布:长期住院者在前一种样本中所占的比例偏高。这并不总被称为幸存者偏差,但两者有一个共同原理,即持续时间会影响纳入样本的机会。
如果中止随访的参与者与继续接受随访的参与者之间存在系统性差异,随访研究就会面临失访偏倚。患者可能因不良反应、健康恶化、康复、迁居或其他无关情况而退出。这些原因决定了偏差的方向。因此,仅针对完成治疗者的分析,可能不同于针对最初所有被分组或纳入研究者的分析。最初的随机分组本身,并不能消除随机分组后选择性失访所带来的影响。
不死时间偏倚是另一个相关但有所不同的时间问题。如果根据随访开始后发生的某个事件,将患者划为接受治疗者,那么这些患者就必须存活足够长的时间,才能经历该事件。若错误地将该事件发生前的生存时间归入治疗组,就可能造成治疗组具有生存优势的假象。问题不只是数据库中缺少死亡病例,而在于暴露分类与人时分配不匹配。
最后,有些结局在死亡后是无从定义的,而不只是未被记录。对于在一年内死亡的参与者,无法观测其一年时的生活质量评分。将死亡当作普通的问卷数据缺失,会掩盖真正要研究的科学问题。研究者必须区分生存本身、幸存者中的结局以及复合结局,因为它们回答的是不同的问题,所依赖的假设也不同。
工程、历史证据与文化可见性
工程数据集中的对象往往是经过持续运行筛选后留下来的。检查仍在使用的机械,揭示的是幸存设备的特性,未必是最初安装的所有设备的特性。如果有缺陷的设备早早失效并被淘汰,留存下来的老旧设备就可能显得格外可靠。即使没有任何一台机器会随着使用年限增长而变得更可靠,观测到的总体中,耐用设备的占比仍会逐渐提高。
这种区别可以通过失效风险的差异来说明。假设一组部件的失效率较高,另一组则较低。随着时间推移,高风险部件会更快退出使用。由于总体构成发生变化,剩余部件的失效率可能下降。这种模式并不能证明磨损发生了逆转,也不能证明持续使用会改善每个部件的性能。
历史建筑就是一个常见的例子。建成数百年后仍然可见的建筑,已经历了结构耐久性、维护、拆除决策、土地价值、冲突以及保护政策等多重因素的筛选。因此,将幸存的古老建筑与当代各类建筑进行比较,并不能直接衡量各个时期普通建筑的建造水平。那些已经倒塌、被拆除或被认为不值得保护的建筑,同样属于应当纳入考察的历史总体。
在考古学中,遗存能否保存下来也取决于材料和环境。石材、陶瓷和某些金属留下的考古痕迹,通常不同于木材、纺织品、食物及其他有机材料留下的痕迹。水浸或极度干燥等条件,可以使原本脆弱的证据得以保存。因此,留存下来的记录既反映了过去的行为,也反映了堆积形成后使其发生变化的各种过程。没有发现某类器物,并不一定意味着过去的生活中不存在这类器物。
文化声誉则受到另一种筛选。人们通过学校、出版社、博物馆和音乐会节目接触到的较早时期的作品,往往已经历了反复遴选,而当代创作中既有备受赞誉的作品,也有不受重视的作品。将较早时期的经典作品与当下的全部创作相比较,可能会让人觉得艺术质量总体上已经下降。要得出这一结论,需要有关于可比总体的证据,而不能仅凭某个时期最经得起时间考验的作品。
这些应用也表明了这一比喻的局限。只要了解记录得以保存的机制,留存记录就能提供十分有价值的信息。考古学家可以研究遗址的形成过程,历史学家可以对照相互独立的档案,工程师则可以利用安装记录和失效记录。推断中的问题不在于考察幸存者,而在于认为其幸存这一事实与我们能从中获得什么认识无关。
识别、研究设计与统计校正
识别幸存者偏差的首要任务是重建观测过程。需要考察的问题包括:各单位何时具备纳入资格,哪些单位消失了,历史记录是否经过修订,以及是否被纳入取决于后续结果。即使数据集标注为“历史数据”,其中也可能仅包含目前仍在活动的实体。与事后从留存记录中组建样本相比,对入组时确定的一组单位进行前瞻性追踪,通常更容易识别这类流失。
如果能够找回被排除的观测数据,校正效果通常最好。企业登记资料、存档的投资数据库、参与者追踪资料、设备退役记录,以及独立维护的结果记录,都有助于还原原始总体。找回数据时,还必须记录具有实际意义的最终结局:一家停止经营的企业,可能是成功出售、自愿解散,也可能是财务破产。将所有消失情况都视为同一种结果,可能只是在解决选择问题的同时,又引入了分类错误。
当选择概率已知或可以估计时,可以使用逆概率加权重新调整已观测个案的权重。令 包含已测量的特征,并令
在整个目标总体中,若假设 和 均成立,则总体均值可以表示为
第一个假设表示,在给定 的条件下,是否被选中不再提供有关结果的额外信息。第二个假设是正值性要求:每一种相关类型的单位都必须有一定概率被观测到。极小的纳入概率会产生很大的权重,进而可能使估计不稳定。
其他方法包括对缺失结果建模、对选择过程与结果进行联合建模,或将结果模型与加权方法结合。缺失数据插补并不能自动纠正幸存者偏差:仅使用已观测个案训练的模型,可能会复现经过选择后的模式,除非其假设足以支持将模型外推至被排除的单位。同样,自助采样衡量的是现有数据所表征的数据生成过程中的变异;通常无法重建这一表征中完全缺失的个案类别。
当选择机制取决于未观测到的结果时,如果没有额外信息或假设,就可能无法识别原始总体。敏感性分析可以考察:为缺失个案设定不同结果,或采用不同选择机制时,结论会如何变化。有时,可以根据已知的结果取值范围和被排除单位的比例,求得上下界。这些方法有助于区分哪些结论得到观测证据的支持,哪些结论则高度依赖无法验证的限制条件。
任何统计调整都无法在不作假设的情况下凭空提供信息。如果某一类失败个案被观测到的概率为零,也没有外部记录记载这类个案,那么仅靠加权无法重建其结果。
相关偏差、解读与概念的局限
幸存者偏差属于更广泛的选择问题。无应答偏差涉及应答者与未应答者之间的差异;流失偏差涉及对象纳入研究后的选择性流失;发表偏差则涉及研究结果被选择性地公开。这些机制可能与幸存者偏差重叠,但各个名称强调的是不同阶段和制度环境。例如,已发表的文献可能偏向具有统计显著性的研究结果,却并没有真正移除先前可见的研究。
幸存者偏差也不同于确认偏误。确认偏误涉及人们如何依据既有信念搜寻、解读或记忆信息。即使没有人偏向某个特定结论,幸存者偏差也可能出现:一个精心维护的数据库,可能只是排除了已经不复存在的对象。当观察者优先宣传成功的幸存者,随后又将这些经过筛选的案例视为某种理论的佐证时,这两种偏差便可能相互强化。
另一个需要区分的因素是随机变异。一小批成功企业可能只是碰巧缺乏代表性,而只抽取幸存者的规则则会系统性地改变哪些对象有资格入样。扩大样本可以减少某些形式的抽样不确定性,却不会自动减少选择误差。围绕经筛选总体的均值形成的置信区间即使很窄,对目标总体均值的估计仍可能存在很大误差。精确性与代表性回答的是不同的问题。
幸存者偏差的存在,也不意味着每一次观察到的成功都是偶然的,或幸存者的特征完全不含有用信息。技能、技术、组织实践和物理特性确实可能提高存活概率。要确定它们的影响,就需要进行恰当的比较:失败者中同样特征的出现频率有多高,所面临的暴露因素和拥有的资源有何差异,以及其他解释能否说明这种关联。幸存者的证据可以启发假设,却不能单独用于识别因果效应。
这一术语也不应被用来解释一切出乎意料的模式。表面上更耐用的现象,可能反映了工程技术的真实进步;某些文化作品的突出地位,可能源于有据可查的历史影响;存活患者之间的差异,除了选择因素之外,也可能反映真实的治疗效果。只有明确指出被排除的总体、选择机制,以及该机制可能扭曲的结论,关于幸存者偏差的论证才具有解释价值。
在正式报告中,可能需要区分几种不同的量:所有初始纳入对象的结局、以存活至指定日期为条件的结局,以及根据在不同条件下的假设存活状态所界定的群体的结局。明确说明估计目标——也就是要估计的确切量——可以使这些区别清晰呈现。同一批记录可以支持对幸存者的有效描述,却仍不足以解决有关更广泛总体的主张或因果主张。