选择偏差是指,决定哪些观测对象被纳入分析的过程改变了所估计的量或关系,从而造成的系统性失真。当是否纳入样本、是否参与、是否留在样本中,或是否被选入分析取决于与推断有关的特征,而分析又未充分考虑这种依赖关系时,就会出现选择偏差。这是统计学中的一个核心问题,因为数据反映的是产生所观测样本的过程,而这一过程可能与所关注的总体或过程有很大差异。
例如,根据自愿参与调查者的回答估计公众意见,只研究就业人群的工资,只在完成随访的患者中比较治疗效果,以及只用仍在运营的基金评估投资表现,都可能产生选择偏差。选择并不一定涉及有意排除:资格标准、机构记录、存续状况、测量值缺失以及发表决策,都可能决定哪些对象或信息能够被观测到。反过来,样本缺乏代表性也不意味着每一项估计都会有偏;具体后果取决于目标量和选择机制。
选择偏差贯穿调查抽样、因果推断、计量经济学和预测建模等领域。分析选择偏差,需要区分总体之间的差异与因果关系的扭曲,明确可以获得哪些选择概率信息或采用哪些假设,并识别仅凭经过选择的数据无法还原缺失信息的情形。
统计定义及其对目标的依赖
设 表示某个指定目标总体中的结果变量, 表示一个单位是否被观测到,其中 表示被纳入。观测到的结果分布为 ,而总体分布为 。根据条件概率,
同一恒等式也适用于连续结果变量的概率密度。如果纳入概率随结果而变化,观测分布就会向更容易被选中的取值倾斜。例如,仅通过某项昂贵订阅服务开展的家庭支出调查,可能会使高支出家庭在样本中的占比过高。
对于总体均值 ,一个特别有用的恒等式是
这里的协方差是在目标总体中计算的。该表达式可由 推出。它表明,当是否被纳入与结果变量之间的协方差非零时,所选样本的均值就会不同于总体均值。独立性足以避免这种差异,但均值没有差异,并不意味着整个结果分布都保持不变。
因此,选择偏差是相对于待估量而言的,即分析旨在确定的量。一个有意仅纳入成年人的样本,并不会仅仅因为排除了儿童,就在描述成年人时产生偏差。同样,在使用适当抽样权重的情况下,对人数稀少的人口群体进行过度抽样可以提高精度。当数据生成过程或分析过程与声明的目标不相符,且未对此作出正确处理时,选择才会成为问题。
这一概念与估计量的偏差有关,但二者并不相同。在经典术语中,如果在指定的重复抽样模型下,估计量 满足 ,就称其为有偏估计量。一个估计量可能对被选中群体的均值是无偏的,但对于预期研究的总体而言,它估计的却是错误的量。反过来,即便观测来自恰当的概率样本,估计量仍可能存在有限样本偏差。
增加样本量通常不能消除系统性的选择。在从所选分布中独立抽样的情况下,大数定律使样本均值趋近于 ,而不一定是 。因此,一个非常庞大的数据集,可能会得到围绕某个严重偏离目标的数值的狭窄置信区间。标准的抽样不确定性度量描述的是其所假定的抽样过程下的变异性;如果对哪些对象可能出现在数据中的认识有误,由此造成的误差并不会自动纳入这些度量。
选择作为对碰撞变量的条件化
解释选择偏差的一种主要方法是使用有向无环图。在这类图中,箭头表示假定的因果影响。如果一个变量接收来自另外两个变量的箭头,就称其为碰撞变量。对碰撞变量进行条件化,有时也包括对其某个后代变量进行条件化,可能使其各个原因之间产生关联,即使这些原因原本彼此独立。
考虑以下结构:
假设 与 在总体中相互独立,但任一特征都会提高被纳入的概率。将分析限定于 的对象,会改变二者之间的关系。在被选中的个体中,具有其中一种特征,可能会降低另一种特征在解释其为何被纳入时的必要性。在概率模型中,这种现象有时被称为“解释消除”。
一个数值例子可以清楚展示这一机制。设 和 是相互独立的二元变量,各自以 的概率取值为 1,并且只要二者至少有一个为 1,就将该个体纳入样本。选出的样本包含 、 和 ,各自出现的概率均为 。在该样本中,
而
尽管二者在总体中相互独立,选择过程却产生了负关联。这并不矛盾:统计独立性不一定在条件化后仍然成立。
一个具有重要历史意义的例子是伯克森悖论,由约瑟夫·伯克森于 1946 年在讨论医院数据时提出。如果两种疾病都会提高住院概率,那么只研究住院患者,就可能在这两种疾病之间诱发一种不同于来源总体中的关联。实际的住院选择过程比这个简单图示更复杂,因为转诊惯例、疾病严重程度、医疗服务的可及性以及其他诊断结果也可能影响住院。这个例子揭示的是一种可能的机制,而不是偏差必然具有的方向。
碰撞变量偏差也解释了为什么纳入更多控制变量并不总能改善分析。对共同原因进行调整可以消除混杂,但对共同结果进行调整却可能引入新的非因果关联。选择可以通过研究入选资格、删除不完整记录、分层、匹配,或在回归模型中纳入某个变量等方式发生,并不一定需要实际剔除观测对象。
图分析使用d分离来判断条件化会打开或关闭哪些路径。不过,单凭一张图通常无法确定由此造成的失真有多大,甚至无法确定其方向。这些取决于函数关系、结局的度量尺度以及选择过程的强度。图示解释的实用价值,在于能够区分那些在观测数据集中看起来相似、但结构上不同的问题。
调查抽样、覆盖与参与
在调查研究中,选择可能发生在抽样框、抽样设计、联系程序以及是否回应调查的决定等环节。抽样框是实际用于选取总体成员的名册或机制。如果目标总体中的部分成员未被纳入抽样框,调查就存在覆盖不足。例如,电话调查可能排除无法使用相应电话服务的家庭,企业名录也可能遗漏新成立的企业。
覆盖不足并不等同于不等概率抽样。设计良好的概率样本可以有意赋予不同单位不同的入样概率。只要这些概率已知且大于零,基于抽样设计的估计就能将其考虑在内。随机抽样意味着是否入样由特定的概率机制决定,并不要求每个单位都有相同的入样机会。
自愿应答样本带来的是另一类问题。人们可能因为调查主题对自己格外重要、自己持有强烈观点,或参与调查很容易融入日常生活而选择参与。因此,网站投票即使收到数百万份回应,也未必构成一个入样概率已知、面向公众的概率样本。由此产生的失真取决于参与行为与所研究的特定结果之间的关系,而不只是样本是否在少数人口统计变量的边际分布上与总体一致。
1936年《文学文摘》的总统选举民意调查是一个著名的历史案例。该杂志根据约240万份寄回的选票,预测共和党候选人阿尔夫·兰登将击败富兰克林·D.罗斯福;结果罗斯福却以压倒性优势获胜。这项调查依赖电话用户和汽车车主名录等来源,因而存在覆盖方面的问题,而选票的自愿寄回又引入了进一步的选择。后来的分析强调,不能仅用样本量或某一种人口统计因素来解释这次失败:决定哪些人最终成为应答者的机制至关重要。
当未提供有效回答的人与提供了有效回答的人在相关方面存在差异时,就会出现无应答偏差。将总体划分为应答者和无应答者,设 为应答比例, 和 分别表示两组的结果均值,则有
因此,应答者均值与总体均值之差为
这一恒等式说明,低应答率本身并不能证明偏差很大:应答者与无应答者之间的结果差异同样重要。如果剩余无应答者与应答者之间的差异格外大,即使应答率很高,也可能仍存在相当大的偏差。
调查调整通常采用人口统计加权、后分层,或依据已知总体总量进行校准。这些方法可以纠正与已测量变量有关的差异,但不能保证纠正各调整组内部未测量到的差异。可靠的总体基准、充分的样本覆盖,以及对参与机制的明确说明,仍然是各自独立、不可相互替代的要求。
数据缺失、样本流失、存活与截断
选择问题常以数据缺失的形式出现。某个研究单位可能已进入研究,却未提供结局数据,也可能在纵向研究的后续各轮调查中失访。在这种情境下,响应指示变量 用于记录某个特定值是否被观测到。将分析限制在 的记录上,实际上就是隐含地以决定该值是否被观测到的过程为条件。
唐纳德·鲁宾在1976年提出的框架区分了三种影响深远的缺失机制。当缺失与已观测数据和未观测数据均无关时,数据属于完全随机缺失。当给定已观测数据后,缺失不再进一步依赖缺失值时,数据属于随机缺失。当这种条件独立性不成立时,数据属于非随机缺失。第二个术语中的“随机”并不意味着缺失与所有已测量特征都无关。
这些区别决定了哪些分析能够还原所要估计的量。删除所有含有任一缺失字段的记录,通常会浪费信息,还可能改变研究总体。在随机缺失机制下,完整案例分析并不一定有偏,因为其有效性还取决于模型和目标估计量;但仅凭随机缺失这一条件,也不能认定所有完整案例计算都有效。缺失数据插补和基于似然的方法可以利用已观测到的、能够预测缺失情况的变量,但所得结果取决于模型设定是否正确,以及缺失机制假设是否恰当。
当观测情况随时间变化时,样本流失的影响尤其显著。在教育追踪调查中,离校学生也可能退出调查,使留在样本中的学生后续学业表现看起来更好。在就业研究中,工作状况不断恶化的劳动者可能变得更难联系。如果退出取决于此前已记录的结局,就有可能通过适当的纵向分析调整加以处理;如果退出取决于未观测到的当前结局,则会带来额外的识别难题。
幸存者偏差是由持续存在或持续可见所产生的选择偏差。只包含当前仍在经营的企业的数据库排除了倒闭企业,因此可能高估历史经营表现。比较长期存续的组织,也可能掩盖与早期失败相关的做法。广为人知的战时飞机案例说明了其中的逻辑:返航飞机上的损伤反映的是幸存飞机的情况,而那些在返航前损失的飞机,并未出现在观测到的损伤分布中。
存活问题还涉及删失与截断的区别。在右删失情况下,研究单位已被观测到,但只知道其事件发生时间晚于随访截止时间。在截断情况下,不满足某项观测条件的研究单位可能根本不会进入数据集。例如,在左截断的生存数据中,个体必须存活至入组年龄,才有机会被观测到。在适当假设下,采用恰当的风险集可以处理延迟入组问题。如果把经过截断筛选的观测样本当作不受入组限制的队列,就会改变所分析的风险总体。
抽取现存案例而不是新发生的案例,还会产生另一种机制:持续时间较长的事件更容易在横断面调查中被观测到。这种长度偏倚抽样可能使平均持续时间看起来比新发事件中的实际平均持续时间更长。因此,尽管缺失、存活和基于持续时间的观测都涉及选择性可见,它们仍需要采用不同的模型。
治疗比较与结果向其他人群的迁移
在治疗研究中,选择偏倚可能影响治疗组之间的比较,也可能影响比较结果所适用的人群,或同时影响两者。这是两个不同的问题。随机对照试验可以对入组参与者作出有效的比较,却可能无法为被排除者或拒绝参与者提供多少信息。反过来,一项具有广泛代表性的研究,如果治疗分配存在混杂,仍可能得出有偏的治疗比较结果。
潜在结果框架明确区分了这两者。设 和 表示某个研究单位在两种治疗条件下的结果, 表示入组试验。试验内的随机分配可以识别入组人群的平均治疗效应,即
而目标人群的治疗效应则为
如果治疗效应随某些特征而变化,而这些特征又影响是否参与试验,那么这两个量就未必相等。仅依据与结果水平相关的因素进行选择,不一定会改变平均治疗效应;依据效应修饰因素进行选择,则与结果的可迁移性尤为相关。
随机化之后的选择可能威胁组间比较本身的内部效度。假设治疗会影响参与者是否完成随访,而其原有的预后状况也会影响随访的完成。将分析限于完成随访者,就相当于以治疗和预后共同影响的结果作为条件。基线时随机化所提供的保障,并不会在施加这一限制后自动保留。意向性治疗的目标估计量关注的是分配治疗的效应,但仅仅将一项分析称为意向性治疗分析,并不能解决结果数据缺失的问题。
在流行病学中,病例对照研究说明,依赖结果的选择未必是设计错误。研究者会有意以不同的抽样比例选取病例和对照。如果在各结果类别内,选择与暴露相互独立,那么这种抽样会保留暴露与结果之间的优势比,但样本中出现该结果的比例并不能估计人群的疾病患病率。不同的对照抽样方案支持不同的解释,因此来源人群的选择是研究设计的核心问题。
时间安排还会带来其他问题。如果被归入暴露组的前提是在随访开始后存活一段时间,就可能出现不死时间偏倚。例如,将暴露定义为最终接受某种治疗,却把接受治疗之前的时段也计为暴露期,就会把一段必然存活的时间归入该组。这并不只是通常的基线混杂,而是源于入选资格、治疗分类和随访在时间上的对齐不一致。
将结果迁移到另一人群,需要额外的信息和假设。如果测得的协变量 能够充分解释治疗效应的相关差异,就可以按照目标人群的协变量分布,对试验中的条件治疗效应取平均值。这种标准化还要求充分的重叠:试验中必须包含能够为所要代表的目标群体提供有效信息的参与者。如果试验中缺少某个人群亚组,通常就无法在不进行外推或不借助额外证据的情况下获知该亚组的治疗效应。
计量经济学中的样本选择模型
在计量经济学中,样本选择问题往往源于结果变量只有在某项经济决策作出后才能被观测到。例如,只有就业者的工资能被观测到,而是否参与劳动力市场则取决于家庭状况、预期收入、偏好及其他因素。因此,仅以就业者为样本拟合的回归,所描述的可能是一个经过选择的群体,其不可观测特征与总体存在系统性差异。
詹姆斯·赫克曼在1979年的论文《作为模型设定误差的样本选择偏差》中,将一种影响深远的修正方法形式化。一个基本模型将结果方程
与潜在选择方程相结合:
只有当 时,结果变量 才能被观测到。向量 和 包含可观测的预测变量;误差项 和 分别代表影响结果与选择的不可观测因素。
在经典设定中,给定回归变量, 的方差为1, 的方差为 ,两个误差项服从联合正态分布,相关系数为 。如果 ,对 的选择也就意味着对结果方程误差项的选择。因此,
其中, 和 分别为标准正态分布的概率密度函数和累积分布函数。
比值
称为逆米尔斯比率。在该模型下,经选择样本的结果方程中包含一个额外的条件均值项 。将其遗漏,通常会使误差项的条件期望不为零,从而违背普通回归的一项核心假设。
赫克曼两步法首先用概率单位(probit)模型估计选择方程,然后在可观测个体的结果回归中加入估计得到的逆米尔斯比率。也可以采用最大似然估计,对两个方程进行联合估计。在两步法中,计算不确定性时,既要考虑新增回归变量本身是估计所得这一事实,也要考虑选择所引致的误差结构。
模型识别尤为重要。排除性限制要求存在这样一个变量:在给定结果方程中的回归变量后,它会影响选择,却不会直接影响结果。如果没有这样的变量,正态模型或许可以依靠函数形式在形式上实现识别,但实证结论可能对分布假设高度敏感。合理的排除性限制需要有实质性依据,不能仅凭第一阶段中统计显著的关联来确立。
选择模型不同于结果变量删失模型。在删失模型中,观测值可能被记录为某个边界值;而在选择模型中,被排除个体的结果可能完全无法观测。选择模型也不同于处理选择模型,尽管两者都可能涉及相互关联的不可观测因素。因此,赫克曼框架是一种针对特定观测机制、以模型为基础的应对方法,并非适用于所有非代表性数据集的通用修正方法。
加权、标准化与识别的局限
有几种方法通过重建目标总体的分布来处理选择问题。这些方法是否有效,取决于有关选择过程的信息,以及将已观测单位与未观测单位联系起来的假设。其中最关键的区别在于:选择概率是由抽样设计给定的已知概率,还是从观测数据中推断出来的概率。
对于有限总体,设 为概率抽样设计下单位 的入样概率。丹尼尔·霍维茨和多诺万·汤普森于1952年提出的 霍维茨—汤普森估计量,按下式估计总体总量:
每个已观测单位既代表自身,也代表入样机会相近的其他单位。由于其入样指示变量的期望值为 ,该估计量具有设计无偏性。估计方差还需要联合入样概率的信息,或采用其他适当的基于抽样设计的方差估计方法。
入样概率未知时,逆概率加权通常使用估计得到的参与模型 。在满足包括
在内的假设,且相关目标分布的整个支撑集上入样概率均为正的条件下,有
这里的期望针对目标总体计算,未观测单位的 视为零。应用这一恒等式,需要有关该总体或其选择过程的适当数据;仅凭一个选后样本,通常无法得知其自身的入样概率。
标准化方法对条件结局均值 建模,再按 在目标总体中的分布对其取平均。加权方法对选择过程建模,标准化方法则对结局建模。双重稳健估计量将两者结合,在满足所需识别假设的前提下,只要两个辅助模型中有一个设定正确,估计量就仍可保持一致性。但对于任意形式的未测量选择因素或缺乏重叠的情形,它们并不具有稳健性。
极小的入样概率会产生很大的权重,使估计不稳定。权重截尾可以降低方差,但也可能引入偏差,或改变该方法隐含的目标总体。同样,将分析限制在具有重叠的总体中,可以改善数据支撑,但回答的问题也会更为局限。这些做法改变的是推断问题本身,而不只是数值上的调整。
有些选择问题无法从观测数据中得到识别。未观测结局的不同分布可能产生完全相同的选后数据。无论计算能力提高多少,都无法消除这种不确定性。统计识别需要假设或额外证据,例如总体基准信息、验证样本、对未应答者的追访,或对选择过程施加的可信约束。
敏感性分析通过改变那些无法由观测数据确定的量,明确呈现推断对这些假设的依赖。对于取值介于0和1之间的结局,若已知已观测部分所占比例 及其均值 ,那么在不对缺失结局施加限制时,有
这些界限可能很宽,但它们准确地区分了哪些信息来自数据,哪些信息来自假设。
预测、研究结果的选择与实际诊断
在机器学习中,选择偏倚往往表现为训练数据与预测所应用的人群之间不匹配。用接受贷款要约的客户数据训练的模型,在所有申请人中未必具有同样的表现。用接受某项特定检查的患者数据训练的临床预测系统,可能学到的是与是否接受检查这一决策有关的特定关系,而非适用于所有患有相关病症的患者的关系。
一个重要的特例是协变量偏移,即预测变量的分布发生变化,而结局的条件分布保持稳定:
在训练分布的支持集充分覆盖目标分布的情况下,可以用密度比 对训练观测值加权,从而表示目标人群中的预测风险。如果选择过程改变了结局的条件分布,例如只有在特别棘手或特别有利的案例中才能观测到标签,那么这种方法就不足以解决问题。
当结局只有在机构作出某项决策后才能被观测到时,就会出现选择性标签。获批贷款有还款记录,而被拒绝、从未实际获得贷款的申请则没有。历史招聘记录包含录用者的工作表现,却不包含被拒者的工作表现。这类数据无法直接确定预测对所有申请人的准确性,也不能将未观测到的结局当作已观测到的失败。如果模型的决策决定了未来哪些标签可被获取,那么反复部署模型还可能加剧这一问题。
常规的交叉验证估计的是模型在评估程序所代表的分布下的表现。对一个经过选择性收集的数据集进行随机划分,并不能确定模型在另一个目标人群中的表现。如果能够获得独立收集的目标人群数据,用这些数据进行评估,所回答的问题不同于在原有选择机制下复现预测准确率。
选择也发生在研究结果层面。当一项研究能否被获取的概率取决于其结果或相关特征时,就会产生发表偏倚。罗伯特·罗森塔尔在1979年对“文件抽屉问题”的讨论中,强调了无法获取不显著研究结果所带来的后果。已发表研究内部的选择性报告与此相关,但又有所不同:研究者可能在知晓结果后,才选择报告哪些结局、分析或时间点。因此,仅依据可获取的研究记录开展的元分析,可能估计的是经过选择的结果分布。
诊断工作首先要准确描述目标人群、待估计量,以及依次作出的纳入决策。有用的证据包括抽样框的覆盖情况、应答模式、失访原因、与外部人群总体统计数据的比较、权重分布,以及数据中是否存在代表不足的目标群体。已测量特征上的差异可以揭示选择的存在,但这些特征上的一致并不能排除基于未测量变量的选择。
通常,单次显著性检验也无法证明不存在选择偏倚:用于检验相关假设所必需的那些单位,恰恰可能缺失了相关结局。明确处理这一问题的分析,会区分观测到的差异、关于未观测单位的假设,以及结果对不同选择机制的敏感性。