准实验是一种实证研究,旨在估计干预、暴露或政策的因果效应,但不通过研究者控制的随机化将研究单位分配到不同的处理条件中。它利用处理分配的特征、制度规则、实施时间或比较组,近似实现随机实验所能提供的反事实比较。当随机分配不切实际、无法进行,或不符合干预的实施方式时,准实验便成为因果推断的重要方法。
准实验的核心难题不只是缺少随机化,而在于:即使没有接受处理,处理组与未处理组的研究单位也可能出现不同的结果。可信的准实验设计通过明确的假设,以及有关分配过程的证据,来应对这一问题。主要方法包括中断时间序列、双重差分、回归不连续设计和工具变量设计。有些分类还将精心设计的匹配比较研究纳入其中,不过,准实验与其他观察性研究之间的界限因学科而异。
起源、范围及其与实验的关系
准实验推理的出现早于这一术语。长期以来,研究者一直利用行政边界、制度变迁和外部施加的事件,构建类似实验的比较。例如,约翰·斯诺在1854年调查伦敦霍乱时,比较了由不同供水公司供水的住户的死亡率。这些公司的用户在地理分布上相互交错,但所用水源的污染程度不同,因此,这种比较提供的证据强于仅仅考察街区环境与疾病之间的关联。其可信性取决于供水的具体情况,而非研究者的分配。
唐纳德·T. 坎贝尔与朱利安·C. 斯坦利合著的《研究中的实验与准实验设计》于1963年首次出版,使这一术语产生了广泛影响。他们的框架将随机实验与缺乏随机分配的设计区分开来,并系统梳理了妨碍有效因果解释的各种威胁。托马斯·D. 库克与坎贝尔在1979年出版的《准实验:实地研究中的设计与分析问题》中进一步拓展了这一研究纲领。威廉·R. 沙迪什、库克与坎贝尔于2002年出版的著作,则进一步将实验与准实验方法整合到可推广的因果推断框架中。
准实验与随机对照试验的区别,主要在于如何为干预分配提供合理依据。在随机试验中,分配概率由设计确定,随机化使干预分配在分配分布中与干预前的特征在统计上相互独立。但这并不保证每一次实际得到的样本中,各组都完全相同。在准实验中,可比性则来自对研究对象的实质性了解、设计上的限制,以及对未实施干预时结果会如何的假设。
自然实验与准实验密切相关,但两者并不等同。“自然实验”通常强调某个外部事件或制度过程,它在研究者控制之外造成了干预暴露的差异。“准实验”则更直接地指用于分析这类差异的推断设计。一项在不同时间实施的政策,可能构成自然实验,并可用多种准实验方法加以分析。反过来,研究者也可以安排一项非随机的项目评估,使其具备准实验性质,而不必源于自然发生的事件。
不应将准实验等同于所有非随机研究。以受教育程度解释收入的横截面回归属于观察性研究,但通常不能仅因其中纳入了控制变量,就将其视为有说服力的准实验。要声称一项研究属于准实验,一般需要有明确可辨的比较策略,并有理由认为,相关的干预变异能够与影响结果的其他因素区分开来。不过,不同学科的用法仍有差异:项目评估往往对这一术语采用较宽泛的定义,而应用计量经济学通常只用它来指那些对合理可信的外生变异来源交代得尤为明确的设计。
反事实、分配机制与因果估计目标
潜在结果框架精确地表述了核心问题。对于单位 ,令 表示接受处理时的结果, 表示未接受处理时的结果。如果 表示是否接受处理,则观测结果为
个体处理效应为 ,但两个潜在结果中只能观测到一个。因此,研究设计需要利用其他单位、其他时期或分配规则,构建有关缺失反事实的信息。由此确定的估计目标可能是总体的平均效应、接受处理单位的效应,也可能是某个更小子群体的效应。
例如,接受处理单位的平均处理效应为
其中, 表示期望值。处理组与未处理组之间未经调整的差异可以分解为
第二行是基线选择差异,说明了为什么观测到的结果差异不一定等于因果效应。某些项目可能有意招收预期结果较差的人,而自愿参与则可能吸引动机更强或资源更多的人。
统计识别关注的是,在给定假设下,能否从现有数据中确定所关注的因果量。估计关注的则是如何利用有限样本计算该因果量。这是两个不同的问题:即使回归系数估计得很精确,也可能无法识别预期研究的效应。增加观测数量可以降低抽样不确定性,却无法消除无效比较带来的偏差。
不同的准实验设计用不同的识别约束来替代随机化。断点回归利用阈值附近未接受处理和接受处理两种潜在结果的连续性。双重差分利用对未接受处理时结果随时间变化的约束。工具变量法利用一种不直接影响结果、但会引起处理变化的外部来源。匹配方法通常要求,已测量的处理前变量能够解释与研究相关的处理选择。
这些假设涉及的是分配机制,而不仅仅是一个方程。了解规则由谁执行、是否允许例外,以及参与者能否预先知晓自己将接受处理,可能比模型的拟合优度更重要。有向无环图可以澄清所提出的因果关系,并区分混杂变量、中介变量和碰撞变量,但不能证明图中描绘的关系是正确的。
处理本身也必须有足够明确的定义。名义上相同的培训项目,在不同地点的持续时间或内容可能并不相同。效应可能取决于这些不同版本、处理实施的时间,以及相邻单位接受处理的情况。因此,估计目标不仅要说明“接受处理与未接受处理”的对比,还必须明确研究总体、干预措施、对照条件、结果指标和随访期。
非等价比较组与基线测量
非等价比较组设计将干预组与一个未经随机分配而选定的组进行比较。例如,可以将采用新课程的学校、引入排班系统的医院或实施服务改革的市镇,与沿用既有做法的机构进行比较。如果两组都有干预前的测量数据,这种设计就能提供更多信息,但仅有基线数据并不能保证反事实的可信度。
如果决定是否接受干预的因素也会影响结果,那么仅比较干预后的结果就容易受到混杂的影响。如果资源更充足的学校率先采用某套课程,那么此后的学业成绩差异可能反映的是资源差异,而不是课程的作用。选择以往学业成绩、在校生人数和学生社会经济背景构成相近的学校,可以提高可比性,但学校领导力或家庭参与程度等方面仍可能存在未被测量的差异。
一种常见的分析方法,是根据基线结果和其他干预前协变量,对随访结果进行调整:
这一线性回归描述的是经过调整的比较。要将 解释为因果效应,就需要对给定所纳入变量后的干预分配机制,以及模型的适用性作出假设。另一种方法是分析变化分数,即比较 。这两种方法不一定得出一致的结果,尤其是在基线结果存在测量误差,或是否接受干预取决于基线状况时。
当干预针对观测值处于极端水平的对象时,均值回归尤其值得注意。假设某个项目将年度考试成绩异常偏低的学校纳入其中。即使没有有效的干预,一些学校的成绩也会提高,因为暂时性的不利影响会逐渐消退。按照同一规则选出的比较组,有助于区分这种统计趋势与干预效应。多次基线测量则可以显示,低分究竟反映了持续存在的状况,还是暂时的波动。
在设计中增加若干要素,可以增强非等价比较的说服力。对干预前结果进行重复测量,可以揭示此前的变化轨迹。设置一个理论上不应受到干预影响的比较结果指标,有助于发现更广泛的变化或测量造成的假象。与仅因观测均值相近而选出的组相比,面临相似资格条件或运作环境的组可能更适合作为可信的比较对象。这些补充要素针对的是具体的替代解释,并不会自动使研究成为真正的实验。
有些表面上相似的设计所能提供的证据非常薄弱。仅对单一干预组进行干预前后测量,通常无法将干预效应与年龄增长、季节性规律、经济变化或测量方式的改变区分开来。坎贝尔和斯坦利将这类简单设计归为“前实验设计”。现代术语的用法不尽统一,但其根本局限并未改变:观察到干预后有所改善,只能确定时间先后顺序,并不能证明改善是由干预造成的。
中断时间序列与结果变量变化轨迹的改变
中断时间序列设计利用界定明确的干预实施前后的重复观测。它不仅考察干预后的均值是否与干预前不同,还考察干预实施时,结果变量是否偏离了此前形成的变化轨迹。结果变量可以是每月交通伤害人数、每周服务使用量、每日污染测量值,或年度机构绩效。
一个基本的分段模型为
其中, 为干预实施日期, 为示性函数。系数 表示水平的即时变化,而 表示斜率的变化。例如,这种模型设定能够区分结果变量的突然下降与干预实施后逐步累积的改善。
这里隐含的因果比较,是将实际观测到的干预后变化轨迹,与未实施干预时的预期轨迹进行比较。这一预期取决于干预前过程的稳定性。如果结果变量已经接近上限、呈现非线性周期变化,或正受到另一种不断变化的因素影响,线性外推就可能产生误导。因此,预期的响应形态应符合干预机制:有些变化会立即发生,另一些则可能延迟出现、仅短暂持续,或逐步显现。
由于相邻观测值往往彼此相似,时间序列中的依赖性不可忽视。忽略序列相关性可能导致标准误估计失真。季节性周期、人口规模变化、暴露量分母的变动以及报告方式的改变,也可能造成类似干预效应的表象。计数型结果变量可能需要采用符合其分布特征的模型,而对于率,则需要关注其分母的构建方式。
实质层面的核心威胁是同期发生的其他事件。如果服务改革与资金增加同时启动,中断时间序列可能识别出的是两者的综合影响,而非改革本身的影响。受控中断时间序列会加入一个对照序列,该序列受到共同背景因素的影响,但未受到干预。采用多个对照序列或多个结果变量,可以降低某些竞争性解释的可信度,但每个对照序列或结果变量与干预序列之间的关系都必须有充分依据。
不存在一个在所有情况下都足够的观测次数。数据所包含的信息量取决于结果变量的变异性、依赖性、季节性、干预时点以及预期响应。在短期内进行大量观测,可能仍然难以揭示年度周期。反过来,较长的观测窗口也可能跨越其他制度变动,从而削弱可比性。因此,估计的精确性与可信度取决于数据的时间结构,而不能仅凭中断前后的观测次数来判断。
双重差分法与政策的错时实施
双重差分法将处理组单位的结果变化与未处理组单位的结果变化进行比较。在只有一个处理前时期和一个处理后时期的情况下,其基本形式为
对两组的变化作差,可以消除固定的组间差异和共同的时间变化。与直接比较处理后的结果水平不同,这种设计允许处理组和对照组的初始结果水平存在差异。
其核心识别假设是未受处理时的平行趋势:如果没有处理,两组结果的预期变化应当相同。这并不要求两组观测到的结果水平相等,也不能仅凭处理前趋势检验在统计上不显著,就认定这一假设成立。此类检验的统计功效可能较低,而且历史趋势相似,并不意味着在遭遇新的经济或制度冲击后,这些趋势仍会保持一致。
预期行为和群体构成变化还会带来其他问题。如果企业在法规正式实施之前就调整就业,名义上的处理前时期可能已经包含了处理效应。如果某项政策改变了人口迁移或调查参与情况,受测总体构成的变化就可能被误认为是构成稳定的总体中结果的变化。当相邻辖区或相互关联的市场对同一干预作出反应时,溢出效应可能使对照组也受到影响。
一个著名应用是戴维·卡德和艾伦·克鲁格于1994年发表的快餐店研究,考察的是新泽西州在1992年4月将最低工资从每小时4.25美元提高到5.05美元之后的情况。宾夕法尼亚州东部的餐馆构成了对照组。这项研究成为利用政策开展因果分析的一个重要范例,随后也引发了有关数据和模型设定的争论。其方法论意义在于比较不同辖区的变化,而不是将政策实施后某一时点的差异直接视为因果证据。
在有多个时期的数据时,研究者通常会估计事件研究模型,展示相对于政策实施时点、各个时期的结果差异。这类模型可以揭示动态反应以及处理前的差异。然而,当各组开始接受处理的时间不同,且处理效应因群体或时间而异时,传统的双向固定效应回归可能会以有问题的方式组合各种比较,包括将已接受处理的单位用作较晚接受处理单位的对照。
因此,现代方法通常先按政策实施批次和日历时期分别估计效应,在适当情况下使用从未接受处理或尚未接受处理的单位作为对照,再根据明确的目标进行汇总。汇总权重十分重要:按单位、按政策实施批次或按接受处理后的年数求平均,回答的是不同的问题。识别假设还必须明确趋势在哪一种尺度上保持平行,因为结果水平的变化平行,并不意味着其对数变化或百分比变化也平行。
断点回归与基于阈值的分配
断点回归设计利用这样一种规则:当观测到的分配变量达到某个阈值时,处理状态就会发生变化。例如,根据考试成绩确定奖学金资格,根据家庭收入确定项目参与资格,以及根据人口规模触发行政义务。唐纳德·思韦特和唐纳德·坎贝尔于1960年在有关表彰及大学奖学金相关结果的研究中提出了这一设计。
在精确断点设计中,处理状态由阈值决定:
其中, 为驱动变量, 为断点。如果两种潜在结果的条件均值在 处均连续,则结果变量在该处的不连续变化可以识别这一边界处的处理效应:
这一推理具有局部性:预期刚好位于阈值上方和下方的单位,除了处理状态不同以外,其他方面都相似。
连续性要求并不意味着结果必须与驱动变量无关。考试成绩可能对日后的学业成就有很强的预测作用。这一设计允许两者之间的关系平滑变化,并将断点处的突然跳跃归因于处理,前提是没有其他相关因素在同一位置发生不连续变化。如果另一个项目的资格规则也以同一位置为界,那么所估计的目标参数可能反映的就是两者的综合效应。
在模糊断点设计中,越过断点改变的是接受处理的概率,而非完全决定处理状态。一些符合资格的人会拒绝参与,一些不符合资格的人则可能获得例外许可。在满足额外的工具变量假设时,结果变量的不连续变化与处理概率的不连续变化之比,可以识别参与状态因阈值而改变的人群的局部效应。
诊断性证据包括驱动变量的分布、处理前特征的连续性,以及有关分配过程的机构记录。如果参与者或管理者能够利用与潜在结果相关的信息,将个体精确地安排在阈值的某一侧,就需要警惕精确操纵问题。密度检验可以发现某些形式的扎堆现象,但无论密度平滑,还是观测到的协变量均衡,都不能证明这种人为分选不存在。取整和分数本身的离散性需要另行考虑。
估计通常侧重于断点附近的观测值,常用的方法是局部线性回归,并通过带宽确定所使用的邻域范围。较窄的带宽能增强估计的局部性,但会降低精度;较宽的带宽则需要对结果与分数之间的关系作出更多近似。因此,偏差校正和对带宽选择的敏感性分析十分重要。所得估计通常仅适用于阈值附近的人群。若要将其外推至远离断点的人群,就需要引入无法由断点本身提供的额外假设。
工具变量与外部诱发的处理变异
工具变量设计利用某个能够改变个体是否接受处理的变量,并要求该变量满足一系列限制条件,从而利用其变异识别因果效应。工具变量可以是抽签获得的参与机会、行政分配规则,或其他引起处理状态变化的因素。即使实际参与并非随机,抽签也能产生随机化的鼓励。其他工具变量则来自非随机的制度过程,需要从实质层面提供更充分的论证。
设 为二元工具变量, 为处理接受状态。沃尔德比率为
其分母是工具变量对处理的第一阶段效应,分子是工具变量对结果的简约式效应。两者之比将工具变量引起的结果差异,换算为处理参与每发生一单位诱发变化所对应的效应。
要作出因果解释,需要满足几个不同的条件。相关性是指工具变量能够改变接受处理的概率。独立性是指工具变量的分配与相关的潜在结果及处理响应类型无关;这一条件也可以是在给定处理前变量的条件下成立。排除限制要求工具变量只能通过所定义的处理影响结果。仅仅证明工具变量能够强有力地预测处理,并不能替代这些条件。
对于二元处理和二元工具变量,单调性排除了这样一类个体:未受到鼓励时会接受处理,受到鼓励时反而拒绝处理。在其他假设也成立的情况下,单调性使我们能够识别“依从者”的局部平均处理效应;依从者是指处理状态会因工具变量而改变的个体。这不一定等同于所有接受处理者或总体人群的处理效应。这里的“局部”是指对某一特定工具变量的响应,而不一定指地理上的接近。
约书亚·安格里斯于1990年利用越战时期征兵抽签产生的变异,研究服兵役对日后收入的影响,是这一思路的著名应用。是否符合征召条件改变了服兵役的概率,从而形成第一阶段效应。要将征召资格不同所对应的结果差异解释为服兵役的效应,就必须考察征召资格是否还可能通过其他途径影响教育、工作或行为。这个例子表明,制度知识是识别的一部分,而不只是背景介绍。
弱工具变量还会带来额外的统计困难。当第一阶段效应较小或估计不够精确时,常规近似方法可能表现不佳,导致估计不稳定,区间估计具有误导性。因此,工具变量的强度与统计推断有关,但强度并不能证明有效性。如果一个强工具变量对结果存在直接影响,就可能对错误的目标量给出精确估计。当处理效应存在异质性时,不同的有效工具变量也可能识别出不同依从者群体的处理效应。
匹配、加权与合成比较单位
匹配和加权旨在构建处理组和比较组,使两组在处理前的信息上彼此相似。这类方法的归属存在争议:有些方法论传统将其称为准实验,另一些则将经过协变量调整的观察性研究与基于外部分配机制的研究设计区分开来。实质问题在于,观测变量是否足以消除那些与结果有关的处理选择差异。
倾向得分由保罗·罗森鲍姆和唐纳德·鲁宾于1983年提出,是实现平衡的核心工具,指给定观测协变量时接受处理的条件概率:
在满足条件可交换性 且具有充分重叠的情况下,基于这一概率进行调整,可以为平均处理效应的识别提供依据。条件可交换性是关于潜在结果的一项条件独立假设。处理分配模型拟合良好,并不意味着这一假设成立。
匹配可以依据各项协变量、某种距离度量或估计的倾向得分,将单位配成对。加权则通过赋予观测值不同的权重,使其对目标总体作出不同程度的贡献。例如,为估计总体平均效应,逆概率加权赋予处理单位的权重为 ,赋予未处理单位的权重为 。不同的加权规则针对不同的总体,因此必须将平衡性与待估量结合起来考虑。
重叠至关重要。如果某些协变量组合仅出现在处理单位中,那么数据中就没有可与这些单位直接比较的未处理观测值。极端权重是一个警示,说明估计结果可能高度依赖少数单位。将分析限制在共同支撑区域内,可以提高可比性,但也会改变分析所代表的总体。平衡性检验用于评估所构建的比较在观测特征上的可比性,却无法揭示未测量的混杂。
合成控制法处理的是一个相关问题,即干预仅影响一个或少数几个聚合单位的情形。该方法选择若干未接受处理的供体单位,并将其加权组合,以重现处理单位在处理前的结果及相关特征。阿尔贝托·阿巴迪与哈维尔·加德亚萨瓦尔于2003年对巴斯克地区的研究,以及阿巴迪、亚历克西斯·戴蒙德和延斯·海因米勒于2010年对加利福尼亚州烟草控制计划的研究,都是具有重要影响的应用实例。
合成控制法并不会直接使聚合层面的处理变成随机分配。其可信度取决于供体池、处理前的拟合程度、不存在污染,以及将处理前后结果生成过程联系起来的假设。处理前拟合不佳,会削弱所构建反事实的可信度。在供体单位中或在其他日期设置安慰剂干预,有助于将观测到的差距置于参照背景中加以判断,但其推断意义取决于可比性和所假定的分配过程。无论是匹配还是合成控制,都不能仅凭让图形看起来相似就创造出因果信息。
效度威胁、不确定性与诊断性证据
准实验的效度涉及多个维度。内部效度关注的是,估计得到的差异是否代表所研究单位在相应条件下的因果效应。外部效度关注的是,这一效应是否适用于其他人群、情境、处理的不同版本或时期。构念效度关注的是,所测量的处理和结果是否体现了预期概念。在资格判定阈值附近得到的局部效应可能具有很强的内部效度,却只能为全国范围的推广提供有限信息。
经典的效度威胁包括历史事件、成熟效应、测试效应、测量工具变化、样本流失和选择偏差。历史事件是指与处理同时发生的其他事件;成熟效应则指无论是否接受处理,都会随时间发生的变化。测量工具变化包括定义、报告系统或测量程序的改变。如果一项干预同时改变了结果的记录方式,那么表面上的效应可能反映的是结果识别与记录方式的变化,而非底层现象本身的变化。
对处理后变量进行调整是另一种风险。控制受处理影响的变量,可能会剔除部分正在研究的效应,也可能造成虚假关联。例如,在研究劳动力市场干预时,以干预后是否继续就业为条件,可能使处理组与比较组筛选出不同类型的人。同样,如果处理会影响受访者是否回应,而回应又与潜在结果有关,那么将分析限制在随访时能观察到的受访者中,就可能引入偏差。
当一个单位所接受的处理影响另一个单位的结果时,就会产生干扰。某项地方政策可能使活动转移到邻近地区,教育干预也可能影响未接受处理的同班学生。在这些情况下,通常将每个单位的结果表示为仅取决于该单位所接受处理的做法,就不够完整。研究者可以区分直接效应、溢出效应以及总体处理覆盖程度的效应,但要估计这些量,就需要采用适合相应网络或地理情境的研究设计和暴露定义。
不确定性的评估必须反映处理发生变异的层级。少数接受处理的地区即使包含数千个个体观测值,也不意味着存在数千次相互独立的政策分配。误差的聚类性、序列依赖以及处理组数量较少,都会使统计推断变得复杂。常规的置信区间描述的是在假定模型和研究设计下的抽样不确定性,并不会自动涵盖识别假设本身的不确定性。
诊断策略包括安慰剂日期、不受处理影响的结果、替代比较组以及敏感性分析。每种策略都针对某一特定薄弱环节进行检验。只有当处理不应影响某个结果,而相关的混杂因素可能影响它时,这个结果才适合作为安慰剂结果。未能拒绝安慰剂效应为零的假设,并不能证明研究具有效度,尤其是在统计功效较低时。反过来,未通过某项诊断检验,可能揭示出:即使估计方法十分精细,其所依托的研究设计也并不可信。
应用、报告与证据解释
准实验广泛应用于教育、公共卫生、劳动力市场研究、环境政策和组织评估。当干预的实施规模或作用机制使研究者无法进行随机分配时,准实验的实践价值尤为突出。一项全国性规定可能在国内找不到未受干预的对照对象,而某项福利的资格门槛即使没有传统意义上的对照组,也可能为门槛附近的比较提供有力依据。
实质性的研究问题决定了哪种设计能够提供有价值的信息。在某个已知时间点统一实施的干预,可能适合采用中断时间序列分析。不同辖区在不同时间实施干预,可能适合采用双重差分法。严格的资格门槛可能适合采用断点回归。这些并不是可以相互替换的统计技术:每种方法利用的都是分配过程中的不同特征,并在不同假设下识别效应。
因此,详尽的研究报告需要说明干预实际是如何实施的。相关信息包括资格规则、行政裁量权、公告与实施日期、依从情况、例外情形以及同期开展的项目。报告还必须说明不同群体、不同时间的结局指标定义和数据覆盖范围。新记录系统所造成的突变,与测量方式始终一致的行为所出现的突变,不能作同样的解释。
研究结果需要明确所估计的目标量及其度量尺度。估计值可能反映被分配参与某个项目、实际接受干预,或在门槛附近具备资格所产生的效应。变化两个百分点不同于相对变化百分之二。三个月后测得的效应未必能够反映三年后的效应。总体层面与个体层面的结局指标也可能回答不同的问题,尤其是在干预改变了人口构成的情况下。
透明的分析应当区分研究设计阶段的选择与后续的探索。对比较单位、干预时间窗口、带宽、结局变量变换以及亚组分析的选择,都可能实质性地影响结果。报告其他合理的模型设定,有助于揭示结果对这些选择的依赖程度;而在考察多个结局或亚组时,多重检验问题也很重要。预先设定的分析方案和可复现的代码可以减少歧义,但无法弥补关于分配机制的无效论证。
来自不同研究设计的证据,往往比反复使用同一种模型设定更有参考价值。基于门槛的研究、利用政策实施时间的研究和鼓励设计,可能针对不同人群,并依赖不同假设。结果一致可以减轻对某一特定偏倚来源的担忧;结果不一致则可能反映真实的效应异质性,而非方法上的失败。因此,比较研究结果时,必须保留有关干预内容、制度环境、目标人群和随访时长的信息,而不能把每个估计值都视为对某种普遍效应的测量。