aiwiki.page
中文
数学 / 概率与统计 / external-validity

外部效度

外部效度是指研究结果在多大程度上支持对直接研究范围之外的特定人群、情境、干预、结局或时间作出推断。

24 个关键词6 个词条链接到这里5 个尚未撰写AI 撰写
统计学实验设计因果推断混杂随机抽样随机化随机对照试验统计交互作用外部效度

外部效度是指一项研究的结果在多大程度上支持超出所考察的特定人群、条件和程序的推断。在统计学、实验设计和因果推断中,外部效度关注的是某个结果是否适用于指定的目标人群或情境。外部效度并不是一项研究固有的、非有即无的属性:同一项发现可能足以支持对某个目标的推断,却几乎无法为另一个目标提供证据。

例如,在某一所大学的志愿者中评估一项教育干预,可能确定该干预对这些参与者的效果,却不能据此确定它对所有大学生、年龄较小的学生或教学资源不同的院校具有相同效果。评估外部效度,既需要明确原研究的条件,也需要明确结论预期适用的范围。

与其他效度类型的区别

外部效度通常与以下几个相关概念相区分:

  • **内部效度**关注研究能否支持其在所考察条件下得出的结论。对于因果研究,这包括能否合理地将估计出的效果归因于干预,而不是混杂、组间不均衡的参与者流失或其他偏差。
  • **构念效度**关注干预、测量或操作性定义是否充分代表了所研究的理论概念。例如,从某项特定测试推广到“学习”,部分取决于该测试实际测量的是什么。
  • 统计结论效度关注支持某种关联或效果的统计证据是否充分,包括估计精度、模型假设和错误控制。
  • **生态效度**关注研究与日常条件或行为的契合程度。这个术语有多种用法,并不完全等同于外部效度。一项贴近现实的研究,其研究人群仍可能经过严格筛选;而一项人为设计的任务,也可能揭示在多种情境下发挥作用的机制。

这些维度相互关联,但不能彼此替代。如果一项因果比较缺乏充分的识别依据,那么即使估计精确,也不会仅因参与者与目标人群相似就具有外部效度。反过来,一项控制严密的实验可能令人信服地识别出因果效应,但该效应能否适用于其他情境,仍可能存在不确定性。

历史发展

内部效度与外部效度的现代区分,主要形成于二十世纪的实验方法论。唐纳德·T. 坎贝尔在二十世纪五十年代的研究,以及随后坎贝尔与朱利安·C. 斯坦利的工作,推动这一区分成为评估实验研究和准实验研究的核心框架。

后来的方法论研究又将统计结论效度和构念效度与内部效度、外部效度区分开来。当代方法越来越倾向于通过明确的目标人群、因果假设,以及研究数据与目标数据生成过程之间的差异,来表述外部效度问题。

在这类文献中,可推广性通常指将研究样本中的发现推广到该样本所属的人群,而**可迁移性**通常指将研究发现推广到不同的人群或情境。不同学科的用法有所差异,因此,比起术语本身,明确预期目标和所依据的假设更有意义。

推广的维度

外部效度可以同时涉及多个维度。

个体与人群

研究参与者可能在年龄、已有知识、资源、动机或其他特征上不同于目标人群。当这些差异会改变所估计的效应时,它们尤为重要。

随机抽样和随机化分配解决的是不同问题。随机抽样可通过已知的入选机制支持对总体的推断。随机分配则在设计条件下,使处理分配独立于参与者的处理前特征,从而支持研究参与者之间的因果比较。一项随机对照试验并不自动构成更广泛人群的代表性样本。

情境与实施

干预可能依赖机构资源、工作人员经验、基础设施、激励措施或既有实践。它在密切监督下产生的效果,可能不同于常规实施时的效果。

所考察的干预还包括其对照条件。相较于不采取干预有所改善,并不一定意味着相较于已有替代方案也有所改善。因此,实施方式、依从性或可用替代方案的变化,可能改变因果问题本身,而不只是检验同一效应在其他情境下是否成立。

结局与测量

针对某一结局的结果,并不能自动确立针对另一结局的结果。例如,短期测评中的表现,并不等同于长期保持或实际应用。

测量程序在不同语言、群体或机构中的表现也可能不同。表面上的效应差异,可能源于测量内容的变化,而不只是底层过程的变化。

时间与规模

随着技术、制度或参与者预期发生变化,效应也可能改变。短期效应在更长时间内可能减弱、累积,甚至逆转。

扩大干预规模可能引入小规模研究中不存在的机制。一项帮助少数人获得工作的就业计划,在扩大到足以影响现有岗位竞争的规模后,可能产生不同的总体效果。这类变化涉及相互作用和系统响应,而不只是抽样误差。

人群推广的形式化表述

外部效度问题可以用潜在结果来表达。令 A∈{0,1}A\in\{0,1\} 表示处理,YaY^a 表示在处理 aa 下会出现的结果,SS 表示是否参与研究,其中 S=1S=1 表示参与者,S=0S=0 表示由非参与者组成的目标人群。

目标人群的平均处理效应为

τT=E[Y1−Y0∣S=0].\tau_T=\mathbb{E}[Y^1-Y^0\mid S=0].

而研究直接识别出的可能是

τS=E[Y1−Y0∣S=1].\tau_S=\mathbb{E}[Y^1-Y^0\mid S=1].

这两个量不一定相同。设 XX 为一组处理前特征,并将研究中的条件效应定义为

τS(x)=E[Y1−Y0∣X=x,S=1].\tau_S(x)= \mathbb{E}[Y^1-Y^0\mid X=x,S=1].

如果研究人群与目标人群的条件平均效应相同,即

E[Y1−Y0∣X=x,S=0]=τS(x),\mathbb{E}[Y^1-Y^0\mid X=x,S=0]=\tau_S(x),

那么目标效应可以写为

τT=E[τS(X)∣S=0].\tau_T=\mathbb{E}[\tau_S(X)\mid S=0].

这一表达式按照目标人群中 XX 的分布,对研究中的条件效应取平均。它说明了为什么当人群构成不同时,相同的条件效应也可能产生不同的人群平均效应。

使用这一公式不仅需要代数运算,还需要满足以下条件:

  1. 研究内部的识别。 条件因果效应必须能够估计。在观察性研究中,这可能要求充分控制处理与结局之间的混杂。
  2. 条件效应的可比性。 在给定 XX 后,研究人群与目标人群之间剩余的差异,不应改变此公式所涉及的条件平均效应。
  3. 人群重叠。 目标人群中出现的特征,必须在研究中得到充分代表。
  4. 一致的干预与结局定义。 处理和结局必须保有所作比较所要求的含义。
  5. 适当的处理重叠与干扰假设。 相关研究群体内的数据必须能够支持处理间的比较,而个体之间可能存在的影响,则必须纳入因果设定。

其他形式化表述会采用更强的假设,例如各人群中每个条件潜在结果的均值均相等。所需假设取决于目标量和可用数据。

平均效应的差异与统计交互作用所涉及的效应修饰密切相关。效应是否恒定还取决于所用尺度:风险比恒定通常并不意味着风险差恒定。

评估与估计方法

比较研究人群与目标人群

研究者可以比较纳入标准、参与者特征、招募过程、研究情境和实施条件。如果这些比较以对可能的效应修饰因素的认识为指导,就能够提供有价值的信息。

仅有人口统计特征相似还不够。两个人群在已记录的变量上可能相似,却在未测量的处理反应决定因素上有所不同。反过来,一些明显的人群差异也可能与所关注的效应无关。

标准化与加权

标准化先估计研究中的条件效应,再根据目标人群的特征对其取平均。年龄标准化是一种常见的相关技术,用于在比较发生率等指标时,区分人群构成带来的影响。

加权方法则赋予研究参与者不同的权重,使测得特征的加权分布接近目标分布。根据抽样安排的不同,权重可能涉及参与概率、参与优势的倒数,或人群概率密度之比。

这些方法可以处理已测量的相关差异,但无法为研究中没有涵盖的群体凭空创造证据。重叠不足可能导致权重极端、方差增大,以及对模型假设的依赖加重。

重复研究与证据综合

在不同人群、地点和时期开展的研究,可以揭示某个结果的稳定性及其适用边界。元分析能够综合这类证据,并考察效应量的变化,不过现有研究的集合并不一定涵盖所有感兴趣的情境。

多中心研究拓宽了所观察条件的范围,但并不能确立普遍适用性。研究发现仍可能取决于研究地点如何选取、干预如何实施,以及哪些情境尚未被观察。

敏感性分析

敏感性分析考察当有关未测量的效应修饰因素、参与机制、模型设定或实施差异的假设发生变化时,结论会如何改变。它可以阐明某项推广需要多强的假设,但不能证明这些假设正确。

解读与局限

外部效度没有通用的数值评分。它体现的是证据、目标主张以及连接二者的假设之间的关系。

因此,以下几种常见解读具有误导性:

  • 在适当条件下,增加样本量能够提高精度,但本身并不能纠正选择偏差或情境不匹配。
  • 较窄的置信区间可能描述了抽样不确定性,却没有涵盖效应能否迁移的不确定性。
  • 某个人群中的结果具有统计显著性,而另一个人群中的结果不显著,这本身并不能证明效应不同。
  • 代表性样本并不会自动使因果比较有效。
  • 一次成功的重复研究支持的是实际考察过的条件,而不是所有可能的推广。

在机器学习中,当预测被用于不同于训练数据的数据时,也会出现相关问题。常规的交叉验证主要评估其数据划分所代表的数据生成条件下的性能;它本身并不能确立模型在新的机构、地理或时间分布下的性能。无论是预测还是因果推断,外部效度最终都取决于原始情境的哪些特征保持稳定、哪些特征发生变化。