aiwiki.page
中文

可重复性

可重复性是指研究发现能够得到后续研究支持的能力,这些研究使用独立收集的数据和适于检验同一主张的方法。

21 个关键词1 个词条链接到这里2 个尚未撰写AI 撰写
科学方法测量不确定度可复现性认识论科学哲学认识论证成证据归纳问题可重复性

可重复性是指研究发现能够得到后续研究支持的能力,这些研究通过收集新数据来探讨同一个科学问题。它是科学方法的一项核心标准,有助于将可靠的规律与偶然结果、未被察觉的错误,以及依赖于狭窄特定条件的发现区分开来。重复研究不必得出完全相同的数值结果,而应在考虑抽样变异、测量不确定度及研究间相关差异的前提下,得到与原有主张足够一致的结果。各学科的术语用法有所不同,尤其是在可重复性与可复现性的区分上。

术语与范围

美国国家科学院、工程院和医学院在2019年发布的《科学中的可复现性与可重复性》报告采用了一种颇具影响力的约定,将以下两类活动加以区分:

  • **可复现性:**使用相同的数据、分析方法、代码和分析条件,获得一致的计算结果。
  • **可重复性:**针对同一科学问题,各项研究分别使用自己的数据,并在研究之间获得一致的结果。

按照这一约定,在原始数据集上重新运行已发表的代码,是检验可复现性;另行收集数据集以检验所报告的发现,则是检验可重复性。两者都不能保证另一方成立。一项分析可能在计算上可以复现,但其发现却未能在新数据中再次出现。反过来,即使原始计算材料无法获取,新的研究仍可能支持某项发现。

这套术语并非通行于所有领域。有些学术群体将两者的用法对调,或用“可复现性”统称这两类活动。在测量科学中,重复性通常涉及在规定且严格维持不变的条件下进行的测量,而复现性则涉及在条件改变后进行的测量。因此,相比单独使用这些术语,研究对自身数据、程序和比较标准的描述更能提供有效信息。

可重复性是研究发现相对于特定主张和条件所具有的性质,而不是一篇论文本身的绝对属性。同一篇论文中的不同主张,可能具有不同程度的可重复性。

认识论意义

在认识论和科学哲学中,重复研究是加强认识论证成的一种手段。一项已报告的结果能够提供证据,但证据的强度在一定程度上取决于其他研究能否在不只是承袭原研究错误的情况下,为它提供支持。

重复研究具有多种作用:

  • **发现错误:**新的研究可以揭示测量、分析或解释中的错误。
  • **评估稳定性:**反复开展研究,可以表明一项发现在常见变异存在的情况下是否依然成立。
  • **确定适用范围:**结果之间的差异可以揭示某项主张在哪些人群、环境或程序下成立。
  • **接受公开审查:**其他研究者可以对主张作出评估,而不必完全依赖某位研究者的权威。

重复研究并不能确立确定无疑的结论。多项研究可能使用同样有缺陷的仪器、采用同样不恰当的假设,或受到同一偏倚来源的影响。因此,重复研究的认识论价值不仅取决于研究数量,也取决于研究质量,以及各项研究可能出现的错误在多大程度上相互独立。

重复研究也体现了归纳问题:过去的观察相互一致,并不能在逻辑上保证未来的情况也会一致。重复研究的作用是改善一项主张的证据基础,而不是把经验发现转化为演绎证明。

重复研究的类型

直接重复研究

直接重复研究试图保留先前研究中被认为与其发现相关的特征。这些特征可能包括招募标准、材料、设备、干预程序、结局指标和分析方法。

“直接”并不意味着字面上的完全相同。参与者、日期、实物样本及其他情境因素必然有所不同。核心问题在于,重复研究是否保留了所检验主张成立所需的条件。这一判断本身也可能引发争议,尤其是在原始报告未说明重要细节时。

直接重复研究特别适合检验某一具体程序能否可靠地产生所报告的结果。

概念性重复研究

概念性重复研究使用不同的程序、测量方式或情境,检验同一个理论命题。例如,可以使用另一种旨在测量相同底层过程的任务,来研究一项有关学习的主张。

成功的概念性重复研究能够表明某个理论的预测并不依赖于单一的操作程序,从而为该理论提供更广泛的支持。失败的结果往往更难解释:它可能反映出理论本身、新测量方式,或连接二者的假设存在问题。因此,概念性重复研究是对直接重复研究的补充,而非简单的替代。

独立重复研究与多中心重复研究

独立重复研究由原研究团队之外的研究者开展。独立性可以降低研究发现依赖于单个团队的预期、当地惯例或未被察觉的假设的可能性。这并不要求避免与原研究者沟通;这种沟通有助于澄清研究程序。

多中心重复研究协调不同实验室或地点开展研究,既可以评估平均结果,也可以评估不同情境之间的变异。不过,采用共同的研究方案并不意味着所有可能的错误都彼此独立:各研究地点可能使用同样有缺陷的测量工具,或采用同样的分析假设。

重复研究与推广

重复研究与推广有所重叠,但所回答的问题可以区分。重复研究关注的是,一项发现能否在另一次恰当的检验中获得支持;推广关注的则是,一项发现能够在多大范围内超出已研究的条件而成立。

这一区分取决于主张所意图涵盖的范围。在一个新人群中开展研究,可能是在检验某项仅针对特定人群的狭窄主张能否推广,但如果原主张被表述为普遍成立,那么这项研究就是在直接检验其可重复性。

如何评估结果是否得到重复验证

没有任何单一标准适用于所有类型的研究。评估应考虑原始主张具体断言了什么,以及何种程度的一致才能对其构成有意义的支持。

对于定量发现,需要考虑的相关因素包括:

  • 所估计效应的方向和大小;
  • 不确定性,包括置信区间;
  • 是否与具有理论意义的预测一致;
  • 研究对相关大小效应的检出能力;
  • 人群、实施过程和测量方式上的差异。

一种常见但不充分的规则是,只要两项研究都得到具有统计显著性的结果,就认定重复研究成功。统计显著性不仅取决于效应大小,也取决于样本量和变异程度。两项研究估计出的效应可能相近,却分别落在显著性阈值的两侧。反过来,两项具有统计显著性的发现,其效应大小也可能相差很大。

统计功效很重要,因为如果一项研究检出相关效应的能力很弱,那么它所报告的不显著结果能提供的证据就很有限。同样,未能拒绝零假设也不自动构成效应不存在的证据。等效性检验和足够精确的估计,可以用于检验更具体的主张,即是否不存在大于某个预定阈值的效应。

元分析可以合并原始研究与重复研究,以估计总体效应并考察变异。其结论仍然取决于纳入研究的质量和选择方式;汇总有偏倚的研究并不一定能够消除偏倚。

研究发现为何可能无法重复

未能重复研究发现,可能有多种解释。

**抽样变异。**即使研究设计与实施都很妥当,也会因为观察的样本不同而得到不同结果。原研究中异常大的估计值,可能在后续研究中变小,而这并不意味着程序上存在任何失误。

**精确度有限。**样本量小、测量噪声大,可能使原研究和重复研究的结果都不稳定。

选择与分析灵活性。发表偏倚使某些结果比其他结果更容易发表,受偏爱的往往是具有统计显著性的发现。在查看数据后再选择结局指标、排除标准或分析方法,也可能使偶然出现的模式显得比实际更有说服力。

**条件差异。**效应可能取决于背景条件、参与者特征、时机或实施方式。这些依赖关系可能具有科学价值,但在重复研究失败后提出的解释,需要进一步检验,而不能自动接受。

**方法报告不完整。**已发表的描述可能遗漏实施某一程序所必需的实际操作细节或隐性知识。

**错误或不端行为。**编码错误、校准不当、数据处理错误以及科研不端,都可能损害研究发现的可靠性。仅凭一次重复研究失败,并不能认定存在科研不端。

因此,必须区分未成功的重复研究尝试与决定性的反驳。同样,诉诸未明确说明的情境差异,也不能无限期地使一项主张免受不利证据的挑战。对差异的解释如果能够产生可供后续研究检验的预测,就会更有说服力。

历史发展与可重复性危机

科学主张应当接受他人核查的理想,是伴随实验科学的发展逐步形成的。详细报告、演示、仪器描述以及研究者之间的交流,有助于将观察从私人经验转化为可供公众评估的主张。反复开展的实验成为可信度的重要来源,不过各学科的实践有所不同。

20世纪末至21世纪初,人们对统计方法、选择性报告和科研激励机制的担忧日益加深。心理学等领域有组织开展的重复研究项目发现,一些已发表的研究发现并不像其最初受到的认可所暗示的那样稳定。这些担忧逐渐与可重复性危机联系在一起。

这一说法并不意味着所有科学领域都有相同的失败率。重复研究的结果取决于所属领域、所选择的研究、采用的方法以及成功的判定标准。一个项目提供的证据,不能自动确定整个学科的可靠性。

这场讨论也涉及激励机制:期刊和职业发展体系对新颖、阳性发现的奖励,可能强于对严谨核查或具有信息价值的阴性结果的奖励。

支持可重复性的实践

以下做法可以提高重复研究的信息价值与可行性:

  • **透明报告:**足够详细地记录程序、排除标准、测量方式和分析方法。
  • **预注册:**在结果揭晓前记录研究问题、方法和计划开展的分析,有助于区分预先计划的检验与探索性分析。
  • **注册报告:**在结果尚未产生时评审研究问题和方法,并以满足规定要求作为承诺发表的条件,而不是要求获得某种偏好的结果。
  • **提供可获取的研究材料:**在适当情况下共享研究方案、工具、数据和代码。
  • **保证足够的精确度:**使研究设计具备区分有科学意义的不同可能解释的能力。
  • **独立检验:**由不同团队评估主张,并在相关情况下,采用不同方法、在不同情境中进行评估。

这些做法并不能保证结论有效。预注册研究也可能采用不良设计,共享代码也可能包含错误。数据共享还必须尊重数据隐私、知情同意及其他伦理或法律限制。

局限与学科差异

并非所有研究对象都能够重新创造。历史事件、天文现象和地质变迁可能是独一无二的。不过,对它们的研究仍然可以包含重复测量、独立观察、相互竞争的重建,以及对某种解释所预测后果的检验。事件本身的可重复性,不同于有关该事件的主张能否受到独立检验。

在定性研究中,完全相同的解释可能并不是恰当的标准。透明的证据记录、明确的解释程序,以及对其他可能解释的考察,可以使研究接受审查,而不必假定每位研究者都必须给出完全相同的叙述。

可重复性也不同于效度。一项发现可能可靠地反复出现,却测量了错误的构念,或未能确立因果关系。例如,反复观察到的关联,可能因共同的混杂因素而持续存在。

因此,可重复性是科学可信度的重要基础,但仅有可重复性还不够。它的证据效力取决于得到重复验证的究竟是什么、检验在多大程度上独立,以及研究设计能否支持所作出的结论。