预注册是指在收集数据之前,或在某些情况下,在获取或分析与计划检验有关的数据之前,将研究计划记录下来,并以带时间戳的形式保存。记录通常会明确研究问题、假设、研究设计、结局指标和分析程序。其核心目的是区分哪些决策独立于研究结果作出,哪些决策受到了结果的影响。预注册应用于统计学和实证研究,有助于透明地解读证据,但其本身并不能证明一项研究设计合理或结论正确。
目的与统计学依据
研究通常涉及诸多选择,包括测量方式、排除标准、数据变换、统计模型,以及报告哪些结果。当这些选择取决于已观察到的结果时,最终分析所呈现的确定性可能超出其统计依据所能支持的程度。这种情况未必源于蓄意的不端行为:研究者可能出于合理考虑探索了多种方法,却在报告所选分析时,仿佛它是唯一考虑过的方案。
预注册使预定的分析方案能够接受独立审查。它有助于区分验证性研究与探索性研究:前者按照预定程序检验明确的预测,后者利用观察结果提出问题、假设或模型。两者都是正当的研究方式,但对证据的解读有所不同。
其中一个值得关注的问题是多重检验。假设研究者对真实成立的原假设进行了 次相互独立的检验,每次检验的显著性水平均为 。至少发生一次错误拒绝的概率为
当 、 时,这一概率约为 。这一计算以检验相互独立为前提,无法涵盖分析灵活性的所有形式,但它说明了为什么从众多机会中挑选有利结果可能产生误导。
足够详细的预注册可以明确预定的检验族,区分主要结局与次要结局,并规定调整方法。但预注册本身并不执行这些调整。同样,仅仅记录计划,也不能保证所报告的P值确实具有其声称的含义;这还取决于研究设计、假设、分析方法,以及是否遵守相关决策规则。
当研究者将由结果启发的假设当作事先提出的预测时,预注册也有助于识别这种结果后假设。它保留了解释已观察到的模式与独立预测该模式之间的区别。
预注册的内容
预注册所需的详细程度因学科和研究设计而异。一份内容充实的预注册通常包括:
- **研究问题与假设:**拟研究的关系或效应,并在适用时说明方向性预测。
- **研究设计:**研究人群、招募程序、实验条件、测量方式,以及任何随机化或设盲程序。
- **样本量与停止规则:**计划的样本量、确定该样本量的依据,以及结束招募或数据收集的条件。
- **结局与变量:**主要和次要结局、测量时间、评分程序,以及任何复合指标。
- **数据处理规则:**纳入标准、观测值的排除规则、离群值的处理、数据变换,以及缺失数据的处理方式。
- **统计分析:**模型设定、对比、协变量、交互作用、推断阈值,以及多重性处理程序。
- **应变计划:**针对预期问题的处理程序,例如模型不收敛、假设不满足,或观测数据出乎意料地稀疏。
样本量的确定依据可以是统计功效、置信区间的目标精度、资源限制,或其他明确说明的标准。采用贝叶斯推断的计划可以规定似然、先验分布、模型比较方式和决策标准。
操作层面的精确性十分重要。“将通过回归检验假设”这样的表述,并未明确结局的定义、预测变量、数据变换、交互作用和模型类别。更完整的计划会明确预定分析,并说明何时采用替代方案。在模拟数据或其他独立数据上测试过的分析代码,可以减少歧义。
时间安排、保存与可获取性
预注册的关键特征,是在计划制定与接触相关证据之间划出一条可识别的界线。在收集数据之前进行预注册,通常能提供清晰的界线,但预注册也适用于已有数据集。
对于使用二手数据的研究,研究者可以在收到数据之前、访问受限变量之前,或考察所关注的关系之前注册计划。研究者此前对数据集的熟悉程度很重要:在大量探索之后写成的计划,不会仅仅因为最终统计检验尚未运行,就获得独立预测所具有的证据地位。
因此,预注册记录通常会说明:
- 数据是否已经存在;
- 研究者此前获取或查看过哪些内容;
- 计划的注册时间;
- 哪些研究决策仍独立于相关结果作出。
注册平台或存储库通常会保存一个注明日期、无法在不留痕迹的情况下被覆盖的版本。有些记录会立即公开,另一些则暂时处于保密期。公开可获取性便于外界审查,而时间戳用于确立时间先后。这两种功能相互关联,但并不相同。
一份私有且可编辑的文档可以用于项目规划,但若要独立证明某一时间点已明确了哪些内容,其证明力较弱。
偏离、修订与探索性分析
预注册并不禁止变更。设备故障、招募困难、意料之外的数据结构,或原计划中的错误,都可能构成修订的合理理由。重要的区别在于,是透明地修订计划,还是不加披露地替换原计划。
修订应保留先前记录,说明改动内容,并解释变更的时间与原因。在查看相关结果之前作出的修订,与在意外模式显现之后作出的修订,并不相同。
研究报告可以区分:
- 按预注册方案开展的分析;
- 经修改或被省略的预注册分析,并附上说明;
- 额外开展的探索性分析。
同时报告预定分析和有合理依据的替代分析,有助于澄清结论是否依赖于分析选择。敏感性分析可以考察这种依赖关系,而不必将每一次偏离计划都视为本质上无效。
探索仍然具有价值。新发现的模式可能启发一个假设,但在同一批观测数据上检验该假设,通常无法像使用独立数据检验那样,将假设形成与检验所用的证据分开。一项新研究或一个真正从未接触过的留出数据集,可以用于后续检验。这种分离与机器学习中训练数据和评估数据的分离有关,但两者并不完全相同。
相关研究实践
试验注册与分析计划
前瞻性注册在临床研究中尤其受到重视。注册平台记录研究,使他人能够查到这些研究及其预定结局。这有助于识别已经完成但尚未发表结果的研究,也能揭示注册结局与报告结局之间的差异。
随机对照试验的注册可以包括研究设计、纳入标准、干预措施和结局,而不必明确每一项统计决策。详细的统计分析计划发挥着补充作用。研究注册、研究方案发表和分析预注册有所重叠,但不能相互替代。
注册报告
注册报告是一种发表形式,期刊在主要结果尚未知晓之前,就对研究问题和方法进行评审。经过初步评审后,期刊可以给予原则性接收承诺,接收条件是研究得到妥善实施、报告透明等要求,而不是取得某种特定结果。
这不同于普通预注册,后者不一定涉及同行评审,也不一定附带任何发表承诺。注册报告更直接地应对与发表偏倚有关的激励问题,但也不能保证研究设计或实施正确无误。
可复现性与重复研究
预注册与开放科学有关,但不同于共享数据、材料或代码。后几种做法有助于他人检查或复现分析;预注册则记录研究者是在何时确定分析方案的。
一项预注册研究如果未公开材料,仍可能难以复现。反过来,一项完全可复现的分析,也可能是在大量探索之后才被选中的。预注册也不同于重复研究:原创研究可以预注册,重复研究也可以在未预注册的情况下进行。
发展与应用
前瞻性研究方案和事先制定的分析计划,早于当代“预注册”这一术语的出现。20世纪末至21世纪初,临床试验公开注册逐渐制度化。进入2010年代,随着选择性报告和分析灵活性问题受到更多关注,预注册扩展到心理学、经济学、政治学及其他实证学科。
预注册的应用不限于常规实验。研究者也会为观察性研究、调查、行政记录分析和元分析进行预注册。综述方案可以在汇集证据之前,明确纳入标准、检索方法、结局和综合分析程序。
适应性研究同样可以预注册。其计划规定的是如何进行适应性调整的规则,而不是事先固定最终的每一个行动。例如,研究设计可以允许按照规定程序调整样本量,同时考虑这些调整所带来的统计学影响。
局限与方法论争议
预注册是一种提高透明度的机制,而不是研究质量的合格证。已经注册的研究仍可能存在测量不佳、统计功效不足、模型不当或混杂等问题。尤其是,事先明确方案本身并不能为因果推断提供正当依据。
预注册的成效取决于内容是否具体、记录是否可获取,以及是否将其与最终报告进行比较。含糊的计划可能留下很大的自由裁量空间,而详细的计划也可能被忽视。如果注册了许多可能的分析,却选择性地强调有利结果,那么预注册原本旨在揭示的某些问题仍会存在。
事先承诺与方法上的学习之间也存在张力。未曾预料的数据特征,可能使原定模型不再适用。此时,严格遵守计划所得到的分析,可能不如经过透明说明且有合理依据的修订。关键区别不只是“计划内”与“计划外”,而是研究者是否准确披露了所作决策,以及这些决策与已观察结果之间的关系。
有效推断并非一律要求预注册。有些程序在明确的假设下,允许序贯决策、模型选择或探索。反过来,事先规划也不会让无效的程序变得有效。预注册的贡献在于让研究决策过程更加清晰可见,使读者能够评估所提问题、所做分析与所报告证据之间的关系。