发表偏倚是指研究的传播或可获取程度系统性地取决于其发现的性质。与报告结果不确定或不利的研究相比,报告具有统计显著性、新颖、有利或其他引人注目结果的研究,可能更容易公开。因此,已发表的文献与实际开展的研究之间可能存在系统性差异。发表偏倚是一种选择偏差,它作用于证据基础,而不一定作用于单项研究中的参与者。
这一问题之所以重要,是因为科学结论通常依赖于不断积累的证据。即使一项元分析纳入的各项研究本身都开展得很严谨,只要可获取的研究是根据其结果筛选出来的,分析仍可能得出误导性的估计。发表偏倚可能夸大益处、掩盖危害,使原本不存在的效应看似存在,或掩盖某些受众不愿看到的真实效应。其偏倚方向取决于哪些类型的发现更受青睐,而不是普遍偏好数值为正的估计值。
这一议题涉及科研机构、编辑实践、统计推断以及科学传播的经济机制。要理解发表偏倚,就需要区分整项研究未公开与研究内部部分结果未公开,考察筛选如何改变观测到的分布,并评估统计诊断方法,以及旨在确保研究无论结果如何都能被获取的制度措施。
定义与界限
狭义而言,发表偏倚是指一项完整研究的发表概率取决于其结果。人们熟悉的“文件抽屉”例子,就是一项已经完成的实验,因为研究者认为结果缺乏吸引力而一直未予发表。然而,选择过程既可能发生在投稿之前,也可能发生在编辑评审期间,还可能在发表之后通过文献收录和可获取性发挥作用。因此,发表偏倚并不只是期刊编辑拒绝发表无效应结果的同义说法。如果研究者从未撰写稿件,就不能用编辑决策来解释这项研究为何缺失。
发表偏倚的界定特征是对研究结果的依赖。一项研究可能因为记录被毁、研究者更换工作或研究方法不充分而未能发表。这种未发表的情况不一定构成发表偏倚,但这些情形也可能与研究结果相关。例如,研究者可能将有限的时间用于撰写结果有利的研究,却放弃一项同样严谨但结论不明确的研究。反过来,一项方法欠佳的研究未获发表,也不能自动成为已发表文献存在偏倚的证据。关键在于,这些研究的缺失是否系统性地改变了与某个研究问题相关的证据。
发表偏倚与选择性结局报告密切相关,但二者有所区别。在后者中,研究本身可以获取,但某些结局、测量时间点、亚组或分析会根据其结果而被省略或着重呈现。例如,一项试验可能发表症状评分,却不披露不利的功能结局。将原本未计划的分析报告为事先已确定的分析,也会造成实际开展的研究与最终呈现的研究之间的另一种差异。这些过程通常统称为报告偏倚,但需要采用不同的方法加以调查。
其他区别涉及研究传播的时间和可见性。时滞偏倚是指有利结果比不利结果更早发表,即使所有研究最终都得以发表,也会使现有证据暂时缺乏代表性。语言偏倚则发生在发表所用的语言与研究结果相关,而证据检索又仅涵盖特定语言的情况下。引用偏倚涉及的是选择性引用,而非最初的发表。同一项结果有利的研究被多次发表,也可能夸大其在证据中的表观贡献,除非将这些报告归属于同一项原始研究。
“阳性”“阴性”和“无效应”结果需要谨慎区分。支持某个假设的结果可能表现为数值下降,例如死亡率降低,而非数值上的正效应。统计学上不显著的结果并不能证明不存在效应:其置信区间可能同时包含重要的获益和重要的危害。同样,P值低于惯用阈值,也不能证明效应很大、具有实际重要性或能够重复得到。发表偏倚往往将统计显著性当作科学价值的非此即彼判据,从而使这些差别成为产生偏倚的切入点。
历史发展与实证证据
对选择性报告的担忧早于现代证据综合方法。1959 年,西奥多·斯特林考察了心理学期刊中具有统计显著性的研究结果所占的比例,并指出发表惯例可能导致研究记录失真。罗伯特·罗森塔尔在 1979 年讨论“抽屉问题”时,对这一问题作出了令人印象深刻的表述:期刊上发表的可能只是拒绝原假设的少部分研究,而数量大得多、未能拒绝原假设的研究则不为人所见。这些论述将关注点从已发表的单项研究是否正确,转向已发表研究的集合是否能够代表研究总体。
定量研究综合的发展,使这一区别的影响日益凸显。合并研究只能提高实际纳入证据的精确度,并不会自动补回缺失的研究结果。罗森塔尔提出的失安全数方法,考察的是需要再加入多少项无效应研究,才能使合并结果不再具有统计显著性。后来的研究表明,这种计算并非通用的解决方案:未发表研究的效应未必恰好为零,而且合并结果是否具有统计显著性,与其所反映的真实效应有多大、是否具有实际重要性,并不是同一个问题。
当研究者能够在研究的发表情况尚未确定之前识别出这些研究时,就有可能获得更有力的实证证据。利用伦理委员会、资助机构、会议投稿和监管记录建立研究队列,使研究者能够比较具有不同结果的研究此后的传播情况。这类设计避免了仅凭可见文献来推断不可见研究的局限。它们还揭示,发表是一个包含多个阶段的过程:完成研究、撰写报告、投稿、录用以及被文献数据库收录,每一阶段都可能引入选择。
一个突出的例子是埃里克·特纳及其同事在 2008 年开展的比较研究。他们将美国食品药品监督管理局(FDA)审查过的抗抑郁药试验与相应的期刊论文进行了比较。该调查涵盖 74 项研究,共涉及 12,564 名参与者。其中,31% 的研究未发表。从期刊文献来看,94% 的试验似乎得出了阳性结果,而 FDA 的评估仅将 51% 的试验归为阳性。将已发表证据与 FDA 数据集进行比较后发现,已发表证据中的效应量估计值总体高出 32%。这种差异既源于部分研究的缺失,也源于一些研究在论文中的呈现与监管评估不一致。
临床研究以外的证据,也利用了有独立记录的研究队列。安妮·佛朗哥、尼尔·马尔霍特拉和加博尔·西蒙诺维茨在 2014 年发表的一项研究中,考察了通过“社会科学分时实验”项目开展的 221 项基于调查的实验。他们的分析将研究结果与此后的论文撰写和发表情况联系起来,表明研究者决定是否撰写论文的过程就可能产生选择。这类证据支持一种普遍存在的机制,但并不能据此确定一个普遍适用的发表偏倚发生率。其发生率取决于研究领域、历史时期、研究设计、传播体系,以及对何种结果值得发表的界定。
研究全过程中的机制与激励
发表偏倚往往始于研究者对其他参与方重视什么的预期。撰写论文需要时间,因此研究者可能优先处理那些被认为更容易获得引用、被期刊接收或带来后续资助的结果。一项方法严谨的无效应结果,可能被视为项目失败,而不是关于所研究现象的信息。当统计功效较低、难以得到具有统计显著性的发现时,这种反应尤其会产生重大影响:最终被选中传播的研究,可能只是所有已完成研究中结果异常极端的一小部分。
编辑和审稿人又增加了一层筛选。期刊可能优先考虑新颖性、被认为的重要性,或清晰的叙事。这些标准即使不明确提及统计显著性,也可能偏向具有统计显著性的结果。一个出人意料的关联,可能比接近零的精确估计显得更有新闻价值;而结果不一致、模式复杂的研究,可能不如简单明确的肯定性结论容易发表。不过,已发表研究与未发表研究之间存在差异,本身并不能证明编辑存在区别对待。还必须考虑研究者是否决定投稿,以及研究质量上的差异。
资助方和相关组织可以通过控制数据、订立合同,以及决定重点推进哪些分析来影响研究结果的传播。在商业上有利的发现,可能比不利的发现获得更多发表支持。在非商业环境中,如果研究发现支持某种既有理论、某项政策承诺或某个机构的声誉,也可能出现类似的激励。这些机制并不等同于捏造。即使报告的每个数值结果都计算无误,可获取的整套研究结果仍可能系统性地缺乏代表性。
筛选还会与P值操纵相互作用,后者是指利用分析方法的灵活性来获得所期望的统计结果。对协变量、排除规则、结局变量变换、亚组以及停止研究时点的选择,可以产生许多不同的分析方案。如果只报告有利的分析,那么所述检验在名义上的错误率特性,未必能反映实际采用的分析程序。此时,发表偏倚所作用的证据基础,已经在研究内部经历过筛选。这两类过程在概念上有所区别:即使所有分析都事先确定,仍可能出现发表偏倚;而即便一项研究无论结果如何都会发表,也仍可能存在P值操纵。
更广泛的激励体系有助于解释,为什么即使没有统一压制证据的决定,筛选仍会持续存在。作者预判编辑的偏好,编辑预判读者的偏好,而机构则依据部分由这些互动产生的指标给予奖励。重复验证研究、常规测量和严谨的无效应结果,可能不如新颖的主张受到认可。不过,对统计显著性的偏好并非普遍存在。与公认理论形成鲜明冲突的结果、明确表明存在危害的证据,或意外发现并无益处的结果,本身也可能特别容易发表。因此,必须结合具体领域和研究问题来明确相关的筛选机制,而不能仅凭估计值的正负作出假定。
结果依赖性选择的统计表示
一个简单的模型将研究结果的产生与其能否被获取区分开来。令 表示某项研究估计的效应量, 表示其标准误, 为指示该结果是否出现在证据库中的变量。若未经选择的概率密度为 ,其中 为真实效应,且入选概率为 ,则观测到的概率密度为
分母使选择后的分布归一化。当 不随结果变化时,选择不会扭曲这一条件分布。当 偏向某些特定估计值或显著性水平时,观测分布就会不同于研究本身所产生的分布。
考虑一个理想化的例子:,且仅选入所有满足 的结果。分别用 和 表示标准正态分布的概率密度函数和累积分布函数,则选择后的均值为
这是截断正态分布的均值。当 、 时,尽管真实效应为零,入选估计值的均值仍约为 。这一阈值相当于仅保留在常规双侧 5% 显著性水平检验下达到显著的正向结果。这只是一条用于说明问题的选择规则,并非对所有发表体系的描述。
效应方向也很重要。如果选择对两个方向上具有统计显著性的结果一视同仁,那么在真实效应为零时,观测分布仍然对称。尽管尾部结果所占比例过高,效应量的绝对值被夸大,带符号的均值仍可能为零。因此,发表偏倚并不总会产生正的平均估计值。它也可能扭曲离散程度、看似有说服力的发现出现的频率,或不同情境下效应分布的估计。
对于非零效应,选择通常会造成“赢家诅咒”现象:估计值必须高估真实效应才能跨过发表门槛,尤其是在不确定性较大时。规模较大的研究即使估计值不大,也能达到统计显著;规模较小的研究则需要更极端的估计值。这一机制可以使效应量与精确度之间产生关联。它也解释了为什么当后续研究规模更大,或在选择性较弱的条件下传播时,已发表的效应估计值可能会下降。
核心困难在于统计识别。现有文献所呈现的是研究生成过程与选择过程共同作用的结果,而无法分别揭示这两个过程。较大的真实效应加上较弱的选择,可能看起来与较小的真实效应加上较强的选择相似。真实效应本身的差异又带来了进一步的歧义。因此,统计校正需要对选择机制作出假设、获取有关未被观察到的研究的额外信息,或同时依靠二者;仅凭已发表的估计值,通常无法确定唯一的校正方案。
对证据综合与科学推断的影响
传统的固定效应荟萃分析通常采用逆方差权重来合并各项研究的估计值 ,
在其假设成立的情况下,精确度更高的估计值会获得更大的权重。但是,如果研究是否被纳入数据集在一定程度上取决于其结果,这一方法汇总的就是一个经过选择的研究集合。合并估计值周围的区间很窄,可能意味着对错误目标的估计具有很高的精确度。增加这类选择性可得的研究数量,不一定能消除失真,反而可能使结果显得更加确定。
随机效应模型允许不同研究的真实效应存在差异,但并不会自动将缺失研究纳入考量。在一种常见的模型形式中,权重涉及 ,其中 是研究间方差。引入 会改变相对权重,而且往往使小型研究比采用固定效应权重时具有更大的影响力。如果小型研究尤其容易因效应较大而被选择发表,那么随机效应估计值就可能因此更大。这并不是随机效应模型的固有缺陷,而是反映了模型假设与经过选择的数据集之间的不匹配。
发表偏倚还可能改变表面上呈现的效应修饰模式。假设针对某一人群的研究通常规模较小,而针对另一人群的研究规模较大。如果结果不突出的那些小型研究缺失,即使人群归属本身并没有真正的效应修饰作用,前一人群也可能显得反应更强。研究层面的比较就可能把选择造成的差异误认为实质性差异。这类模式使因果推断变得更加复杂,因为某项研究特征与其报告效应之间的关联,不一定代表不同情境之间存在因果差异。
在应用研究中,后果不只限于平均效应被夸大。不良事件结果的缺失可能导致对危害的描述不完整。比较研究的缺失可能改变相互竞争的干预措施之间的排序。在网络荟萃分析中,间接比较通过共同的对照将不同治疗方法联系起来,研究或结局数据的缺失可能影响多项效应差异估计。在计量经济学中,选择性报告有利的系数估计值可能影响对政策效应的结论。在实验室研究中,同样的过程可能引导后续实验去研究某些关系,而这些关系已发表的效应大小却难以重现。
存在偏倚的文献还会改变研究资源的分配。初始效应被夸大,可能使研究者在规划重复研究时采用不足的样本量,因为这些研究是按照被夸大的效应来确定统计功效的。由此产生的失败研究与经选择后呈现为成功的重复研究相互交杂,可能使不确定性持续更久。相反,让开展严谨但结果为零效应的研究也能被获取,有助于揭示所提出的效应其实很小、依赖于具体情境,或尚未得到充分测量。上述后果均不意味着每一项无法重现的发现都源于发表偏倚:测量问题、混杂、研究程序差异以及普通的抽样变异,都可能产生类似的观察结果。
发现缺失证据与解读漏斗图
最有力的评估首先会将目光投向期刊论文之外。系统综述可以将已发表论文与试验注册信息、研究方案、资助记录、监管申报材料、学位论文、会议摘要,以及从研究者处获得的报告进行比对。这些来源可以证实某项研究确实存在,有时还能找回研究结果。将研究方案与最终发表的论文进行比较,可以发现被遗漏的结局指标,或结局指标地位的变化。相较于仅根据已发表效应量分布的形状来推断缺失研究,这类证据更为直接,不过相关记录本身也可能不完整,或在事后遭到修改。
漏斗图是最广为人知的图形诊断工具。它通常以各项研究的效应估计值为横轴,以标准误为纵轴,且纵轴方向往往倒置。规模大、精确度高的研究位于图的上部,小型研究则在下部呈现更大的散布范围。在适当假设下,研究结果会围绕一个共同效应形成近似对称的漏斗形。如果结果不利的小型研究缺失,漏斗下部的一侧就可能只有稀疏的数据点。
不对称并非发表偏倚所特有。与大型研究相比,小型研究可能纳入不同的参与者、使用不同的剂量、采用不够严谨的方法,或以不同方式测量结局。对于某些效应指标,效应估计值与其标准误之间还可能存在数学上的关联。在研究数量较少时,随机因素也会造成明显的不规则分布。另一方面,图形对称也不能证明不存在选择:大型研究和小型研究可能受到类似的选择,或者方向相反的机制可能相互掩盖。
Egger 及其同事于 1997 年提出了一种广泛使用的回归检验。在一种常见形式中,以精确度为自变量,对标准化效应估计值进行回归:
在模型假设成立的前提下,截距 偏离零被解释为存在不对称的证据。与其将其称为发表偏倚的直接检验,不如将其描述为小样本研究效应检验。其表现取决于效应指标、研究间差异以及研究数量。一个常见的提醒是,当研究数量少于约十项时,不对称性检验通常无法提供有用的信息;即便超过这一数量,检验效能仍可能有限。
等高线增强漏斗图增加了对应于不同统计显著性阈值的区域。如果缺失主要集中在结果不具有统计显著性的区域,这与显著性驱动的选择机制相符,但不能证明该机制确实存在。分析 p 值分布是另一种方法。p 曲线等方法在特定假设下考察显著 p 值的分布,以探究证据价值和选择性报告。这些方法本身无法确定缺失研究的数量,也无法重建完整的证据基础。因此,应结合研究特征和文献记录来解读诊断结果,而不能据此简单地断言某一领域的文献存在或不存在偏倚。
校正方法与敏感性分析
统计校正试图估计:在对缺失结果作出不同假设的情况下,证据综合可能得出什么结论。最广为人知的图形校正方法是苏·杜瓦尔和理查德·特威迪于2000年提出的剪补法。该方法先识别不对称性,暂时移除部分研究以估计中心位置,再填补与已有研究呈镜像关系的研究,使漏斗图更加对称。它的吸引力在于操作简单、图形解释直观。其局限在于,对称性是对数据缺失过程所作的假设,而不是已观测研究所证实的事实。
如果不对称性源于小型研究与大型研究之间的真实差异,剪补法就可能填补出从未存在过的研究。反过来,选择过程也可能留下大致对称的分布,从而未被校正。因此,不应把校正后的估计解读为还原出的真相。“填补”的研究数量是依赖于模型构造出来的,并非有据可查的未发表研究数量。对失安全数也应持同样谨慎的态度:即使已发表研究的效应已经被大幅夸大,仍可能需要加入大量假想的无效应研究,才能使结果不再达到统计显著性阈值。
选择模型更明确地描述研究结果的传播过程。权重函数模型可以为不同的p值区间(例如低于和高于0.05的区间)赋予不同的被观测概率,并在这一选择条件下估计效应分布。其他模型则将发表与研究精确度以及一个同观测估计值相关的潜在成分联系起来。科帕斯选择模型就是一个典型例子。这些方法直接针对选择的统计机制,但当相关文献数量较少,或选择过程的可识别性较弱时,所得估计可能不稳定。
基于回归的校正采用另一条路径。PET和PEESE方法对效应估计值与其标准误或抽样方差之间的关系建模,并外推至抽样不确定性趋近于零时的预期估计值。其依据是,以统计显著性为导向的选择往往对精确度较低的研究影响更大。然而,同样的关系也可能反映研究之间的真实差异,而且超出已观测精确度范围的外推可能并不稳健。这些方法不能替代寻找并纳入此前无法获取的数据。
贝叶斯推断方法可以将效应模型与选择模型结合起来,并通过先验分布及由此得到的后验分布来表达不确定性。模型平均可以在关于效应是否存在、选择是否存在的不同假设之间分配权重。这类方法使假设更加明确,但当数据所提供的选择信息很少时,后验分布可能高度依赖先验的选取。即使模型在技术上十分复杂,也无法弥补识别信息的缺失。
基于这些原因,敏感性分析往往比给出单一的校正数值更有信息价值。分析可以改变显著结果与不显著结果的相对发表概率、已知缺失研究的假定结果,或结果可获取性与效应量之间的关联强度。由此得到的范围能够表明,哪些结论在合理的选择机制下仍然成立。文献记录中的证据可以约束这些情景:与仅仅观察到漏斗图不对称相比,知道若干已完成的大型研究尚未公开,能够提供更具体的信息。
注册、报告系统与制度性预防
预防措施旨在使研究是否留下记录、能否得到传播,不再取决于其结果是否引人注目。预注册在相关结果尚未揭晓之前,为研究问题、结局指标和分析计划建立带有时间戳的记录。在临床研究中,临床试验注册平台还可以记录受试者招募状态、干预措施和计划入组人数。这些记录使已完成的研究更难悄无声息地消失,也使评审者能够将预先计划的结局指标与发表时报告的结局指标进行比较。注册并不能保证研究一定完成、登记内容准确或结果公开,但它建立了一份外部记录,可作为评估报告情况的依据。
国际层面的政策通过若干相互交叠的体系逐步发展。国际医学期刊编辑委员会于2004年宣布,将前瞻性试验注册作为考虑发表的条件,并于2005年开始实施。世界卫生组织的国际临床试验注册平台支持检索参与该平台的各注册机构所收录的记录。在美国,2007年《食品药品管理局修正法》针对特定类别的适用临床试验确立了注册和结果报告要求;2016年发布的最终规则进一步明确并扩展了实施细则。这些要求的适用范围各不相同,因此不应将注册等同于完整披露结果。
注册报告更直接地改变了发表决策的方式。期刊在结果尚未揭晓之前,评估研究问题的重要性及拟采用方法的适切性,并可给予原则性接收,条件是研究者完成获批的研究工作并满足报告要求。这一形式通过包括《Cortex》期刊于2013年开展的举措在内的多项实践逐步确立。由于接收与否原则上不应取决于最终结果是否具有统计学显著性,这种形式针对的是按结果决定是否发表背后的一个主要激励因素。不过,其覆盖范围仍取决于哪些项目进入这一流程,以及如何评估其是否遵守要求。
结果存储库和监管披露系统提供了无需依赖传统期刊论文的传播途径。即使研究者没有撰写叙述性论文,结构化结果也能保存基本的数值发现。预印本减少了部分编辑审查环节的障碍,并可缩短传播延迟,但研究者仍可自行选择公开哪些研究。共享数据、分析代码和研究方案有助于审查已报告的分析,但仅有数据可获取,并不能保证每项研究或每个结局指标的存在都能被发现。这些做法分别作用于报告流程中的不同环节,并非可以相互替代的解决方案。
机构评价也可以将研究过程的质量与研究是否得出引人注目的结果区分开来。资助决策、招聘做法和期刊政策会影响发表重复研究及无显著结果研究的机会成本。在开放科学中,一个重要的实践层面区别在于:是仅仅欢迎各种结果,还是建立能够持久运行的系统,记录项目、跟踪完成情况、要求报告结果并保障长期访问。因此,对这些系统的评估会考察前瞻性注册、结局报告的完整性、传播延迟,以及注册记录与最终报告之间的差异,而不只是最终发表的论文数量。