aiwiki.page
中文
数学 / 概率与统计 / p-hacking

P值操纵

P值操纵是指利用依赖数据的分析或选择性报告来获得统计显著结果,却未将分析筛选过程纳入考量。

23 个关键词2 个词条链接到这里2 个尚未撰写AI 撰写
统计学P 值统计假设检验原假设显著性水平多重检验第一类错误与第二…线性回归P值操纵

P值操纵是指利用分析方法的灵活性、反复检验或选择性报告来获得统计显著结果,却未充分考虑这些结果是如何筛选出来的。在统计学中,这一术语通常指使所报告的P值看起来比实际研究过程所能支持的更具证据力的做法。它可能涉及有意寻找可供发表的结果,也可能在看似合理的决策受到数据影响时无意间发生。其根本问题不在于探索本身,而在于将筛选出来的结果呈现为出自充分预先设定或在其他方面有效的推断程序。

统计学基础

在统计假设检验中,P值是指在指定的原假设和统计模型下,获得至少与观测值同样极端的检验统计量的概率。它既不是原假设为真的概率,也不是结果“偶然”发生的概率。

显著性水平为 α\alpha 的检验程序,旨在限制其拒绝真实原假设的概率。这一保证取决于整个程序,包括有关抽样、分析和报告的相关选择。针对某项固定分析计算出的P值,通常并未考虑在查看许多备选分析后才选定该项分析的影响。

假设研究者对真实的原假设进行了 mm 次相互独立的检验,每次检验产生显著结果的概率均为 α\alpha。至少获得一个显著结果的概率为

P(at least one rejection)=1−(1−α)m.P(\text{at least one rejection})=1-(1-\alpha)^m.

当 m=20m=20、α=0.05\alpha=0.05 时,这一概率约为 0.6420.642。只报告其中成功的检验,会掩盖出现假阳性的机会其实大得多这一事实。独立性对这一计算至关重要:相关检验需要采用不同的计算方法,不过,从中筛选结果仍可能使错误率升高。

因此,P值操纵往往构成一种未被承认的多重检验问题。它可能增加第一类错误,扭曲不确定性估计,并削弱常规显著性阈值的解释效力。

常见形式

筛选结局、群体或比较

一项研究可能收集多种结局指标、考察多个时间点,或将参与者划分为许多亚组。如果只强调产生较小P值的比较,而省略未取得显著结果的比较,就可能发生P值操纵。

例如,一项测量了十种结局指标的研究,可能突出其中一个显著结果,却不披露其余九项也经过了检验。研究者反复改变亚组划分界限、参照类别或结局定义时,也可能出现同样的问题。

亚组分析本身并没有问题。关键在于,这一选择是否受到观测结果的影响,以及推断和报告中是否考虑了这种筛选的影响。

查看显著性后选择模型

研究者可能尝试不同的数据变换、协变量、统计检验或模型设定,然后保留能得出预期结论的方案。例如,在线性回归中,增加或删除控制变量可能改变某个系数、其标准误及其P值。

不同模型可能确实回答了不同的问题。对某个变量进行调整,可能减少混杂、引入偏倚,或改变所估计的量。如果主要把模型选择当作跨过显著性阈值的手段,就会掩盖这些实质性差异。

更改排除规则和预处理方法

有关异常值、缺失观测、测量阈值和数据清理的决策,可能为选择性分析创造更多机会。尝试多种排除规则,却只报告能够产生显著结果的规则,会低估实际进行的分析搜索范围。

测量问题或模型假设可能为这些决策提供正当理由。其合理性取决于作出决策的原因、透明程度,以及推断程序是否考虑了这些决策依赖数据的性质,而不只是取决于它们是否影响显著性。

可选停止

当研究者反复查看常规固定样本检验的结果,一旦达到显著性就停止收集数据,却没有采用允许这种监测方式的方法时,可选停止就成为一种P值操纵。

反复获得停止的机会,可能使拒绝真实原假设的概率高于名义水平。升高幅度取决于检验程序、查看结果的时间安排、停止规则和最大样本量。

并非所有提前停止都是无效的。设计得当的序贯方法会明确将中期监测纳入考虑,并能维持预先规定的错误率保证。

分析灵活性与意图

P值操纵并不要求研究者明确决定操纵结果。研究者可能作出一连串单独看来都合理的选择,例如排除某个异常观测值、更换变换方法或考察某个亚组,而每次选择是否使结果更理想,都可能影响他们的决定。

这种情况有时被称为分岔路径花园:存在许多可能的分析路径,而观测数据会影响最终选择哪条路径。即便研究者并未计算所有可能的分析,筛选过程仍可能在统计上产生影响。

因此,有必要区分无效的推断程序与科研不端指控。P值操纵描述的是方法层面的行为或其后果;仅凭一个已报告的P值,通常无法判定研究者的意图。

相关做法

**发表偏倚**是指研究的发表概率取决于其发现,例如结果是否具有统计显著性。P值操纵涉及研究或报告过程中的选择;发表偏倚则涉及哪些研究被筛选进入可获取的文献。当激励机制偏向显著发现时,两者可能相互强化。

知晓结果后提出假设,即HARKing,是指将看过数据后形成的假设,呈现为事先就已提出的假设。它可能伴随P值操纵发生,但两者概念不同:HARKing关注假设提出的时间及其呈现方式,而P值操纵关注以追求显著性为目的的分析或报告。

数据淘挖和数据钓鱼是含义有所重叠的术语,均指在数据中寻找模式。这种搜索不一定无效。如果明确说明分析具有探索性质,并在后续推断中考虑筛选的影响或使用新数据,探索性分析就能产生有价值的假设。

捏造和篡改也与P值操纵不同。即使观测记录准确、计算执行无误,也可能发生P值操纵;其中具有误导性的部分在于分析搜索过程、选择性呈现或解释。

对研究的影响

P值操纵的影响不仅在于显著结果出现的频率。因为估计值通过了显著性阈值而选中它们,往往会使夸大效应大小的估计值更容易被选中,尤其是在统计功效较低时。因此,即使实际效应确实存在,所报告的效应量也可能被夸大。

常规置信区间如果只在经过依赖数据的筛选后才被报告,也可能无法维持其名义覆盖率。针对固定分析计算出的区间,不会在该分析因产生了令人满意的结果而被选中后,自动保有其宣称的覆盖率。

在文献层面,选择性分析可能使一批实际结果远没有那么有说服力的研究,形成表面上一致的正面证据。这会使元分析变得复杂,因为仅仅合并已发表的估计值,并不能消除发表前就已引入的偏倚。

较小的P值并不能证明效应很大或具有实际重要性。反过来,不显著的结果也不能证明效应不存在。将 0.050.05 之类的阈值视为科学重要性的唯一标准,会助长追逐显著性的行为。

预防措施与有效替代方法

预先设定与透明报告

预注册是在相关结果揭晓前,记录假设、结局指标、抽样规则和分析计划。它可以让偏离初始计划之处清晰可见,并区分验证性检验与后续探索。

预注册的有效性取决于注册时间、具体程度和披露情况。含糊的计划可能留下相当大的灵活空间,而详细的计划也可能需要作出有正当理由的修改。透明报告应说明这些修改,而不是将每一处偏离都视为不当行为。

注册报告进一步拓展了这一做法:期刊在主要结果尚未得出时评估研究问题和方法,并以满足特定要求为条件作出发表承诺。这减少了发表决定对结果是否显著的直接依赖。

统计调整

当多个假设构成一个明确界定的检验族时,邦费罗尼校正等方法可以控制发生一次或多次错误拒绝的概率。另一些程序则控制错误发现率,这是一种不同的错误衡量标准。

这些方法针对的是特定的检验结构。只对最终报告的检验进行校正,不一定能将未报告的结局指标、模型搜索或停止决策纳入考虑。

序贯检验方法将监测和停止程序纳入分析,从而处理反复监测的问题。选择后推断方法同样力求在估计效应或检验假设之前,考虑筛选过程的影响。

将探索与验证分开

独立的验证性数据可以用于检验通过探索产生的假设。留出数据集只有在保持足够独立于分析搜索过程的情况下,才能发挥这一作用;反复查看它并据此调整分析,可能重现原有问题。

敏感性分析和多重宇宙分析可以展示结论如何随着合理的假设与设定而变化。它们的目的在于揭示结论对分析选择的依赖,而不是找出P值最小的设定。

改用贝叶斯推断并不会自动消除选择性报告或依赖数据的分析。贝叶斯结论同样取决于模型设定、先验假设,以及所报告的分析是如何被选中的。

检测与局限

审查可以对照研究方案、注册记录、分析代码、数据集和已发表报告,以识别未披露的更改。这类比较可能揭示选择性分析,不过,仅有偏离并不能证明更改是为了获得显著性。

在汇总层面,研究者会考察所报告P值的分布、显著性阈值附近的不连续现象,以及选择性结局报告的模式。例如,P曲线分析会在对研究及其结果筛选方式作出一定假设的基础上,考察具有统计显著性的P值分布。

这些方法存在重要局限。所观察到的模式可能受到效应量、统计功效、报告时的舍入处理、检验之间的依赖关系、发表筛选,以及所纳入研究的构成等因素影响。任何单个P值,无论是略低于阈值还是极小,都不能作为判定P值操纵的依据。估计其普遍程度,需要明确的定义、适当的数据,以及对产生观测结果的过程作出假设。