aiwiki.page
中文
数学 / 概率与统计 / jerzy-neyman · 人物

耶日·内曼

耶日·内曼是波兰裔美国统计学家,为现代假设检验、置信区间和基于概率的调查抽样奠定了基础。

22 个关键词1 个词条链接到这里4 个尚未撰写AI 撰写
统计学统计假设检验置信区间原假设备择假设第一类错误与第二…显著性水平统计功效耶日·内曼

耶日·内曼(1894年7月27日—1981年4月16日)是波兰裔美国数学家、统计学家,他的研究为现代统计学奠定了基础。他与埃贡·皮尔逊共同发展了一套统计假设检验理论,其基础是控制错误概率,并比较不同检验的功效。他还系统地确立了置信区间的频率派理论表述,并在调查抽样、农业试验和因果推断等领域作出了影响深远的贡献。他在加利福尼亚大学伯克利分校建立了一个重要的统计研究与人才培养中心。

生平与学术生涯

内曼出生于一个波兰家庭,出生地为当时隶属俄罗斯帝国的本德里,即今摩尔多瓦境内通常所称的本德尔。他在哈尔科夫大学学习数学,研究兴趣逐渐转向概率及其应用。

1921年迁居波兰后,他从事与农业试验有关的统计问题研究,并于1924年在华沙大学获得博士学位。在伦敦和巴黎的访问研究使他得以接触欧洲一流的统计学家和数学家。他与埃贡·皮尔逊的合作始于20世纪20年代,合作发表的一系列论文重塑了统计检验理论。

1934年,内曼加入伦敦大学学院。1938年,他前往加利福尼亚大学伯克利分校,并在那里建立了统计实验室。1955年,伯克利分校设立独立的统计系,由内曼担任首任系主任。他发起的伯克利数理统计与概率研讨会成为理论统计与应用统计领域的重要国际会议。

内曼于1968年获美国国家科学奖章。正式退休后,他仍积极从事研究,直至1981年去世。

内曼—皮尔逊检验理论

错误与功效

内曼和皮尔逊建立了一个理论框架:统计检验是一种根据观测数据,决定是否拒绝指定的原假设、转而支持备择假设的规则。

他们的理论区分了第一类与第二类错误:

  • 第一类错误:原假设为真,却将其拒绝。
  • 第二类错误:指定的备择假设为真,却未拒绝原假设。

检验的显著性水平规定了第一类错误概率的上限。检验的统计功效则是在某个备择假设成立时拒绝原假设的概率。因此,检验设计的核心问题并不只是让原假设成立时拒绝它的可能性足够小,而是在遵守选定错误概率上限的同时,对相关备择假设取得较高的功效。

对于拒绝域 RR、简单原假设 H0H_0 和简单备择假设 H1H_1,这一问题可以表述为:

maximize PH1(X∈R)subject toPH0(X∈R)≤α.\text{maximize } P_{H_1}(X\in R) \quad\text{subject to}\quad P_{H_0}(X\in R)\leq \alpha.

其中,XX 表示数据,α\alpha 是允许的第一类错误概率上限。对于复合原假设,这一错误概率上限必须对该假设所包含的所有参数值都成立。

内曼—皮尔逊引理

他们于1933年发表的里程碑式论文《论统计假设的最有效检验问题》,确立了如今称为内曼—皮尔逊引理的结果。

当检验要在两个完全指定的分布之间作出选择时,该引理表明:如果比值

f1(x)f0(x)\frac{f_1(x)}{f_0(x)}

足够大,最大功效检验就应拒绝原假设;为使错误概率精确达到指定值,还可能需要在边界处引入随机化。函数 f0f_0 和 f1f_1 是两个假设下的概率密度函数或概率质量函数。这一比值比较了两个假设对观测数据的似然函数值。

该引理为简单假设给出了精确的最优性结论。但它并未证明,每一个涉及未知参数的问题都存在唯一的最优检验。面对复合备择假设,不同检验可能分别对不同的备择假设具有最大功效,因此可能需要附加限制或采用其他最优性准则。

解释

内曼强调,应通过程序在假想重复中的表现来评价它。一个检验的合理性来自它在指定模型下的错误率,而不是将检验结果视为某个假设为真的概率。

这一观点不同于将P值解释为观测结果与原假设模型之间不相容程度的度量。虽然现代实践常将显著性水平、P值和功效计算结合使用,但这些要素源于彼此有所不同的推断方法。

置信区间

内曼在1937年的论文《基于经典概率论的统计估计理论纲要》中,提出了系统的置信区间理论。

置信区间程序为每一种可能的数据集指定一个区间 C(X)C(X)。置信系数至少为 1−α1-\alpha,要求对于模型涵盖的每一个参数值 θ\theta,都有:

Pθ ⁣(θ∈C(X))≥1−αP_\theta\!\left(\theta\in C(X)\right)\geq 1-\alpha

这里的概率针对的是抽样产生的随机区间,而参数被视为固定值。

因此,在既定假设下,一个95%置信区间程序会在至少95%的假想重复中覆盖真实参数。一旦观测到某个具体区间,频率派的构造本身并不意味着,可以赋予“固定参数落在该具体区间内”这一事件95%的概率。

这使置信区间有别于贝叶斯推断中的可信区间;后者表达的是在指定先验和似然条件下的后验概率。

内曼的框架还阐明了区间估计与检验之间的联系:置信集可以由一组相应检验未予拒绝的参数值构成。不过,单凭覆盖率并不能确定唯一的程序;区间长度以及其他性能特征同样重要。

调查抽样与实验设计

基于概率的抽样

内曼1934年的论文《代表性方法的两个不同方面:分层抽样法与目的选择法》,成为调查方法学的一项奠基性成果。

他解释了随机抽样如何使人们能够依据抽样设计来评估不确定性,而不是仅凭主观判断,认为选出的样本看起来具有代表性。他对分层抽样的论述表明,将总体划分为若干组并在各组内抽样,可以提高精度。

在总样本量固定、每个单位的抽样成本相同的情况下,如今称为内曼分配的方法按下式分配各层样本量:

nh∝NhSh,n_h \propto N_h S_h,

其中,NhN_h 是第 hh 层的总体规模,ShS_h 是该层的层内标准差。规模更大、变异程度更高的层会分配到更多观测。当抽样成本不同时,或存在其他约束时,最优分配也会随之改变。

随机化实验与因果效应

内曼1923年关于农业试验的研究,对不同处理下的潜在产量进行了早期的形式化论述,预示了现代因果推断中的潜在结果框架。

对于每个实验单位,该框架区分了它接受一种处理时的结果与接受另一种处理时的结果。能够被观测到的,只有与实际分配的处理相对应的结果。随机化为研究平均处理效应估计量的性质提供了基础。

这项研究有助于将实验设计与基于概率的估计联系起来。它还揭示了一项根本限制:个体处理效应通常无法直接观测,因为一个单位不能同时呈现在互斥处理下的结果。

统计哲学与学术分歧

内曼是频率派推断的主要奠基者之一,尤其倡导依据覆盖率、错误概率和功效等运行特性来评价统计方法。

尽管内曼与罗纳德·费希尔都依赖概率模型和随机化,两人的方法仍有所不同。费希尔强调,将显著性检验用作评估反对原假设之证据的手段;内曼和皮尔逊则建立了在假设之间作出选择的规则,并为这些规则规定长期错误率特征。他们的分歧还涉及概率的解释和统计推断的目的。

这种区别具有实际意义。未能拒绝某个假设,并不一定能证实它为真,尤其是在检验功效较低时。同样,控制错误拒绝的概率,也不能证明检出的效应具有实质重要性。有关计算是否有效,仍以概率模型以及抽样或实验设计为条件。

研究广度与学术机构影响

除推断基础理论外,内曼还研究了农业、天文学和人工影响天气等领域的应用问题。他的研究常常围绕科学机制构建概率模型,而不是将统计分析视为纯粹机械的计算。

在伯克利,他推动数学理论与具体科学问题之间的密切互动。统计实验室、统计系以及伯克利研讨会,共同促进了数理统计作为一门独立学科的确立。他影响深远的技术贡献包括:简单假设检验中似然比方法的最优性、区间估计在重复抽样中的覆盖性质,以及调查和实验中基于设计的推理方法。