统计学是研究数据的收集、整理、分析、解释和呈现,并在存在不确定性时从数据中得出结论的学科。它以概率论和数学建模为基础,为科学家、政府、企业和医生判断观察到的规律意味着什么提供方法。其核心问题是推断:利用有限的样本,对更大的总体或产生数据的过程作出陈述,并说明该陈述的可靠程度。
该领域大致分为两个分支。描述统计学通过均值、方差和图形展示等指标来概括数据集。推断统计学则更进一步,借助抽样分布、假设检验、置信区间和贝叶斯方法,对手头数据之外的内容作出论断。统计学在十九和二十世纪由早期的人口登记与政治算术发展为一门数学科学,高斯、拉普拉斯、费希尔和柯尔莫哥洛夫等人作出了重要贡献。
本词条首先讨论基础内容:学科定义、历史发展、概率论以及描述性度量。随后介绍数据收集的设计、概率分布、估计、假设检验和贝叶斯推断。后续章节涉及回归、因果推断、时间序列、多元方法,以及与机器学习的联系;之后是计算方法、在流行病学、经济学和官方统计中的应用,以及关于可重复性和显著性检验误用的争论。
学科定义与范围
统计学是研究数据的收集、分析、解释和呈现的学科。它的核心任务是:当只观察到整体的一部分时,说明能够对更大的整体得出什么结论,以及这一结论值得有多大的把握。统计学常与概率论相对照。概率论从一个已知模型出发,例如一枚六个面等可能出现的均匀骰子,并推导该模型应当产生什么样的数据。统计学的方向恰好相反:它从观测到的数据出发,追问哪些模型或参数值与这些数据相容。两门学科联系紧密,因为统计方法依赖概率来描述数据如何变化,但二者的出发点不同。
该学科有一套核心术语。总体是提出问题时所涉及的全部单位的集合,例如一个国家的全体成年人,或某工厂一个月内生产的全部螺栓。样本是实际被观测到的那一部分。变量是对每个单位测量的某种特征,例如身高、收入或是否同意的回答;对某一单位记录下的数值称为观测值。参数是对总体的数值概括,例如总体均值 ,或持某种观点的比例 ,通常是未知的。统计量是由样本算出的数值概括,例如样本均值 。人们借助统计量来了解参数。通用的记号约定是:参数用希腊字母,统计量用拉丁字母,估计值加上帽号,以此把二者区分开来。
该学科的大部分工作围绕两个目标展开。描述统计通过平均数、表格和图表来概括手头的数据。推断统计则利用样本对总体,或对产生数据的过程作出结论,并为这些结论附上不确定性的度量。对1000名选民的调查可以精确地描述这1000名受访者;但若用同样的回答去推断整个选民群体的情况,就是一种推断,而这种推断依赖于关于受访者如何被选取的假设。
还有一个区分:数据与产生数据的过程。数据是被记录下来的实际结果。过程则是产生这些数据的物理、生物或社会机制,连同其参数。掷十次硬币得到十个观测结果,而过程则是一枚正面朝上概率未知的硬币,数据被用来评估这一概率。应用研究中的许多错误,源于把某个数据集中的规律当作潜在过程的性质,却没有追问数据是如何收集的。有偏的抽样方式可能产生一个清晰的规律,而这一规律在总体中根本不存在。
该学科的根本关注点,是由变异性带来的不确定性。重复测量或重新抽样会得到不同的数字,原因在于单位本身存在天然差异,样本只是总体的一部分,测量中也含有误差。如果世界是完全确定的,每次测量都精确无误,那么一次观测就能解决问题,统计学也就几乎无事可做。事实并非如此,因此推断性的表述必须明确地包含其不确定性,借助的工具包括标准误、置信区间、可信区间或P值。该学科的大部分内容,就在于设计数据收集方式和模型,使这种不确定性得到诚实的量化,并在情况允许的范围内尽可能地缩小。
历史渊源:从国家清点到数学科学
系统性的计数远远早于这门学科的出现。古代国家记录人口、土地、粮食、劳役和赋税,美索不达米亚使用泥板,埃及、中国和罗马则使用人口登记册。罗马的人口普查由监察官主持,用于评定公民的兵役和税负;1086年英格兰的《末日审判书》则在诺曼征服之后为土地占有情况造册。这些记录是行政工具,记录的是统治者需要掌握的情况,并不对数字进行分析。这个词本身也反映了这一渊源。"Statistics"(统计学)源自意大利语 statista 和拉丁语 status,意为国家的状况。18世纪中叶,哥廷根大学的戈特弗里德·阿亨瓦尔(Gottfried Achenwall)推广了德语词 Statistik,用以系统描述各国的政治事务。此后,这个词才逐渐用来指收集和分析数值数据的一般方法。
17世纪的英格兰,一批作者从事威廉·配第所说的"政治算术",即以定量方式推理国家事务。约翰·格朗特(John Graunt)的《基于死亡公报的自然与政治观察》(Natural and Political Observations ... upon the Bills of Mortality,1662年)以伦敦的每周死亡名单为基础,这些名单取自教区登记。格朗特利用这些计数估算各年龄段的存活情况,并发现出生与死亡人数逐年都相当稳定,这暗示着背后存在稳定的成因。埃德蒙·哈雷1693年编制的生命表以布雷斯劳市的教区登记为依据,构造得更为严谨,不久便被用于为年金定价。这类生命表后来成为死亡率指标和现代生命表的基础,它表明关于个体的数据可以揭示人口中的规律性模式。
19世纪,这些计数被转化为数学工具。阿德里安-马里·勒让德于1805年发表了最小二乘法;卡尔·弗里德里希·高斯(1809年)用它拟合天体轨道,并将其与测量误差的概率规律联系起来。1810年,皮埃尔-西蒙·拉普拉斯给出了一个一般性论证:大量微小独立误差之和趋向于钟形曲线,这一曲线即成为正态分布,也是最小二乘误差理论的基础。阿道夫·凯特勒(Adolphe Quetelet)将正态曲线应用于身高、胸围等人体测量数据,并于1835年提出"平均人"这一社会理想,这是他所谓"社会物理学"的一步。这类工作推动了更广泛的社会统计运动。伦敦统计学会成立于1834年,美国统计协会成立于1839年,各国政府也开始系统地组织定期人口普查和人口动态登记。弗朗西斯·高尔顿在19世纪80年代关于遗传的研究,引入了相关与回归,用以描述被测变量之间的关系。
20世纪初,这门学科以现代数学形式确立下来。卡尔·皮尔逊提出了矩估计法、卡方检验(1900年),并创办了期刊《生物计量学》(Biometrika,1901年)。罗纳德·费希尔在20世纪20年代初引入了最大似然估计,发展了方差分析,并在《实验设计》(The Design of Experiments,1935年)中主张在实验中采用随机化。耶日·内曼与埃贡·皮尔逊自1933年起提出了一套面向决策的框架,包含具有受控错误率的原假设与备择假设;内曼于1937年发展了置信区间理论。费希尔的思路侧重于通过p值衡量证据反对原假设的强度,而内曼–皮尔逊的思路则强调长期的错误控制和明确的备择假设。两派争论激烈,他们之间的分歧,加上本世纪后期复兴的贝叶斯传统,催生了至今仍影响这一领域方法与争论的各种学派。
概率基础
概率论作为一门数学学科始于十七世纪中叶,当时关于赌博游戏的问题被当作可以精确求解的问题来处理。通常以1654年布莱兹·帕斯卡与皮埃尔·德·费马之间的书信往来作为起点。他们讨论的问题之一是"分赌金问题":一场被中断的游戏中,每位玩家仍需赢得的局数各不相同,应当如何分配赌注。他们的解法比较了游戏所有可能的结局,并按每种结局发生的可能性加权。克里斯蒂安·惠更斯后来在一篇关于骰子游戏的短论文(1657年)中汇集了这类方法。这些早期方法对有限且等可能的结果集合效果很好,但对于结果不等可能或结果无限的情形,并没有给出一般性的规则。
严格的基础直到1933年才建立,当时安德雷·柯尔莫哥洛夫提出了公理化框架。概率模型是一个三元组,由样本空间 、事件的集合 ,以及为这些事件赋值的函数 组成。集合 必须是一个σ代数,对补运算和可数并运算封闭。函数 必须非负,满足 ,并且对两两不交的事件具有可数可加性。这个三元组称为概率空间。该框架借用了测度论的工具,测度论提供了用于定义期望以及连续型变量分布的积分。对σ代数的限制并非技术上的细枝末节。在标准构造中,不可能为单位区间的每个子集都一致地指定概率,因此事件必须限定在性质良好的族中。框架确定之后,随机变量就是 上的可测函数,而它的分布就是它所诱导的概率测度。
对于满足 的事件 ,条件概率定义为
它描述了在已知 之后 的概率如何变化。若 构成 的一个划分,且每个事件的概率都为正,则全概率公式表明
该规则是后文许多概率推理的基础,包括贝叶斯定理的推导。当 时,两个事件是统计独立的,这等价于说:以其中一个事件为条件,并不改变另一个事件的概率。更大事件族的独立性要求对每个有限子族都满足乘积法则。两两独立是较弱的条件:存在标准的例子,三个事件两两独立,但并不联合独立。以第三个量为条件的条件独立性,则是进一步的推广,在因果建模和图模型中居于核心地位。
期望和方差是随机量最基本的数字特征。X 的期望值是 X 关于 P 的积分,记作 。期望是线性的,因此无论 X 与 Y 是否独立, 都成立。并非每个随机变量都有期望:柯西分布就没有期望,这提醒我们这些数字特征只在可积性条件下才存在。方差为 ,其中 ,也可以用 计算。方差按乘性常数的平方进行缩放,因此 。对于独立变量,方差具有可加性。其平方根即标准差,它以原变量的单位表示离散程度。这两个量在统计学的其余部分反复出现:在大数定律、中心极限定理中,以及在标准误的定义中。
描述统计与探索性分析
描述统计对一组观测值进行概括,不对更大的总体作出推断。它的工具分为三类:位置的度量、离散程度的度量和形态的度量,并辅以图形展示。探索性数据分析一词由约翰·W·图基推广开来,它把这些概括视为在拟合任何正式模型之前理解数据的第一步。
集中趋势的度量
均值是算术平均数,即数值之和除以数据个数,记为 。它利用了每一个观测值,是样本均值理论和期望值理论的基础,但它很容易被极端值拉偏。中位数是排序后数据的中间值;若数据个数为偶数,则为中间两个值的平均。中位数对异常值不敏感,因此在偏态量(如家庭收入或房价)中通常更受青睐。众数是出现频次最多的值。它是唯一可用于定类数据的度量,有助于识别多峰数据中的峰值,不过样本可能没有众数,也可能有多个。
三者的选择取决于测量尺度。均值要求定距或定比数据,中位数只需要数据能够排序,众数则适用于类别数据。当均值与中位数明显不同时,两者的差距本身就说明分布是不对称的。
离散程度与形态的度量
极差是最大值与最小值之差,计算简单,但只依赖两个观测值。样本方差是观测值与均值之差的平方的平均值,即 。除以 而非 ,可以得到总体方差的无偏估计,这一修正在贝塞尔校正中有所讨论。标准差是方差的平方根,它回到了原始数据的单位,是均值最常见的搭配指标。由于平方会放大较大的偏差,这两个度量都对异常值敏感。
四分位距(IQR)是第25百分位数与第75百分位数之间的距离,是一种稳健的对应度量。它描述数据中间一半的离散程度,不受两端极端尾部的影响。
形态由偏度描述,即标准化的三阶中心矩。当右尾较长时偏度为正,左尾较长时为负。峰度是标准化的四阶中心矩,用于比较尾部的厚重程度与正态分布的差异,正态分布的超额峰度为零。这两个量都基于矩计算,因此除非样本很大,它们的样本估计值波动较大,且容易受异常值的强烈影响。
图形展示及其解读
直方图将取值范围划分为若干组距,并以条形的高度表示频数或密度。它能显示众数个数、偏态和间隙,但其外观取决于组距宽度,因此应当比较几种不同的组距。箱线图以第一四分位数和第三四分位数画出箱体,用线段标出中位数,并将须线延伸至位于箱体两侧1.5倍四分位距范围内的最远数据点。超出须线的点被单独标出,作为可能的异常值。这种画法便于在同一尺度上并排比较多个组。
散点图将每一对数值画成一个点。它可以显示关联的形式(线性、曲线或聚集)、方向和强度,以及位置异常的点。解读时需要谨慎:由少量观测值绘制的直方图可能产生误导,散点图中看似存在的规律可能仅由一个点造成,而相关系数只能刻画线性关系。强烈的非线性关系可能使相关系数接近于零。
作为工作流程的探索性数据分析
探索性数据分析(EDA)与其说是一套固定的程序,不如说是在建模之前向数据提出的一系列问题。典型的工作流程从结构入手:观测值的数量、每个变量的类型与单位,以及缺失值的程度。随后的单变量检查考察每个变量的分布,双变量和多变量检查则考察变量之间如何共同变化。图基1977年的著作将这一阶段视为先于验证性分析的探究性活动。
对于异常值,应当加以调查,而不是自动删除。极端值可能是数据录入错误、测量故障,也可能是真实且有信息量的观测,每种可能性对应的处理方式各不相同。其他常规检查包括:检测重复记录、不可能的取值、编码不一致,以及可能使后续结果产生偏差的缺失模式。缺失数据插补是针对最后一项的一种应对方法。
这一阶段的发现会影响后续的模型构建。高度偏态的变量可能需要对数变换,非线性模式可能需要不同的函数形式,而强共线性则可能需要降维或正则化。由于最初提示某种规律的数据,也可能看似证实了这一规律,因此探索性分析的结论最好被视为有待在新数据上检验的假设。
抽样与实验设计
总体、抽样框与概率抽样
统计研究针对的是一个总体,即人们希望得出结论的全部单位的完整集合。由于总体很少能被全面观察,通常需要从抽样框中抽取样本。抽样框是实际选取单位所依据的名录或程序。如果抽样框遗漏了总体的一部分,或包含了不属于总体的单位,误差在随机选择发生之前就已引入,之后的任何计算都无法消除它。
核心的区分在于概率抽样与非概率抽样。概率抽样中,每个单位被选中的概率已知且非零;非概率抽样则包括便利样本,或由研究者主观挑选的判断样本。只有在已知选择机制的情况下,才能推导出估计量的抽样分布并估计其标准误,进而按通常方式解释置信区间。便利样本往往成本低、易于快速构建,但该设计本身无法据以量化样本偏离总体的程度。
简单随机、分层、整群与系统抽样设计
简单随机抽样,即每个规模为目标样本量的子集被选中的可能性相等,是比较其他设计的基准。分层抽样将总体划分为互不重叠的层,层的定义依据是与结果相关的变量,然后在每层内抽取样本。当各层内部同质而层间存在差异时,层间变异便从抽样误差中被剔除,因此在样本量相同的情况下,对总体均值的估计通常比简单随机抽样更精确。分配方式可以按层的规模比例分配,这样样本保持自加权;也可以在各层间等额分配,当每个子群体都需要以相当的精度估计时,等额分配更为可取。
整群抽样选取自然存在的群体,如学校、医院或行政区,并观察其全部或部分成员。它降低了交通和名单编制的成本,因为不需要完整的个体名录;但同一群内的人往往彼此相似,因此样本所含的信息量小于其名义规模。设计效应定义为 (对相同的观测数而言),用于量化这种损失;数值大于1意味着该设计比简单随机抽样精度更低。大型全国性调查常常将两种思路结合起来:先抽取群,如普查区,再在所选群内分层。
系统抽样在随机起点之后,从有序名单中每隔第 个单位抽取一个。它实施简便,且能使样本沿名单均匀分布,当排序与结果相关时,通常能提高精度。其风险在于,名单中若存在与抽样间隔相吻合的周期性规律,可能导致样本产生偏差,而且通常的方差公式未必能干净地适用。
调查误差与抽样偏差
调查误差通常分为几个来源。覆盖误差出现于抽样框遗漏了目标总体的成员,或包含了不合格单位时。无应答误差出现于被选中的单位完全不参与(单位无应答),或留下问卷的部分内容空白(项目无应答)时。无应答偏差是指应答者与未应答者在所测量的指标上存在系统性差异,此时扩大样本量并不能消除它,尽管可以降低抽样变异性。测量误差源于受访者误解的问题、记错事件发生的回忆期、模糊的选项类别,或导致受访者低报污名化行为的社会期许压力。除标识信息外还携带辅助信息的抽样框,以及基于与结果相关变量的加权,是应对这些问题的标准做法。
费舍尔的实验设计原则
罗纳德·费舍尔在《研究工作者的统计方法》(1925)和《实验设计》(1935)中提出了设计受控实验的三项原则。这些原则主要是在洛桑实验站的农业田间试验中逐步发展起来的。第一是随机化,即将处理随机分配给实验单位。费舍尔认为,随机化在期望上能将未记录的影响分散到各处理组中,并为显著性检验的有效性提供物理基础,使推断不完全依赖于无法检验的分布假设。这一原则是现代随机对照试验的基础。
第二是重复,即将每个处理应用于若干个独立的实验单位。重复使实验误差得以估计,进而将真实的处理差异与偶然变异区分开来。第三是区组化,或称局部控制。当能预先识别出组内更为同质的单位时,便将这些单位划分为区组,并在每个区组内比较处理,从而将区组间差异排除在误差项之外。这正是方差分析背后的逻辑。费舍尔还引入了拉丁方,其中行和列同时充当两个区组因子,每个处理在每行每列中恰好出现一次。当对某一因子进行随机化不切实际或成本过高时,区组化尤为有用;而在每个区组内部,试验次序仍然是随机的。三项原则共同构成了实验设计的基础,也是混杂相关讨论中所涉因果推断的基础。
概率分布与极限定理
离散分布
概率分布为随机变量的各个取值分配概率。对于离散变量,这种分配由概率质量函数给出。二项分布描述在 次独立试验中成功的次数,每次试验的成功概率为 ,因此 。其均值为 ,方差为 。泊松分布描述在固定区间内事件发生的次数,这些事件以恒定的平均速率 独立发生,其概率为 。其均值和方差都等于 。西蒙-德尼·泊松于1837年对其作了描述。拉迪斯劳斯·博尔特凯维奇1898年对普鲁士骑兵军团中因马踢而死亡人数的分析是一个广为人知的应用实例。当 较大、 较小且 保持在 附近时,泊松分布便作为二项分布的极限出现。
连续分布
连续变量由概率密度函数描述,概率等于密度在区间上的积分。均值为 、方差为 的正态分布,其密度为 另外还有三种分布来源于正态样本。自由度为 的卡方分布是 个独立标准正态变量平方和的分布。弗里德里希·罗伯特·赫尔默特于1875年推导出样本方差的分布,卡尔·皮尔逊于1900年将卡方统计量用于拟合优度检验。学生t分布由威廉·西利·戈塞特推导得出,他于1908年以笔名“Student”发表了这一成果。当总体标准差未知、改用样本估计值代替时,该分布描述标准化后的样本均值。对于容量为 的正态样本,其自由度为 ,并且随着自由度增大而趋近于正态分布。
分布函数
累积分布函数 适用于所有实值随机变量,无论离散还是连续。它是非减的、右连续的,并且从0上升到1。对于连续变量, 是密度函数的积分;对于离散变量, 在每个可能取值处跳跃,跳跃的幅度等于该点的概率质量。正是这一共同定义,使得分位数、尾部概率和模拟样本都能在同一框架下处理,而无需区分变量类型。
极限定理
大数定律指出:对于具有有限期望值的独立观测,其平均值随观测次数增加而收敛于该期望值。雅各布·伯努利在《猜度术》中证明了其一个版本,该书于1713年在他去世后出版。后来的研究得到了弱大数定律(给出依概率收敛)和强大数定律(给出几乎必然收敛)。这解释了为什么相对频率会稳定在概率值附近。
中心极限定理对分布形状作出了更强的断言。对于均值为 、方差有限为 的独立同分布变量,标准化样本均值 依分布收敛于标准正态变量,而与原始分布无关。棣莫弗1733年给出的二项概率正态近似是最早的特例,一般性定理则由林德伯格和莱维在20世纪20年代建立。当三阶矩有限时,Berry–Esseen 界表明近似误差以 的速率递减。这为在 不大但加项偏态不强时,用正态近似计算和与均值提供了依据。当方差无限时,该近似则不再成立。柯西分布是标准的反例:柯西观测值的均值与单个观测值具有相同的分布。
抽样分布与标准误
由样本计算得到的统计量本身也是随机变量,其分布称为抽样分布。对于 个独立观测的样本均值,其抽样分布的均值为 ,方差为 。该分布的标准差称为标准误,即 。由于 通常未知,实践中用样本标准差 估计它,得到 。标准误随 的平方根下降,因此样本量增加到四倍,均值的不确定性便减半。
其他统计量的抽样分布往往更难处理。例如,样本中位数的渐近方差取决于中位数处的密度值,当没有闭式解时,通常采用自助采样的重抽样方法。在正态假设下, 服从自由度为 的卡方分布,而学生化均值 服从自由度为 的t分布。这些精确结果是许多经典置信区间与检验方法的理论基础。
估计理论
点估计量及其评价准则
估计量是一种规则,它将样本 映射为一个值 ,用以近似某概率分布中未知的参数 。对于特定数据集,它所给出的数值称为估计值。估计量的偏差为 ,当该值为零时,估计量是无偏的。只要总体均值存在,无论分布如何,样本均值都是总体均值的无偏估计。
相合性关注样本量增大时的表现: 应依概率收敛于 。大数定律对样本均值证明了这一点。相合性对固定样本量下的偏差没有任何说明。除以 的方差估计量对每个有限的 都是有偏的,但它是相合的。
在无偏估计量中,方差较小者更有效率。克拉美–罗下界给出了一个下限:在正则条件下,基于 个独立观测的任何 的无偏估计量,其方差至少为 ,其中 是单个观测所携带的费希尔信息。对于方差已知的正态数据,样本均值恰好达到该下界。在对称条件下,样本中位数同样是无偏的,但其渐近方差为 ,约为均值方差的 倍,因此效率较低,不过对离群值更为稳健。
当需要比较有偏估计量与无偏估计量时,均方误差提供了一个统一的衡量尺度:
估计量的构造
由卡尔·皮尔逊于1894年提出的矩估计法,令样本矩与相应的总体矩相等,并解出参数。对于区间 上的均匀分布,其均值为 ,因此估计量为 。该方法简单,且通常是相合的,但它可能给出与数据不相容的取值。在本例中, 可能小于最大的观测值,而这在该模型下是不可能的。
最大似然估计量(MLE)选取使似然函数 达到最大的参数值,通常通过最大化其对数来求解。罗纳德·费希尔在20世纪10年代和20年代使这一方法成为核心。对于固定的数据,似然是关于 的函数,它并不是关于 的概率分布,这一区别在实践中常被混淆。在标准条件下,MLE 是相合的、渐近正态的且渐近有效的,并且在重参数化下具有不变性:若 是 的 MLE,则 是 的 MLE。它并不总是无偏的。对于正态数据, 的 MLE 为 ,它是有偏的。
充分性与信息
当给定 时数据的条件分布不依赖于 ,则称统计量 对 是充分的,即 保留了数据中关于参数的全部信息。费希尔–奈曼因子分解定理给出了一个实用的判别方法:,其中 不含 。对于伯努利试验,成功次数是充分的。对于方差已知的正态数据,样本均值是充分的。拉奥–布莱克维尔定理指出,将无偏估计量关于充分统计量取条件期望,不会增大其方差。莱曼–舍费定理对此进行了推广:当充分统计量同时是完备的时,它的无偏函数即为方差最小的无偏估计量。
费希尔信息衡量数据对参数的约束有多强:
个独立观测携带的信息为 。通俗地说,对数似然在其峰值处弯曲得越厉害,数据所包含的信息就越多。MLE 的渐近方差为 ,这正是 MLE 在极限意义下达到克拉美–罗下界的原因。
偏差修正与偏差-方差权衡
贝塞尔修正用于处理样本方差的偏差。由于 ,改为除以 即可得到无偏估计量 。直观理解是:以 为基准计算的偏差之和被约束为零,因此估计均值会消耗一个自由度。该修正不能直接推广到标准差:由于平方根是非线性的, 对 仍然是有偏的。
无偏性并非总是目标。由于 ,估计量可以接受少量偏差,以换取方差的大幅降低,这就是偏差–方差权衡。1961年发表的詹姆斯–斯坦因估计量表明:在估计维数不低于三的正态均值向量时,一个有意引入偏差的收缩估计量,对于每一个参数值,其总均方误差都低于样本均值。回归中的惩罚方法,例如岭回归,也遵循同样的思路:当预测变量众多或高度相关时,它们引入偏差以控制方差。
假设检验与显著性
假设检验是一种判断观测数据是否与关于总体的某一特定论断相符的程序。被检验的论断称为零假设 ,通常断言某个参数取特定值,或两组之间不存在差异。备择假设 则陈述在零假设被拒绝时所采纳的结论。检验统计量将数据浓缩为一个数值,当 为真时,其分布已知或可以近似得到。对于由 个观测值算得的样本均值 ,若总体标准差 已知,则在 下,统计量 服从正态分布。若 必须由同一批数据估计,则改用 t 分布。卡方统计量用于列联表的独立性检验,F 统计量则出现在比较多个组均值的方差分析中。
p值是在 成立的条件下,获得不小于所观测检验统计量那么极端结果的概率。它并不是 为真的概率。罗纳德·费希尔将p值视为反对零假设的证据强度的连续度量,并于1925年建议以5%作为便利的阈值。耶日·奈曼与埃贡·皮尔逊则把检验看作具有固定错误率的决策规则,由此引出预先设定的显著性水平 。当前应用研究的常规做法,即将费希尔的p值与奈曼–皮尔逊式的临界值结合使用,是两种方法的混合,而原作者并未完全认可这种做法。
错误与功效
基于检验的决策可能以两种方式出错。第一类错误是拒绝了一个真实的零假设,按构造其概率至多为 。第二类错误是未能拒绝一个错误的零假设,其概率为 。检验的统计功效为 ,即检测到真实存在的效应的概率。在样本量固定时,降低 会提高 ,因此若不收集更多数据,两类错误率不可能同时降低。功效随真实效应量、样本量以及测量精度的增加而提高。正因为如此,功效分析通常在数据收集之前进行,以确定 。奈曼–皮尔逊引理表明,在给定 的条件下,似然比检验是区分两个简单假设时功效最强的检验。
多重比较
若对多个假设各自以水平 进行检验,至少出现一次错误拒绝的概率就会增大。若对 个相互独立且均为真的零假设各自以 检验,则族错误率为 。当 、 时,该值超过0.6。邦费罗尼校正将每个假设的检验水平设为 ,从而使族错误率保持在 以下,且无需对检验之间的相依性做任何假设。其代价是过于保守,并且随着 增大,功效迅速下降。霍尔姆方法等逐步下降式的改进方法可以控制同样的错误率,并且在功效上至少不低于邦费罗尼校正,且在各种情形下均更为优越。
错误发现率针对的是另一个目标:被拒绝的假设中实际为真的零假设所占比例的期望值。本雅明尼–霍奇伯格程序于1995年发表,它将p值排序为 ,找出满足 的最大 ,并拒绝最小的 个假设。与控制族错误率相比,控制错误发现率允许在大量检验同时进行时(如基因组学中)获得更多发现,代价是其中会容忍一些假阳性。
效应量及其与显著性的关系
统计显著性同时反映效应的大小和数据量的多少。在样本非常大时,微不足道的差异也可能给出极小的p值;而在样本很小时,较大的效应也可能达不到显著水平。效应量以一种不直接依赖于 的尺度来度量现象的大小。常见的例子包括标准化均值差 (其中 为合并标准差)、相关系数,以及逻辑回归中的比值比。雅各布·科恩给出的 的小、中、大取值分别约为0.2、0.5和0.8,这一标准被广泛引用,但它们只是约定俗成的参考值,其含义取决于具体学科。报告效应量的置信区间既能传达其估计大小,也能体现其不确定性,而简单的“显著”或“不显著”二元结论无法做到这一点。
当功效较低时,从通过显著性筛选的结果中得出的估计往往会高估真实效应。这也是重复研究常常发现效应比原始报告更小的原因之一。
贝叶斯统计
贝叶斯统计将概率理解为对命题的信念程度,其中包括关于未知量的陈述,而不仅仅是结果的长期频率。在这一框架下,未知参数 被视为具有自身分布的随机量,推断的过程就是随着数据的到来不断修正该分布。修正的形式工具是贝叶斯定理,对于数据 ,它给出
这里 是先验分布, 是似然函数, 是后验分布。分母与 无关,因此该法则通常写作:后验正比于似然乘以先验。由于一次分析的后验可以作为下一次分析的先验,这一方法自然地适用于序贯数据。
这一方法早于这个术语本身。托马斯·贝叶斯关于逆概率的论文于 1763 年在他去世后发表,皮埃尔-西蒙·拉普拉斯在十八世纪末和十九世纪初对该方法做了大量发展。在频率派方法占主导地位的时期,它的地位有所下降;自 20 世纪 70 年代起,随着价格可以负担的计算机使计算变得可行,它重新获得了广泛关注。关于概率解释的争论仍在继续,相关内容将在单独的小节中讨论。
先验是最具争议的输入。先验可以是主观的,体现专家判断;也可以是客观的,设计上对结果影响很小;弱信息先验则介于两者之间。分析者通常会检验结论对先验选择的敏感程度。当先验与似然属于特定的分布族时,后验可以写成闭合形式。共轭先验是指后验仍属于同一分布族的先验。一个标准例子是贝塔–二项组合:若 服从 先验,并且在 次试验中出现 次成功,则后验为 。正态–正态组合与伽马–泊松组合也具有相同的性质。拟合得到后验之后,后验预测分布
用于描述未来数据或重复生成的数据。后验预测检验通过比较模拟的重复数据与观测数据,来揭示模型的拟合偏差。
贝叶斯区间与频率派区间的主要区别在于其概率所指的对象不同。可信区间是包含后验质量中指定比例(例如 95%)的区间。它的表述以数据、模型和先验为条件:在这些前提下,参数以所述概率落在该区间内。置信区间则描述的是方法的长期表现:在重复抽样中,用这种方法构造的区间会以所述比例包含固定的真值。在数值上两者可能恰好重合,例如在平坦先验和对称抽样分布的情形下,但二者的含义依然不同。
在比较模型时,贝叶斯因子是边际似然之比,
它将先验优势比转换为后验优势比。由于边际似然是对整个参数空间求平均,贝叶斯因子会惩罚那些把先验分散到不合理取值上的模型,从而自动偏好简约的模型。同样的平均操作也使它对先验的敏感性不同于后验估计,因此使用时需要格外谨慎。
除共轭情形外,后验通常没有闭合形式。马尔可夫链蒙特卡洛方法通过生成一个相依的参数值序列,使其长期分布即为后验,从而使问题变得可以处理。1953 年发表的 Metropolis 算法以及 Hastings 于 1970 年对其的推广提供了基本方法。Gelfand 和 Smith 于 1990 年发表的关于基于抽样计算边际密度的论文,使这些方法在主流统计学中得到广泛应用。该论文借助了一种实用的抽样方案,即吉布斯采样,使层次贝叶斯模型得以常规计算。以这些思想为基础的现代软件得到发展,分析者在信任输出结果之前,会检查收敛性与混合性。
回归与线性模型
回归分析用于描述响应变量 的分布如何依赖于一个或多个预测变量 。最常见的形式是线性模型,其中响应变量的条件均值是预测变量的加权和。一元线性回归模型为 。当有 个预测变量时,多元线性回归模型写作 ,其中设计矩阵 的第一列全为 1,以便把截距项包括在内。误差项 收集了预测变量无法解释的全部部分。
普通最小二乘法及其假设
普通最小二乘法(OLS)选取 ,使残差平方和最小。当 可逆时,可得到闭式解 。勒让德于1805年发表了最小二乘法,高斯则将其与误差的概率联系起来。在参数线性、给定 时误差的条件均值为零、误差方差恒定、误差互不相关且不存在完全多重共线性的条件下,高斯—马尔可夫定理指出,OLS 是最优线性无偏估计量。该结论并不要求误差服从正态分布。正态性是使用 t 检验和 F 检验进行精确小样本推断所必需的。在大样本下,推断转而依赖中心极限定理。
违反这些假设的后果各不相同。异方差(即误差方差不恒定)使系数估计仍然无偏,但通常的标准误变得不可靠,因此稳健标准误很常见。预测变量与误差项相关(常由遗漏变量引起)会使估计产生偏差。这一问题属于因果推断与混杂的范畴,而不只是拟合的问题。
广义线性模型
广义线性模型(GLM)由内尔德与韦德伯恩于1972年正式提出,将该框架推广到二元、计数或其他非正态的响应变量。假定响应变量服从指数族分布,并通过连接函数 将其均值 与线性预测子联系起来:。参数通常用极大似然估计法估计。
对于二元结果,逻辑回归使用 logit 连接函数 ,响应变量通常服从二项分布(常见为伯努利分布)。对系数取指数可得到优势比: 是在其他预测变量保持不变的情况下, 每增加一个单位时结果发生几率的乘性变化。对于计数数据,对数线性泊松回归使用 ,因此 是率比。泊松模型假定方差等于均值。当计数数据存在过度离散时,改用拟泊松模型或负二项模型。可以引入偏移项来调整不同的暴露时间。
正则化回归
当预测变量数量相对于观测数较多,或预测变量之间高度相关时,OLS 估计的方差可能非常大,矩阵 可能接近奇异。正则化在最小二乘准则上加入惩罚项。岭回归惩罚 ,使所有系数平滑地向零收缩,并把权重分散到相关的预测变量上。套索回归惩罚 ,可以把部分系数精确地设为零,因此能够进行变量选择。但它在相关预测变量之间的选择可能不稳定。弹性网络同时结合两种惩罚,即 ,倾向于把相关的预测变量作为一组保留下来。惩罚强度 通常通过交叉验证选定。由于惩罚项取决于每个变量的尺度,应先对预测变量进行标准化。每种方法都以少量偏差换取更低的方差,这与偏差—方差权衡一致。
拟合模型的解释
在线性模型中, 表示在其他预测变量保持不变的情况下, 每变化一个单位时 的期望变化量。这一表述描述的是统计上的调整,本身并不能确立因果关系。标准化系数以标准差为单位表示效应,便于粗略比较以不同尺度度量的预测变量。
决定系数 给出模型所解释的样本方差比例。加入预测变量时它永远不会下降,因此调整后的 或样本外预测误差通常更有参考价值。较高的 并不说明模型设定正确。
残差诊断用于检验模型假设。残差对拟合值的散点图能够揭示非线性和方差变化。Q–Q 图将残差与正态参考分布进行比较。杠杆值和库克距离用于识别有影响的观测。方差膨胀因子用于度量多重共线性,杜宾—沃森统计量则用于检验按时间排序的数据是否存在自相关。这些工具所揭示的问题,通常通过变换变量、添加项或修改误差模型来解决。
因果推断与研究设计
统计学区分关联与因果。两个变量同时变化,可能是因为一方影响另一方,可能是因为第三个因素同时影响两者,也可能只是偶然。相关性衡量两个变量共同变化的紧密程度,但它并不说明方向或机制。主要障碍是混杂:一个同时影响疑似原因和结果的第三变量,可能在本无效应之处制造出关联,也可能掩盖真实的效应。1854年,约翰·斯诺比较了伦敦两家供水公司所供应住户的霍乱死亡率,这两家公司的取水口受污水污染的程度不同。1973年伯克利大学研究生录取数据则展示了相反的风险:汇总数据显示对女性存在歧视,但在多数院系内部,这种差异要么逆转,要么消失,原因是女性申请者不成比例地集中在录取率较低的院系。这种模式被称为辛普森悖论。
潜在结果与结构模型
潜在结果框架由耶日·内曼于1923年提出,后由唐纳德·鲁宾在20世纪70年代加以扩展。该框架将因果效应定义为:同一单位在接受处理时的结果与未接受处理时的结果之间的比较。对于某一个体,这两种反事实结果中只能观测到一个,保罗·霍兰德后来将此称为因果推断的根本问题。因此,研究者通常关注群体层面的平均效应,并依靠一些使未观测到的比较变得可信的假设。朱迪亚·珀尔的结构因果模型则采取了图形化的路径:因果假设被编码进有向无环图中,后门准则用于确定哪些变量需要加以调整。同样的图也警示不要对对撞因子进行条件化,因为这样可能产生虚假关联。诸如倾向得分之类的方法,通过估计在给定可观测协变量条件下接受处理的概率,使处理组与对照组在这些协变量上达到平衡。
随机对照试验及其局限
随机对照试验仍是因果论断的标准方法,因为随机化使处理分配在期望意义上与可观测和不可观测的特征都无关。罗纳德·费希尔的实验设计工作使这一逻辑成为现代实践的核心。在实践中,试验面临若干局限。试验可能成本高昂,长期结果的报告速度慢,而且对于吸烟等暴露因素在伦理上根本不可行。参与者可能不遵守分配的处理方案,部分人还会中途退出,这会破坏简单的比较,迫使分析者在意向性处理(ITT)估计与对依从性建模的方法之间做出选择。某一特定人群中得到的结果未必能推广到另一人群,而且个体之间的干扰可能违反"一个人的处理不影响另一个人的结果"这一假设。
观察性设计
当无法实施随机化时,研究者会寻找自然实验,即由自然条件或政策以类似随机分配的方式分配处理的情形。斯诺的霍乱研究便是早期的例子。约舒亚·安格里斯利用1969年美国征兵抽签中生日顺序的随机性,估计了服兵役对日后收入的影响。
工具变量方法使用这样一个第三变量:它只通过处理变量影响结果,并且与处理变量相关。安格里斯与艾伦·克鲁格以出生季度作为受教育年限的工具变量。该方法要求相关性,即工具变量必须能够预测处理状态;还要求排他性约束,即工具变量只能通过处理变量影响结果。在效应存在异质性的情况下,估计值适用于那些处理状态会因工具变量而改变的子群体,这一量被称为局部平均处理效应。
双重差分法比较处理组与对照组随时间发生的变化。其有效性依赖于平行趋势假设,即在没有干预的情况下,两组本应沿着相似的路径发展。大卫·卡德与克鲁格1994年针对新泽西州提高最低工资标准所做的研究(与邻近的宾夕法尼亚州进行比较)是一个广为人知的应用案例。
断点回归设计利用决定处理分配的驱动变量上的一个临界值,例如获奖所需的考试分数线。唐纳德·蒂斯尔思韦特与唐纳德·坎贝尔于1960年对国家优秀学者奖学金所做的研究是早期的例子。假定恰好高于和恰好低于阈值的个体具有可比性,因此临界点处结果的跃变即为局部效应的估计。分析者必须检验个体是否能够操纵其相对于临界值的位置,并且需要审慎选择带宽。
罗伯特·拉隆德于1986年将非实验估计与一项随机化职业培训评估的结果进行比较,表明标准回归调整可能与实验基准相去甚远。这一发现促成了上文所述基于设计的方法的兴起。
时间序列与随机过程
时间序列是按时间排序的一列观测值,记为 。经典推断通常假设样本相互独立,但时间序列的相邻取值一般是相关的,因此次序本身携带信息,忽略次序的方法可能得出误导性结论。这类数据背后的正式模型是随机过程,即一族以时间为指标的随机变量。
成分与平稳性
许多观测序列都可以分解为几个部分。在经典的加法形式中,,其中 是缓慢变化的趋势, 是周期固定的季节性模式(例如月度数据的周期为 12), 是不规则的剩余部分。若季节性波动随水平增大而增大,则更适合乘法形式。X-11 和 STL 等方法用于估计这些成分,但它们只是描述性工具,并不说明数据是如何生成的。
大部分理论都依赖于平稳性。若序列的均值为常数,方差有限且为常数,并且自协方差 只取决于滞后阶数 ,则称该序列为弱平稳。趋势、方差变化和季节性都会破坏这一条件。非平稳序列常通过差分变为平稳,即 ,这是 Box–Jenkins 方法的核心步骤。单位根可以用正式的检验来判断。增广 Dickey–Fuller 检验以存在单位根为原假设,而 KPSS 检验则以平稳为原假设,因此两者常被联合使用。
自回归、移动平均与状态空间模型
最基本的构件是白噪声 ,即方差恒定、均值为零且互不相关的一列变量。p 阶自回归模型 AR(p) 用过去的值预测当前值:。对于满足 的 AR(1),平稳方差为 。移动平均模型 MA(q) 则写作 ,即序列会对过去的冲击作出反应。将两者结合得到 ARMA(p,q),对序列做 次差分后得到 ARIMA(p,d,q)。阶数的识别利用自相关函数和偏自相关函数:MA(q) 过程的 ACF 在滞后 之后截尾,AR(p) 过程的 PACF 在滞后 之后截尾。参数估计通常采用极大似然法或最小二乘法,不同阶数的模型则用 AIC 或 BIC 进行比较。
状态空间模型将不可观测的状态与带噪声的观测分开: 和 。卡尔曼滤波器随着数据到来递归地更新状态的条件分布,并且能够处理缺失值和不等间隔的观测。预测即为给定历史数据下的条件期望。对于平稳模型,预测误差方差随预测步长增大而增大,并趋于无条件方差,因此长期预测会回归到均值。由于打乱观测顺序会破坏时间次序,预测效果应采用滚动起点验证,而不是普通的交叉验证。
马尔可夫链与随机游走
马尔可夫链是一种离散时间过程,其下一状态只依赖于当前状态,这一条件称为马尔可夫性质。给定转移矩阵 ,经过 步之后的分布由 决定。不可约、非周期、正常返的马尔可夫链会收敛到唯一的平稳分布 ,满足 ,且与初始状态无关。这一收敛性是马尔可夫链蒙特卡罗方法的基础,该方法构造一条平稳分布为目标后验分布的马尔可夫链。
随机游走是独立同分布步长的部分和 。其方差为 ,会无限增大,因此随机游走是非平稳的。当 时,AR(1) 模型恰好就是随机游走。整数上的对称简单随机游走以概率一返回原点,但在三维及以上维度中则不会,这一结果由波利亚于 1921 年证明。给随机游走加上漂移项或平稳成分,可以得到许多适用于水平型数据的实用模型。
在金融、气候与信号分析中的应用
在金融领域,对数价格常被建模为随机游走,这一思想可追溯到 Bachelier 1900 年关于投机的论文,而收益率则近似不相关。然而,收益率的平方和绝对值却有很强的自相关,这种现象称为波动率聚集。Engle 的 ARCH 模型(1982 年)和 Bollerslev 对其的推广 GARCH 模型(1986 年)通过让条件方差依赖于过去的冲击来刻画这一现象。Engle 与 Clive Granger 共同获得了 2003 年诺贝尔经济学奖,Granger 的协整理论则处理的是共同随机趋势的问题。
在气候记录中,全球气温和海平面序列同时包含趋势、强序列相关和多年振荡。忽略自相关会高估有效样本量,并导致不实际的狭窄置信区间。在确定性趋势与类随机游走累积之间如何选择,也会改变对变暖信号的解释。长程依赖最早由 Hurst 在 1951 年对尼罗河流量记录的分析中提出,此后推动了分数积分模型的发展。
在信号分析中,谱密度是自协方差函数的傅里叶变换(维纳–辛钦定理),它连接了时域与频域两种描述。周期图可以揭示隐藏的周期性,而维纳滤波器和卡尔曼滤波器则用于从噪声中提取信号。
多元方法
多元方法同时分析多个变量,因此研究对象不仅是每个变量单独的行为,还包括它们的联合行为。其基本工具是随机向量的协方差矩阵。协方差矩阵的对角线元素是各变量的方差,非对角线元素则记录每一对变量如何共同变动。两个变量之间的相关系数是同一信息经过重新标度后的结果,取值在 −1 与 1 之间,因此不同单位测量的变量对之间也能够进行比较。由于协方差矩阵是对称且半正定的,它可以分解为若干相互正交的方向及其对应的大小。这一性质是下文大多数技术的基础。许多经典理论都假设数据服从多元正态分布,因为其线性组合仍为正态分布,且条件分布具有显式形式。
主成分分析(PCA)用于处理变量过多且彼此相关的问题。卡尔·皮尔逊于1901年以几何形式提出了这一思想:他寻找一条直线或一个平面,使数据点到它的垂直距离平方和最小。哈罗德·霍特林于1933年给出了代数表述:每个主成分是原始变量的线性组合,在与前面各主成分正交的组合中方差最大。求解这一问题等价于求协方差矩阵的特征向量,可写为 其中特征值 给出沿方向 所捕获的方差。所得主成分互不相关,并按其所解释的总方差比例排序。分析者通常只保留前几个主成分,依据是累计解释方差比例或碎石图。解释时依赖载荷,它显示每个原始变量对各主成分的贡献强度。由于结果取决于变量的尺度,数据通常先进行标准化。PCA 是一种不使用结果标签的降维方法,并且是线性的;非线性和稀疏变体则是对同一基本思想的扩展。
聚类分析在没有类别标签的情况下,寻找观测值之间的分组。K均值算法交替进行两步:先将每个观测分配给最近的质心,再将每个质心重新计算为其所属点的均值。该算法减小了总的簇内平方和,但它只能收敛到局部最优,结果依赖于初始值,并且隐含地偏好紧凑、近似球形且规模相近的簇。高斯混合模型则将数据视为多元正态分量的加权混合,每个分量有各自的均值和协方差矩阵。其参数通常通过期望最大化算法估计,并给出软性的、概率化的隶属度。由于每个分量都有完整的协方差矩阵,它能够表示 K 均值无法刻画的椭球形簇。确定簇的数目是另一个问题,没有唯一正确的答案。常用的辅助手段包括簇内平方和的"肘部"、轮廓系数、用于混合模型的贝叶斯信息准则等信息准则,以及检验重抽样下解的稳定性。
判别分析处理的是相反的情形:已知每个观测所属的组别,目标是对新观测进行分类。罗纳德·费希尔1936年的论文利用三个物种鸢尾花的四项测量数据,说明了如何用变量的线性组合来区分各组。他的准则选取使组间分离度与组内离散度之比最大的方向。线性判别分析是这一方法的标准后继者,它假设各类共享一个共同的协方差矩阵,且每一类近似服从正态分布。在这些假设下,决策边界是线性的,观测被分配到后验概率最高的类别,后验概率由类别密度与先验概率结合得到。放宽共同协方差的假设便得到二次判别分析,它产生曲线形边界,代价是需要估计更多参数。分类效果通常通过在未用于拟合的数据上计算的混淆矩阵来评价,常借助交叉验证,而不是仅看训练数据上正确分类的比例。
这些方法中有若干实际问题反复出现。当变量数目相对于观测数目较大时,样本协方差矩阵变得不稳定,其特征值存在偏差,因此常需要使用收缩估计量或降维。估计的协方差还取决于所选的除数,这一点与贝塞尔校正有关。多元汇总可能掩盖在每个变量上看似正常、但联合来看却异常的离群值,因此诊断图和稳健估计十分重要。最后,主成分分析得出的成分以及算法发现的簇都是描述性的构造,其含义取决于具体的学科领域,应当经过验证,而不能视为已确立的结构。
统计学习与机器学习
经典统计学与机器学习之间的界限主要在于侧重点不同。两个领域都用模型拟合数据,用概率描述误差,并共享许多工具,包括线性回归、逻辑回归、主成分分析和K均值聚类。二者的区别主要在于什么算是好模型。经典推断通常关心参数的含义以及参数估计的精确程度;机器学习通常关心一条规则对未见过的案例能多准确地预测结果。利奥·布雷曼2001年的一篇文章明确指出了这一对比。它把假定了随机数据生成模型的方法,与不设定数据机制的算法方法区分开来,并认为统计学界过于依赖前一类方法。
大多数学习问题都可以被表述为监督学习或无监督学习之一。在监督学习中,每个输入都有已知的输出,任务是学习一个将输入映射到输出的函数。候选函数的好坏由损失函数 衡量,拟合得到的规则通常选择为使训练样本上的平均损失最小,这一原则称为经验风险最小化:
平方误差损失导向对条件均值的估计,并以均方误差作为自然的衡量标准;绝对值损失则以条件中位数为目标。在无监督学习中没有标签,其目标是通过聚类分析、降维或密度建模等方法发现数据中的结构。预测与解释也有不同的取向。一个拥有成千上万个难以解释参数的模型,例如深度学习网络,可能预测效果很好,却无法给出任何机制上的解释。相比之下,解释性的论断需要可解释的参数,并需要论证因果关系,而不仅仅是关联。
评估预测性能需要防范两种失效模式。过拟合指模型学习了训练样本中的噪声,因此训练误差不断下降,而在新数据上的误差却在增大。模型学到了特定训练数据中的规律,却难以很好地泛化到未见过的数据。欠拟合则是相反的问题:模型过于僵化,无法捕捉真实的结构。两者之间的权衡与偏差-方差权衡中出现的张力是同一回事。正则化通过惩罚复杂度来应对这一问题,例如岭回归、Lasso回归和弹性网络。为了估计样本外准确率,实践者使用交叉验证。数据被划分为若干折,模型在除一折之外的所有折上拟合,然后在留出的那一折上计算误差,最后对各折的结果取平均。1979年由布拉德利·埃夫隆提出的自助法抽样,通过有放回地重抽样来衡量估计量或模型表观性能的变异性。学习曲线绘制误差随训练集规模变化的曲线,可以显示更多数据还是更灵活的模型是更好的补救办法。
数据泄露是使这些估计产生误导的最常见原因。当训练数据集之外的信息被用于构建模型时,就发生了泄露。其结果是一个过于乐观的评估,在实际部署时无法保持。典型来源包括:在划分数据之前使用基于全部数据集计算的统计量进行预处理;在交叉验证循环之前进行特征选择;以及同一个体的重复测量同时出现在训练集和验证集中。提前停止也可能造成泄露:如果用验证折来选择停止的迭代次数,然后又把同一验证折报告为最终得分,那么评估数据就已经影响了训练过程。随时间变化的数据还带来另一个问题,因为随机划分可能把未来的观测放入训练集。因此,金融应用采用净化交叉验证,它会去除重叠的观测,并可选择在测试集周围加入时间缓冲区。
大数据集并不能消除这些风险。非常大的模型可以完美拟合(插值)训练数据,同时仍能很好地预测,这一现象在双下降的名义下得到研究,它使人们对过拟合的传统直觉变得复杂起来。大数据集还使搜索大量候选模型变得更容易,从而增加了偶然选中仅恰好拟合验证数据的模型的可能性。因此,严谨的实践会保留一个不被触碰的最终测试集,把每一个依赖数据的步骤都放进重抽样循环之中,并基于与模型实际使用条件相同的数据来判断其泛化能力。这里涉及的相关概念是泛化,而上文讨论的方法则是检验泛化能力的主要手段。
计算方法与重抽样
重抽样与自助法
重抽样方法通过在数据上多次重新计算统计量来估计不确定性,而不依赖闭式公式。它的思想渊源早于现代版本。自助法的思想至少可以追溯到 Simon(1969),他曾将其用作教授统计学的工具。刀切法每次留出一个观测值重新计算估计量,可追溯到 20 世纪 40 年代末;子抽样则出现在 20 世纪 60 年代(刀切法见 Quenouille (1949),子抽样见 Hartigan (1969) 和 McCarthy (1969))。Bradley Efron 1979 年的论文赋予了自助法一般形式,其动机部分在于更好地理解刀切法及其性质。
基本的经验自助法把观测样本视为未知总体的替身。给定样本 和估计量 ,从中有放回地抽取 个大小为 的新样本,在每个样本上计算 ,并利用这些重复值的离散程度估计标准误:
百分位置信区间同样可以由重复值的分位数得到。该方法的价值恰恰体现在解析结果无法得到的情形中:自助法是估计复杂统计方法性能特征的普遍技术,而这些方法往往没有简单的闭式解。不过,它并非在所有情况下都可靠。对于由极端值主导的统计量(例如样本最大值),自助法可能失效;当观测值相依时(例如时间序列),则需要进行调整,如分块重抽样。
置换检验
置换检验的效力来自另一种原理。若原假设认为组标签是可交换的(例如,处理分配对结果没有影响),那么在不改变数据联合分布的前提下,可以对标签进行随机重排。对每一种重排(或对其中大量随机抽取的重排)计算检验统计量,p 值即为产生的结果不比观测结果更极端的重排所占的比例。Ronald Fisher 在《实验设计》(1935)中运用了这一逻辑,其中最著名的是"女士品茶"的例子;Edwin Pitman 则在 20 世纪 30 年代末将其形式化,使之适用于一般情形。由于参照分布由数据本身构造,置换检验对总体形状几乎不做假设;当所有排列都可以枚举时,它对小样本是精确的。其代价在于,它检验的是关于可交换性的明确原假设,本身并不能提供区间估计。
蒙特卡洛模拟
蒙特卡洛方法通过随机抽样来近似计算各种量。该方法诞生于 20 世纪 40 年代的洛斯阿拉莫斯。它最早由 Stanislaw Ulam 于 1946 年在洛斯阿拉莫斯构想,随后由 John von Neumann、Robert Richtmyer 和 Nick Metropolis 进一步发展,最初用于计算氢弹中的中子扩散路径。Ulam 的出发点是一个纸牌游戏的计算:与其用精确的组合方法求解,不如模拟打若干局牌并计算经验成功概率,这是一条更简便的途径。Nicholas Metropolis 为该方法命名为"蒙特卡洛",1949 年 Metropolis 与 Ulam 合写的论文公开阐述了这一方法。
其核心思想是把积分写成期望的形式,再通过对随机抽样结果取平均来估计。在 d 维空间中随机抽样一个体积,即可以统计误差为代价得到积分的估计。无论维数如何,误差都以 ( 为抽样次数)的速度下降,这也是为什么在维数非常高时,该方法优于其他任何积分方案。实际应用依赖于从非均匀分布中生成样本,其中逆变换法和接受–拒绝法是标准技术。模拟也是检验统计方法的主要工具:分析者在已知参数下生成人工数据集,以估计检验的实际第一类错误率、设计的检验功效,或置信区间的覆盖率。将这些思想扩展到高维后验分布的马尔可夫链蒙特卡洛方法,将在本词条的其他部分讨论。
统计计算与大规模数据
只有在计算成本降低之后,重抽样和模拟才真正成为常规做法。早期自助法研究需要大量人工操作,支撑它的现代软件是之后才发展起来的。如今主要的计算环境包括:拥有庞大扩展包生态的 R;通过 NumPy、SciPy 和 statsmodels 等库实现的 Python;以及 SAS、SPSS 和 Stata 等商业软件。概率编程系统则直接实现贝叶斯抽样。对于超大规模数据集,计算会分布到集群上进行,而子抽样或随机梯度法等近似方法则以部分精度换取可行性。这些工具也带来了可重复性问题,因为结果取决于随机种子、软件版本以及重复次数。
缺失数据的处理
大多数实际数据集都存在缺漏,而恰当的处理方法取决于数据缺失的原因。Donald Rubin 的分类区分了三种机制。随机缺失(MAR)指缺失与缺失数据本身的取值无关,但可能依赖于能够解释缺失的其他已观测变量。非随机缺失(MNAR)指缺失既依赖于已观测数据,也依赖于未观测数据。第三类是完全随机缺失(MCAR),要求缺失与任何变量(无论是否已观测)都无关。完整病例分析,即简单地舍弃不完整的记录,只有在这些假设中最严格的情形下才是无偏的。
多重插补的做法不是掩盖缺失值带来的不确定性,而是直接处理它。通过生成多个数据副本,每个副本中的缺失值都被略有不同的插补值替换。随后对多个插补后的数据集分别进行分析,再合并结果。合并遵循 Rubin 规则:若 和 分别是第 个(共 个)完整数据集中的估计量及其方差,则合并估计为 ,其总方差为 ,其中 为插补内方差的均值, 为插补间方差。当数据为随机缺失时,多重插补能够得到有效的推断;而当数据为非随机缺失时,多重插补并不能得到有效的结果。困难在于,仅凭已观测数据无法区分这两种情形,因为要确定随机缺失与非随机缺失之间的界限,就需要观测到未观测的数据,这是做不到的。因此,分析者需要依靠实质性的专业推理,以及敏感性分析,来检验当缺失随机假设受到合理偏离时,结论会如何变化。
在科学、医学和公共政策中的应用
流行病学与临床研究
流行病学依赖一小组计数指标,选用哪一个指标会改变数字的含义。患病率(prevalence)描述在选定时刻或选定时间段内患有某种疾病的人数,通常表示为所研究人群中的比例。患病率是特定人群在特定时间受某种医学状况影响的比例。发病率(incidence)则统计新发病例,其分母仅限于仍处于风险之中的人群。发病率是特定时期内某种疾病的新发病例数除以易感人群。两者回答的是不同的问题:患病率反映某一时刻的疾病负担,而发病率反映风险以及新病例出现的速度。患病率告诉你某一时刻疾病的总负担,发病率则告诉你新病例出现得有多快。
累积发病率(cumulative incidence),也称发病比例,用于估计在固定时间跨度内发生某种疾病的概率。举例来说,1000人在两年内新增28例,对应的累积发病率为2.8%。例如,若某人群有1000人,从疾病首次出现起至两年后有28人患病,则累积发病率为每1000人28例,即2.8%。发病率(incidence rate)则用新发病例数除以总风险人时数来计算,这使得存在交错入组和失访的研究也能进行分析,而无需每位参与者都被随访完整个时期。发病率可以通过发病人数除以所有患者的总风险时间来计算。
临床试验将同样的统计方法应用于个体患者层面。入组之前,研究者需要确定值得检测的最小效应、可接受的假阳性率以及期望的检验效能,这些选择共同决定了样本量。随机化用于防止比较结果受到混杂因素的干扰,预先设定的分析方案则限制选择性报告。对累积数据进行期中分析的试验需要调整显著性阈值,以免提前终止试验而推高假阳性的概率(参见多重检验)。死亡率和生存时间等结局指标,使用本领域其他场合所用的同一套概率工具进行分析。
官方统计与消费者价格指数
各国统计机构负责编制官方统计数据。普查试图对全体人口进行清点,而抽样调查则用于估计那些无法直接计数的家庭和企业数量。普查名录同时也是后续调查的抽样框,这使官方数据收集与本文其他部分所述的抽样方法紧密相连。
消费者价格指数是统计构建的一个典型例子。其商品篮子的选取依据家庭支出记录;在美国,消费者支出调查覆盖约7000户家庭,提供了详细的消费习惯信息。价格由抽样的销售网点采集。当被抽中的商品被更换为不同版本时,编制者可能会调整所记录的价格,使指数反映的是价格变动而非质量差异,以免把质量差异误认为通货膨胀。该指数本身是一个比值:固定商品篮子的当前成本除以基期成本,再乘以100。也就是说,某一商品在某年的价格除以其初始年份的价格,再乘以100。经济学家仍然认为,该指数只是一种近似:它是追踪这些经济指标的有用工具,但并不是衡量通货膨胀或生活成本的完美尺度。
经济学、国民经济核算与劳动统计
在经济学中,国民经济核算为衡量产出提供了框架。国内生产总值只计入最终产品和服务,因此中间投入被排除在外,供应链各环节的销售额也不会被重复计算。它只衡量最终产品和服务的价值,不会在制造商、分销商和零售商之间买卖时"重复计算"商品。同一总量可以从三个方向得出:衡量最终产品和服务的支出,加总生产所产生的收入,或加总生产中的增加值。在支出法下,人们熟悉的恒等式是将消费、投资、政府购买和净出口相加,通常写作 C + I + G + (X − M),即 GDP = C + I + G + (X – M)。
现代国民核算体系形成于二十世纪。1934年,库兹涅茨向美国国会提交了一份报告,为国民收入的测度奠定了基础。国际规则载于1993年的《国民账户体系》,该体系由多个多边机构联合编制。衡量GDP的国际标准包含在1993年《国民账户体系》中,由国际货币基金组织、欧盟委员会、经济合作与发展组织、联合国和世界银行共同编制。估计数字也会随着更多数据的到来而修订;大幅修订并不常见,但确实会发生。此类规模的修订"相对罕见",据估计,季度修订中只有10%达到这一幅度。
失业率等劳动力市场指标来自住户调查和机构调查,计量经济学方法则用于估计政策或冲击如何影响这些结果(参见计量经济学与因果推断)。
工业质量控制、风险与保险
工业质量控制将统计学应用于生产过程。沃尔特·休哈特于20世纪20年代在贝尔实验室引入控制图,用以区分正常波动与可查明的原因;验收抽样则让买方或生产方在检验随机抽取的部分批次后,决定接受还是拒收整批产品。两种方法都取决于误报与漏检之间的权衡。
风险评估将荷载、失效时间或暴露程度的概率分布结合起来,常用蒙特卡洛方法模拟来估计超过某一阈值的概率。保险定价建立在同样的基础之上。精算师对索赔频率建模,常用泊松分布,对索赔金额则使用厚尾分布建模。保费的设定需要覆盖预期赔付、管理成本和利润边际;汇集大量保单可以降低总损失的相对波动,正如大数定律所预言的那样。人寿保险费率表是以死亡数据为基础编制的,其方式与公共卫生机构编制生命表的方式相同。
争议、可复现性与学科的未来
频率学派与贝叶斯学派的基础
频率学派与贝叶斯学派的分歧在于概率指的是什么。频率学派把概率视为可重复程序的长期行为,因此未知参数被看作固定不变的量,而一个区间的好坏则依据该程序覆盖真实参数的频率来判断。贝叶斯学派则把概率视为信念程度,并借助贝叶斯定理随证据不断修正这一信念。这需要使用先验分布。批评者认为先验分布带有主观性,支持者则认为它是对假设的明确表述。二十世纪统计学的实际方法体系,把罗纳德·费希尔的显著性检验与耶日·奈曼和埃贡·皮尔逊基于决策的框架融合在一起,许多教科书把这种混合方法当作单一的方法来讲授。哲学家和方法论学者批评这种做法内部存在矛盾。这些争论与更广泛的科学哲学相关,也关系到归纳推理应当如何获得辩护。
p 值与显著性阈值
2016年,美国统计学会(ASA)发表声明,针对人们广泛误读 p 值的问题作出回应。声明将 p 值描述为观测数据与特定模型之间不相容程度的度量,并强调它不同于假设为真的概率,也不同于仅由偶然因素产生该结果的概率。p 值是关于数据与某个特定假设性解释之间关系的陈述,而不是关于该解释本身的陈述。声明还警告,结论不应仅仅取决于结果是否越过某个常规临界值。作者指出,把“非此即彼”式的规则(例如“p < 0.05”)当作科学结论的依据,可能导致错误的信念。只要样本量足够大或测量足够精确,任何效应,无论多么微小,都可能产生很小的 p 值,因此小的 p 值本身并不能说明效应大小或重要性。相关问题也出现在统计假设检验、统计功效和效应量等议题中。
2019年,《自然》杂志上瓦伦丁·安赫林、桑德·格林兰和布莱克·麦克尚的一篇评论走得更远,主张应当彻底停止使用“统计显著”这一术语。批评者回应说,放弃阈值可能会去掉一道有用的屏障。约翰·约安尼迪斯写道,取消阈值可能助长偏倚。后来的一项分析则认为,这类提议并不能完成显著性检验原本要完成的工作。这场争论至今没有定论,也表明多重检验的做法、错误发现率控制以及报告标准与制度性激励之间有着紧密联系。
可复现性危机
被引用最多的经验事件是开放科学合作组织2015年的项目。该团队对三份心理学期刊上发表的100项实验和相关性研究进行了重复验证,在可获得原始材料时使用了高功效设计。原始研究中有97%报告了显著结果,而重复研究中只有36%报告了显著结果,且重复研究的效应量大约只有原研究的一半。对此的解读存在分歧。2016年《科学》杂志上的一篇评论认为,原始分析包含三处统计错误,而数据其实与相反的结论相符,即心理科学的可复现性相当高。该评论还认为,这一基准忽略了其数据中存在的多种误差来源。后续的重新分析发现,根据“重复成功”的定义不同,重复率在36%至68%之间。这一事件清楚地表明,评估重复成功与否并没有单一标准。
这场危机并不局限于心理学,还蔓延到医学、经济学及其他实证领域。选择性发表、灵活的分析选择和小样本等问题被反复指认为其成因。这些问题是可复现性作为科学规范的核心所在。
应对措施:预注册、效应量与透明报告
随之而来的改革包括预注册、注册报告以及开放数据政策。它们共同的目标是区分验证性分析与探索性分析,并使分析中的各种选择清晰可见。这些直接源于上述危机的方法论改革,包括预注册、注册报告和开放数据政策。2016年美国统计学会的声明同样主张,恰当的推断需要完整报告和透明度。另一项建议是,在进行显著性检验的同时,报告效应的大小和结果的重要性,并给出置信区间或可信区间,以体现估计本身的不确定性。关于阈值本身应当更严格还是应当被摒弃,各方提议也有分歧。一些多重性校正的争论主张收紧阈值,而另一些则主张放弃阈值。
数据隐私、伦理与公共责任
随着行政记录、数字痕迹和大数据平台让数据收集范围不断扩大,知情同意、重新识别和二次使用等问题已成为该学科的核心议题。统计披露方法,包括差分隐私,力图在保持总体准确性的同时,限制他人从中获知任何个体信息的程度。2020年美国人口普查采用了这种方法,并在小地区数据的准确性问题上引发了争议。统计学家还通过政府统计、医学和计量经济学等途径影响公共决策。因此,美国统计学会指出,统计实践中的问题不仅影响研究本身,也影响研究经费、期刊惯例、职业晋升、科学教育、公共政策、新闻报道和法律。有评论者将统计学家的社会角色概括为:提供工具和指导,帮助人们判断应在多大程度上信任数据。随着错误信息的传播,这一角色显得愈发重要。因此,该学科的未来不仅取决于机器学习等新方法,也取决于透明的实践、对不确定性的诚实表达,以及对数字使用方式所承担的责任。
参考来源
- Difference Between Stratified and Cluster Sampling - GeeksforGeeksgeeksforgeeks.org
- Stratified vs Cluster Sampling: Full Guidegiroscience.com
- Stratified vs Cluster Sampling — Differences, Uses & Examplesstatsolvepro.com
- Stratified vs. Cluster Sampling: A Field Researcher's Guide ...projectbist.com
- A Discussion of Statistical Methods for Design and Analysis of Microarray Experiments for Plant Scientists - PMCpmc.ncbi.nlm.nih.gov
- Fisher, Statistics, and Randomization Qingyuan Zhao University of Cambridgestatslab.cam.ac.uk
- R.A. Fisher and his advocacy of randomizationresearchgate.net
- The Design of Experimentsen.wikipedia.org
- Experimental Design - The Decision Labthedecisionlab.com
- What Is Design of Experiments (DOE)?asq.org
- Survey samplingen.wikipedia.org
- Total survey erroren.wikipedia.org
- Sample Representativeness and Nonresponse Biasiseralaska.org
- Part I Survey Dataaspe.hhs.gov
- Best Practices for Nonresponse Bias Reportingstatspolicy.gov
- Bayesian curve fitting for lattice gauge theoristsarxiv.org
- Bayesian Inference and Prior Distributionsnature.com
- Prior Probability: Bayesian Statistics Formula, Guide & Examples (2026)statisticsfundamentals.com
- A Short History of Markov Chain Monte Carlo: Subjective Recollections from Incomplete Dataarxiv.org
- Markov Chain Monte Carlo for Bayesian Inference - The Metropolis Algorithmquantstart.com
- Markov Chain Monte Carlo Methods for Bayesian Data Analysis in Astronomyarxiv.org
- Understanding Confidence Intervals vs Credible Intervals in Data Analysiscodefinity.com
- Credible Intervals: Bayesian Formula, Interpretation & Guide (2026)statisticsfundamentals.com
- Credible Intervals vs. Confidence Intervalszubairkhalid.com
- Linear Principal Component Analysislink.springer.com
- Principal Componentsworldscientific.com
- Statistical embedding: Beyond principal componentsarxiv.org
- Iris flower data seten.wikipedia.org
- Fisher's Pioneering work on Discriminant Analysis and its Impact on AIarxiv.org
- About Fisher's Iris dataset - angela1c.comangela1c.com
- Statistical Modeling: The Two Cultures (with comments and a rejoinder by the author)projecteuclid.org
- Data Leakage in Notebooks: Static Detection and Better Processesarxiv.org
- Data Leakage in Machine Learning - MachineLearningMastery.commachinelearningmastery.com
- Purged cross-validationen.wikipedia.org
- Machine Learning Plumbery: Data Leakagemedium.com
- Bootstrap Methodslink.springer.com
- Bootstrapping - an overviewsciencedirect.com
- Hitting the Jackpot: The Birth of the Monte Carlo Methodlanl.gov
- A Survey of Monte Carlo Methods for Parameter Estimationarxiv.org
- Introduction to Monte Carlo Methodsarxiv.org
- Missing data and bias in physics education research: A case for using multiple imputationarxiv.org
- MIDA: Multiple Imputation using Denoising Autoencodersarxiv.org
- Handling missing data in clinical research - ScienceDirectsciencedirect.com
- An Online Bootstrap for Time Seriesarxiv.org
- Multiple Imputationdept.stat.lsa.umich.edu
- Prevalenceen.wikipedia.org
- Incidence and prevalence: Video, Causes, Symptomsosmosis.org
- Prevalence and incidencefiveable.me
- Incidence (epidemiology)en.wikipedia.org
- The Consumer Price Indexcourses.lumenlearning.com
- Consumer price indexen.wikipedia.org
- Gross Domestic Product: Understanding News from Noiseminneapolisfed.org
- ► GDP (Gross Domestic Product) - Simply Explainedmunich-business-school.de
- What is GDP (Gross Domestic Product) - Worldometerworldometers.info
- Gross Domestic Product: An Economy’s Allimf.org
- Epidemiology Basics: Incidence, Prevalence, R₀, CFR, Attack Rategideononline.com
- 5.8 Price Indexes: Consumer Price Index and Inflation Rateecampusontario.pressbooks.pub
- Gross domestic product (GDP)britannica.com
- The ASA's Statement on p-Values: Context, Process, and ...stat.berkeley.edu
- Statistical significance and its critics: practicing damaging science, or damaging scientific practice?link.springer.com
- Retiring statistical significance would give bias a free passnature.com
- OSFosf.io
- Comment on “Estimating the reproducibility of psychological science”science.org
- Changes in methodological study characteristics in psychology between 2010-2021ncbi.nlm.nih.gov
- RESEARCH ARTICLE SUMMARY ◥ PSYCHOLOGY Estimating the reproducibility ofppw.kuleuven.be
- Psychology Replication Crisis: What Happened — CASRAIcasrai.org
- AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ONamstat.org
- Full article: The ASA Statement on p-Values: Context, Process, and Purposetandfonline.com
- P-Values in a Post-Truth Worldarxiv.org