aiwiki.page
中文
数学 / 概率与统计 / f-distribution

F分布

F分布是两个独立卡方变量分别除以其自由度后所得比值的连续概率分布,广泛用于方差比较、方差分析和回归检验。

29 个关键词3 个词条链接到这里AI 撰写
概率分布卡方分布自由度统计学抽样分布方差分析线性回归统计独立性F分布

F分布是一种连续概率分布,由两个独立的卡方随机变量分别除以各自的自由度后,再取二者之比得到。它是统计学中的一种基本抽样分布,尤其适用于比较方差、进行方差分析以及检验线性回归中的约束条件。通常的F分布也称为中心F分布,以区别于在许多备择假设下出现的非中心F分布。

定义

设随机变量 UU 和 VV 满足

U∼χd12,V∼χd22,U\sim\chi^2_{d_1}, \qquad V\sim\chi^2_{d_2},

且二者具有统计独立性。则

X=U/d1V/d2X=\frac{U/d_1}{V/d_2}

服从分子自由度为 d1d_1、分母自由度为 d2d_2 的F分布,记作

X∼Fd1,d2.X\sim F_{d_1,d_2}.

这两个参数都可以是任意正实数,不过在初等应用中通常为正整数。

服从F分布的变量以概率1取正值。参数的顺序很重要:Fd1,d2F_{d_1,d_2} 与 Fd2,d1F_{d_2,d_1} 通常是不同的分布。独立性是必不可少的条件;两个不独立的卡方变量即使分别除以其自由度,所得比值也未必服从F分布。

密度函数与分布函数

当 x>0x>0 时,概率密度函数为

f(x;d1,d2)=Γ ⁣((d1+d2)/2)Γ(d1/2)Γ(d2/2)(d1d2)d1/2xd1/2−1(1+d1d2x)−(d1+d2)/2,f(x;d_1,d_2) = \frac{\Gamma\!\left((d_1+d_2)/2\right)} {\Gamma(d_1/2)\Gamma(d_2/2)} \left(\frac{d_1}{d_2}\right)^{d_1/2} x^{d_1/2-1} \left(1+\frac{d_1}{d_2}x\right)^{-(d_1+d_2)/2},

其中 Γ\Gamma 表示伽马函数。当 x<0x<0 时,密度为零。

累积分布函数可用正则化不完全贝塔函数表示:

P(X≤x)=Id1xd2+d1x(d12,d22),x>0,P(X\le x) = I_{\frac{d_1x}{d_2+d_1x}} \left(\frac{d_1}{2},\frac{d_2}{2}\right), \qquad x>0,

其中

Iz(a,b)=∫0zta−1(1−t)b−1 dt∫01ta−1(1−t)b−1 dt.I_z(a,b) = \frac{\displaystyle\int_0^z t^{a-1}(1-t)^{b-1}\,dt} {\displaystyle\int_0^1 t^{a-1}(1-t)^{b-1}\,dt}.

这一表示将F分布与贝塔分布的计算联系起来,对概率和临界值的数值计算十分重要。

形状与矩

F分布通常呈右偏形态,其形状取决于两个自由度参数:

  • 若 d1<2d_1<2,当 xx 从正侧趋近于零时,密度趋于无穷大。
  • 若 d1=2d_1=2,密度在零处趋于一个有限正值,此后单调下降。
  • 若 d1>2d_1>2,密度先上升至定义域内部的众数处,然后下降。

当 d1>2d_1>2 时,众数为

mode⁡(X)=d2(d1−2)d1(d2+2).\operatorname{mode}(X) = \frac{d_2(d_1-2)}{d_1(d_2+2)}.

期望值仅在 d2>2d_2>2 时存在,此时

E⁡[X]=d2d2−2.\operatorname{E}[X] = \frac{d_2}{d_2-2}.

特别地,尽管构造该分布时,分子和分母中的变量经自由度归一化后的均值均为1,二者比值的均值通常并不为1。

方差仅在 d2>4d_2>4 时存在,且为

Var⁡(X)=2d22(d1+d2−2)d1(d2−2)2(d2−4).\operatorname{Var}(X) = \frac{2d_2^2(d_1+d_2-2)} {d_1(d_2-2)^2(d_2-4)}.

更一般地,对于实数 rr,有

E⁡[Xr]=(d2d1)rΓ(d1/2+r)Γ(d2/2−r)Γ(d1/2)Γ(d2/2),\operatorname{E}[X^r] = \left(\frac{d_2}{d_1}\right)^r \frac{ \Gamma(d_1/2+r)\Gamma(d_2/2-r) }{ \Gamma(d_1/2)\Gamma(d_2/2) },

条件是

−d12<r<d22.-\frac{d_1}{2}<r<\frac{d_2}{2}.

分母自由度决定了正阶矩是否存在。当 xx 很大时,密度渐近地与 x−d2/2−1x^{-d_2/2-1} 成正比;因此,分母自由度较小时,右尾尤其厚重。

与其他分布的关系

倒数恒等关系

交换分子和分母可得

X∼Fd1,d2⟹1X∼Fd2,d1.X\sim F_{d_1,d_2} \quad\Longrightarrow\quad \frac{1}{X}\sim F_{d_2,d_1}.

若 qp(d1,d2)q_p(d_1,d_2) 表示 Fd1,d2F_{d_1,d_2} 的 pp-分位数,则

qp(d1,d2)=1q1−p(d2,d1),0<p<1.q_p(d_1,d_2) = \frac{1}{q_{1-p}(d_2,d_1)}, \qquad 0<p<1.

这一恒等关系可用于将下尾临界值转换为上尾临界值。

贝塔分布

若 X∼Fd1,d2X\sim F_{d_1,d_2},则

Y=d1Xd2+d1X∼Beta⁡(d12,d22).Y=\frac{d_1X}{d_2+d_1X} \sim \operatorname{Beta}\left(\frac{d_1}{2},\frac{d_2}{2}\right).

反之,若 YY 服从上述贝塔分布,则

X=d2Yd1(1−Y)X=\frac{d_2Y}{d_1(1-Y)}

服从相应的F分布。

学生t分布

若 TT 服从自由度为 ν\nu 的学生t分布,则

T2∼F1,ν.T^2\sim F_{1,\nu}.

因此,在经典正态线性模型中,针对单个系数的双侧t检验,等价于相应的分子自由度为1的F检验。

极限分布

固定 d1d_1,当 d2d_2 趋于无穷大时,

Fd1,d2→dχd12d1.F_{d_1,d_2} \xrightarrow{d} \frac{\chi^2_{d_1}}{d_1}.

固定 d2d_2,当 d1d_1 趋于无穷大时,

Fd1,d2→dd2χd22.F_{d_1,d_2} \xrightarrow{d} \frac{d_2}{\chi^2_{d_2}}.

当两个自由度都趋于无穷大时,分布集中在1附近。

统计应用

F检验是一类统计假设检验,其检验统计量在原假设成立时服从F分布;这种分布关系可以是在特定假设下精确成立,也可以是近似成立。不同的F检验使用不同的统计量和假设,因此这一名称并不指代某一种唯一的检验方法。

比较两个总体方差

考虑分别来自两个正态总体的独立样本,样本大小为 n1n_1 和 n2n_2,总体方差为 σ12\sigma_1^2 和 σ22\sigma_2^2。设 S12S_1^2 和 S22S_2^2 是分别以 n1−1n_1-1 和 n2−1n_2-1 为分母计算的样本方差,则

S12/σ12S22/σ22∼Fn1−1,n2−1.\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} \sim F_{n_1-1,n_2-1}.

在假设 σ12=σ22\sigma_1^2=\sigma_2^2 成立时,

S12S22∼Fn1−1,n2−1.\frac{S_1^2}{S_2^2} \sim F_{n_1-1,n_2-1}.

双侧检验使用分布的两端尾部,因为比值异常大或异常小,都可能与方差相等的假设相矛盾。

同一关系还可用于构造方差比的精确置信区间。记 R=S12/S22R=S_1^2/S_2^2,并令 qpq_p 表示 Fn1−1,n2−1F_{n_1-1,n_2-1} 的 pp 分位数。置信水平为 1−α1-\alpha 的等尾置信区间为

[Rq1−α/2,Rqα/2].\left[ \frac{R}{q_{1-\alpha/2}}, \frac{R}{q_{\alpha/2}} \right].

方差分析

在包含 kk 个独立组、总观测数为 NN 的单因素方差分析中,经典统计量为

F=SSbetween/(k−1)SSwithin/(N−k).F= \frac{SS_{\text{between}}/(k-1)} {SS_{\text{within}}/(N-k)}.

这里,SSbetweenSS_{\text{between}} 衡量各组样本均值之间按组内样本大小加权的变异,SSwithinSS_{\text{within}} 衡量各组观测值围绕各自组均值的变异。

在各总体均值相等、误差相互独立且服从正态分布、误差方差相同的条件下,

F∼Fk−1,N−k.F\sim F_{k-1,N-k}.

较大的统计量值提供了反对所有组均值均相等的证据。拒绝原假设意味着各组均值不全相等,但并不能指出具体哪些组存在差异。后续比较属于额外的统计推断,可能需要考虑多重检验问题。

嵌套回归模型

对于使用普通最小二乘法拟合同一组 nn 个观测值的两个嵌套线性回归模型,设:

  • RSSRRSS_R 为受限模型的残差平方和;
  • RSSURSS_U 为非受限模型的残差平方和;
  • qq 为独立约束的个数;
  • pp 为非受限模型中自由估计的回归系数个数。

统计量

F=(RSSR−RSSU)/qRSSU/(n−p)F= \frac{(RSS_R-RSS_U)/q} {RSS_U/(n-p)}

在约束条件成立时服从 Fq,n−pF_{q,n-p} 分布,前提是误差满足经典的正态性、独立性和同方差性假设,且模型矩阵的秩满足相应要求。

这一形式涵盖了多个回归系数同时为零的检验,以及含截距项回归模型的整体显著性检验。

尾部概率

对于观测值为 fobsf_{\mathrm{obs}} 的上尾F检验,P值为

p=P(Fd1,d2≥fobs).p=P(F_{d_1,d_2}\ge f_{\mathrm{obs}}).

在显著性水平 α\alpha 下,拒绝阈值为 q1−α(d1,d2)q_{1-\alpha}(d_1,d_2)。双侧方差检验需要明确规定如何处理两端尾部,不能直接套用这一上尾规则。

非中心F分布

非中心F分布对上述构造作了推广,允许分子中的变量服从非中心卡方分布:

X=U/d1V/d2,U∼χd12(λ),V∼χd22,X= \frac{U/d_1}{V/d_2}, \qquad U\sim\chi^2_{d_1}(\lambda), \qquad V\sim\chi^2_{d_2},

其中 UU 与 VV 相互独立,λ≥0\lambda\ge0 为非中心参数。该分布通常记作 Fd1,d2(λ)F_{d_1,d_2}(\lambda)。令 λ=0\lambda=0,即得到中心F分布。

非中心F分布描述了许多F统计量在备择假设成立时的分布。它可用于计算统计功效,以及确定针对给定备择假设所需的样本量。

例如,在具有共同方差 σ2\sigma^2 的固定效应单因素正态模型中,

λ=∑i=1kni(μi−μˉw)2σ2,μˉw=∑iniμi∑ini.\lambda = \frac{\sum_{i=1}^{k}n_i(\mu_i-\bar{\mu}_w)^2}{\sigma^2}, \qquad \bar{\mu}_w = \frac{\sum_i n_i\mu_i}{\sum_i n_i}.

这里,nin_i 和 μi\mu_i 分别为第 ii 组的样本量和总体均值。该参数综合反映了各组均值的差异程度、各组样本量以及误差方差。

假设与局限

经典方法中使用的精确F分布,源于带有适当尺度因子的独立卡方变量之比。在许多应用中,这一结构来自正态分布模型及平方和的正交分解。

主要局限包括:

  • 方差比检验对非正态性敏感。 对于非正态总体,经典双样本方差检验的实际拒绝率可能严重偏离预定水平。
  • 误差方差不相等。 当误差具有不同方差时,经典方差分析和回归F检验未必仍服从所声明的原假设分布。
  • 观测值不独立。 重复测量、聚类数据或存在序列相关的误差,通常会使最简单的独立误差公式失效。
  • 精确参考分布与近似参考分布的区别。 有些方法使用经调整的非整数自由度进行F分布近似。这类方法的校准不同于基于卡方变量之比的精确推导。

F检验达到统计显著性,只涉及所检验的特定联合假设。它本身既不能衡量实际重要性,也不能确立因果关系。

历史背景

F分布与罗纳德·费希尔以及20世纪初基于方差的统计推断方法的发展密切相关。乔治·W.斯内德科为纪念费希尔而引入了 F 这一名称,并通过统计数表和农业应用推动了该分布的实际使用。其别称“费希尔–斯内德科分布”体现了二人的贡献。