aiwiki.page
中文
数学 / 概率与统计 / heavy-tailed-distribution

重尾分布

重尾分布是一类尾部不受指数界约束的概率分布,其极端观测值比指数衰减模型中更容易出现。

25 个关键词2 个词条链接到这里7 个尚未撰写AI 撰写
概率分布正态分布累积分布函数随机变量幂律卷积统计独立性帕累托分布重尾分布

重尾分布是一类对极大观测值赋予相对较高概率的概率分布。按照一种常见的数学定义,其右尾不存在有限的正指数矩:若 XX 服从该分布,则对每个 t>0t>0,都有 E[etX]=∞\mathbb{E}[e^{tX}]=\infty。重尾模型用于描述罕见的极端观测值可能显著影响总量、平均值和风险的情形。这个术语尚无完全统一的用法:某些领域较为宽泛地用它指尾部比正态分布更重的分布,这一比较标准涵盖的范围比基于指数矩的定义更广。

定义与尾部行为

对于累积分布函数为 FF 的随机变量 XX,其右尾函数或生存函数为

F‾(x)=1−F(x)=Pr⁡(X>x).\overline F(x)=1-F(x)=\Pr(X>x).

按照一种标准定义,当满足

E[etX]=∞for every t>0.\mathbb{E}[e^{tX}]=\infty \qquad\text{for every }t>0.

时,称其右尾为重尾。

按照这一约定,如果至少存在一个正数 tt 使上述期望有限,则该分布为轻尾分布。对于非负随机变量,

E[etX]=1+t∫0∞etxF‾(x) dx,\mathbb{E}[e^{tX}] = 1+t\int_0^\infty e^{tx}\overline F(x)\,dx,

其中等式两边都允许取无穷大。这个恒等式将指数矩与尾部衰减直接联系起来。

等价地,重右尾不可能对任何常数 C,c>0C,c>0,在充分大的 xx 上满足如下界:

F‾(x)≤Ce−cx\overline F(x)\le C e^{-cx}

另一个等价刻画是

lim sup⁡x→∞ecxF‾(x)=∞for every c>0.\limsup_{x\to\infty}e^{cx}\overline F(x)=\infty \qquad\text{for every }c>0.

这里使用上极限很重要。如果没有额外的正则性条件,重尾不一定平滑衰减,也不一定始终位于每条指数曲线之上。因此,对“比任何指数函数衰减得都慢”这一非正式说法,应谨慎理解。

对于定义在整个实数轴上的分布,必须区分右尾和左尾。重左尾的定义是将右尾判据应用于 −X-X。一个分布可能只有一侧是重尾,也可能两侧都是重尾;关于绝对极端值的论述通常涉及 Pr⁡(∣X∣>x)\Pr(|X|>x)。

重尾性是一种渐近性质,而不只是对少数异常数据点的描述。按照这一定义,支撑集有界的分布不是重尾分布,无论它在有限取值范围内看起来有多偏斜或多易波动。

重尾的主要类别

若干重要的尾部类别,在基本的指数矩不存在这一条件之外,还要求更强的结构。

正则变化尾

如果右尾满足

F‾(x)=x−αL(x),\overline F(x)=x^{-\alpha}L(x),

则称其具有指数为 −α-\alpha 的正则变化性质,其中 α>0\alpha>0,而 LL 是慢变函数,即对于每个固定的 c>0c>0,都有

L(cx)L(x)⟶1(x→∞)\frac{L(cx)}{L(x)}\longrightarrow 1 \qquad(x\to\infty)

等价地,

F‾(cx)F‾(x)⟶c−α.\frac{\overline F(cx)}{\overline F(x)} \longrightarrow c^{-\alpha}.

这一类别包括严格的幂律,以及尾部可表示为幂函数乘以慢变因子的分布。指数 α\alpha 衡量尾部的衰减速度:在这一类别中,正的指数值越小,尾部越重。

“尾指数”的用法并不统一。有些作者用 α\alpha 表示;在极值统计中,相应的指数通常是 ξ=1/α\xi=1/\alpha。

长尾分布

如果对每个固定的 y>0y>0,非负分布都满足

F‾(x+y)F‾(x)⟶1.\frac{\overline F(x+y)}{\overline F(x)} \longrightarrow 1.

则称其为长尾分布。

这意味着,在一个已经很大的阈值上再加上一个固定量,超越概率的相对变化会趋于零。每个长尾分布都是重尾分布,但反过来未必成立。

次指数分布

对于定义在 [0,∞)[0,\infty) 上的分布,若其相互独立的同分布随机变量 X1X_1 和 X2X_2 满足

Pr⁡(X1+X2>x)∼2F‾(x),\Pr(X_1+X_2>x)\sim 2\overline F(x),

则称其为次指数分布,其中 ∼\sim 表示两者之比趋于一。这是关于卷积尾部的陈述,而不只是缓慢指数衰减的另一种说法。

更一般地,对每个固定的正整数 nn,都有

Pr⁡(X1+⋯+Xn>x)∼nF‾(x).\Pr(X_1+\cdots+X_n>x)\sim n\overline F(x).

其含义是单次大跳原理:从渐近意义上说,一个异常大的和,最可能是由其中某一个异常大的加数造成的。这些结论以统计独立性为前提;依赖关系可能使结果发生显著变化。

对于定义在非负半轴上的分布,有如下包含关系:

{regularly varying tails with α>0}⊊{subexponential distributions}⊊{long-tailed distributions}⊊{heavy-tailed distributions}.\{\text{regularly varying tails with }\alpha>0\} \subsetneq \{\text{subexponential distributions}\} \subsetneq \{\text{long-tailed distributions}\} \subsetneq \{\text{heavy-tailed distributions}\}.

因此,针对正则变化分布或次指数分布证明的性质,不能自动推广到所有重尾分布。

示例与反例

分布 尾部行为 分类
[[pareto-distribution 帕累托分布]] 当 x≥xm>0x\ge x_m>0 时,F‾(x)=(xm/x)α\overline F(x)=(x_m/x)^\alpha
自由度为 ν>0\nu>0 的[[students-t-distribution 学生t分布]] 两侧尾部均渐近正比于 x−νx^{-\nu}
[[cauchy-distribution 柯西分布]] 两侧尾部均渐近正比于 x−1x^{-1}
[[lognormal-distribution 对数正态分布]] 衰减速度快于任意负幂函数,但慢于关于 xx 的任意指数衰减函数
生存函数为 e−(x/λ)βe^{-(x/\lambda)^\beta}、0<β<10<\beta<1 的[[weibull-distribution 威布尔分布]] 拉伸指数衰减
[[exponential-distribution 指数分布]] e−λxe^{-\lambda x}
正态分布 标准正态情形下,生存函数渐近正比于 x−1e−x2/2x^{-1}e^{-x^2/2} 轻尾

对于威布尔分布族,β=1\beta=1 时为指数分布,而 β>1\beta>1 时的衰减速度快于指数衰减。因此,同一个分布族可以同时包含重尾成员和轻尾成员。

厚尾一词有时与重尾通用,但有时专指幂律尾。高峰度也不等同于重尾:它通常是基于四阶矩与正态分布进行比较的概念。有些重尾分布的四阶矩并非有限,而有些轻尾分布也具有很高的峰度。

矩与样本平均值

重尾性并不意味着期望值或方差无穷大。它涉及的是指数矩,而指数矩对可积性的要求比任何固定阶的多项式矩都更强。

对于非负的 XX 和 p>0p>0,有

E[Xp]=p∫0∞xp−1F‾(x) dx.\mathbb{E}[X^p] = p\int_0^\infty x^{p-1}\overline F(x)\,dx.

对于指数为 α\alpha 的严格帕累托分布,

E[Xp]<∞⟺p<α.\mathbb{E}[X^p]<\infty \quad\Longleftrightarrow\quad p<\alpha.

因此:

  • 当 α≤1\alpha\le1 时,均值无穷大。
  • 当 1<α≤21<\alpha\le2 时,均值有限,但方差无穷大。
  • 当 α>2\alpha>2 时,方差有限,但足够高阶的矩仍然无穷大。

对于一般的正则变化尾,p<αp<\alpha 时矩有限,p>αp>\alpha 时矩无穷大。在 p=αp=\alpha 时,矩是否有限取决于慢变因子。

相比之下,对数正态分布的所有正阶矩都有限,但不存在有限的正指数矩。这是说明重尾与无限方差为何是不同概念的一个关键例子。

大数定律与极限分布

对于独立同分布且绝对一阶矩有限的观测值,大数定律仍然适用:样本均值收敛于总体均值。仅有重尾性,并不会使取平均失去效用。

如果方差也有限且非零,通常的独立同分布中心极限定理就适用。不过,向正态近似的收敛可能很慢,有限样本仍可能受到罕见观测值的强烈影响。

当方差无穷大时,通常按样本量平方根进行缩放的正态近似一般不再有效。在适当的正则变化和尾部平衡条件下,经过中心化和重新缩放的和会转而收敛到稳定分布。对于指数 0<α<20<\alpha<2,其尺度通常为 n1/αn^{1/\alpha} 乘以一个慢变因子,而不是 n\sqrt n。

无论是收敛到稳定分布,还是单次大跳行为,都不能仅从重尾性推出;它们各自都需要额外的假设。

极值与统计推断

重尾是极值理论的核心研究对象之一,该理论研究异常大的观测值、样本最大值和阈值超越。指数为 α>0\alpha>0 的正则变化右尾属于弗雷歇吸引域:经适当缩放的最大值收敛到弗雷歇分布。

并非所有重尾都具有这种极值极限。对数正态分布以及形状参数小于一的威布尔分布虽然是重尾分布,却属于耿贝尔吸引域。因此,基于指数矩的分类与基于极值的分类回答的是不同的问题。

幂律尾的估计

对于上尾具有正则变化性质的正值观测数据,一种常用的估计量是希尔估计量。将观测值排序为

X(1)≤⋯≤X(n),X_{(1)}\le\cdots\le X_{(n)},

则用下式估计 ξ=1/α\xi=1/\alpha:

ξ^k=1k∑j=1klog⁡(X(n−j+1)X(n−k)).\widehat{\xi}_k = \frac{1}{k} \sum_{j=1}^{k} \log\left(\frac{X_{(n-j+1)}}{X_{(n-k)}}\right).

该估计量只使用最大的 kk 个观测值。选择 kk 时需要权衡:使用的极端值过少,会使估计的变异性很高;使用过多,则可能纳入幂律近似不再可信的范围内的观测值。其理论依据需要适当的尾部条件;它并不是适用于任意重尾模型的估计量。

经验尾概率在双对数图上大致呈直线,并不足以证明存在幂律。对数正态分布、截断分布、混合分布及其他分布,在有限范围内都可能看起来类似幂律。模型比较、对阈值的敏感性、依赖关系以及外推的不确定性都很重要。

具有有限上端点的严格截断幂律分布,在渐近意义上不是重尾分布。带有指数截断的幂律分布,按照指数矩定义也属于轻尾分布,尽管它可能在很宽的范围内呈现类似幂律的形态。

发展与应用

重尾建模的源头包括十九世纪对收入分布的研究,尤其是帕累托在十九世纪九十年代的工作,以及稳定律和极限理论的发展。二十世纪在保险数学、排队论和极值统计方面的研究,建立了分析总和、最大值及罕见损失的系统方法。

主要应用包括:

  • **保险:**对大额索赔和总损失进行建模,尤其适用于单笔索赔可能主导总损失的情形。
  • **金融:**描述正态模型难以充分刻画的收益分布和损失。特定数据集究竟支持真正的幂律尾、其他重尾,还是最终会出现截断,需要通过实证研究判断。
  • **计算机与通信系统:**描述文件大小、作业规模和服务时间。在某些排队模型中,服务时间的高阶矩决定平均等待时间是否有限。
  • **收入与财富:**近似描述分布的上尾,而不一定用于刻画整个总体的分布。
  • **物理与环境极端事件:**对尾部外推具有重要意义的大事件进行建模,同时须考虑具体过程的假设以及可能存在的物理界限。

重尾建模本身不能识别因果机制。相似的边缘分布尾部可能来自乘法增长、混合、随机放大或聚合。反过来,在观测范围内产生近似重尾行为的机制,仍可能使尾部最终出现截断。

实证识别的局限

在不作任何假设的情况下,任何有限数据集都无法确定分布在尚未观测到的、任意遥远的尾部中的行为。重尾模型和轻尾模型可能对观测范围给出相近的拟合结果,却对远大于已观测事件的发生概率作出截然不同的预测。

时间依赖、生成过程的变化、删失以及测量限制,都会进一步增加推断的难度。对于时间序列,极端值成簇出现可能使基于观测值独立性的计算产生误导。因此,关于重尾的统计结论不仅取决于拟合得到的尾部形态,还取决于观测过程、模型拟适用的范围以及支撑外推的假设。