aiwiki.page
中文
数学 / 概率与统计 / cauchy-distribution

柯西分布

柯西分布是一种均值和方差均未定义的对称重尾概率分布,具有加法稳定性,并可描述共振线形。

28 个关键词16 个词条链接到这里2 个尚未撰写AI 撰写
概率分布奥古斯丁-路易·柯…概率密度函数中位数标准差累积分布函数分位数幂律柯西分布

柯西分布是一种连续概率分布,其特点是中央有一个峰,且尾部异常厚重。位置参数确定其中心,尺度参数确定其宽度。尽管分布对称,它的均值和方差都未定义。它是一个重要例子,说明为什么常见的统计方法,尤其是取平均值,需要对底层分布作出假设。该分布以奥古斯丁-路易·柯西的名字命名,在物理学中也称为洛伦兹分布,其形状可描述许多共振曲线和光谱轮廓。

定义与参数

若随机变量 XX 的概率密度函数为

f(x;x0,γ)=1πγ[1+(x−x0γ)2]=γπ[(x−x0)2+γ2],−∞<x<∞.f(x;x_0,\gamma) =\frac{1}{\pi\gamma\left[1+\left(\frac{x-x_0}{\gamma}\right)^2\right]} =\frac{\gamma}{\pi\left[(x-x_0)^2+\gamma^2\right]}, \qquad -\infty<x<\infty.

则称它服从位置参数为 x0∈Rx_0\in\mathbb{R}、尺度参数为 γ>0\gamma>0 的柯西分布,记作

X∼Cauchy⁡(x0,γ),X\sim\operatorname{Cauchy}(x_0,\gamma),

该密度关于 x0x_0 对称,x0x_0 既是唯一的众数,也是中位数。密度的最大值为 1/(πγ)1/(\pi\gamma)。在 x=x0±γx=x_0\pm\gamma 处,密度为最大值的一半,因此半高全宽为 2γ2\gamma。

标准柯西分布的参数为 x0=0x_0=0 和 γ=1\gamma=1:

f(x)=1π(1+x2).f(x)=\frac{1}{\pi(1+x^2)}.

若 ZZ 服从标准柯西分布,则 x0+γZx_0+\gamma Z 服从 Cauchy⁡(x0,γ)\operatorname{Cauchy}(x_0,\gamma) 分布。

尺度参数 γ\gamma 并不是标准差:该分布的标准差不存在。

分布函数与分位数

累积分布函数为

F(x)=12+1πarctan⁡(x−x0γ).F(x)=\frac12+\frac{1}{\pi} \arctan\left(\frac{x-x_0}{\gamma}\right).

它的反函数,即分位数函数,为

Q(p)=x0+γtan⁡[π(p−12)],0<p<1.Q(p)=x_0+\gamma\tan\left[\pi\left(p-\frac12\right)\right], \qquad 0<p<1.

因此,第一和第三四分位数分别为 x0−γx_0-\gamma 和 x0+γx_0+\gamma,四分位距为 2γ2\gamma。距离中心不超过一个尺度参数的区间内,恰好包含一半的概率:

P(∣X−x0∣≤γ)=12.P(|X-x_0|\leq\gamma)=\frac12.

更一般地,

P(∣X−x0∣≤a)=2πarctan⁡(aγ),a≥0.P(|X-x_0|\leq a) =\frac{2}{\pi}\arctan\left(\frac{a}{\gamma}\right), \qquad a\geq0.

重尾与不存在的矩

当 ∣x∣|x| 很大时,密度的渐近形式为

f(x;x0,γ)∼γπx2.f(x;x_0,\gamma)\sim\frac{\gamma}{\pi x^2}.

等价地,其双侧尾概率满足

P(∣X−x0∣>t)∼2γπtas t→∞.P(|X-x_0|>t)\sim\frac{2\gamma}{\pi t} \qquad\text{as }t\to\infty.

这种幂律尾部远比正态分布的尾部厚重,因此极端观测值出现的频率要高得多。

为什么对称性并不意味着均值存在

对于标准柯西随机变量 ZZ,一阶矩积分的正、负两部分分别发散:

∫0∞zf(z) dz=∞,∫−∞0zf(z) dz=−∞.\int_0^\infty zf(z)\,dz=\infty, \qquad \int_{-\infty}^0 zf(z)\,dz=-\infty.

因此,它的期望值未定义,而不是零或无穷大。

不过,对称截断可得

lim⁡R→∞∫−RRzf(z) dz=0.\lim_{R\to\infty}\int_{-R}^{R}zf(z)\,dz=0.

这是柯西主值,而不是通常意义下的期望。按特定截断规则使正负部分抵消,并不意味着该随机变量可积。这一区别是说明积分中收敛条件重要性的经典例子。

方差也未定义,而相对于任何固定有限中心的二阶矩均发散。任何正整数阶矩都不存在有限的期望值。不过,小于一阶的分数阶绝对矩存在:

E∣X−x0∣p=γpcos⁡(πp/2),0<p<1.\mathbb{E}|X-x_0|^p =\frac{\gamma^p}{\cos(\pi p/2)}, \qquad 0<p<1.

当 p≥1p\geq1 时,绝对矩发散。

矩母函数在任何非零实数自变量处都不是有限值。相比之下,特征函数对所有实数自变量都存在。

特征函数与稳定性

特征函数(概率论)为

φX(t)=E[eitX]=exp⁡(ix0t−γ∣t∣).\varphi_X(t)=\mathbb{E}[e^{itX}] =\exp\left(ix_0t-\gamma|t|\right).

指数中的绝对值使特征函数在原点出现尖点,这与有限一阶绝对矩不存在的性质相符。

柯西分布是稳定性指数为 α=1\alpha=1 的稳定分布。若 X1,…,XnX_1,\ldots,X_n 相互独立,且

Xj∼Cauchy⁡(xj,γj),X_j\sim\operatorname{Cauchy}(x_j,\gamma_j),

则

∑j=1nXj∼Cauchy⁡(∑j=1nxj, ∑j=1nγj).\sum_{j=1}^{n}X_j \sim \operatorname{Cauchy}\left( \sum_{j=1}^{n}x_j,\, \sum_{j=1}^{n}\gamma_j \right).

更一般地,对于不全为零的实系数 aja_j,有

∑j=1najXj∼Cauchy⁡(∑j=1najxj, ∑j=1n∣aj∣γj).\sum_{j=1}^{n}a_jX_j \sim \operatorname{Cauchy}\left( \sum_{j=1}^{n}a_jx_j,\, \sum_{j=1}^{n}|a_j|\gamma_j \right).

因此,独立柯西随机变量的非退化线性组合仍服从柯西分布。等价地,两个柯西密度的卷积仍是柯西密度,其位置参数和尺度参数分别相加。

为什么取平均值不会使分布集中

若 X1,…,XnX_1,\ldots,X_n 是来自同一 Cauchy⁡(x0,γ)\operatorname{Cauchy}(x_0,\gamma) 分布的独立观测值,则对每个 nn,其样本均值都满足

X‾n=1n∑j=1nXj∼Cauchy⁡(x0,γ)\overline X_n=\frac{1}{n}\sum_{j=1}^{n}X_j \sim\operatorname{Cauchy}(x_0,\gamma)

样本量增大时,样本均值的分布不会变窄。对于每个 ε>0\varepsilon>0,都有

P(∣X‾n−x0∣>ε)=1−2πarctan⁡(εγ),P(|\overline X_n-x_0|>\varepsilon) = 1-\frac{2}{\pi}\arctan\left(\frac{\varepsilon}{\gamma}\right),

该概率并不趋于零。因此,样本均值不依概率收敛于位置参数。

这并不违背大数定律或通常的中心极限定理,因为相关的矩条件并未得到满足。相反,稳定性使柯西分布能够在其他归一化方案下成为极限分布。

构造方法与相关分布

正态随机变量之比

若 Z1Z_1 和 Z2Z_2 是独立的标准正态随机变量,则

Z1Z2∼Cauchy⁡(0,1).\frac{Z_1}{Z_2}\sim\operatorname{Cauchy}(0,1).

分母为零的概率为零,因此该比值几乎处处有定义。分母可能接近零,这就解释了为什么比值可能非常大。

这一构造也表明,标准柯西分布就是自由度为一的学生t分布。均值非零的正态随机变量之比一般并不服从柯西分布。

均匀分布角度的正切

若

Θ∼Uniform⁡(−π2,π2),\Theta\sim\operatorname{Uniform}\left(-\frac{\pi}{2},\frac{\pi}{2}\right),

则 tan⁡Θ\tan\Theta 服从标准柯西分布。从几何上看,一条经过固定点、方向均匀分布的直线,在适当选取的垂直直线上截得的坐标服从柯西分布。

分位数公式给出了一种直接的模拟方法。若 UU 服从 (0,1)(0,1) 上的均匀分布,则

X=x0+γtan⁡[π(U−12)]X=x_0+\gamma\tan\left[\pi\left(U-\frac12\right)\right]

服从所需的柯西分布。在数值实现中,必须排除端点值,因为正切函数在那里发散。

倒数变换

对于标准柯西随机变量 ZZ,有

1Z∼Cauchy⁡(0,1).\frac{1}{Z}\sim\operatorname{Cauchy}(0,1).

更一般地,若 X∼Cauchy⁡(x0,γ)X\sim\operatorname{Cauchy}(x_0,\gamma),则

1X∼Cauchy⁡(x0x02+γ2,γx02+γ2).\frac1X\sim \operatorname{Cauchy}\left( \frac{x_0}{x_0^2+\gamma^2}, \frac{\gamma}{x_0^2+\gamma^2} \right).

由于该分布在 X=0X=0 处的概率为零,倒数几乎处处有定义。

统计估计

均值不存在并不妨碍对位置和尺度进行估计,但这确实使基于样本矩的方法不再适用。

基于分位数的估计

样本中位数是 x0x_0 的相合估计量。在大样本下,其极限分布为

n (x^med−x0)→dN(0,π2γ24).\sqrt n\,(\widehat x_{\mathrm{med}}-x_0) \xrightarrow{d} N\left(0,\frac{\pi^2\gamma^2}{4}\right).

因此,尽管样本均值不会集中,样本中位数仍可集中在分布中心附近。

样本四分位距的一半可相合估计 γ\gamma。样本相对于样本中位数的绝对偏差的中位数,也可相合估计 γ\gamma,而且无需使用有时针对正态分布给该统计量附加的校准因子。

最大似然估计

对于独立观测值 x1,…,xnx_1,\ldots,x_n,对数似然函数为

ℓ(x0,γ)=nlog⁡γ−nlog⁡π−∑i=1nlog⁡[(xi−x0)2+γ2].\ell(x_0,\gamma) =n\log\gamma-n\log\pi -\sum_{i=1}^{n} \log\left[(x_i-x_0)^2+\gamma^2\right].

最大似然估计通常需要数值优化。似然函数关于位置参数并非全局凹函数,而且可能有多个驻点,因此数值算法必须区分局部解与全局解。

当尺度参数已知时,位置参数的得分方程为

∑i=1nxi−x0(xi−x0)2+γ2=0.\sum_{i=1}^{n} \frac{x_i-x_0}{(x_i-x_0)^2+\gamma^2}=0.

非常大的残差对这个方程的贡献反而小于中等大小的残差。这与最小二乘估计形成对比:在最小二乘估计中,残差的贡献随其大小而增大。

对于一个观测值,参数 (x0,γ)(x_0,\gamma) 的费希尔信息矩阵为

I(x0,γ)=12γ2(1001).I(x_0,\gamma) =\frac{1}{2\gamma^2} \begin{pmatrix} 1&0\\ 0&1 \end{pmatrix}.

因此,关于参数的有限信息可以与观测值的矩不存在这一性质同时成立。

应用与局限

光谱与共振轮廓

在光谱学中,柯西密度的形状通常称为洛伦兹线形。中心代表共振频率,2γ2\gamma 为半高全宽。物理谱线轮廓不一定要归一化为概率密度,但其随频率变化的关系可以具有相同的数学形式。

因果的指数阻尼振荡,其频域振幅的模平方呈洛伦兹线形。这通过傅里叶变换,将时间域中的指数衰减与洛伦兹共振轮廓联系起来。当独立的高斯展宽机制与洛伦兹展宽机制共同作用时,所得卷积为沃伊特线形,而不是纯粹的柯西线形。

重尾统计模型

当高斯尾部不足以描述偶尔出现的极大偏差时,可以用柯西误差为这类数据建模。同样的重尾性质也使均值、方差和均方误差计算不再适用,除非已另行证明所分析的量具有有限矩。

在贝叶斯推断中,柯西分布被用作某些位置参数或回归参数的正常化重尾先验分布。它的灵活性允许参数取较大的值,但先验尺度的选择仍会产生重要影响,而且必须检查后验矩是否存在,不能直接假定其存在。

在模拟和统计计算中,这一分布揭示了一个重要区别:生成更多观测值,并不会使所有汇总统计量都更加稳定。分位数估计可以随样本量增大而改善,而算术平均值却始终保持完全相同的柯西分布。