柯西分布是一种连续概率分布,其特点是中央有一个峰,且尾部异常厚重。位置参数确定其中心,尺度参数确定其宽度。尽管分布对称,它的均值和方差都未定义。它是一个重要例子,说明为什么常见的统计方法,尤其是取平均值,需要对底层分布作出假设。该分布以奥古斯丁-路易·柯西的名字命名,在物理学中也称为洛伦兹分布,其形状可描述许多共振曲线和光谱轮廓。
定义与参数
若随机变量 X 的概率密度函数为
f(x;x0,γ)=πγ[1+(γx−x0)2]1=π[(x−x0)2+γ2]γ,−∞<x<∞.
则称它服从位置参数为 x0∈R、尺度参数为 γ>0 的柯西分布,记作
X∼Cauchy(x0,γ),
该密度关于 x0 对称,x0 既是唯一的众数,也是中位数。密度的最大值为 1/(πγ)。在 x=x0±γ 处,密度为最大值的一半,因此半高全宽为 2γ。
标准柯西分布的参数为 x0=0 和 γ=1:
f(x)=π(1+x2)1.
若 Z 服从标准柯西分布,则 x0+γZ 服从 Cauchy(x0,γ) 分布。
尺度参数 γ 并不是标准差:该分布的标准差不存在。
分布函数与分位数
累积分布函数为
F(x)=21+π1arctan(γx−x0).
它的反函数,即分位数函数,为
Q(p)=x0+γtan[π(p−21)],0<p<1.
因此,第一和第三四分位数分别为 x0−γ 和 x0+γ,四分位距为 2γ。距离中心不超过一个尺度参数的区间内,恰好包含一半的概率:
P(∣X−x0∣≤γ)=21.
更一般地,
P(∣X−x0∣≤a)=π2arctan(γa),a≥0.
重尾与不存在的矩
当 ∣x∣ 很大时,密度的渐近形式为
f(x;x0,γ)∼πx2γ.
等价地,其双侧尾概率满足
P(∣X−x0∣>t)∼πt2γas t→∞.
这种幂律尾部远比正态分布的尾部厚重,因此极端观测值出现的频率要高得多。
为什么对称性并不意味着均值存在
对于标准柯西随机变量 Z,一阶矩积分的正、负两部分分别发散:
∫0∞zf(z)dz=∞,∫−∞0zf(z)dz=−∞.
因此,它的期望值未定义,而不是零或无穷大。
不过,对称截断可得
R→∞lim∫−RRzf(z)dz=0.
这是柯西主值,而不是通常意义下的期望。按特定截断规则使正负部分抵消,并不意味着该随机变量可积。这一区别是说明积分中收敛条件重要性的经典例子。
方差也未定义,而相对于任何固定有限中心的二阶矩均发散。任何正整数阶矩都不存在有限的期望值。不过,小于一阶的分数阶绝对矩存在:
E∣X−x0∣p=cos(πp/2)γp,0<p<1.
当 p≥1 时,绝对矩发散。
矩母函数在任何非零实数自变量处都不是有限值。相比之下,特征函数对所有实数自变量都存在。
特征函数与稳定性
特征函数(概率论)为
φX(t)=E[eitX]=exp(ix0t−γ∣t∣).
指数中的绝对值使特征函数在原点出现尖点,这与有限一阶绝对矩不存在的性质相符。
柯西分布是稳定性指数为 α=1 的稳定分布。若 X1,…,Xn 相互独立,且
Xj∼Cauchy(xj,γj),
则
j=1∑nXj∼Cauchy(j=1∑nxj,j=1∑nγj).
更一般地,对于不全为零的实系数 aj,有
j=1∑najXj∼Cauchy(j=1∑najxj,j=1∑n∣aj∣γj).
因此,独立柯西随机变量的非退化线性组合仍服从柯西分布。等价地,两个柯西密度的卷积仍是柯西密度,其位置参数和尺度参数分别相加。
为什么取平均值不会使分布集中
若 X1,…,Xn 是来自同一 Cauchy(x0,γ) 分布的独立观测值,则对每个 n,其样本均值都满足
Xn=n1j=1∑nXj∼Cauchy(x0,γ)
样本量增大时,样本均值的分布不会变窄。对于每个 ε>0,都有
P(∣Xn−x0∣>ε)=1−π2arctan(γε),
该概率并不趋于零。因此,样本均值不依概率收敛于位置参数。
这并不违背大数定律或通常的中心极限定理,因为相关的矩条件并未得到满足。相反,稳定性使柯西分布能够在其他归一化方案下成为极限分布。
构造方法与相关分布
正态随机变量之比
若 Z1 和 Z2 是独立的标准正态随机变量,则
Z2Z1∼Cauchy(0,1).
分母为零的概率为零,因此该比值几乎处处有定义。分母可能接近零,这就解释了为什么比值可能非常大。
这一构造也表明,标准柯西分布就是自由度为一的学生t分布。均值非零的正态随机变量之比一般并不服从柯西分布。
均匀分布角度的正切
若
Θ∼Uniform(−2π,2π),
则 tanΘ 服从标准柯西分布。从几何上看,一条经过固定点、方向均匀分布的直线,在适当选取的垂直直线上截得的坐标服从柯西分布。
分位数公式给出了一种直接的模拟方法。若 U 服从 (0,1) 上的均匀分布,则
X=x0+γtan[π(U−21)]
服从所需的柯西分布。在数值实现中,必须排除端点值,因为正切函数在那里发散。
倒数变换
对于标准柯西随机变量 Z,有
Z1∼Cauchy(0,1).
更一般地,若 X∼Cauchy(x0,γ),则
X1∼Cauchy(x02+γ2x0,x02+γ2γ).
由于该分布在 X=0 处的概率为零,倒数几乎处处有定义。
统计估计
均值不存在并不妨碍对位置和尺度进行估计,但这确实使基于样本矩的方法不再适用。
基于分位数的估计
样本中位数是 x0 的相合估计量。在大样本下,其极限分布为
n(xmed−x0)dN(0,4π2γ2).
因此,尽管样本均值不会集中,样本中位数仍可集中在分布中心附近。
样本四分位距的一半可相合估计 γ。样本相对于样本中位数的绝对偏差的中位数,也可相合估计 γ,而且无需使用有时针对正态分布给该统计量附加的校准因子。
最大似然估计
对于独立观测值 x1,…,xn,对数似然函数为
ℓ(x0,γ)=nlogγ−nlogπ−i=1∑nlog[(xi−x0)2+γ2].
最大似然估计通常需要数值优化。似然函数关于位置参数并非全局凹函数,而且可能有多个驻点,因此数值算法必须区分局部解与全局解。
当尺度参数已知时,位置参数的得分方程为
i=1∑n(xi−x0)2+γ2xi−x0=0.
非常大的残差对这个方程的贡献反而小于中等大小的残差。这与最小二乘估计形成对比:在最小二乘估计中,残差的贡献随其大小而增大。
对于一个观测值,参数 (x0,γ) 的费希尔信息矩阵为
I(x0,γ)=2γ21(1001).
因此,关于参数的有限信息可以与观测值的矩不存在这一性质同时成立。
应用与局限
光谱与共振轮廓
在光谱学中,柯西密度的形状通常称为洛伦兹线形。中心代表共振频率,2γ 为半高全宽。物理谱线轮廓不一定要归一化为概率密度,但其随频率变化的关系可以具有相同的数学形式。
因果的指数阻尼振荡,其频域振幅的模平方呈洛伦兹线形。这通过傅里叶变换,将时间域中的指数衰减与洛伦兹共振轮廓联系起来。当独立的高斯展宽机制与洛伦兹展宽机制共同作用时,所得卷积为沃伊特线形,而不是纯粹的柯西线形。
重尾统计模型
当高斯尾部不足以描述偶尔出现的极大偏差时,可以用柯西误差为这类数据建模。同样的重尾性质也使均值、方差和均方误差计算不再适用,除非已另行证明所分析的量具有有限矩。
在贝叶斯推断中,柯西分布被用作某些位置参数或回归参数的正常化重尾先验分布。它的灵活性允许参数取较大的值,但先验尺度的选择仍会产生重要影响,而且必须检查后验矩是否存在,不能直接假定其存在。
在模拟和统计计算中,这一分布揭示了一个重要区别:生成更多观测值,并不会使所有汇总统计量都更加稳定。分位数估计可以随样本量增大而改善,而算术平均值却始终保持完全相同的柯西分布。