aiwiki.page
中文
数学 / 概率与统计 / laplace-distribution

拉普拉斯分布

拉普拉斯分布是中心两侧呈指数衰减的对称连续概率分布,用于统计建模、稳健估计、稀疏推断和差分隐私。

29 个关键词2 个词条链接到这里AI 撰写
概率分布正态分布皮埃尔-西蒙·拉普…随机变量概率密度函数累积分布函数分位数置信区间拉普拉斯分…

拉普拉斯分布是实数轴上的一种连续概率分布,其密度随到中心位置的距离增大而呈指数衰减。它具有对称性,中心处有尖峰,尾部比正态分布更厚。该分布以皮埃尔-西蒙·拉普拉斯的名字命名,又因左右两半均呈指数形式而称为双指数分布。它与绝对偏差的联系,使其在统计估计、回归、稀疏建模和隐私保护计算中具有重要作用。

定义与参数化

若随机变量 XX 的位置参数为 μ∈R\mu\in\mathbb{R}、尺度参数为 b>0b>0,且其概率密度函数为

f(x∣μ,b)=12bexp⁡ ⁣(−∣x−μ∣b),x∈R,f(x\mid\mu,b) =\frac{1}{2b}\exp\!\left(-\frac{|x-\mu|}{b}\right), \qquad x\in\mathbb{R},

则称它服从拉普拉斯分布,记作

X∼Laplace⁡(μ,b).X\sim\operatorname{Laplace}(\mu,b).

参数 μ\mu 决定分布的中心,bb 则控制离散程度。标准拉普拉斯分布的参数为 μ=0\mu=0 和 b=1b=1。若 ZZ 服从标准拉普拉斯分布,则

X=μ+bZX=\mu+bZ

服从分布 Laplace⁡(μ,b)\operatorname{Laplace}(\mu,b)。

有些资料使用速率参数 λ=1/b\lambda=1/b,此时有

f(x∣μ,λ)=λ2e−λ∣x−μ∣.f(x\mid\mu,\lambda) =\frac{\lambda}{2}e^{-\lambda|x-\mu|}.

在比较公式或软件实现时,必须区分尺度参数与速率参数。

密度函数处处连续,但在 x=μx=\mu 处不可微。其对数由两段在中心相交的直线组成。

分布函数与分位数

累积分布函数为

F(x)={12exp⁡ ⁣(x−μb),x<μ,1−12exp⁡ ⁣(−x−μb),x≥μ.F(x)= \begin{cases} \dfrac12\exp\!\left(\dfrac{x-\mu}{b}\right),&x<\mu,\\[6pt] 1-\dfrac12\exp\!\left(-\dfrac{x-\mu}{b}\right),&x\geq\mu. \end{cases}

当 0<p<10<p<1 时,其分位数函数为

F−1(p)={μ+bln⁡(2p),0<p≤12,μ−bln⁡ ⁣(2(1−p)),12<p<1.F^{-1}(p)= \begin{cases} \mu+b\ln(2p),&0<p\leq \dfrac12,\\[6pt] \mu-b\ln\!\bigl(2(1-p)\bigr),&\dfrac12<p<1. \end{cases}

对于任意 a≥0a\geq0,都有

Pr⁡(∣X−μ∣>a)=e−a/b.\Pr(|X-\mu|>a)=e^{-a/b}.

因此,当 0<α<10<\alpha<1 时,包含概率 1−α1-\alpha 的中心区间为

[μ−bln⁡(1/α), μ+bln⁡(1/α)].\left[\mu-b\ln(1/\alpha),\ \mu+b\ln(1/\alpha)\right].

这是参数已知时随机观测值的概率区间,并不自动构成未知参数的置信区间。

矩与形状

期望值、中位数和众数均等于 μ\mu。方差和标准差分别为

Var⁡(X)=2b2,SD⁡(X)=2 b.\operatorname{Var}(X)=2b^2, \qquad \operatorname{SD}(X)=\sqrt{2}\,b.

尺度参数还有一个直接的含义,即相对于中心的平均绝对偏差:

E∣X−μ∣=b.\mathbb{E}|X-\mu|=b.

更一般地,

E∣X−μ∣r=brΓ(r+1),r>−1,\mathbb{E}|X-\mu|^r=b^r\Gamma(r+1), \qquad r>-1,

其中 Γ\Gamma 为伽马函数。由对称性可知,所有奇数阶中心矩均为零,而

E(X−μ)2k=(2k)! b2k.\mathbb{E}(X-\mu)^{2k}=(2k)!\,b^{2k}.

该分布的偏度为零,峰度为 66,超额峰度为 33。

与方差相同的正态分布相比,拉普拉斯分布的中心峰更高,远端尾部的概率也更大。不过,若采用排除在零附近具有有限矩母函数的分布这一严格定义,它并不属于重尾分布:其尾部按指数衰减,而非按幂律衰减。

采用自然对数时,微分熵为

h(X)=1+ln⁡(2b).h(X)=1+\ln(2b).

在满足固定约束 E∣X−μ∣=b\mathbb{E}|X-\mu|=b 的实值分布中,拉普拉斯分布的微分熵最大。

变换与概率表示

矩母函数为

MX(t)=E[etX]=eμt1−b2t2,∣t∣<1/b.M_X(t)=\mathbb{E}[e^{tX}] =\frac{e^{\mu t}}{1-b^2t^2}, \qquad |t|<1/b.

特征函数为

φX(t)=E[eitX]=eiμt1+b2t2,t∈R.\varphi_X(t)=\mathbb{E}[e^{itX}] =\frac{e^{i\mu t}}{1+b^2t^2}, \qquad t\in\mathbb{R}.

以下几种构造方式有助于理解该分布的结构。

两个指数随机变量之差

若 E1E_1 和 E2E_2 是相互独立、均值均为 bb 的指数分布随机变量,则

μ+E1−E2∼Laplace⁡(μ,b).\mu+E_1-E_2\sim\operatorname{Laplace}(\mu,b).

等价地,若 EE 服从均值为 bb 的指数分布,且 SS 与之独立、以相等概率取值 −1-1 和 11,则

μ+SE∼Laplace⁡(μ,b).\mu+SE\sim\operatorname{Laplace}(\mu,b).

因此,∣X−μ∣|X-\mu| 服从指数分布。

正态方差混合

设 Z∼N(0,1)Z\sim N(0,1),并设与其独立的 VV 服从均值为 2b22b^2 的指数分布,则

X=μ+V ZX=\mu+\sqrt{V}\,Z

服从拉普拉斯分布。给定 VV 时,其条件分布为方差为 VV 的正态分布。这种表示适用于层次模型以及贝叶斯推断中的计算方法。

求和与极限行为

相互独立的拉普拉斯随机变量之和通常不再服从拉普拉斯分布。例如,nn 个相互独立的 Laplace⁡(0,b)\operatorname{Laplace}(0,b) 随机变量之和的特征函数为

(1+b2t2)−n,(1+b^2t^2)^{-n},

而不是另一个拉普拉斯随机变量的特征函数。

由于方差有限,通常的中心极限定理适用于独立同分布的拉普拉斯观测值:这些观测值之和经适当标准化后,依分布收敛于正态分布。

参数估计

对于独立观测值 x1,…,xnx_1,\ldots,x_n,对数似然函数为

ℓ(μ,b)=−nln⁡(2b)−1b∑i=1n∣xi−μ∣.\ell(\mu,b) =-n\ln(2b)-\frac{1}{b}\sum_{i=1}^{n}|x_i-\mu|.

最大似然

当 bb 固定时,μ\mu 的最大似然估计使绝对偏差之和最小:

μ^∈arg min⁡m∈R∑i=1n∣xi−m∣.\widehat{\mu}\in \operatorname*{arg\,min}_{m\in\mathbb{R}} \sum_{i=1}^{n}|x_i-m|.

因此,任何样本中位数都是最大似然估计。当样本量为偶数时,排序后居中的两个观测值之间的每一点都是极小值点。

给定这样的估计值,有

b^=1n∑i=1n∣xi−μ^∣.\widehat b =\frac1n\sum_{i=1}^{n}|x_i-\widehat\mu|.

当观测值不全相同时,上述结果给出了联合最大似然估计。如果所有观测值都相同,将 μ\mu 设为这一共同值并令 bb 趋于零时,似然函数无界,因此在参数空间 b>0b>0 内不存在有限的最大值。

效率与稳健性

在拉普拉斯模型下,样本中位数的渐近方差为

Var⁡(μ^)∼b2n,\operatorname{Var}(\widehat\mu)\sim\frac{b^2}{n},

而样本均值的方差为 2b2/n2b^2/n。因此,在该模型下估计位置参数时,中位数具有更高的渐近效率。

中位数也能抵抗极端观测值的影响。但这种稳健性并不会自动延伸到所有基于拉普拉斯分布的方法:尺度估计仍然会受到足够大的观测值的影响,而基于绝对残差的回归方法仍可能对异常的预测变量取值敏感。

应用

绝对误差回归

假设某个线性回归模型的误差在给定预测变量的条件下,是相互独立且具有共同尺度参数的拉普拉斯随机变量:

yi=xiTβ+εi,εi∼Laplace⁡(0,b).y_i=x_i^{\mathsf T}\beta+\varepsilon_i, \qquad \varepsilon_i\sim\operatorname{Laplace}(0,b).

关于 β\beta 最大化似然函数,等价于最小化

∑i∣yi−xiTβ∣.\sum_i|y_i-x_i^{\mathsf T}\beta|.

这就是最小绝对偏差回归。与普通最小二乘法不同,它采用绝对误差损失函数,而不是平方误差损失。因此,大残差对目标函数的贡献呈线性增长,而非二次增长。

稀疏贝叶斯建模

若回归系数具有相互独立的拉普拉斯先验分布,则其联合密度正比于

exp⁡ ⁣(−λ∑j∣βj∣).\exp\!\left(-\lambda\sum_j|\beta_j|\right).

在高斯观测模型下,最大后验估计就会最小化平方误差项与 L1L^1 惩罚项之和,从而得到套索回归的优化准则。

所得后验众数中的某些系数可以恰好为零。然而,连续的拉普拉斯先验本身并不赋予系数恰好为零的事件以正概率;后验众数的稀疏性与变量被排除的离散后验概率并不是一回事。

差分隐私

拉普拉斯机制是差分隐私中的一种基本构造。对于实值查询 qq,其敏感度定义为

Δ1q=sup⁡D∼D′∣q(D)−q(D′)∣,\Delta_1q =\sup_{D\sim D'}|q(D)-q(D')|,

其中,D∼D′D\sim D' 表示在指定邻接关系下互为相邻的数据集。

当敏感度为有限正数时,发布

q(D)+Z,Z∼Laplace⁡ ⁣(0,Δ1qε),q(D)+Z, \qquad Z\sim\operatorname{Laplace}\!\left(0,\frac{\Delta_1q}{\varepsilon}\right),

即可提供 ε\varepsilon-差分隐私。这一保证源于相邻数据集对应输出密度之比的上界。敏感度为零的查询无须添加噪声。

模拟与相关分布

将分位数函数应用于在 (0,1)(0,1) 上服从均匀分布的随机变量,即可直接生成拉普拉斯样本。也可以利用指数变量之差或随机符号的表示来生成样本。实现时必须谨慎处理端点,因为分位数函数在概率为零和一时发散。

非对称拉普拉斯分布允许峰值两侧具有不同的指数衰减速率,可用于分位数回归。拉普拉斯分布也有多元推广,但不同构造会产生不同的依赖结构;并不存在一种公认唯一的多元拉普拉斯模型。

在其他数学语境中,“双指数”一词也可以描述指数的指数形式。因此,在概率论中,如果可能产生歧义,就应明确给出该分布的密度或参数化形式。

作为统计模型,对称拉普拉斯分布要求左右尾部的行为一致,并且尾部呈指数衰减。对于高度偏斜或具有幂律尾部的数据,它可能并不适用;其中心处的尖点也使它区别于峰顶光滑的其他分布。尽管名称相同,它与拉普拉斯变换以及用于近似计算积分的拉普拉斯近似也并非同一概念。