对数正态分布是一种连续的概率分布,用于描述其自然对数服从正态分布的正值随机变量。等价地,对服从正态分布的变量取指数,就会得到服从对数正态分布的变量。它的取值严格为正,概率密度通常不对称:观测值大多集中在较小的数值范围内,右侧则拖着一条长尾。
当某个量的变化源于许多随机因子的相乘,而非随机增量的相加时,对数正态模型便会自然出现。这类模型用于描述颗粒大小、材料性质、环境中的物质浓度、收入和金融资产价格等,但是否适用,取决于数据的生成过程及观测值的范围。它在数学上的吸引力来自两种特性的巧妙结合:涉及对数的计算可以化为正态分布的计算,而原始尺度上的分布又能容纳显著的偏斜,以及跨越多个数量级的变化。
这一分布还体现了概率论和统计建模中的几个重要区别。它的算术平均数不同于中位数和几何平均数;它的所有正阶矩都存在,但矩母函数在自变量为正时为无穷大;而且,它的各阶矩并不能唯一确定其分布。联合服从对数正态分布的变量,其乘积和比值仍服从对数正态分布,但其和一般并非如此。
定义、密度与参数化
若变量 X 满足
Y=lnX∼N(μ,σ2).
则称其服从参数为 μ∈R 和 σ>0 的对数正态分布。常用记号为 X∼Lognormal(μ,σ2),但有些作者将第二个参数写作 σ,而非 σ2。明确说明 μ 和 σ 分别是 lnX 的均值和标准差,便可避免这种歧义。一般而言,它们并不是 X 的均值和标准差。
其概率密度函数为
fX(x)=xσ2π1exp[−2σ2(lnx−μ)2],x>0,
而在 x≤0 时为零。因子 1/x 来自对数变换的导数。这一因子不可或缺:仅仅以对数横轴绘制一条正态形状的曲线,并不能得到原变量每单位取值区间上的概率密度。采用对数尺度上等宽分箱的直方图,与采用原始尺度上等宽分箱的直方图,所表示的密度尺度并不相同。
以 Φ 表示标准正态分布的累积分布函数,则对数正态分布的累积分布函数为
FX(x)=Φ(σlnx−μ),x>0.
因此,其分位数函数为
Q(p)=exp(μ+σΦ−1(p)),0<p<1.
尽管密度函数本身并不对称,这些表达式仍使概率计算十分简便。例如,包含总体中间 95% 的取值的区间近似为
[eμ−1.96σ,eμ+1.96σ].
两个端点与 eμ 的距离在乘法意义上相等,而非在加法意义上相等。
另一种参数化方式以 m=eμ 为尺度参数,以 σ 为形状参数。将 m 乘以某个因子,会改变单位或整体尺度,但不会改变相对离散程度。总体的几何平均数为 eE[lnX]=eμ,几何标准差为 eσ。因此,从 eμ/eσ 到 eμeσ 的区间包含总体约 68.27% 的取值。
三参数形式引入了位置阈值 θ:
X=θ+exp(Y).
其支撑集为 x>θ,服从正态分布的是 ln(X−θ),而非 lnX。这种平移模型与通常的双参数分布存在实质性差异,在接近下端点处的估计中尤其如此。改变对数的底数只会按比例调整对数尺度上的参数,并不会产生不同的分布族。
严格来说,对数应作用于无量纲的比值。对于有量纲的量,定义可以写成 ln(X/x0)∼N(μ,σ2),其中 x0 是固定的参考单位。此时,改变计量单位会使 μ 发生平移,但 σ 保持不变。
矩、形状与尾部行为
对数正态随机变量的矩可直接由正态随机变量的指数矩得出。对于任意实数 r,
E[Xr]=exp(rμ+2r2σ2).
因此,正幂矩和负幂矩均为有限值。特别地,期望值和方差为
E[X]=eμ+σ2/2,Var(X)=(eσ2−1)e2μ+σ2.
中位数为 eμ,众数为 eμ−σ2。对于任何非退化的对数正态分布,众数、中位数和均值都依次递增。
变异系数定义为标准差与均值之比,其值为
eσ2−1.
它仅取决于 σ,这说明了为何该参数决定相对离散程度。偏度和超额峰度分别为
(eσ2+2)eσ2−1
和
e4σ2+2e3σ2+3e2σ2−6.
两者都随 σ 的增大而迅速增大。例如,当 μ=0 且 σ=1 时,中位数为 1,均值约为 1.649,众数约为 0.368。因此,用单一的“典型值”描述这样的总体时,必须指明采用的是哪一种度量。
其右尾比指数尾更重,但比任何固定的反幂尾都更轻。更准确地说,若 F(x)=Pr(X>x),由正态分布尾部的渐近性质可得,当 x→∞ 时,
F(x)∼(lnx−μ)2πσexp[−2σ2(lnx−μ)2]
由此可知,对于任意 a>0,都有 xaF(x)→0;而对于任意 c>0,都有 ecxF(x)→∞。因此,按照不存在有限的正指数矩这一定义,对数正态分布属于重尾分布,但它并不是幂律分布。
尽管所有幂矩都存在,只要 t>0,E[etX] 就是无穷大。因此,由这些矩构造的形式级数无法给出零点邻域内的矩母函数。拉普拉斯变换 E[e−sX] 在 s≥0 时存在,但通常无法用初等函数表示。
更不寻常的是,对数正态分布不能由其矩唯一确定。为说明其中的机制,令 f 表示其概率密度,并定义
fε(x)=f(x)[1+εsin(σ22π(lnx−μ))],∣ε∣≤1.
这些函数都是非负的概率密度,而且对于任意非负整数 k,将它们乘以 xk 后积分,得到的结果都相同。对底层的正态密度进行指数倾斜后,振荡项的积分贡献为零。因此,不同的分布可以与某个对数正态随机变量具有完全相同的各阶普通矩。仅仅知道所有整数阶矩,并不足以确定一个分布是对数正态分布。
乘性起源与历史发展
对数正态现象背后的核心机制是乘法。设
Xn=X0j=1∏nAj,Aj>0.
取对数可得
lnXn=lnX0+j=1∑nlnAj.
如果各因子的对数相互独立,或满足适当的弱相依条件,并且满足相关的有限方差假设,那么根据中心极限定理,它们的标准化和可以近似服从正态分布。因此,在这一正态近似足够准确的范围内,乘积近似服从对数正态分布。
人们熟悉用加性机制解释正态变异,而上述机制正是其乘性对应。以绝对量相加的误差通常适合用正态模型描述;按比例起作用的误差则通常适合用对数正态模型描述。一连串百分比形式的增减,会以乘法方式改变某个量的大小。同样,多个正值物理因子的乘积所呈现的变异,在取对数后就变成了加性的。不过,这种近似并非必然成立:强相依性、某个因子占据主导地位,或因子对数的分布尾部足够不规则,都可能阻碍其收敛到正态分布。
这一机制的连续时间版本是几何布朗运动。若
dXt=aXtdt+bXtdWt,X0>0,
其中 Wt 为维纳过程,则其解为
Xt=X0exp[(a−2b2)t+bWt].
对于每个固定的 t>0,Xt 都服从对数正态分布,其对数尺度上的方差为 b2t。修正项 −b2/2 源于随机微积分;忽略这一项,就会混淆原变量的漂移与其对数的漂移。这个随机过程并不平稳:它的边缘分布参数随时间变化,而且不同时刻的取值相互依赖。
相关研究的历史早于这种现代随机过程表述。1879 年,弗朗西斯·高尔顿讨论了几何平均数和乘性变异,唐纳德·麦卡利斯特则对一种以正态分布的对数为基础的分布进行了数学研究。他们的工作帮助建立了一个以比值而非差值衡量变异的框架。1931 年,罗伯特·吉布拉在经济分析中发展了比例增长思想,将经济单位的规模与不依赖其当前规模的随机增长率联系起来。
约翰·艾奇森与 J. A. C. 布朗于 1957 年出版的专著《对数正态分布》,系统整理了这一分布的数学性质和应用。后续研究将其应用拓展到可靠性、环境测量、通信和金融等领域。这些进展也进一步表明,一个看似合理的乘性机制,并不能唯一确定某种分布。
具体而言,在适当假设下,固定时间跨度内的比例增长可以产生服从对数正态分布的横截面数据,但进入、退出、规模约束以及存续时间的差异,都可能大幅改变最终总体的分布。单纯的几何布朗运动本身并不会产生平稳的规模分布。引入停时或其他经济机制的模型,则可能产生幂律尾部。因此,乘法与对数正态性之间的联系是一种具有明确适用条件的机制,而非普遍的增长定律。
变换、相依性与多元分布
对数正态分布族在若干乘法变换下具有封闭性。如果 X∼Lognormal(μ,σ2),那么对于 c>0 和非零实数 a,有
cXa∼Lognormal(lnc+aμ,a2σ2).
特别地,倒数 1/X 的参数为 −μ 和 σ2。这些性质通过取对数即可直接得到。它们解释了为什么改变物理单位、对速率取倒数或对正值量取幂,往往仍能保持对数正态结构。
讨论乘积和比值时,需要明确变量之间的联合相依结构。如果 X1,…,Xd 的对数联合服从正态分布,那么只要相应的对数线性组合具有正方差,
i=1∏dXiai
就服从对数正态分布。仅有各自的边缘分布为对数正态分布还不够:它们的对数必须具有适当的联合正态结构。对数正态变量的统计独立性是一个充分条件,但并非必要条件。
多元对数正态分布通过多元正态分布定义为
Y=(lnX1,…,lnXd)T∼Nd(μ,Σ),
如果 Σ 正定,则正卦限内的联合密度为
fX(x)=(2π)d/2∣Σ∣1/2∏ixiexp[−21(lnx−μ)TΣ−1(lnx−μ)].
各坐标倒数的乘积就是对数变换的雅可比行列式的绝对值。
原始尺度上的相依性不同于对数尺度上的相依性。如果 mi=eμi+Σii/2,则协方差为
Cov(Xi,Xj)=mimj(eΣij−1),
而相关系数为
Corr(Xi,Xj)=(eΣii−1)(eΣjj−1)eΣij−1.
因此,一般不能将期望的原始尺度相关系数直接填入正态分布的协方差矩阵。即使原始尺度上的相关矩阵本身有效,也可能与指定的对数正态边缘分布参数不相容。
这一限制在负相依情形下尤为明显。当对数尺度上的标准差均为 σ 时,联合对数正态结构下可能达到的最小相关系数为 −e−σ2,在两个对数变量的相关系数为 −1 时取得。因此,边缘分布的离散程度越大,原始变量所能达到的负相关程度就越受限制。
条件分布也易于处理。给定一个变量子集的固定取值后,另一个变量子集的对数具有正态条件分布,因此,原始尺度上相应的条件分布为对数正态分布。这为相依正值量的预测和模拟提供了便利。模拟时,可以使用Cholesky分解等矩阵分解方法生成相关的正态对数变量,再对其取指数。相比之下,和与差一般并不服从对数正态分布;差甚至可能取负值。
参数估计与统计推断
对于相互独立的正值观测 x1,…,xn,二参数模型的估计可归结为对 yi=lnxi 进行正态分布下的统计推断。对数似然函数为
ℓ(μ,σ2)=−2nln(2π)−2nlnσ2−i=1∑nlnxi−2σ21i=1∑n(yi−μ)2.
雅可比项 −∑ilnxi 不涉及参数,因此不会改变使似然函数最大化的参数取值。最大似然估计量为
μ=y,σML2=n1i=1∑n(yi−y)2.
对数尺度方差的常用无偏估计则以 n−1 为分母:
sy2=n−11i=1∑n(yi−y)2.
这一区别在小样本中尤为重要。此外,μ 或 σ2 的估计量没有偏差,并不意味着经过非线性变换后仍然无偏。总体均值的最大似然估计量为
mML=exp(μ+2σML2),
但它一般并非无偏估计量。原始观测值的普通样本均值是总体均值的无偏估计量,不过在右尾较为显著时,其变异性可能很大。
对于对数尺度上的参数,可以利用正态分布理论进行精确推断。当观测相互独立且 n≥2 时,
sy/ny−μ
服从自由度为 n−1 的学生t分布。对 μ 的置信区间的两个端点分别取指数,即可得到总体中位数 eμ 的区间,但这并不是算术均值的区间。类似地,
σ2(n−1)sy2
服从卡方分布,由此可以构造对数尺度方差的精确区间。
单个未来观测值的预测区间采用不同的不确定性因子:
exp[y±tn−1,1−α/2sy1+n1].
根号内额外的 1 用于计入未来观测值本身的变异。算术均值的区间以非线性方式涉及对数尺度上的两个参数,通常使用似然方法、渐近近似或自助采样方法来构造。
矩估计提供了另一条途径。给定原始尺度上的均值 m>0 和方差 v≥0,与之匹配的参数满足
σ2=ln(1+m2v),μ=lnm−2σ2.
用相应的样本统计量替代 m 和 v,即可得到矩估计,但较大的观测值可能对这些估计起主导作用。
存在删失和截断时,需要修改似然函数。对于仅知低于某一检测限的观测,其对似然函数的贡献应为累积概率,而不是在任意替代值处的概率密度。在三参数模型中估计未知的位置偏移参数会带来额外的复杂性,因为分布的支撑集依赖于该参数。上述简单的正态变换公式只能直接用于无偏移且无删失的情形。
对数正态回归及其在不同尺度下的解释
标准的对数正态回归模型写作
lnYi=xiTβ+εi,εi∼N(0,σ2),
其中,在给定预测变量的条件下,各观测值的误差相互独立。在这些假设下,对取对数后的响应值用普通最小二乘法拟合线性回归,也会得到回归系数的最大似然估计。该模型规定了正值响应变量的整个条件分布,而不只是为了方便绘图而进行的一种变换。
条件中位数与条件均值并不相同:
Median(Yi∣xi)=exp(xiTβ),
E[Yi∣xi]=exp(xiTβ+σ2/2).
因此,对拟合得到的对数响应值取指数,估计的是模型下的条件中位数,而不是条件算术均值。这一区别源于詹森不等式:指数函数是凸函数,因此,期望的指数通常小于指数的期望。
对于以线性形式进入模型且不涉及交互项的预测变量,在其他预测变量保持不变时,该变量每增加一个单位,条件中位数就变为原来的 eβj 倍。当 σ2 为常数时,条件均值也以相同倍数变化。精确的百分比变化为 100(eβj−1)%;常用的 100βj% 解释是一种近似,仅在系数较小时适用。如果响应变量和某个预测变量都取了对数,那么该预测变量的系数就是弹性:在所设定的模型中,它描述了预测变量的相对变化所对应的响应变量的相对变化。
对数尺度上的方差为常数,意味着原始尺度上的方差具有特定形式:
Var(Yi∣xi)=(eσ2−1)E[Yi∣xi]2.
因此,原始尺度上的标准差随条件均值成比例增长。如果对数尺度上的方差依赖于预测变量,例如为 σ2(x),那么均值校正也必须依赖于这些变量。此时,单一的全局反变换因子便无法准确反映该模型。
仅仅对取对数后的响应值拟合回归,并不要求误差具有正态性;但要作出严格的对数正态解释,就必须满足这一要求。对于更一般的模型
lnY=η(x)+ε,
其均值为
E[Y∣x]=eη(x)E[eε∣x].
当残差分布在不同预测变量取值下足够稳定时,可以用基于残差的涂抹因子来估计第二项,而不必假设误差服从正态分布。如果这一分布随预测变量而变化,估计就会变得更加复杂。
还必须区分对数正态回归与使用对数连接函数的广义线性模型。采用对数连接函数的伽马回归直接对 lnE[Y∣x] 建模;而对 lnY 进行普通回归,是对变换后的响应变量建模。虽然两者都可以描述正值、右偏的数据,但其似然函数和解释并不相同。
纯粹的对数正态响应变量不可能取零值。在取对数之前加上任意常数,会改变统计模型及其系数的含义。对于既包含真实零值、又包含正值连续结果的总体,可以分别用不同的组成部分来刻画非零结果是否出现及其正值大小。若无进一步假设,这些模型中任何一个所估计出的关联,都不能确立因果效应。
求和、近似与数值计算
与乘积不同,对数正态变量之和通常不再服从对数正态分布。若
S=i=1∑dXi,
则在各变量相互独立时,其密度可通过卷积表示,但无法由此得到通用的初等公式。这一问题出现在总损失、污染物总暴露量、累计成本以及多个无线电发射器的干扰等情境中。区分这一点很重要,因为总量的分布在中央区域可能看起来像对数正态分布,尾部概率却可能有明显差异。
一种广泛使用的近似方法与 Fenton 于 1960 年的工作有关,通常称为 Fenton–Wilkinson 近似;它通过匹配 S 的前两阶矩来构造近似的对数正态分布。若
M=E[S],V=Var(S),
则近似分布的参数为
σS2=ln(1+M2V),μS=lnM−2σS2.
当各分量存在相依关系时,
V=i∑Var(Xi)+2i<j∑Cov(Xi,Xj).
因此,忽略正相依关系可能会严重低估总量的变异程度。矩匹配提供了一种方便的近似方法,但它并不是证明和服从对数正态分布的定理,也不能保证极端分位数的准确性。
两种不同的极限情形有助于理解和的行为。由于对数正态变量具有有限方差,独立同分布的对数正态变量之和在项数趋于无穷时满足通常的中心极限定理。经过中心化和尺度调整后,其分布趋近于正态分布。然而,当 σ 较大时,有限样本下的收敛可能很慢,因为罕见的大观测值对均值和方差的贡献占了很大比例。
对于固定数量 d 个独立同分布的对数正态变量,极右尾部则呈现出不同的行为:
Pr(X1+⋯+Xd>x)∼dPr(X1>x)(x→∞).
这是次指数性质的一个例子:异常大的和在渐近意义下由其中一个异常大的加数主导。这与中心极限定理并不矛盾,因为前者讨论的是项数固定、阈值越来越极端时的和,而后者讨论的是项数不断增加时,中心化后的分布主体附近的行为。
利用下式即可直接进行模拟:
X=exp(μ+σZ),Z∼N(0,1).
蒙特卡洛方法可用于估计总量的概率或非线性函数的期望,不过对于极罕见事件,普通抽样的效率会很低。数值积分和专门的尾部近似方法可作为替代方案。
当参数或阈值取极端值时,需要特别注意数值稳定性。直接计算指数可能导致浮点运算溢出,而当 Φ(z) 接近 1 时,用 1−Φ(z) 计算生存概率可能会损失精度。计算对数生存概率可以避免这一减法。同样,指数项之和可以利用下式在对数尺度上计算:
lni∑eai=amax+lni∑eai−amax,
这样既能避免不必要的溢出,又能保留总量的对数值。
应用、模型评估与适用范围
在气溶胶科学和颗粒技术中,对数正态分布可用于描述特定粒径范围内的许多颗粒群体。颗粒直径往往跨越多个数量级,因此,几何平均直径和几何标准差是有用的概括指标。采用何种加权方式至关重要:按颗粒数量统计的分布,与按表面积或质量加权的分布并不相同。如果直径 D 服从对数正态分布,且权重与 Dk 成正比,那么加权后的对数直径仍服从正态分布,其均值由 μ 移至 μ+kσ2,方差则保持不变。对于密度恒定的球形颗粒,按质量加权对应于 k=3。
污染物浓度等环境测量值可能呈现明显的右偏分布,因为它们综合反映了污染源、稀释、输运和采样条件等方面的变异。在相对均一的环境中,对数正态模型可以用来描述正值浓度。然而,污染源混合、季节变化、低于检出限的测量值以及空间相关性,都可能使数据分布无法由单一的对数正态总体充分描述。此外,不同地点测得的浓度也并不必然是相互独立的观测值。
在可靠性分析和持续时间分析中,对数正态分布用于描述对数近似服从正态分布的寿命。其风险函数为
h(t)=1−F(t)f(t),
起初接近零,随后上升,最终又下降并趋近于零。因此,它可以描述条件失效率先升后降的总体。它既不像指数分布那样具有恒定的风险率,也不像某些其他寿命模型那样具有全局单调的风险率。这种形状是模型本身的性质,并不是对物理老化过程的一般性断言。
在金融领域,几何布朗运动使固定期限后的价格服从对数正态分布,并使该期限内的连续复利收益率服从正态分布。这是于1973年提出的经典布莱克—斯科尔斯期权定价框架的核心。价格分布与收益率分布不能混淆:价格服从对数正态分布,并不意味着对数收益率也服从对数正态分布。实际收益率序列通常表现出波动率变化以及偏离正态分布的现象,因此,经典模型是一种理想化模型,而非对市场观测结果的精确描述。
收入分布和规模分布体现了另一个重要的适用边界。对数正态模型可能很好地描述分布中部相当大的一段范围,却无法描述上尾;在上尾,帕累托型幂律可能呈现出不同的拟合效果。在有限的观测范围内,两者都可能看起来合理。双对数图上看似笔直的一段不足以确立幂律行为,而仅凭明显的右偏也不足以确立对数正态性。
评估通常从数据的对数值入手:其直方图、正态分位数图、相关结构以及不同子群之间的差异,能够揭示拟合情况的不同方面。用于评估拟合优度的正式统计假设检验,必须考虑参数是由同一组数据估计得到的这一事实;针对完全指定的模型推导出的零假设分布,并不总能原封不动地沿用。与伽马分布、威布尔分布、混合分布或其他正值数据模型进行比较时,应以预期目标为依据——是预测分布中部、估计算术平均值,还是评估极端超阈事件。
将不同总体的数据合并,可能掩盖多峰性,也可能产生表面上的重尾现象。反过来,小样本所含的尾部信息可能太少,不足以区分中部表现相近的模型。因此,拟合一个对数正态分布,实际上就是指定了一个用于外推的完整模型,其中也包括远超观测范围的事件概率;仅仅在分布主体部分吻合,并不能验证这些极端尾部概率的可靠性。