帕累托分布是一种连续概率分布,其取值超过某一数值的概率随该数值按幂律递减。在标准的 I 型形式下,它描述的是一个最小值为 、形状参数为 的正值随机变量 ,满足
参数 控制极大观测值出现的相对频率:该参数越小,尾部越重,整体也越集中于最大的那些取值。
这一分布以维尔弗雷多·帕累托命名,他曾在十九世纪末研究高收入人群的收入分布。帕累托分布是统计学、计量经济学、保险及极值分析中的基本模型。它的重要性并不局限于严格服从帕累托分布的模型:许多分布即使在中心部分表现迥异,其尾部也会趋近于帕累托形式。尺度不变性、简洁的公式以及可能为无穷大的矩,使它既成为有用的分析工具,也提醒人们:在使用熟悉的、以有限方差为前提的方法之前,必须检验其假设是否成立。
历史起源与帕累托行为的含义
帕累托在19世纪90年代提出了收入分配的经验定律,并在1896—1897年出版的《政治经济学教程》中加以阐述。他分析的是收入超过某一给定水平的人数。用现代记号表示,这一关系为
其中, 表示收入超过 的人数, 是常数, 决定双对数坐标下的斜率。将这一人数转换为概率,就得到了适当下限阈值以上的帕累托模型的生存函数。
因此,这一历史定律描述的是超过给定水平的人数,而不是收入直方图的高度。这一区别至今仍然重要。与 成正比的生存函数,对应于与 成正比的概率密度。实证研究中给出的指数可能相差1,仅仅是因为一项研究描述概率密度,另一项研究描述生存函数。基于排名的描述则采用另一种约定:如果将观测值从大到小排列,其大小近似正比于排名的 次幂。
帕累托分布是一种特别简单的幂律,但“幂律”是一种更宽泛的数学描述,而不是某一种概率分布的名称。幂律关系出现在物理标度、网络节点的度、频数以及位序—规模模式中。其中一些涉及离散变量,另一些则仅描述渐近关系。相比之下,连续型帕累托分布在特定支撑集上给出了一个归一化的概率模型,具有明确的下端点和参数值。
广为引用的帕累托法则,又称“二八法则”,与这段历史有关,但它并不是帕累托分布的定义。帕累托模型允许多种不同程度的集中,而不局限于80/20的分配方式。此外,观察到少量个体占据总量的很大一部分,并不足以认定其服从帕累托分布。对数正态分布、混合分布和有界分布也都可能产生高度集中的结果。
现代用法区分了三种强度逐步递增的论断:一个数据集高度不均等;其上尾近似呈幂律;其超过某一阈值的观测值严格服从帕累托分布。这些论断需要不同的证据。很大的最大值,或对数坐标图上一段看似笔直的曲线,可能提示可以采用尾部模型,但二者都不能确证具体的分布。在应用中,帕累托定律通常用于近似描述高收入、大额索赔或其他上尾观测值,而不是描述整个总体。
定义、参数与尺度不变性
对于Ⅰ型分布,其累积分布函数为
其概率密度函数为
两个参数都必须为正。尺度参数 与 的单位相同,而形状参数 是无量纲的。改变计量单位会改变 ,但不会改变 。
生存函数记为 ,通常最能清楚地体现这一分布的含义。对于任意倍数 ,有
因此,将一个已处于取值范围内的阈值增大到原来的十倍,其超越概率就会变为原来的 ,与该阈值的绝对大小无关。当 时,观测值超过 的概率是超过 的概率的百分之一。当 时,该概率则仅降至原来的十分之一。
借助条件概率,可以更有力地表述这一性质:
因此,在已知 超过 的条件下,比值 服从最小值为 、形状参数不变的帕累托分布。提高阈值会改变尺度,但保留分布的形式。这是乘法意义上的阈值稳定性,而非指数随机变量所具有的加法意义上的无记忆性。
特别地,中位数为 。概率密度在整个支撑集上递减,因此最大值出现在下端点。不过,该分布并没有有限的上界。一个观测值即使远高于大多数观测值,也不会仅仅因为数值极大就超出模型的适用范围。
风险率定义为概率密度与生存概率之比,即
它随 增大而减小。当变量表示持续时间时,这意味着:在已持续至 的条件下, 越大,瞬时终止率越低。这种解释取决于具体应用;数学上的风险率递减,本身并不能证明存在某种物理老化机制。
使用形状参数的相关术语时需要谨慎。有些领域将 称为尾指数;另一些领域则专用“尾指数”来指它的倒数 。在报告参数的同时给出生存函数公式,可以避免这种歧义。
矩、变换与模拟
帕累托分布说明,一个有效的概率模型也可能没有有限的均值或方差。对于实数指数 ,
该积分当且仅当 时收敛,此时有
由于其支撑集与零之间有正的距离,所有负阶矩都存在。矩是否存在的限制,涉及的是足够高的正次幂以及分布的上尾。
其期望值为
当 时,期望为无穷大。其方差为
当 时,均值有限,但方差为无穷大。更高阶的标准化矩要求形状参数更大:通常定义的偏度要求 ,峰度则要求 。
这些区别具有实际意义。当 时,均值为 ,方差为 。当 时,均值为 ,但不存在有限的总体方差。当 时,每个观测值都以概率一取有限值,总体均值却为无穷大。无穷期望描述的是那些越来越罕见、数值却越来越大的可能结果在数学上的累积效应;它并不意味着观测值本身必定为无穷大。
一个有用的变换是
对于 ,
因此, 服从速率参数为 的指数分布。特别地,
即使通常的正阶矩发散,对数矩仍然有限。这一变换是一些简单估计量、诊断图以及精确置信推断方法的基础。
在模拟中,如果 服从 上的均匀分布,那么
就服从帕累托分布。等价地,也可以生成一个指数分布随机数 ,再通过 进行变换。在数值计算中,先计算 可以避免中间计算结果溢出。极小的 ,或非常接近零的均匀随机数,都可能产生超出计算机浮点数表示范围的数值。
对于任意 ,矩母函数的值均为无穷大,因为指数增长最终会压过尾部的多项式衰减。这并不妨碍使用指数项为负的拉普拉斯变换或蒙特卡洛方法,但不能再采用那些假设通常的矩母函数在零附近存在的论证。
不平等、洛伦兹曲线与顶端份额
对于均值有限的非负量,洛伦兹曲线描述的是总体中处于底端的 比例人群所占的总量累计份额。对于满足 的帕累托分布,
尺度参数在计算中被约去。因此,在这一模型中,将所有人的收入或持有量乘以同一个常数,会改变其绝对水平,却不会改变相对不平等程度。
相应的基尼系数为
随着 增大,相对离散程度降低, 趋近于零。当 从大于 的一侧逐渐减小并趋近于 时, 趋近于一。例如,当 时,。这些公式假设整个建模总体都服从帕累托分布,而不只是其中数值最高的那部分观测值。
处于顶端的 比例人群所占的总量份额为
这一公式给出了与二八法则的精确联系。若要求顶端的 人群占有总量的 ,则有
由此可得近似值
因此,二八分配对应的是某一个特定的形状参数,并非所有帕累托分布都具备这一特征;仅凭观测到的一组分配比例,也不足以证明数据遵循帕累托定律。
另一个有用的恒等式涉及超过阈值 的观测值的平均值:
这一条件均值与阈值之比为常数。因此,条件平均超额为
这些关系有助于将尾部参数与分组收入数据以及超过保险免赔额的损失联系起来。
当帕累托模型仅适用于某个较高阈值以上的数据时,有一项至关重要的适用限制:由此得到的洛伦兹曲线和基尼系数公式描述的是以上尾为条件的子总体,而非整个社会。整体不平等程度还取决于阈值以下人群所占的比例、这部分人群的分布,以及上尾部分占资源总量的份额。
当 时,无法定义通常以有限均值归一化的总体洛伦兹曲线。有限数据集仍然可以计算经验洛伦兹曲线和基尼系数,因为其观测值之和是有限的。但这一事实既不意味着总体均值有限,也不能证明前述总体公式适用。经济学解释还取决于所测量的量:收入、财富和消费的取值范围各不相同,而净财富可能为零或负数,这与第一类帕累托变量不同。
相关分布与更广泛的尾部类别
严格的帕累托分布是范围更广的重尾分布中的一种。按照概率论中的一种常用定义,如果一个非负分布的所有正指数矩都为无穷大,那么它就是重尾分布。帕累托尾部满足这一条件,但并非所有重尾分布都是帕累托分布。例如,对数正态分布按此定义属于重尾分布,但其生存函数并不呈幂律形式。
其中一类尤为重要的分布具有正则变化尾部:
其中, 是慢变函数,即对每个固定的 ,都有
成立。严格的帕累托尾部对应于常数 。更一般地,
这就是渐近尺度不变性:在阈值较高时,帕累托关系越来越精确,但在中等取值处未必成立。
广义帕累托分布在其允许的支撑集上具有生存函数
其中尺度参数为 。当 时,其极限形式为指数分布。若 服从Ⅰ型帕累托分布,且 ,那么在给定 的条件下,超额量 服从这一分布,参数为
正的 对应幂律上尾;负的 则对应有限的上端点。
洛马克斯分布通常称为Ⅱ型帕累托分布,可通过减去最小值得到:
它的支撑集从零开始,而不是从某个正的下界开始。不同软件采用的约定并不一致,因此名为“Pareto”的函数可能实现的是Ⅰ型模型、洛马克斯模型,或位置—尺度扩展模型。与名称相比,支撑集和生存函数公式能更可靠地表明所采用的约定。
其他变换也同样有用。倒数变换 服从参数为 的贝塔分布。正幂变换 仍服从帕累托分布,其最小值为 ,形状参数为 。若分布在上端点 处截断,其生存函数则为
截断使所有正阶矩都变为有限值,并使分布在 附近不再具有严格的尺度不变性。
包括齐普夫定律在内的离散排名—频率定律,通过幂律标度关系与帕累托分布相联系,但不能与连续帕累托模型互换使用。它们的归一化、似然函数及解释都取决于取整数值的支撑集。
极值、和与极限定律
帕累托分布在极值理论中占据核心地位。设 为服从同一帕累托分布的独立观测值,并令
由统计独立性可得,
因此,最大值的典型大小与 成正比,而不像指数尾情形那样,与样本量的对数成正比。
对于 ,
其极限为弗雷歇分布。经过适当的归一化,这一结果可推广到具有正则变化尾部的分布。这解释了为什么即使分布的中央部分差异很大,具有帕累托型尾部的分布仍属于同一个吸引域。
和对 的敏感性有所不同,但与上述情形密切相关。当 时,大数定律表明,样本均值收敛于有限的总体均值。当 时,方差也有限,通常的中心极限定理表明,中心化后的样本均值在按 的平方根缩放后具有正态极限。
当 时,样本均值仍是一致估计量,但通常基于有限方差的正态理论不再适用。中心化后的和以 量级归一化后,趋于非高斯的稳定分布。此时,样本均值波动的特征尺度为 ,其减小速度慢于 。在边界情形 下,归一化需要引入对数修正。
当 时,用 归一化后的和也具有稳定极限,但此时不存在可用于中心化的有限均值。即使在大样本中,少数几个最大的观测值也可能占总和的相当大比例。边界情形 同样需要特殊处理,包括在相应的稳定极限表述中采用对数中心化。
另一个相辅相成的结果涉及罕见的大额总和。对于固定的正整数 ,
这就是次指数性质,也称“单次大跳”性质:异常大的总和在渐近意义上由某一个异常大的分量主导。这一结论以各分量相互独立且非负、 固定为前提;不能不加限制地将其用作规模任意增长的投资组合的近似。
这些结果区分了三个有时会被混为一谈的问题:平均值是否收敛、其波动以多快的速度减小,以及什么因素主导总和的极端结果。均值有限只回答了第一个问题。它既不能保证按常规公式计算的标准误有限,也不能使大观测值在实际样本量下变得可以忽略。
参数估计与不确定性
假设 是相互独立的帕累托分布观测值,且下限阈值 固定且已知。似然函数为
对其对数求导,可得最大似然估计量
它取决于比值的对数,而非算术平均值,因此即使总体均值或方差为无穷大,仍然可以使用。
令
根据帕累托分布与指数分布之间的变换关系, 服从形状参数为 、速率参数为 的伽马分布。因此
在有限样本下,最大似然估计量存在向上偏差。当 时,估计量 是无偏的,不过,仅凭无偏性并不能判定哪个估计量的综合表现最佳。
利用同一变换,还可以得到精确的置信区间。由于
覆盖概率为 的置信区间为
其中, 是自由度为 的卡方分布的 分位数。这些精确公式要求分布的下端点确实固定,且数据严格服从帕累托模型。
当 未知时,其最大似然估计为样本最小值 ,相应的形状参数估计为
此时,分布的支撑集取决于一个需要估计的参数。因此,针对已知 推导的不确定性公式不能原封不动地直接套用。从更大的数据集中选择尾部阈值,还会引入额外的统计推断问题:所选阈值未必是整个总体所服从的帕累托分布的真实下端点。
估计上尾时,将观测值按顺序记为
利用最大的 个观测值,尾指数倒数 的 希尔估计量为
在适当的正则变差假设下,即使模型并非严格的帕累托模型,该估计量也能用于估计尾指数。其表现高度依赖于 :纳入的上尾观测值过少会导致较大的变异性,过多则可能纳入帕累托型区域以外的观测值。
当 已知时,贝叶斯推断也具有简单的形式。若为 指定形状参数为 、速率参数为 的伽马先验分布,则得到的后验分布也是伽马分布,其形状参数为 ,速率参数为 。这种简洁性源于比值取对数后的指数分布似然,而非假设原始数据具有有限矩。
实证评估与模型局限
一种常见的诊断方法是在双对数坐标中,将经验生存概率相对于观测值作图。严格的帕累托模型意味着
因此,理论图像是一条斜率为 的直线。这类图有助于定位可能存在的标度区间,并识别曲率、截断或尾部行为的变化。但仅凭这些图,无法可靠地检验帕累托模型是否成立。
图形解读会受到若干统计问题的影响。不同阈值处的经验生存概率彼此相关,因为计算它们时使用的观测数据存在重叠。它们的不确定性也不均匀,在观测稀少的上尾区域尤其大。对取对数后的直方图频数使用普通最小二乘法拟合直线,还会使结果更易受到分箱边界、空箱以及频数误差经变换后的影响。由此得到的斜率,通常不同于通过恰当的似然估计得到的参数。
一种更明确的程序是:对候选阈值以上的数据拟合帕累托分布,度量拟合分布与经验分布之间的差异,再通过模拟评估这一差异。柯尔莫哥洛夫—斯米尔诺夫距离是可选的差异度量之一。如果参数或阈值是根据数据估计的,就必须对模拟数据集执行相同的拟合程序,才能对拟合优度评估进行有意义的校准。针对完全指定的分布所给出的标准临界值,并不能直接套用。
阈值的选择涉及偏差与方差之间的权衡。较低的阈值可以保留大量观测值,却可能纳入不服从帕累托分布的中心区域。较高的阈值可能更好地逼近极限尾部形态,但剩余观测值可能太少,无法进行精确估计。参数稳定性图和希尔图可以展示估计值如何随阈值变化,但视觉上稳定的一段并不是确凿证据。许多经验分布趋近其极限尾部形态的速度很慢。
还必须考虑其他候选模型。在有限的对数坐标范围内,对数正态分布或拉伸指数分布的尾部也可能看起来像一条直线。截断帕累托分布或许能很好地拟合中等程度的极端值,但与无界模型相比,它预测的异常巨大结果要少得多。进行似然比较时,需要注意各模型的共同支撑集、参数估计,以及备选模型之间是否存在嵌套关系。未能拒绝帕累托模型,只能说明在所选检验下,现有数据没有表现出足够大的偏离;这并不能证明尾部严格服从帕累托分布。
数据采集方式可能改变尾部呈现出的形态。对高于上限的数值统一编码、设置报告阈值、四舍五入、高值观测缺失,以及测量定义的变化,都会影响推断。与同样大小的独立样本相比,时间依赖性和聚类可能减少可用信息。因此,应当区分严格假定观测相互独立的模型与描述性的尾部拟合。
外推对形状参数尤其敏感。在 处估计生存概率涉及 ,因此,外推超出观测阈值越远, 的不确定性所产生的影响就越大。
生成机制与实际应用
多种不同机制都能产生帕累托尾部或类似帕累托的尾部。一种直观的构造方法,是将指数增长与服从指数分布的存续时间或停止时间相结合。设
其中 ,且 服从速率参数为 的指数分布。则
由此得到的形状参数为 。增长速率相对于停止速率越高,尾部就越重。这一构造在数学上是精确的,但它是否适用于某个具体数据集,取决于其关于增长和停止的假设是否可信。
随机乘法递推提供了一种更广泛的生成机制。对于形如
的模型,在满足适当的收缩条件、矩条件和正则性条件时,其平稳分布可以具有幂律尾部。一个刻画尾部特征的方程是
这与凯斯滕型过程有关。加性项有助于防止过程趋于零,而偶尔发生的乘性扩张则会产生较大的取值。仅有这个方程还不够:平稳解的存在性,以及 和 所需满足的相关条件,都至关重要。
在经济学中,帕累托尾部用于刻画高收入、财富、企业规模及相关变量。实际应用中,常用一种灵活的分布描述主体部分,再用帕累托分布描述上尾。这种区分很重要,因为市场进入、税收、会计口径、家庭构成和增长过程对分布不同部分的影响可能各不相同。拟合得到的尾指数是一个描述性参数;它本身并不能识别导致不平等的机制。
在保险领域,该分布用于模拟大额赔款的损失程度,以及高免赔额以上的赔付金额。对于免赔额 ,不设赔付上限时的期望赔付为
其中 。若 ,则在这一无上界模型下,该期望为无穷大。保单赔付限额通过限制赔付金额改变了计算方式,使相应的赔付期望成为有限值。
在金融损失建模中,概率水平 对应的分位数为
对于服从连续帕累托分布且满足 的损失,预期损失为
当 趋近于一时,这一倍数会迅速增大,说明超过某个固定分位数的损失,对尾部形状的敏感程度可能远高于该分位数本身。
在计算机领域,类似帕累托的模型也用于描述工作负载规模、传输时长和文件大小。大型作业可能主导总工作量和等待时间,尤其是在二阶矩很大或为无穷大时。此类应用需要明确建模的变量:作业规模服从重尾分布,并不自动意味着到达过程、依赖关系或系统容量也应采用重尾模型。物理限制、技术变化和有限的观测窗口还可能造成实际上的截断,而理想化分布中并不存在这种截断。