齐普夫定律是一种经验规律:将各项按频率或规模从大到小排列后,每一项的频率或规模与其排名近似成反比。它最广为人知的应用是描述文本中的词频:出现频率第二高的词,其出现次数约为最高频词的一半;第三高的词约为最高频词的三分之一,依此类推。这一定律以美国语言学家乔治·金斯利·齐普夫的名字命名,也为城市人口、网络资源的受欢迎程度,以及其他由少数极常见或规模极大的项目和大量罕见或规模较小的项目构成的系统提供了参考模型。
严格来说,这一关系为 ,其中 表示排名, 表示频率或规模。更广义地说,“齐普夫型”常用于描述一种幂律排名关系 ,其中指数 接近但不一定等于一。区分这两种含义很重要:双对数坐标图上近似呈直线,并不能证明存在严格的排名反比规律;而且,相似的模式可能由多种不同机制产生。
齐普夫定律将对语言和社会组织的实证研究与概率、统计推断及信息论联系起来。其数学表述阐明了排名与频率分布之间的关系;其应用则揭示了用单一标度指数描述复杂系统的价值与局限。
历史发展
齐普夫定律所依据的观察,早于齐普夫本人的研究。1913年,法国学者让-巴蒂斯特·埃斯图在研究速记与语言时,讨论了词频中的规律。随后,齐普夫将排名—频率关系置于一项更广泛研究计划的核心。他的著作《语言心理生物学》(1935年)和《人类行为与最小努力原则》(1949年)汇集了语言及其他人类活动领域的证据,推动排名与频率成反比的关系成为一条广为认可的经验定律。
齐普夫以“最小努力原则”解释语言中的规律。在他看来,说话者反复使用少量表达方式会更省力,而听话者则受益于能够减少歧义的明确区分。他将实际观察到的词汇组织方式解释为这两种相互竞争的压力之间的平衡。这是一项具有实质内容的解释性主张,而不只是排名方程的另一种表述。无论是否接受这一特定解释,都可以独立考察这种经验关系;后来的模型也表明,类似的频率模式未必源于对交流过程的优化。
其他领域也出现了相关发现。维尔弗雷多·帕累托在19世纪末对收入分布的研究,确立了另一种影响深远的幂律规律。费利克斯·奥尔巴赫于1913年讨论了城市规模的分布,阿尔弗雷德·洛特卡则在1926年描述了科研产出中的反幂关系。这些发现涉及不同的统计单位与统计表示方式:收入分布、作者科研产出分布和排名—规模曲线不能相互替代。不过,它们在数学上的联系仍推动了对高度不均衡分布的更广泛研究。
20世纪50年代,伯努瓦·曼德尔布罗特和赫伯特·A.西蒙提出了各具影响力、但彼此不同的研究思路,用于解释这些模式。曼德尔布罗特研究了统计语言模型以及基于信息论的表述,其中包括一种带有平移项的排名定律。西蒙1955年的论文《论一类偏斜分布函数》展示了带有优先选择机制的累积增长如何产生偏斜分布。他们的工作推动这一领域超越了对经验性直线关系的罗列,转而明确描述能够产生这些关系的过程。
此后的研究日益重视大型数据集、明确的统计估计方法,以及不同候选分布之间的比较。马克·E. J.纽曼于2005年发表的幂律综述,以及阿伦·克劳塞特、科斯马·罗希拉·沙利齐和纽曼于2009年发表的方法论研究,成为这一研究取向的重要参考。因此,在当代用法中,齐普夫定律既指一项具体的排名反比假说,也是在历史上引领人们进入更广泛的重尾数据分析领域的切入点。区分这些含义,可以避免将近似的标度关系、精确的数学分布和所提出的因果解释视为同一种主张。
数学表述与归一化
假设一个集合包含 个不同的项目,按出现概率从高到低排列。有限齐普夫分布为排名为 的项目赋予如下概率,其中 :
这里, 控制分布的陡峭程度, 是使概率之和等于一的归一化常数。这是一个定义在排名上的概率质量函数。严格的排名反比定律对应于 ;在经验研究中,即使估计出的指数与一有一定偏差,也往往仍沿用齐普夫定律这一名称。
归一化至关重要,因为仅有比例关系并不能定义一个概率分布。当 时,归一化常数就是调和数 。随着 增大,
其中, 是欧拉–马歇罗尼常数, 表示自然对数。因此,排名第一的项目的概率为 ,而不是某个普遍适用的固定值。假设一个词汇表包含 10,000 个词项,且严格遵循这一有限分布定律,那么 约为 ,排名第一的词项的概率约为 。这只是模型计算的结果,并非对自然语言的一般性估计。
支撑集为无限集的版本则有所不同。级数 仅在 时收敛,此时有
其中, 为黎曼ζ函数。当 时,不存在任何正常数能够使定义在所有正整数上的排名倒数序列归一化。因此,指数恰为一的无限齐普夫分布并不是概率分布。讨论规模无上限、遵循排名反比关系的词汇表时,必须明确截断位置、随规模变化的归一化方式,或其渐近意义。
指数还决定着概率的集中程度。 越大,越多的概率就集中在靠前的排名上;在固定的有限支撑集上,正数 越小,各排名的概率就越接近。若将排名本身视为一个随机变量,则在无限支撑集模型中,其 阶矩为
条件是 。特别地,其期望值仅在 时存在,其方差仅在 时有限。这些都是抽样所得排名的矩,而不是词长、城市人口或与所排名项目相关的其他量的矩。混淆这些变量,可能导致对模型数学性质的错误解读。
排名曲线、尾部分布与指数约定
排名—规模关系描述的是按大小排序的观测值,而不是直接说明各个规模区间内有多少个观测值。假设排名为 的观测值,其规模近似为
将方程反解,得到 。由于排名近似等于规模不小于 的观测值数量,规模超过 的观测值所占比例满足如下标度关系:
这一超越概率就是互补累积分布函数。上述关系只有在适当的理想化条件下才严格成立;对于有限样本、离散规模以及并列排名的情况,还需要格外谨慎。
如果规模可以近似视为连续变量,且其概率密度函数为 ,那么在假设 的情况下,通过积分可得超越概率的指数 。因此,
所以,严格的齐普夫排名指数 对应的是密度指数 ,而不是与 成正比的密度。在将语言学中的排名图与报告频率直方图、城市规模密度或收入尾部分布的研究进行比较时,这一区别尤其重要。
对于下截断值为 的连续帕累托分布,其生存函数为
其规模随排名变化的关系中,指数为 。有些领域将 称为帕累托指数;另一些领域报告的是密度指数 ;还有一些领域使用“齐普夫指数”一词,却不明确说明指的是 还是它的倒数。只有先明确绘制的量以及采用的指数约定,数值比较才有意义。
幂律也与尺度不变性有关。对于理想的排名曲线,将排名乘以 ,规模就会乘以 ,因此 。在对数坐标下,这一关系变为
得到的是一条斜率为 的直线。不过,有限截断和归一化仍然重要,一段看似笔直的曲线并不能证明所有规模上都存在尺度不变性。
将排名划分为按倍数递增的区间,还可以得到另一个推论。在严格的齐普夫定律下,只要排名远离支撑集的边界,排名 到 之间的总概率就近似为 。因此,在对数排名轴上,连续的等宽区间所包含的总概率近似相等。这解释了为什么大量单独来看十分罕见的项目,合在一起却能占据观测总量的相当大一部分,尽管其中没有任何一个低频项目本身十分突出。
词频与语言结构
齐普夫定律在语言学中的典型应用,首先将文本集合划分为词次,再把这些词次归入不同的词型。词次指一次具体的出现,词型则是这些出现实例所属的类别。在以英语单词为单位的分析中,“the”的多次出现都属于同一个词型。将词型按各自的词次计数排序后,所得的排名—频率曲线往往有很大一段接近于频率与排名成反比的关系。常见的语法词排名最高,而专业词汇、名称和罕见形式则分布在低频尾部。
计数方法会显著影响结果。将所有字母转为小写,会合并原本分开计数的形式。词形还原将屈折变化形式归入同一个词典形式,而基于表层形式的分析则将它们区分开来。对标点符号、连字符、缩约形式和数字的处理方式,既会改变词汇量,也会改变频率计数。屈折变化或复合构词能力强的语言还会带来更多差异,而书写系统通常不用空格分隔词语的语言,则需要明确进行分词。因此,齐普夫指数与所采用的计数单位密不可分。
观测到的曲线在不同排名区间也会有所变化。频率最高的功能词构成一个规模很小、受语言结构制约的群体,不一定与排名居中的词落在同一条直线上。在另一端,许多词型只出现一次,由于计数相同,它们会在经验排名图中形成一个平台。这类词称为单现词。单次出现形成的平台,部分源于观测规模有限:如果某个词的真实出现概率远小于语料库规模的倒数,就无法仅凭原始计数准确估计这一概率。
词汇量的增长呈现出一种相关但不同的规律,通常称为希普斯定律。若 表示观测到 个词次后出现的不同词型数量,则经验近似式为 ,其中通常有 。在从固定概率序列中独立抽样的条件下,观测到的词型数量的期望为
对于一个无限序列,若 渐近正比于 ,且 ,则由此可得,词汇量的增长阶为 。严格的 情形需要特殊处理,因为相应的无限概率序列无法归一化。
真实文本并不满足独立抽样的条件。话题会使某些词集中出现;不同作者和体裁使用的词汇各不相同;新的名称和技术术语也会随时间不断出现。因此,将多篇文档合并后得到的排名分布,可能与其中任何一篇文档的分布都不同。齐普夫定律描述的是总体上的频率不均等,但它本身并不能刻画句法、意义、叙事顺序或相邻词之间的依赖关系。两篇文本的词频曲线可能几乎完全相同,语言组织方式却可能存在深刻差异。
城市、受欢迎程度及其他实证应用场景
对于城市人口,齐普夫定律通常表述为位序—规模法则:排名为 的城市,其人口大约等于最大城市人口除以 。这一表述针对的是特定地域和时期内的城市体系,而非单个城市内部的人口分布。城市化和经济学领域的研究反复考察过,一个国家的城市规模分布中,规模较大的部分是否接近这种形式。
城市的定义至关重要。按行政区划划定的城市、连片建成的聚居地,以及按劳动力市场范围划定的都市区,人口规模可能相差甚远。一个划分为多个行政市的大型城市区域,按一种定义可能表现为若干中等规模城市,按另一种定义则可能是一个居于首位的大城市。人口下限和国界也会影响纳入排名的样本。因此,估计所得指数的差异,既可能反映人口变化过程,也可能源于测量方式的选择。
一个占据主导地位的首都或商业中心,可能远高于其他城市所形成的近似线性的位序图,这种格局通常被称为城市首位现象。在规模较小的聚居地一端,分布曲线可能偏离上尾部分呈现的关系。因此,一个国家的城市规模分布可以具有近似符合齐普夫定律的上尾,而其整个聚居地体系并不服从同一个幂律。泽维尔·加贝于1999年发表的研究,提出了一种颇具影响力的、基于增长过程的解释,将城市规模的标度关系与适当条件下的比例增长联系起来;后续研究则继续考察人口迁移、经济结构和城市定义所起的作用。
互联网上的受欢迎程度分布提供了另一种应用场景。文件请求、页面浏览或网站访问都可以按频率排序,结果往往显示,少数对象构成请求量很高的头部,而大量低频对象构成长尾。这里的测量对象可能是页面、域名、视频、查询字符串或文件,观测时段则可能短至几分钟,长至数年。自动化流量、推荐系统、突发事件以及可访问内容目录的变化,都会改变所得曲线。销售和文化消费中也会出现类似的描述性模式,但指数并不会在不同产品或时期之间保持不变。
对其他不均等分布则需要格外谨慎。洛特卡型科学生产力分布和物种丰度分布,可以在数学上与位序定律相比较,但它们的实证单位和形成机制各不相同。引文网络还具有固定词汇表模型所不具备的增长动态,而生态样本则受到检出概率和采样投入的影响。只有明确测量变量、排名范围和近似程度,将这些模式称为“齐普夫型”才有意义。两条位序曲线相似,说明它们具有共同的统计形态,并不意味着城市、词语、生物和网络资源都遵循同一条因果规律。
生成机制
一种主要解释采用优先连接机制:某项此前出现得越频繁,就越有可能再次出现。在西蒙模型中,每一步以概率 引入一个新类别;否则,就按各现有类别当前计数所占的比例,从中选择一个类别。这将创新与累积优势结合起来。出现较早或最初运气较好的类别往往会发展壮大,因为其已有规模会提高进一步增长的概率。
对于理想化的西蒙过程,类别规模分布的渐近指数为
利用排名与概率密度之间的关系,可得排名指数 。当创新概率较小时,排名指数接近 1。这个模型表明,一个简单的随机过程就能生成类似齐普夫定律的模式,而无须假定这些类别经过了显式优化。不过,固定的创新率和依赖于类别年龄的优势都是实质性的假设,实际观测到的词汇量增长或各项的存续时间未必符合这些假设。
第二类解释采用描述比例增长的吉布拉定律。其简单形式为
其中,增长因子 不随当前规模发生系统性变化。取对数可将乘法增长转化为加法。反复发生的独立乘法变化,通常意味着在给定年龄下呈现对数正态分布,而不是自动产生帕累托尾部。进入、退出、下边界、重置以及不同年龄群体的混合,都可能改变长期分布。适当的组合可以产生幂律尾部,但其指数取决于具体的增长条件和边界条件。
信息论模型则考察多样性与成本之间的权衡。假设一个排名上的概率分布在平均对数排名成本固定的约束下,使信息熵最大化。在约束 和 下,用拉格朗日乘数法计算可得
这从一个特定的优化问题推导出了幂律。但它并不能证明,对数排名就是说话者或其他主体实际采用的成本;单凭这一计算,也不能要求 。如何从经验上解释这一约束,才是这种解释的核心问题。
混合分布和潜在异质性提供了另一条途径。不同话题、环境或子群体可能各自具有特征性的频率;即使各个组成部分并不具有相同的标度行为,将它们合并后,也可能形成取值范围很广的总体分布。类似地,随机文本生成模型在某些假设下也能产生近似的排名定律,却无法再现自然语言的结构。这些例子揭示了仅凭分布形态进行解释的一个关键局限:多种过程都可能产生类似齐普夫定律的标度关系。要区分这些过程,还需要额外证据,例如增长轨迹、创新率、时间相关性,或外部条件变化所引发的变化。
变体、截断与相关分布
一种广泛使用的扩展形式是齐普夫–曼德尔布罗定律:
其中, 用于平移排名坐标,分母则使这一有限分布归一化。当 时,该式退化为通常的有限齐普夫分布形式。正向平移会缩小排名最靠前各项之间的相对差异。它能够刻画分布头部附近纯幂律无法捕捉的弯曲,不过,增加一个参数也会使拟合更加灵活,从而使模型比较变得更为重要。
指数截断模型的形式为
其中, 确定一个特征截断尺度。当排名远小于 时,指数因子的变化缓慢,模型可能近似呈现幂律形式;当排名远大于该尺度时,概率下降得更快。这种形式可以描述可用项种类有限、或稀有项受到额外抑制的系统,但仅凭拟合出的截断尺度,并不能确定背后的约束是什么。
分段幂律在不同排名区间采用不同的指数。对于词频,这种形式可以同时描述常用词区间和下降更陡的罕见词区间;在其他应用中,它可能反映不同的增长机制,或多个群体的混合。可以要求分段点处连续,以减少独立参数的数量。然而,表面上的转折也可能源于采样不完整、项目定义发生变化,或多个数据集的合并。因此,除非有独立的机制依据支持,否则拟合出的分段点只能视为一种描述性特征。
对数正态分布是一种尤为重要的替代模型。它可以生成一组大小极不均等的对象,其排名图在有限范围内看起来可能近似为直线。拉伸指数分布也可能在有限区间内表现得类似幂律。这些模型在观测范围之外的表现差异很大,因此,对极罕见事件或异常巨大对象的外推,可能更多地取决于模型选择,而不是图形在视觉上呈现的拟合优度。
术语的使用又增添了一层复杂性。“齐普夫分布”通常指正整数上的离散概率分布,而“齐普夫图”可能仅指将大小按序排列后绘制的经验图。“泽塔分布”通常指由 归一化、支撑集无限的形式。与优先增长有关的尤尔–西蒙分布具有幂律尾部,但并非在每个整数处都与泽塔分布相同。在计算较小取值的概率、比较似然,或解释最高频项所在排名区间的偏差时,区分分布的精确形式与渐近等价关系十分重要。
估计与统计评估
评估首先要考察数据生成和测量过程。分析者必须明确何为一个项目、何为一次观测、抽样框是什么,以及是否存在某个阈值,使得低于该阈值的观测无法被记录。统计词频需要确定分词规则;衡量城市规模需要界定地理范围;统计网络请求则需要决定如何处理自动化流量和重复事件。经验排名本身也是根据这些观测估计出来的。当真实频率彼此接近时,随机波动可能改变它们的次序,尤其是在罕见项目之间。
使用普通最小二乘法在双对数图上拟合直线虽然简单,却往往不可靠。计数的变异程度并非在各个排名上都相同,零值无法取对数,而且对观测值排序会引入相依性。舍弃低计数项目,或按对数尺度对观测值分箱,都会改变实际的权重分配。较高的决定系数只能表明变换后的数据点接近拟合直线;它并不能确立某个特定的概率模型,也不能说明不存在系统性弯曲,或指数估计是正确的。
对于已经指定的分布,最大似然估计通常更为适用。如果各次观测相互独立,均由一个固定的排名—概率模型生成,且支持集大小 已知, 表示排名为 的项目的观测计数,则
使这一表达式达到最大值的参数值就是估计值。不过,如果排名是在查看同一组计数后才确定的,那么这些排名标签就不是由外部预先固定的类别。如果还可能存在未被观测到的类型,支持集也不确定。面对这些情况,不能只是将观测排名代入似然函数,而需要更加谨慎地处理。
对于下截断值固定的连续帕累托尾部,一种常见的估计量是
它估计的是生存函数指数 ,而不是直接估计排名指数,也不是离散齐普夫分布的精确公式。截断值 决定哪些观测值被视为属于尾部;对它进行估计,会同时改变样本量和指数估计的不确定性。仅在较高阈值以上拟合的分布,可能只能解释全部观测中的一小部分。
可以通过比较经验累积分布与拟合累积分布,以及从拟合模型中模拟生成新数据集,来评估拟合优度。如果参数或截断值是估计得到的,那么在用于校准检验的模拟样本中,通常也应重新估计它们。自助采样有助于量化不确定性,而似然比较或预测评估则可用于区分幂律与其他候选分布。对于相依性,例如词语在文档内部聚集出现的情况,需要对抽样模型作出相应调整。未能拒绝齐普夫模型,只说明它在所用检验下与数据相容,并不能证明存在一条精确的定律。
计算方面的影响与未解问题
服从齐普夫分布的需求会直接影响缓存与存储。假设各次请求相互独立,且理想缓存存放了一个大小为 的固定对象集合中最热门的 个对象,那么其命中概率为
在严格的排名反比模型下,当两个数量都足够大时,该概率近似为 。因此,一小部分热门对象就能满足大量请求,但长尾部分仍会持续导致缓存未命中。实际缓存还面临其他复杂因素:对象大小有限、热度变化、替换策略,以及请求之间的相关性。
在机器学习中,词元频率不均意味着可用证据的数量也不均。一个常见的词或符号可能出现数百万次,而一个罕见的词或符号可能只出现寥寥几次。因此,即使训练集的总体规模很大,与罕见项相关的参数所能获得的直接观测仍然较少。子词表示将不常见的词拆分为可复用的片段,从而在一定程度上改变了分析单位。由此得到的频率曲线既取决于源材料,也取决于切分方法,而不是一条独立于词元化方式的定律。
这一分布对压缩也很重要。对于概率为 的项,其理想码长为 比特。在齐普夫模型中,
因此,理想码长随排名呈对数增长。这将频率的不均等与一种编码原则联系起来:为常见项分配短码,为罕见项分配长码。实际的文本压缩还必须利用序列依赖关系和上下文:仅凭排名分布,无法解释语法、重复短语或文档结构所带来的可预测性。
一个长期未解的理论问题是:尽管许多机制都能产生更广泛的幂律分布族,为什么接近 1 的指数仍如此常见?优先增长、约束优化和异质混合都可以产生标度关系,但它们对指数及其稳定性的预测各不相同。可用于区分这些机制的重要量包括:新类别出现的速率、某一项排名的持续性、给定规模下的增长率,以及系统组织方式改变后对标度关系的偏离。
对这一定律的评价也取决于预期的精确程度。有限的数据集可以支持在明确范围内近似成立的排名反比关系,却无法证明在尚未观测的排名范围或未来时段内仍存在精确的标度关系。反过来,系统性偏离往往具有科学价值,而不只是拟合不够完美:曲线的弯曲可能揭示不同群体的存在、创新速率的变化、资源的有限性,或观测单位选择不当。因此,当前研究将指数、标度范围、随时间的变化以及测量过程视为各自独立的研究对象,而不是把证据简化为图上的某条线看起来是否笔直。