概率测度是一种数学规则,它为事件赋予零到一之间的数值,要求总概率为一,且可数个互斥事件的并的概率等于各事件概率之和。它是连接概率与测度论的核心对象。概率测度并不要求每个可能的结果都具有单独的正概率,而是为适当的结果集合赋予概率。因此,同一套框架既适用于有限次试验,也适用于连续测量和完整的随机轨迹。
形式上,概率测度 定义在集合 的子集所构成的σ代数 上。三元组 称为概率空间。其中,集合描述所有可能的结果,σ代数规定哪些事件可以被赋予概率,而测度则给出这些事件的概率。概率测度为期望、独立性、条件化和收敛等概念的定义提供基础;扩张定理和表示定理则说明,如何从较简单的设定出发构建复杂的概率模型。
定义、公理与基本推论
设 为非空的样本空间, 为 上的一个 σ-代数:它包含 ,且对取补集和可数并运算封闭。二元组 是一个可测空间。概率测度是函数
它满足归一性,
以及可数可加性:对于 中任意两两不交的序列 ,都有
的成员称为事件。要求事件构成 σ-代数,是为了确保这一等式两边涉及的事件都仍在测度的定义域内。
由这些条件可立即得到 、补事件公式 ,以及单调性:若 ,则 。对于任意事件 和 ,有
更一般地,由可数次可加性可得联合界,
与可加性不同,这个不等式不要求各事件互不相交。它在估计错误概率、例外事件的概率,以及同时成立的统计结论时具有基础性作用。
可数可加性还决定了概率与事件极限之间的关系。若 ,即事件序列递增且其并集为 ,则
若 ,即事件序列递减且其交集为 ,则
对于一般测度,第二个结论需要假定序列中某个初始集合的测度有限;概率测度自动满足这一条件。这些连续性性质将可数可加的概率与仅满足有限可加性的集函数区分开来。有限可加性加上递减序列在空集处的连续性,就足以推出可数可加性。
概率为零的事件未必是空集,概率为一的事件也未必包含所有可能的结果。在 上的均匀测度下,每个单点集的概率都为零,而整个区间的概率却为一。这并不矛盾,因为可数可加性并未对不可数个单点集的并集作出类似规定。如果一个命题在某个零概率事件之外处处成立,就称它几乎必然成立。这一限定在概率论中至关重要:它表达的是相对于测度而言的确定性,而不是将测度论意义上的确定性等同于逻辑上的必然性。
离散测度、连续测度与奇异测度
在有限或可数无限的样本空间上,概率测度由满足 的非负权重 确定。若每个子集均可测,则
函数 称为概率质量函数。公平骰子的点数分布、伯努利分布和泊松分布都属于这种情形。一个尤为简单的例子是点 处的狄拉克测度,其定义为:若 ,则 ;否则为 。因此,离散测度可以表示为狄拉克测度的加权和。
在实数轴上,另一类重要的测度具有相对于勒贝格测度 的概率密度函数 :
这些测度关于 绝对连续。正态分布和指数分布是常见的例子。密度本身并不是概率:它可以大于一,其数值也取决于坐标系和计量单位。对密度在可测集上积分,才得到概率。
并非所有不含点质量的测度都具有密度。康托尔分布集中在勒贝格测度为零的康托尔集上,却赋予每个单点集零概率。一种构造方法是取相互独立、以相等概率取零或一的二进制数字 ,并令
它的分布关于勒贝格测度是奇异的,而且没有原子。因此,当“连续分布”指分布函数连续的分布时,其范围比“具有密度的分布”更广。
上的每个博雷尔概率测度都可以分解为离散部分、绝对连续部分和奇异连续部分。这些分量都是非负测度,其总质量之和为一;但各分量本身未必是概率测度。混合模型在实际中很自然地出现。例如,降雨量模型可以在零点赋予正概率,并用密度描述正降雨量。不存在一个相对于勒贝格测度的密度能够表示这一完整的概率分布。
在 上,所有这些情形都可以用累积分布函数统一描述:
它单调不减、右连续,且在负无穷和正无穷处的极限分别为零和一。反过来,每个具有这些性质的函数都确定唯一的博雷尔概率测度。它的跳跃满足
因此, 连续意味着不存在点质量,但仅凭这一点并不能推断密度的存在。
构造、扩张与可测集
概率测度通常先在一小类简单事件上给定。对于实值量,区间可能比任意博雷尔集更容易描述;对于无穷序列,只涉及有限多个坐标的事件则是自然的起点。构造中的核心问题是:这些初始赋值在什么条件下可以相容地扩张到一个σ代数上,以及这种扩张是否唯一。
卡拉泰奥多里扩张定理给出了一般性的答案。集合代数上的预测度是一种非负赋值,只要所考虑的两两不交集合的并仍属于该代数,它就满足可列可加性。这样的预测度可以扩张为所生成的σ代数上的测度。如果预测度是σ有限的,那么在该σ代数上的扩张就是唯一的。在概率论中,初始总质量为一,因此自动满足这一唯一性条件。构造时,先对可列覆盖的代价取下确界,得到一个外测度,再由此完成扩张。
例如,分布函数 按如下方式赋予质量:
再结合无界区间及有限个两两不交集合之并的相应规则,这些值便定义了一个预测度,由此得到相应的勒贝格–斯蒂尔切斯概率测度。一个相关的唯一性原理指出:如果两个概率测度在某个对有限交封闭的集合族上一致,那么它们在该集合族生成的σ代数上也一致。这可由π–λ定理推出。因此,区间或适当的柱事件上的取值就能唯一确定整个测度,无须逐一检查每个可测集。
采用σ代数是必要的,因为要求每个子集都可测,可能与某些理想的几何性质相冲突。特别地,不存在定义在 的所有子集上的可列可加、平移不变的测度,能够使每个有界区间的测度都等于其通常的长度。维塔利借助选择公理给出的构造揭示了这一障碍。这并不意味着概率测度绝不可能定义在不可数空间的所有子集上:狄拉克测度就是一个直接的反例。障碍在于对测度同时提出的这些要求。
在拓扑空间上,博雷尔σ代数由开集生成,是定义概率律时通常首先采用的σ代数。博雷尔概率测度不一定完备:一个可测零测集的子集未必是博雷尔集。将该测度完备化,就是加入所有这样的子集,以及它们与可测集的相应并集,并赋予所加入的这些子集零概率。
完备化改变的是可测集的范围,而不是原有事件的概率。这一区别在乘积构造和条件概率中很重要:即使在其他地方使用完备化空间,采用博雷尔结构仍可能保留有用的可测性性质。
随机变量、分布与积分
随机变量是一个可测函数 。可测性意味着,对每个 ,都有 ,因此,关于 的观测值的陈述对应于底层空间中的一个可测事件。在 上诱导的概率测度为
这就是推前测度 ,也称为 的概率分布。因此,概率测度是可测空间上的一个对象;而分布则是将这一对象视为某个随机量的概率规律时所用的称谓。
不应将底层空间与分布混为一谈。一个等概率取两个值的随机变量,可以在 上用质量相等的点质量来表示,也可以在 上表示:当 时令 ,否则令 。这些表示方式不同,但诱导的分布相同。反过来,两个各自分布相同的变量,可以具有截然不同的相依关系。如果 是一个等概率取 0 和 1 的随机变量,那么随机向量 和 的各坐标边缘分布相同,但联合分布不同。
对于非负的 ,其值可以是 。当 时,有限期望值存在。更一般地,对于可取正负值的随机变量,只要其正部和负部的积分不同时为无穷,就可以将期望值定义为一个扩展实数。这一表述同时涵盖离散分布的求和与对概率密度的积分,无须分别定义。
积分满足推前恒等式
其中 可以是非负可测函数,也可以是可积的、可取正负值的函数。这一恒等式解释了为什么单个变量的函数的期望值完全由该变量的分布决定。特别地,
其中 是 的示性函数。因此,事件的概率是积分的特例。
积分的极限定理说明了近似过程中期望值的变化规律。单调收敛定理处理非负函数的递增序列;法图引理给出关于下极限的不等式;而控制收敛定理则允许在存在可积控制函数时交换极限与期望的次序。这些结果既说明了数值近似或解析近似在何种条件下能保持期望值,也解释了为什么仅有随机量本身的收敛可能还不够。一个序列可以几乎必然地趋于零,却在越来越罕见的事件上取越来越大的值,从而使其期望值无法趋于零。
乘积测度、独立性与随机过程
给定概率空间 和 ,它们的乘积测度 是乘积 σ-代数上满足下式的唯一概率测度:
乘积 σ-代数由可测矩形生成,并不是定义为 的所有子集构成的集合。在标准欧几里得空间上,它与通常的乘积拓扑所对应的博雷尔 σ-代数一致。这一构造为组合相互独立的试验提供了数学模型。
两个随机变量 和 具有统计独立性,当且仅当它们的联合分布等于各自边缘分布的乘积:
等价地,对所有可测集 和 ,都有
成立。因此,独立性是概率测度的一种可分解性质,而不只是结果集合本身的性质。一个联合概率分布可以具有指定的边缘分布,却不等于这些边缘分布的乘积;边缘分布未能提供的信息,正是坐标之间的依赖关系。
乘积测度也为累次积分提供了依据。对于非负可测函数 ,托内利定理表明,它在乘积空间上的积分等于按任一顺序计算的累次积分,且允许积分值为无穷大。富比尼定理则对可积的有正有负函数给出了相应结论。这些结果是求边缘分布、计算涉及独立变量的期望,以及用卷积求和的分布等公式的基础。其中的可积性条件至关重要:对有正有负函数的积分任意调整积分次序,可能得出错误结果。
对于无穷多个坐标,相互一致的有限维分布可以在函数空间或序列空间上定义一个概率测度。柯尔莫哥洛夫扩张定理针对标准博雷尔状态空间的标准表述指出,一个满足投影相容性的有限维分布族,在由坐标事件生成的 σ-代数上确定了唯一的测度。相容性要求包括:删除部分坐标后,所得分布必须等于已经指定的相应边缘分布。对于独立抛硬币,所得空间为 ,而前 次公平抛掷出现任意指定序列的概率为 。
因此,随机过程可以看作同一测度下的一族坐标映射。不过,有限维分布并不能自动保证整条路径具有所有期望的性质。例如,维纳过程还需要额外的论证,才能得到一个具有连续轨道的版本。随后,它便在连续路径空间上具有一个分布。当指标集不可数时,区分由坐标生成的 σ-代数与适合研究路径正则性的结构尤为重要:指定所有有限组观测的分布与控制整条轨道,是相互关联但彼此不同的任务。
条件化与测度变换
对于满足 的事件 ,条件化会产生一个新的概率测度
这一测度赋予 的概率为一,并根据原有事件与 的交集重新分配概率。这一构造解释了初等的条件概率,但无法直接处理以零概率事件为条件的情形。例如,当一个变量具有连续密度时,若试图用上述公式对 进行条件化,分母通常为零。
一般理论采用条件期望。对于可积变量 和子 σ 代数 ,条件期望 是一个 -可测变量,满足
当 时,它给出了在已知 中的信息的条件下, 的条件概率。条件期望仅在几乎处处相等的意义下唯一确定,这是因为其定义中的积分恒等式无法区分零测集上的取值变化。
正则条件概率用概率核表示条件分布:对于每个条件值,它给出一个概率测度;对于每个事件,所赋予的概率都是该条件值的可测函数。当 和 在标准博雷尔空间中取值时,存在适当的核 ,满足
任意两个版本对于 -几乎处处的 都相等,但在特定的零概率条件值处,其取值未必唯一确定。任意的可测空间上则未必存在这样的正则版本。
另一种操作是测度变换。如果 关于 绝对连续,记为 ,那么每个 -零测事件也都是 -零测事件。拉东–尼科迪姆定理给出一个可测密度
使得
这一密度是相对于另一个测度而言的,不一定是相对于通常的长度或体积而言的。
贝叶斯更新和重要性抽样是这一结构的两种应用。在贝叶斯推断中,当归一化积分为正且有限时,似然对先验分布重新加权,得到后验分布。在蒙特卡洛方法的重要性抽样中,利用适当的密度比,将目标期望表示为提议测度下的期望。绝对连续性至关重要:如果提议分布赋予某个集合的概率为零,那么无论怎样对提议分布重新加权,都无法还原目标分布在该集合上的正概率质量。
概率律的收敛与拓扑
概率测度序列可以在若干种互不等价的意义下收敛。在度量空间 上,弱收敛记作 ,是指对每个有界连续函数 ,都有
。这个定义为概率律赋予了一种与许多近似方法和极限定理相容的收敛概念。它并不要求所有概率 都趋于 。
波特曼托定理给出了等价的刻画。对于每个闭集 ,有
而对于每个开集 ,有
特别地,只要 是边界的 -测度为零的博雷尔集,就有 。在实数轴上,弱收敛等价于分布函数在极限分布函数的每个连续点处收敛。只要求在连续点处收敛,使得极限概率律可以出现原子。
一种更强的距离是全变差距离:
如果两个测度相对于同一个控制测度分别具有密度 和 ,那么该距离等于
在度量空间上,依全变差距离收敛蕴含弱收敛,反之则不成立。例如,在 上有 ,因为在极限过程中,连续检验函数无法区分 与 。然而,全变差距离始终为一,因为单点集 能够完全区分这两个测度。
紧性问题关注的是概率律序列是否存在弱收敛子列。如果对于每个 ,都存在一个紧集 ,使得族中的每个测度都满足
,就称这个测度族是紧的。在波兰空间,即可赋予相容完备度量的可分空间上,普罗霍罗夫定理表明,测度族的紧性等价于其在弱收敛拓扑下的相对紧性。紧性可防止概率质量逃向无穷远。例如, 上的序列 不是紧的,也不存在弱收敛于概率测度的子列。
这些概念区分了概率律的收敛与同一固定概率空间上随机变量的收敛。几乎必然收敛和依概率收敛都蕴含依分布收敛,但即使随机变量定义在互不相关的空间上,也可以讨论弱收敛。此外,弱收敛一般并不能保证无界函数的期望收敛。中心极限定理自然地表述为一个关于弱收敛的命题:在适当条件下,标准化后的和趋于正态分布,而矩的收敛可能需要额外的有界性条件。
作为几何与统计对象的概率测度
在给定的可测空间上,全体概率测度构成一个凸集。若 和 是概率测度,且 ,则
也是概率测度。从操作上看,这种混合是先从两种机制中选择一种,再按照所选机制对应的概率分布抽样。混合与独立随机变量之和不同:后者的分布由卷积而非凸组合描述。在高斯混合模型等模型中,这一区别十分重要。
在具有 个结果的有限样本空间上,概率测度对应于向量
这些向量构成一个 维单纯形。它的顶点是狄拉克测度,而其中每一点都是这些顶点的凸组合。在标准博雷尔空间上,狄拉克测度同样构成全体概率测度所成凸集的极点。这一几何视角将概率建模与凸优化联系起来,也使指定矩等限制条件成为测度上的线性约束。
经验测度将观测值 表示为
对于任意可测函数 ,
因此,样本均值可以看作关于一个依赖于数据的概率测度的积分。在独立同分布抽样下,大数定律解释了可积函数的这类积分为何收敛。在波兰空间上,经验测度几乎必然弱收敛于抽样所依据的概率分布。因此,有限经验测度尽管集中在有限多个点上,仍能在弱收敛意义下逼近连续分布。
测度之间的距离为不同的逼近概念提供了严格表述。对于 ,度量空间上具有有限 阶矩的测度之间的瓦瑟斯坦距离定义为
这里, 是边缘测度分别为 和 的联合概率测度的集合。这一公式将联合分布视为运输方案,并衡量在不同位置之间搬运质量的成本。与全变差不同,它利用了底层空间的几何结构。
其中要求 ,否则其值为 。它是非负的,但既不对称,也不是度量。在弱收敛、运输距离、全变差和散度之间如何选择,取决于需要控制概率分布的哪些特征——位置、事件概率、矩,还是相对似然。
历史发展与公理化的意义
早期概率论围绕有限计数问题、机会游戏、年金和天文推断发展起来。布莱兹·帕斯卡与皮埃尔·德·费马在1654年的通信通常被视为一个标志性事件,其中尤以讨论如何分配中途停止的赌局中的赌注而著称。雅各布·伯努利的《猜度术》于1713年在其去世后出版,确立了大数定律的一种基础形式。此后,皮埃尔-西蒙·拉普拉斯在1812年出版的《概率分析理论》中,系统整理了一套广泛的解析理论。
这些发展尚未给出概率测度的现代一般定义。有限等可能模型可以用计数之比来定义概率,连续模型则可以运用密度和积分,但无穷序列以及取值为函数的结果又带来了新的问题。人们需要说明:允许采用哪些事件族,无穷运算如何影响概率,以及一组有限维描述在什么条件下能够确定一个真正的概率对象。
现代测度论与积分理论的兴起提供了所需的工具。埃米尔·博雷尔于1898年开展的工作,以及亨利·勒贝格在20世纪初发展起来的积分理论,使可列可加集函数成为分析学的核心概念。莫里斯·弗雷歇对抽象空间上测度的研究作出了贡献,而诺伯特·维纳则在1923年构造了与布朗运动相关的测度。维纳的工作表明,概率测度不仅可以描述数值观测结果,还可以描述整条连续轨迹。
安德雷·柯尔莫哥洛夫于1933年出版的《概率论基础》,为概率论提出了影响深远的测度论公理体系。概率由此被定义为适当事件族上的归一化测度,条件概率、独立性和随机过程也得以在同一个数学框架内发展。这一公理化体系并非凭空创造了其全部组成要素;它的重要性在于对这些要素的系统组织,以及随之提出的一般构造原则。
可列可加性至今仍是概率论的标准基础,不过,有限可加概率理论也得到了发展,尤其是在与布鲁诺·德菲内蒂相关的研究中。两者的区别会带来具体后果。正整数集上不存在可列可加的均匀概率测度:如果每个单点集的概率相同,那么这些概率之和要么为零,要么无法得到有限的总测度。这既不妨碍有限集上存在均匀概率分布,也不妨碍整数集上存在其他非均匀概率分布。
这些公理约束的是所赋概率之间的一致性,而不是这些概率的解释或选择。频率学派、贝叶斯学派以及物理学中的应用可以采用相同的概率测度,但对某个具体测度的选用依据可能有不同的看法。数学模型仍须明确指定其样本空间、可测事件和概率分布;一旦作出这些选择,测度论框架便确定了由此推导出的结论。