aiwiki.page
中文
数学 / 概率与统计 / probability

概率

概率是研究不确定性的数学分支,为事件赋予0到1之间的数值,并规定这些数值如何组合与更新。

115 个关键词337 个词条链接到这里10 个尚未撰写AI 撰写
大语言模型统计学信息论统计力学量子力学皮埃尔·德·费马皮埃尔-西蒙·拉普…安德雷·柯尔莫哥…概率

概率是量化不确定性的数学分支。它为每个事件分配一个介于0和1之间的数:0表示该事件不可能发生,1表示该事件必然发生。概率还提供了规则,用于在信息到来时组合、条件化和更新这些数值。同一套形式化工具可以描述抛硬币、放射性原子核的衰变、民意调查的抽样误差、消息在有噪声信道中的传输,以及大语言模型的预测。由于概率是统计学、信息论以及许多统计力学和量子力学的基础,它是现代数学中应用最广泛的领域之一。

这门学科源于17世纪法国关于赌博问题的讨论,其中最著名的是皮埃尔·德·费马与布莱兹·帕斯卡之间的书信往来。此后,克里斯蒂安·惠更斯、雅各布·伯努利、亚伯拉罕·棣莫弗和皮埃尔-西蒙·拉普拉斯等人进一步发展了这一理论。其现代严格形式由安德雷·柯尔莫哥洛夫于1933年给出。他借助测度论的工具,将概率定义为事件的σ代数上、定义在样本空间上的测度。关于概率含义的各种相互竞争的解释(古典的、频率学派的、倾向性的,以及主观的或贝叶斯的)至今仍在哲学上十分活跃,尽管其数学基础已经确立。

本词条首先讨论公理化基础和基本法则,然后介绍随机变量、分布、期望和极限定理,接着讨论随机过程。随后,词条讨论概率的各种解释,以及它在统计推断、物理学、信息论、机器学习,以及医学、遗传学、经济学和金融等应用领域中的作用。最后,词条介绍经典悖论,以及关于基础理论和实际应用的未解问题。

基本概念与日常含义

在日常用语中,概率表达的是人们对某件尚未发生或尚未被观察到的事情有多大把握。明天的天气、一次医学检测的结果,以及从牌堆中抽出的下一张牌,都属于这一类。概率为这种不确定的结果赋予一个介于两个极端之间的数值:不可能发生的事件概率为 0,必然发生的事件概率为 1。两者之间的每个值都表示部分的不确定性,因此这一概念介于人们最常拿来对比的两种情形之间:一种是不可能发生的断言,另一种是必然发生的断言。

基本术语很简单。试验是指结果事先不能确定的任何过程,例如抛掷硬币或掷骰子。每次试验的每一种可能结果称为一个结果,所有结果的集合构成样本空间。事件是若干结果的集合,也就是关于试验结果的一个问题,试验之后可以用“是”或“否”来回答。对于一个均匀的六面骰子,样本空间为 {1, 2, 3, 4, 5, 6},事件“结果为偶数”即为 {2, 4, 6}。若每个面出现的可能性相等,则该事件的概率为 P(even)=36=12P(\text{even}) = \frac{3}{6} = \frac{1}{2}。

古典情形指所有结果等可能,此时给出公式 P(A)=事件 A 包含的结果数结果总数P(A) = \frac{\text{事件 } A \text{ 包含的结果数}}{\text{结果总数}}。它适用于骰子、扑克牌和公平的抽奖,在这些场合,物理上的对称性为这一假设提供了依据。然而,它无法涵盖大多数现实情形。明天下雨的概率、患者康复的概率,或某十年内发生地震的概率,都没有自然列出的等可能结果,也没有可以依靠的明显对称性。这类概率必须来自长期数据、模型,或基于推理的信念程度,这些来源将在后面关于解释与推断的章节中讨论。

概率是 0 到 1 之间的数,但常以其他形式报告。百分比是概率乘以 100 得到的数。优势比较事件发生的可能性与不发生的可能性。若事件概率为 pp,则赞成的优势为 p1−p\frac{p}{1-p}。概率 0.8 因此对应赞成的优势为 4 比 1,概率 0.5 对应机会均等(1 比 1)的优势。优势与概率所包含的信息相同,但二者并不等同:优势的取值范围是从 0 到无穷,而不是从 0 到 1;此外,博彩公司公布的投注赔率通常包含抽水(利润空间),因此它们并不严格等于隐含概率。

一种常见的误解是,过去的结果会改变独立未来事件的优势。若一枚均匀硬币连续五次正面朝上,则第六次抛掷正面朝上的概率仍为 12\frac{1}{2},因为各次抛掷具有统计独立性。连续出现的情形作为一个序列确实罕见,连续六次正面的概率为 164\frac{1}{64},但这一计算是在第一次抛掷之前做出的,并不能延续到下一次抛掷。认为某一结果在连续出现相反结果之后“应该”出现的想法,称为赌徒谬误。它的反面,即认为连续出现某结果会使其继续出现的可能性更大,有时被称为“手感”信念。两种错误都把随机过程当作有记忆的东西,而独立试验并不具有记忆。

早期历史:游戏、赌博与不确定性下的推理

在机会成为数学研究对象之前,人们对不确定性的推理主要是定性的。在古希腊,亚里士多德区分了必然之事与仅仅可能之事(eikos),而关于运气与命运的词汇也出现在有关因果和人类事务的讨论中。这些讨论会权衡证词、迹象与合理性,但并未提供组合机会大小的数值规则。最早的定量机会研究来自游戏。伽利略大约在1613年至1623年间分析了掷三颗骰子的情形,并观察到某些点数之和出现得更频繁,因为能产生它们的面组合更多。更早的时候,卢卡·帕乔利在1494年提出了如何分配一场中途作废的赌局奖池的问题;吉罗拉莫·卡尔达诺大约在1564年写成的赌博论著中,也包含了关于公平赔率的类似推理,尽管他的解法并不总是正确的。

决定性的一步出现在1654年。所谓"点数问题"是指一场机会游戏被中断、奖池必须公平分配的问题,由德·梅雷骑士在巴黎提出。帕斯卡与费马在1654年7月至9月间通过书信讨论了这一问题。他们的关键洞见是:公平的分配不应取决于被中断的游戏已经发生了什么,而应取决于它本可以如何继续。费马列举了所有等可能的后续情形;帕斯卡则找到了一种更简短的递推方法,后来与算术三角形相联系,他将其写成论文,但直到1665年才发表。这些解法依托于期望的概念,即可能收益的加权平均,它成为这门新演算的核心概念。

克里斯蒂安·惠更斯在1655年底访问巴黎期间得知了这一问题,独立给出了自己的解法,并于1657年出版了第一部印刷形式的相关专著《论赌博中的推理》(拉丁文 De ratiociniis in ludo aleae,意为"论机会游戏中的推理"),作为弗朗斯·范·斯хо滕的《数学练习》的附录出版。有些资料将荷兰文原版的时间定为1656年,因此不同版本的日期略有差异。惠更斯从一个公设出发:一个不确定前景的价值,等于在一场公平游戏中购买同样前景所需支付的金额。由此他推导出:有同等机会获得 a 或 b 的前景,其价值为 a+b2\frac{a+b}{2};他又把这一规则推广到三个或更多结果以及多阶段游戏。这部专著是期望值概念以明确形式出现的起点,书中还讨论了一个变体,后来被称为赌徒破产问题。

雅各布·伯努利一生的大部分时间都在研究同样的问题。他的《猜度术》于1713年在巴塞尔遗作出版,其中包含了大数定律的最初版本。对于成功概率固定的重复试验,他证明:随着试验次数增加,观测频率落在真实机会附近任一指定区间内的概率趋近于1。他的证明并未说明这一过程发生的速度,而且其界限相当宽松:在一个以瓮中取球为例的问题中,若要以1000比1的把握将概率估计为0.6且误差不超过±0.02,他的方法要求超过25000次观测。伯努利意在让"猜度的艺术"指导人们在确定性无法获得时的行动,并希望把游戏的数学推广到民事、道德与经济问题上。

亚伯拉罕·棣莫弗加强了这一结果。他于1733年以私人印刷的形式首次推导出二项分布的正态近似,并于1738年正式发表,目的是改进伯努利过于宽松的界限。他还列出了曲线下与均值相距一、二、三个标准差范围内的面积表。随后,皮埃尔-西蒙·拉普拉斯在其《概率的解析理论》(1812年)中推广了这一结果,证明随着试验次数增加,二项分布趋向于正态分布;同一著作还把概率论应用到天文学、人口学和观测误差的分析中。这一发展脉络——从惠更斯的期望,经由伯努利的极限定理,到棣莫弗与拉普拉斯的近似——正是后来促成中心极限定理的基础。

公理化基础与柯尔莫哥洛夫框架

柯尔莫哥洛夫的《概率论的基本概念》(Grundbegriffe der Wahrscheinlichkeitsrechnung,1933)用一组简短的公理取代了原先大量非形式化的规则。格伦·谢弗(Glenn Shafer)对该书的历史研究指出,柯尔莫哥洛夫仅用大约六十页就讲完了这一主题。概率空间由三个要素构成:可能结果的样本空间 Ω、事件的 σ-代数 F\mathcal{F},以及为每个事件指定一个数的函数 P。P 必须满足三条公理:非负性,P(A)≥0P(A)\ge 0;规范性,P(Ω)=1P(\Omega)=1;以及可数可加性,即对两两不相交的事件 A1,A2,…A_1, A_2, \ldots,

P(⋃i=1∞Ai)=∑i=1∞P(Ai).P\Big(\bigcup_{i=1}^{\infty} A_i\Big)=\sum_{i=1}^{\infty} P(A_i).

有限可加性是可数可加性在两个或更多事件情形下的特例,只要事件族在相关运算下封闭,它就可以由可数可加性推出。三元组 (Ω, F\mathcal{F}, P) 是理论其余部分(包括随机变量和概率分布)所建立的基础对象。

可数可加性并非柯尔莫哥洛夫的发明。埃米尔·博雷尔(Émile Borel)于1909年把它引入概率论,随后二十年间,包括柯尔莫哥洛夫在内的许多作者都探讨了它的推论。正如谢弗所说,《基本概念》只是通过说明"再无需其他东西",完善了这一图景。1923年,施泰因豪斯(Steinhaus)迈出了更明确的一步:他仿照谢尔宾斯基(Sierpiński)为勒贝格测度给出的公理,把博雷尔关于可数概率的理论公理化。施泰因豪斯得出结论:无限次二元试验序列的概率论与勒贝格测度论是同构的。这表明,无限的掷硬币序列可以用测度论的工具来处理。

1933年之前还提出过几种相互竞争的公理体系。伯恩斯坦(Sergei Bernstein)1917年的工作表明,可以把概率论建立在关于数值系数的定性公理之上,这些系数用来度量命题的概率。理查德·冯·米塞斯(Richard von Mises)则以"集体"(collective)概念为基础构建其理论,即一个在选择下极限频率保持稳定的序列,而且他并不像柯尔莫哥洛夫那样把概率视为测度。经过多年争论,大多数概率学家对冯·米塞斯的公理化持批评态度,更倾向于柯尔莫哥洛夫《基本概念》中给出的简洁公理集。仅有有限可加性被认为太弱:它无法控制事件递增序列的极限,而经典极限定理恰恰需要这种控制,这也是可数可加性被保留下来的主要原因。谢弗还指出,柯尔莫哥洛夫在极限定理方面的研究,正是他能够宣称这些公理已经充分的权威来源。

可数可加性也有批评者。布鲁诺·德菲内蒂(Bruno de Finetti)认为,它可能与关于公平机会的直觉相冲突。考虑一个有可数多张等可能彩票的游戏:如果每张彩票都有正概率,那么无穷多张彩票的概率之和将超过一;如果每张彩票的概率都为零,则总和为零。两种结果都不符合归一化要求的总和为一。公理的支持者回应说,无穷集合上的此类均匀分布根本不是概率测度。这场争论在有限可加理论以及贝叶斯推断等替代方案的研究中仍在继续。

测度论的视角使离散与连续情形能够用同一个定义来处理。离散分布为可数多个点分配权重,而连续分布则通过对勒贝格测度的密度函数积分来赋予概率。二者都是同一 σ-代数上概率测度的特例,这也是该框架成为本领域标准语言的原因。

柯尔莫哥洛夫还坚持认为,仅凭公理并不能说明概率在现实世界中意味着什么。抽象理论是一种数学结构,要应用它,必须与可观测现象建立联系。对于可重复的实验,这种联系就是相对频率的稳定性,由大数定律表述。公理本身无法判定哪种诠释是正确的,数学上定义的 P 如何对应于物理的或认知上的机会,这一问题仍然悬而未决。

初等规则与组合方法

补集、加法与容斥原理

对于样本空间 Ω\Omega 中的事件 AA,补集规则给出 P(Ac)=1−P(A)P(A^c)=1-P(A)。当所关心的事件是"至少发生一个"时,这通常是最快的解法,因为其补集是"一个都不发生"。

对于两个事件,加法规则为 P(A∪B)=P(A)+P(B)−P(A∩B)P(A\cup B)=P(A)+P(B)-P(A\cap B)。减去的一项是被重复计算的重叠部分。若 AA 与 BB 互斥,则 P(A∩B)=0P(A\cap B)=0,该规则退化为简单的求和。互斥是一个很强的条件,常被与独立性混淆,但二者是不同的性质(见下文)。

容斥原理将其推广到 nn 个事件:

P(⋃i=1nAi)=∑iP(Ai)−∑i<jP(Ai∩Aj)+⋯+(−1)n+1P(⋂i=1nAi).P\Big(\bigcup_{i=1}^{n} A_i\Big)=\sum_i P(A_i)-\sum_{i<j} P(A_i\cap A_j)+\cdots+(-1)^{n+1}P\Big(\bigcap_{i=1}^{n} A_i\Big).

一个经典应用是"帽子问题"。若 nn 个人随机取回帽子,则至少有一人拿回自己帽子的概率为 1−12!+13!−⋯1-\tfrac{1}{2!}+\tfrac{1}{3!}-\cdots,无论 nn 多大,它都会迅速收敛到 1−1/e≈0.6321-1/e\approx 0.632。

并集界

并集界(布尔不等式)指出 P(⋃iAi)≤∑iP(Ai)P(\bigcup_i A_i)\le \sum_i P(A_i)。它舍弃了所有重叠项,因此当事件高度重叠时界限较松,但它无需独立性假设。设 1000 个独立检测各自的假阳性概率均为 0.0001,则至少出现一次假阳性的精确概率为 1−(0.9999)1000≈0.0951-(0.9999)^{1000}\approx 0.095,而并集界给出的上限是 0.1。正因为它简单而稳健,并集界才被频繁用于随机算法和集中不等式的证明。

等可能有限样本空间中的计数

当有限样本空间中的每个结果都等可能时,P(A)=∣A∣/∣Ω∣P(A)=|A|/|\Omega|,问题便转化为计数问题。从 nn 个不同元素中有序选取 kk 个的方式数为 n!/(n−k)!n!/(n-k)!(排列)。无序选取的方式数为 (nk)=n!k! (n−k)!\binom{n}{k}=\dfrac{n!}{k!\,(n-k)!}(组合)。例如,抛掷 10 次均匀硬币恰好出现 5 次正面的概率为 (105)/210=252/1024≈0.246\binom{10}{5}/2^{10}=252/1024\approx 0.246,这就是最简单形式的二项分布。在生日问题中,23 个人生日全部不同的概率为 ∏i=022(1−i/365)≈0.493\prod_{i=0}^{22}(1-i/365)\approx 0.493,因此至少两人生日相同的概率约为 0.507。此类问题的难点几乎总在于正确识别 Ω\Omega,而非算术本身。

条件概率

对于 P(B)>0P(B)>0,事件 AA 在 BB 发生条件下的条件概率为

P(A∣B)=P(A∩B)P(B).P(A\mid B)=\frac{P(A\cap B)}{P(B)}.

从概念上讲,条件化将样本空间限制在 BB 中的结果上,并对概率进行重新缩放,使其总和为 1。其中的陷阱主要与被条件化的事件有关。第一,P(A∣B)P(A\mid B) 与 P(B∣A)P(B\mid A) 通常不同,混淆二者是"检察官谬误"的根源。第二,结论取决于条件信息的获取方式。在一个有两个孩子的家庭中,已知至少有一个是男孩,则两个都是男孩的概率为 1/3。若改为已知长子是男孩,则两个都是男孩的概率为 1/2。两种陈述都提到了男孩,但它们描述的是不同的条件事件。第三,当 P(B)=0P(B)=0 时,初等定义不再适用,此时需要借助条件概率的更高级工具,即条件期望与测度论构造。

独立性与全概率公式

当 P(A∩B)=P(A)P(B)P(A\cap B)=P(A)P(B) 时,两个事件相互独立。这是概率测度的性质,而非事件描述所蕴含的逻辑结论,在实际应用中通常是需要加以论证的假设。对于三个或更多事件,两两独立(每一对都满足乘积法则)比相互独立(每个子集合都满足乘积法则)要弱。标准的反例使用两次抛掷均匀硬币:设 AA 为"第一次掷出正面",BB 为"第二次掷出正面",CC 为"恰好出现一次正面"。每一对事件都是独立的,因为每个交集的概率都是 1/4,但 P(A∩B∩C)=0≠1/8=P(A)P(B)P(C)P(A\cap B\cap C)=0\neq 1/8=P(A)P(B)P(C),因此三者并不相互独立。

全概率公式连接了条件量与无条件量。若 B1,…,BnB_1,\dots,B_n 构成 Ω\Omega 的一个划分,且每个 P(Bi)>0P(B_i)>0,则

P(A)=∑i=1nP(A∣Bi) P(Bi).P(A)=\sum_{i=1}^{n}P(A\mid B_i)\,P(B_i).

例如,机器 1 生产 60% 的产品,其次品率为 2%;机器 2 生产其余 40%,次品率为 5%,则总体次品概率为 0.6×0.02+0.4×0.05=0.0320.6\times 0.02+0.4\times 0.05=0.032。该恒等式正是贝叶斯定理的分母,我们将在下一节讨论。

贝叶斯定理与条件推理

表述与结构

贝叶斯定理把一个条件概率与它的反向条件概率联系起来。对于事件 AA 和 BB,且 P(B)>0P(B)>0,

P(A∣B)=P(B∣A) P(A)P(B).P(A\mid B)=\frac{P(B\mid A)\,P(A)}{P(B)}.

等式左边是在观察到 BB 之后 AA 的后验概率。分子包含似然 P(B∣A)P(B\mid A),它衡量若 AA 成立,证据出现的可能性有多大;还包含先验 P(A)P(A),它记录证据出现之前的信念。分母是归一化常数。若 AA 属于一个划分 A1,…,AnA_1,\dots,A_n,则可以用全概率公式把它展开为 P(B)=∑iP(B∣Ai)P(Ai)P(B)=\sum_i P(B\mid A_i)P(A_i)。于是该公式可以读作“后验与似然乘以先验成正比”,而归一化常数只保证后验的各个取值之和为一。贝叶斯推断采用的也是同样的结构:此时 AA 是一个参数或假设,先验是先验分布,更新后的结果是后验分布。

基率与阳性结果的解读

这一定理解释了为什么当某种情况很罕见时,即使是准确检测得到的阳性结果,也仍然更可能是错误的。假设某种疾病的患病率为1%,一项检测的灵敏度为90%,假阳性率为5%。在1000人中,约有9名真实患者检测呈阳性,约有50名健康人也呈阳性。因此,在阳性结果条件下的患病概率为 9/59≈15%9/59\approx 15\%,而不是灵敏度所暗示的90%。这一错误源于忽视了基率,是基率谬误的典型例子。同样的推理也适用于筛查项目、目击者辨认和欺诈检测,在这些场景中,目标情况的罕见程度主导着计算结果。

赔率形式与似然比

将 AA 的定理与其补事件的定理相除,可以消去归一化常数,得到赔率形式:

P(A∣B)P(¬A∣B)=P(A)P(¬A)×P(B∣A)P(B∣¬A).\frac{P(A\mid B)}{P(\neg A\mid B)}=\frac{P(A)}{P(\neg A)}\times\frac{P(B\mid A)}{P(B\mid \neg A)}.

后验赔率等于先验赔率乘以似然比。在上面的例子中,先验赔率为1比99,似然比为 0.90/0.05=180.90/0.05=18,因此后验赔率约为18/99,即约0.18比1,对应的概率同样约为15%。似然比便于衡量证据在多大程度上支持某一假设而非另一假设,它也是比较模型时贝叶斯因子所使用的量。由于它不依赖先验,因此可以独立于任何特定的基率信念而单独报告。

历史背景

这一定理以英国长老会牧师托马斯·贝叶斯命名,但他的实际作用比名字所暗示的要小。他的论文在其去世后于遗稿中被发现,由其好友理查德·普莱斯整理编辑。普莱斯于1763年12月23日向皇家学会宣读了该文,次年发表于《哲学汇刊》。贝叶斯处理的是一个具体问题:在均匀先验下,根据观察到的成功与失败次数推断二项过程的成功概率。普莱斯则加写了一段导言,为运用这种逆向推理进行辩护。一些历史学家指出,大卫·哈特利在1749年的著作中已经给出了该定理的表述,哈特利将其归功于一位朋友;斯蒂格勒则提出尼古拉斯·桑德森可能是来源,但证据并不确凿。

皮埃尔-西蒙·拉普拉斯于1774年在其论文《论事件原因的概率》中以一般形式陈述了这一法则,并将其称为“原因的概率”。他是独立得出这一结果的,据其后期著作的记载,他直到1781年才得知贝叶斯的论文。拉普拉斯将这一法则应用于人口统计、气象学、大地测量学、天文学以及证言问题,其1812年的《概率的分析理论》对其作了系统论述。因此,许多历史学家认为,一般理论应归功于拉普拉斯,而这一名称则属于贝叶斯。

日常判断中的条件推理

自20世纪70年代初起,心理学研究便开始检验人们的推理是否符合这一定理。丹尼尔·卡尼曼与阿莫斯·特沃斯基发现,当被试得到一段具有诊断性的描述时,他们往往忽视基率,并且常常更看重个别证据的生动性,而非先验频率。他们关于出租车问题的研究中,题目给出了不同颜色出租车的比例以及目击证人的可靠性,结果显示受试者的答案通常远高于规范意义上的正确值。此后,格尔德·吉仁泽与乌尔里希·霍夫拉格的研究发现,若以自然频数(例如“1000人中有10人”)而非百分比呈现相同信息,正确的贝叶斯式答案比例会显著提高。对这些发现的解释存在争议:一些学者将其视为人类推理中的系统性偏差,另一些学者则认为,导致大部分错误的是问题的呈现形式,而非推理过程本身。

条件推理与日常判断之间的关系,还取决于人们将哪些概率视为已知。条件概率需要明确给出条件事件,而混淆 P(A∣B)P(A\mid B) 与 P(B∣A)P(B\mid A) 则是解读医学检验、法律证据和统计显著性时最常见的错误之一。

随机变量与概率分布

作为可测函数的随机变量

随机变量是从样本空间 Ω\Omega 到实数 R\mathbb{R} 的函数 XX。要使 XX 能够在概率空间 (Ω,F,P)(\Omega, \mathcal{F}, P) 中使用,它必须是可测的:对每个 Borel 集 B⊆RB \subseteq \mathbb{R},原像 {X∈B}={ω:X(ω)∈B}\{X \in B\} = \{\omega : X(\omega) \in B\} 都必须属于 σ-代数 F\mathcal{F},这样它的概率才有定义。取 B=(−∞,x]B = (-\infty, x],得到事件 {X≤x}\{X \le x\},它们是此后一切内容的基本构件。

通过 XX,Ω\Omega 上的测度 PP 会诱导出 R\mathbb{R} 上的一个测度,即 XX 的概率分布。关于 XX 的问题,实际上就是关于这个诱导分布的问题。例如,掷两枚硬币,XX 表示正面朝上的次数,则 Ω\Omega 有四个等可能的结果,而 XX 取值 0、1、2 的概率分别为 1/4、1/2、1/4。定义在不同空间上的不同随机变量可以具有相同的分布,从这个意义上说,对许多目的而言,只有分布本身才重要。

离散分布与连续分布

当 XX 取可数多个值时,其分布由概率质量函数 p(x)=P(X=x)p(x) = P(X = x) 描述。这些取值非负,且总和为 1。二项分布是一个标准例子:

p(k)=(nk)pk(1−p)n−k,k=0,1,…,n,p(k) = \binom{n}{k} p^k (1-p)^{n-k}, \quad k = 0, 1, \dots, n,

这就是二项分布。

当分布是绝对连续的时,它由满足下式的概率密度函数 f≥0f \ge 0 描述:

P(a≤X≤b)=∫abf(x) dx,∫−∞∞f(x) dx=1.P(a \le X \le b) = \int_a^b f(x)\,dx, \qquad \int_{-\infty}^{\infty} f(x)\,dx = 1.

对这类随机变量,每个单点的概率都为零,因此密度本身并不是概率。取而代之的是,对于小的 hh,f(x) hf(x)\,h 近似等于 P(x≤X≤x+h)P(x \le X \le x+h),所以更好的理解方式是把密度看作单位长度上概率的集中程度。正态分布是最著名的连续例子。

并非所有分布都属于这两类之一。勒贝格分解依赖测度论和勒贝格测度,它把一般分布拆分为绝对连续部分、离散部分,以及一个没有密度但又不是离散的奇异部分。

累积分布函数

对每个实值随机变量,累积分布函数(CDF)定义为 F(x)=P(X≤x)F(x) = P(X \le x)。它是非递减且右连续的,当 x→−∞x \to -\infty 时趋于 0,当 x→+∞x \to +\infty 时趋于 1。反过来,任何具有这三个性质的函数都是某个分布的累积分布函数,因此 FF 完全确定了分布。这种普适性正是累积分布函数能够作为离散、连续及混合情形的通用语言的原因。

累积分布函数也直接编码了概率。我们有 P(a<X≤b)=F(b)−F(a)P(a < X \le b) = F(b) - F(a),并且点 xx 处的概率等于 FF 在 xx 处的跳跃幅度。对于离散变量,FF 是阶梯函数;对于绝对连续的变量,FF 是连续的,并且在导数存在处有 F′(x)=f(x)F'(x) = f(x)。

联合分布、边缘分布与条件分布

对于同一空间上的两个随机变量 XX 和 YY,联合累积分布函数为 F(x,y)=P(X≤x,Y≤y)F(x,y) = P(X \le x, Y \le y)。离散情形下,联合质量函数为 p(x,y)p(x,y);连续情形下,联合密度为 f(x,y)f(x,y)。边缘分布通过对另一个变量求和或积分得到:

pX(x)=∑yp(x,y),fX(x)=∫f(x,y) dy.p_X(x) = \sum_y p(x,y), \qquad f_X(x) = \int f(x,y)\,dy.

给定 X=xX = x 时 YY 的条件分布,在离散情形下为 p(y∣x)=p(x,y)/pX(x)p(y \mid x) = p(x,y)/p_X(x),在连续情形下(当 fX(x)>0f_X(x) > 0 时)为 f(y∣x)=f(x,y)/fX(x)f(y \mid x) = f(x,y)/f_X(x)。这是条件概率在分布层面的对应物;在连续情形下,对概率为零的事件进行条件化则需要更加精细的构造。

当随机变量的联合分布可以分解时,它们是独立的:对所有 x,yx, y,有 F(x,y)=FX(x)FY(y)F(x,y) = F_X(x)F_Y(y),或者等价地 p(x,y)=pX(x)pY(y)p(x,y) = p_X(x)p_Y(y),或 f(x,y)=fX(x)fY(y)f(x,y) = f_X(x)f_Y(y)。独立性的要求远比协方差为零更强。例如,若 XX 为标准正态变量且 Y=X2Y = X^2,则 XX 与 YY 不相关,但显然是相依的。

随机变量的变换

若 Y=g(X)Y = g(X),则 YY 的分布由 XX 的分布和 gg 共同决定。对离散变量,yy 处的质量等于所有满足 g(x)=yg(x) = y 的 xx 处质量之和。对连续变量,若 gg 可微、严格单调且反函数为 g−1g^{-1},则变量替换公式给出

fY(y)=fX(g−1(y)) ∣ddyg−1(y)∣.f_Y(y) = f_X\big(g^{-1}(y)\big)\,\left|\frac{d}{dy}g^{-1}(y)\right|.

例如,若 XX 在 (0,1)(0,1) 上均匀分布且 Y=−ln⁡XY = -\ln X,则当 y>0y > 0 时 fY(y)=e−yf_Y(y) = e^{-y},这是速率为 1 的指数分布。

当 gg 不单调时,需要把所有原像的贡献相加:

fY(y)=∑ifX(xi)∣g′(xi)∣,g(xi)=y.f_Y(y) = \sum_{i} \frac{f_X(x_i)}{|g'(x_i)|}, \qquad g(x_i) = y.

若 XX 为标准正态变量且 Y=X2Y = X^2,则对每个 y>0y > 0,都有两个原像 ±y\pm\sqrt{y},由该公式得 fY(y)=(2πy)−1/2e−y/2f_Y(y) = (2\pi y)^{-1/2} e^{-y/2},即自由度为 1 的卡方分布。在多维情形下,同样的思想用雅可比行列式的绝对值代替 ∣g′∣|g'|。

期望、方差与概率不等式

期望值

对于取值为 xix_i、概率为 pip_i 的离散随机变量 XX,其期望值为 E[X]=∑ixipiE[X]=\sum_i x_i p_i。对于密度为 ff 的连续变量,期望值为 E[X]=∫xf(x) dxE[X]=\int x f(x)\,dx。两种情形下,期望都是各可能取值以其概率为权重的加权平均。一颗均匀的六面骰子的期望是 3.5,而这个数值骰子永远不会掷出。期望具有线性性:无论 XX 与 YY 是否独立,都有 E[aX+bY]=aE[X]+bE[Y]E[aX+bY]=aE[X]+bE[Y]。这一性质使许多计算变得简单。例如,nn 次试验、成功概率为 pp 的二项计数的均值为 npnp,只需对 nn 个伯努利变量的均值求和即可得到。期望还能刻画分布的中心位置。在所有常数 cc 中,E[(X−c)2]E[(X-c)^2] 在 c=E[X]c=E[X] 时最小。有些分布的期望不存在。柯西分布 是标准的例子,因为定义其均值的积分不绝对收敛。

方差、协方差与相关关系

方差 Var⁡(X)=E[(X−μ)2]\operatorname{Var}(X)=E[(X-\mu)^2](其中 μ=E[X]\mu=E[X])度量数据围绕均值的离散程度,也可以写成 E[X2]−μ2E[X^2]-\mu^2。其平方根即 标准差,与 XX 具有相同的量纲。对变量作尺度变换时,方差乘以尺度因子的平方,即 Var⁡(aX+b)=a2Var⁡(X)\operatorname{Var}(aX+b)=a^2\operatorname{Var}(X),因此加上常数不会改变离散程度。与期望不同,方差不具有线性性,取而代之的是 Var⁡(X+Y)=Var⁡(X)+Var⁡(Y)+2Cov⁡(X,Y)\operatorname{Var}(X+Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)+2\operatorname{Cov}(X,Y)。

对于两个变量,协方差定义为 Cov⁡(X,Y)=E[(X−E[X])(Y−E[Y])]\operatorname{Cov}(X,Y)=E[(X-E[X])(Y-E[Y])]。相关关系 用相关系数 ρ=Cov⁡(X,Y)/(σXσY)\rho=\operatorname{Cov}(X,Y)/(\sigma_X\sigma_Y) 度量,这是一个取值在 −1 与 1 之间的无量纲量。独立变量的协方差为零,但反之不成立。若 XX 为标准正态变量且 Y=X2Y=X^2,则 Cov⁡(X,Y)=E[X3]=0\operatorname{Cov}(X,Y)=E[X^3]=0,但 YY 完全由 XX 决定。因此,零相关只排除了线性关联,并不排除一般意义上的相依关系。

高阶矩与矩母函数

kk 阶矩为 E[Xk]E[X^k],kk 阶中心矩为 E[(X−μ)k]E[(X-\mu)^k]。将三阶中心矩标准化得到偏度 E[((X−μ)/σ)3]E[((X-\mu)/\sigma)^3],用于衡量分布的不对称程度。标准化的四阶矩给出峰度 E[((X−μ)/σ)4]E[((X-\mu)/\sigma)^4]。正态分布的峰度为 3,而“超额峰度”即减去这一数值,用于将尾部厚度与正态情形相比较。

矩母函数 MX(t)=E[etX]M_X(t)=E[e^{tX}] 将全部矩集中在一个函数中。若它在零点附近的某个区间内存在,则 kk 阶矩等于 MXM_X 在 0 处的 kk 阶导数,并且该函数唯一确定分布。对于独立变量,有 MX+Y=MXMYM_{X+Y}=M_X M_Y,因此它在识别独立变量之和的分布时非常有用。均值为 μ\mu、方差为 σ2\sigma^2 的正态变量,其矩母函数为 M(t)=exp⁡(μt+σ2t2/2)M(t)=\exp(\mu t+\sigma^2 t^2/2)。柯西分布等厚尾分布族没有矩母函数,此时改用总是存在的特征函数 E[eitX]E[e^{itX}]。

马尔可夫不等式与切比雪夫不等式

马尔可夫不等式 指出:对于非负随机变量 XX 和任意 a>0a>0,有 P(X≥a)≤E[X]/aP(X\ge a)\le E[X]/a。它只要求均值有限,可由 a1{X≥a}≤Xa\mathbf{1}\{X\ge a\}\le X 直接推出。切比雪夫不等式 可将马尔可夫不等式应用于 (X−μ)2(X-\mu)^2,阈值取 k2σ2k^2\sigma^2 而得到,即 P(∣X−μ∣≥kσ)≤1/k2P(|X-\mu|\ge k\sigma)\le 1/k^2。当 k=2k=2 时,对任何方差有限的分布,该界均为 0.25。对于正态分布,超出两个标准差的真实双侧尾概率约为 0.046,因此对性质良好的分布而言,该界相当宽松。它的优势在于无需了解分布的形状,并且是证明大数弱定律的基本工具。这两个界都能被某些分布取等号,因此在没有进一步假设的情况下无法改进。

詹森不等式

詹森不等式 指出:若 φ\varphi 为凸函数,则在期望存在时有 φ(E[X])≤E[φ(X)]\varphi(E[X])\le E[\varphi(X)]。对于凹函数,不等号方向相反。从几何上看,凸函数的图像位于其任意弦的下方,因此它在均值处的函数值不超过函数值的平均。由此可直接推出若干常见结论。期望绝对值满足 E∣X∣≥∣E[X]∣E|X|\ge|E[X]|。不等式 E[X2]≥(E[X])2E[X^2]\ge(E[X])^2 等价于方差非负。对于正值变量 XX,有 E[1/X]≥1/E[X]E[1/X]\ge 1/E[X],以及 E[etX]≥etE[X]E[e^{tX}]\ge e^{tE[X]}。只有当 φ\varphi 在 XX 的取值范围内为线性函数,或 XX 几乎必然为常数时,等号才成立。

常见分布族

实践中使用的大多数概率模型都取自少数几类参数族。每一个分布族都对应一类反复出现的情形,因此在拟合任何数据之前,先弄清一个分布族描述的是什么,有助于判断它是否适用于具体问题。

一次伯努利试验只有两种结果,分别记为1(成功)和0(失败),成功概率为pp。独立地、以相同的pp重复进行nn次这样的试验并统计成功次数,便得到二项分布,其概率质量函数为(nk)pk(1−p)n−k\binom{n}{k}p^k(1-p)^{n-k},均值为npnp,方差为np(1−p)np(1-p)。若从包含KK个成功项的有限总体(共NN个)中不放回地抽取,则计数服从超几何分布,其概率为(Kk)(N−Kn−k)/(Nn)\binom{K}{k}\binom{N-K}{n-k}/\binom{N}{n}。当样本量相对于总体较小时,两种分布给出的结果几乎相同,这也是在抽样比很小时常直接使用二项分布的原因。

对于稀有事件,泊松分布可以看作二项分布的极限:令n→∞n\to\infty、p→0p\to 0且np=λnp=\lambda保持不变,便得到P(k)=e−λλk/k!P(k)=e^{-\lambda}\lambda^k/k!,其均值和方差都等于λ\lambda。与之对应的等待时间分布是指数分布,其密度为λe−λx\lambda e^{-\lambda x},x≥0x\ge 0。指数分布具有无记忆性:再等待一段时间的概率,不取决于已经等待了多久。泊松过程中相邻事件的间隔服从指数分布,这一联系直接把两个分布族关联起来。

在连续分布族中,区间[a,b][a,b]上的均匀分布密度恒为1/(b−a)1/(b-a),它是等可能性在连续情形下的对应物,常用作无信息的起始假设。形状参数为α\alpha、速率参数为β\beta的伽马分布,当α\alpha为整数时,是α\alpha个独立指数变量之和的分布;它同时涵盖指数分布(α=1\alpha=1)和卡方分布的情形,用于描述等待时间、理赔额等正值量。定义在[0,1][0,1]上的贝塔分布用于刻画比例和未知概率。伽马分布和贝塔分布还是共轭先验:对泊松速率取伽马先验、对二项分布的pp取贝塔先验,得到的后验分布与先验属于同一分布族。因此,先验为Beta(α,β)\mathrm{Beta}(\alpha,\beta)的参数,在nn次试验中观察到kk次成功后,更新为Beta(α+k,β+n−k)\mathrm{Beta}(\alpha+k,\beta+n-k)。均匀分布是Beta(1,1)\mathrm{Beta}(1,1)这一特例。

正态分布是应用最广泛的分布族,由均值μ\mu和方差σ2\sigma^2确定。它有多种刻画方式:在所有给定均值和方差的分布中,它的信息熵最大;独立正态变量的线性组合仍服从正态分布;在经典条件下,来自某分布的随机样本,其样本均值与样本方差统计独立,当且仅当该分布为正态分布。它在实践中的突出地位,很大程度上可由中心极限定理解释。多元正态分布由均值向量μ\mu和协方差矩阵Σ\Sigma确定,其密度与exp⁡(−12(x−μ)TΣ−1(x−μ))\exp\left(-\tfrac12(x-\mu)^{T}\Sigma^{-1}(x-\mu)\right)成正比。多元正态向量的线性变换、边缘分布和条件分布仍为正态分布;在这样的向量中,两个分量之间协方差为零即意味着它们独立,而这一性质对一般分布并不成立。

正态分布和指数分布的尾部衰减很快,被称为轻尾分布族:它们的各阶矩均有限,且矩母函数在零的某个邻域内存在。重尾分布族则不同。柯西分布的密度为1/(π(1+x2))1/(\pi(1+x^2)),其均值不存在;nn个独立标准柯西变量的平均值与单个变量的分布完全相同,因此平均并不能减小离散程度,大数定律也不再适用。帕累托分布等幂律分布族只有直到某一阶的矩是有限的,该阶数由尾部指数决定。这一区别在风险建模中至关重要。金融市场的损失、保险理赔以及某些自然灾害都呈现重尾特征;若用正态模型拟合此类数据,可能大大低估极端结果发生的概率,而样本方差及其他基于矩的统计量也可能不稳定。

极限定理与收敛模式

大数定律

设 X1,X2,…X_1, X_2, \dots 为独立同分布(i.i.d.)的随机变量,其均值有限且为 μ\mu,记 Xˉn=1n∑i=1nXi\bar X_n = \frac{1}{n}\sum_{i=1}^n X_i。弱大数定律指出:对任意 ε>0\varepsilon > 0,有 P(∣Xˉn−μ∣>ε)→0P(|\bar X_n - \mu| > \varepsilon) \to 0,即 Xˉn\bar X_n 依概率收敛于 μ\mu。辛钦仅在有限均值的假设下就证明了这一结论。强大数定律由柯尔莫哥洛夫于 1930 年针对有限均值的独立同分布情形建立,它断言 P(Xˉn→μ)=1P(\bar X_n \to \mu) = 1,即 几乎必然收敛。博雷尔 1909 年关于公平硬币投掷结果数字的结论是其早期的特例。两者的区别很重要:弱大数定律关注的是每个固定 nn 下出现较大偏差的概率,而强大数定律关注的是单次实现中整个均值序列的行为。

中心极限定理

若另外有 σ2=Var⁡(Xi)∈(0,∞)\sigma^2 = \operatorname{Var}(X_i) \in (0, \infty),则中心极限定理的林德伯格–莱维形式给出 n (Xˉn−μ)σ→ d N(0,1).\frac{\sqrt{n}\,(\bar X_n - \mu)}{\sigma} \xrightarrow{\ d\ } N(0,1). 极限只依赖于求和项的均值与方差,这解释了正态分布为何如此广泛地出现:许多微小且大致独立的贡献之和经过标准化后,会忘记每个贡献的具体形状。该定理可推广到独立但不同分布的求和项。李雅普诺夫条件要求略高于二阶的矩;林德伯格–费勒定理则给出了一个充要条件,即林德伯格条件,其实质是没有任何单一项主导总方差。多元版本得到以求和项协方差矩阵为参数的多元正态极限。贝里–埃森定理给出近似误差的界,阶数为 n−1/2n^{-1/2},并以三阶绝对矩为系数,这解释了为什么强偏态分布需要更大的样本量,正态近似才足够精确。

收敛模式

对于随机变量 XnX_n 与 XX,几乎必然收敛指 P(lim⁡nXn=X)=1P(\lim_n X_n = X) = 1。依概率收敛指对每个 ε>0\varepsilon > 0,有 P(∣Xn−X∣>ε)→0P(|X_n - X| > \varepsilon) \to 0。依分布收敛指分布函数在极限的每个连续点上都收敛;它只涉及分布,中心极限定理即属于这一类。LpL^p 收敛指 E∣Xn−X∣p→0E|X_n - X|^p \to 0(参见 L^p 收敛)。几乎必然收敛与 LpL^p 收敛都蕴含依概率收敛,而依概率收敛又蕴含依分布收敛。前两者之间互不蕴含。在 [0,1][0,1] 上配以勒贝格测度,Xn=n 1(0,1/n)X_n = n\,\mathbf{1}_{(0,1/n)} 几乎必然收敛于 0,但对所有 nn 都有 EXn=1E X_n = 1。反过来,一个"打字机"式序列——即在 [0,1][0,1] 上来回扫过、区间不断缩小的示性函数列——依概率收敛于 0,却在任何一点都不收敛。依分布收敛于常数等价于依概率收敛,并且每个依概率收敛的序列都有一个几乎必然收敛的子列。

博雷尔–坎泰利引理

对于事件 AnA_n,记 {An i.o.}\{A_n \text{ i.o.}\} 为其中无穷多个事件发生的事件。第一博雷尔–坎泰利引理指出:若 ∑nP(An)<∞\sum_n P(A_n) < \infty,则 P(An i.o.)=0P(A_n \text{ i.o.}) = 0,且无需任何独立性假设。第二引理指出:若事件相互独立且 ∑nP(An)=∞\sum_n P(A_n) = \infty,则 P(An i.o.)=1P(A_n \text{ i.o.}) = 1。对于 P(An)=1/nP(A_n) = 1/n 的独立事件,几乎必然有无穷多个发生;当 P(An)=1/n2P(A_n) = 1/n^2 时,则只有有限多个发生。这两个引理是判定几乎必然收敛问题的标准工具,也常用于从矩估计推出强大数定律。

定理的适用边界

大数定律与中心极限定理依赖于其前提条件。标准柯西变量没有有限均值,而 nn 个独立同分布柯西变量的均值对每个 nn 都服从同一柯西分布,因此两个定律均不适用。当均值有限而方差无限时,弱大数定律仍然成立,但正态极限失效;经适当重标度的和则收敛于指标 α∈(0,2)\alpha \in (0,2) 的稳定分布,缩放因子为 n1/αn^{1/\alpha}。依赖关系也可能破坏收敛:若对所有 nn 都有 Xn=X1X_n = X_1,则每个边缘分布都未改变,但 Xˉn=X1\bar X_n = X_1 永远不会趋近于 μ\mu。对于依赖序列,定理的较弱形式仍然成立,包括马尔可夫链的遍历定理,以及在混合条件下的中心极限定理。

随机过程

随机过程是由时间指标集 TT 索引的一族随机变量 {Xt:t∈T}\{X_t : t \in T\},用来描述随机量如何随时间演化。最简单也最常用的情形是离散时间马尔可夫链,其下一状态仅依赖于当前状态。对于可数状态空间,马尔可夫性为 P(Xn+1=j∣Xn=i,…,X0=i0)=P(Xn+1=j∣Xn=i)=pijP(X_{n+1}=j \mid X_n=i, \dots, X_0=i_0) = P(X_{n+1}=j \mid X_n=i) = p_{ij}。数列 pijp_{ij} 构成 转移矩阵 PP,其每一行之和为 1,而 nn 步转移概率即为 PnP^n 的元素。满足 πP=π\pi P = \pi 的分布 π\pi 称为 平稳分布。对于不可约正常返链,这样的分布存在且唯一;遍历定理指出,沿单条轨道的时间平均几乎必然收敛于关于 π\pi 的平均值。这是大数定律在马尔可夫链上的对应结论。安德烈·马尔可夫在1906年研究普希金诗歌中的元音序列时首次引入了这类链,如今该理论是马尔可夫链蒙特卡洛方法和隐马尔可夫模型的基础。

随机游走是独立同分布步长的部分和 Sn=ξ1+⋯+ξnS_n = \xi_1 + \cdots + \xi_n。在最简单的情形下,每一步取 ±1\pm 1。这类游走在一维和二维中是常返的,即质点以概率 1 返回原点;但在三维及更高维中,质点有正的概率永不返回。赌徒破产问题考虑这样一个问题:若一名玩家初始资金为 ii,每单位赌注以概率 pp 赢、以概率 q=1−pq = 1-p 输,那么他在破产前达到目标 NN 的概率是多少?当 p≠qp \neq q 时,先到达 NN 的概率为 1−(q/p)i1−(q/p)N\frac{1-(q/p)^i}{1-(q/p)^N};若是公平游戏(p=1/2p = 1/2),该概率为 i/Ni/N。即使是公平游戏,当对手的资金无限增长时,破产概率也趋近于 1。这也是该问题在金融和投注相关讨论中占据核心地位的原因之一。

泊松过程用于描述到时刻 tt 为止发生的随机事件数 N(t)N(t)。它的基本特征是增量独立,并且对于长度为 ss 的任一区间,计数服从均值为 λs\lambda s 的泊松分布。等价地,相邻事件的等待时间是速率为 λ\lambda 的独立指数族随机变量(即指数分布),而指数分布具有无记忆性。因此,该过程是排队模型的基本构件,例如 M/M/1 排队系统,其到达与服务完成都由泊松过程驱动。在可靠性工程中,当故障以恒定速率独立发生时,它可用于描述部件故障和修复的发生。

布朗运动(又称维纳过程)是随机游走的连续时间对应物。标准版本 WtW_t 从零出发,具有连续的样本路径,并且具有独立的高斯增量 Wt−Ws∼N(0,t−s)W_t - W_s \sim N(0, t-s)。路易·巴舍利耶在1900年用类似的模型描述价格波动;阿尔伯特·爱因斯坦在1905年对粒子扩散的分析为其提供了物理基础,随后让·佩兰的实验证实了这一理论。诺伯特·维纳在20世纪20年代给出了严格的构造。其样本路径处处不可微,因此研究它需要伊藤清提出的随机微积分。在数学金融中,几何布朗运动是资产价格的标准模型,并构成布莱克–斯科尔斯期权定价框架的基础;而在物理学中,同一过程描述扩散和热运动。

鞅将公平游戏的思想形式化:在给定过去信息的条件下,下一时刻取值的条件期望等于当前取值,即 E[Xn+1∣Fn]=XnE[X_{n+1} \mid \mathcal{F}_n] = X_n。鞅与条件期望以及记录到时刻 nn 为止可用信息的滤子 Fn\mathcal{F}_n 紧密相关。杜布的可选停止定理指出,在适当的有界性或可积性条件下,停时处的期望值等于初始期望值。将其应用于合适的鞅,可以简洁地推导出赌徒破产概率。鞅收敛定理指出,非负上鞅几乎必然收敛;而 L1L^1 有界的鞅几乎必然收敛到某个极限。这些结果在概率论以及数学金融中都十分基础,在数学金融中,无套利原则可以通过等价鞅测度的存在性来表达。

概率的诠释

以柯尔莫哥洛夫公理为基础的概率形式理论规定了概率测度的性质,但并未说明概率数值在现实世界中指的是什么。若干种诠释填补了这一空白。它们的主要分歧在于:概率所描述的对象是什么,是实验装置的对称性、长期频率、物理倾向性,还是理性的信念程度。

古典诠释

最古老的观点把概率看作等可能情形的比值:有利情形数除以等可能情形的总数。它以无差别原则(又称不充分理由原则)为基础,该原则认为,若没有理由偏好某些结果,则这些结果应被赋予相等的概率。这一观点适用于均匀的硬币、骰子和充分洗过的扑克牌,因为其中的对称性显而易见。但它的局限十分严重。大多数现实问题并不存在自然的等可能划分。此外,该原则在重新参数化时会得出相互矛盾的结果:对某个量x的无知,既可以表示为关于x的均匀分布,也可以表示为关于x²的均匀分布,而两种选择会给同一事件赋予不同的概率。贝特兰悖论表明,一个关于随机弦的简单几何问题,会因所选测度的不同而得出多个答案。因此,古典观点主要作为一种特例而存续,而非作为概率的一般定义。

频率学派诠释

频率学派将概率等同于某结果在无限长的重复试验序列中的极限相对频率。理查德·冯·米塞斯于1919年用"集体"概念使这一思想精确化:这是一个无限序列,其中相对频率趋于收敛,并且在任何允许的子序列选取方式下都保持稳定,他认为这一性质形式化地刻画了随机性。频率学派思想构成了二十世纪统计学的大部分基础,包括与罗纳德·费希尔、耶日·内曼和埃贡·皮尔逊相关的方法。这一诠释的优点在于其客观性,以及它与观测数据的直接联系。其弱点在于:无限序列只是理想化的构想;它无法为某个独特事件(例如某次特定选举的结果)赋予概率;而单次事件的问题必须被归入某个参照类,而参照类的选择可能改变结论。

倾向性诠释

倾向性观点认为,概率是某一特定实验装置产生某种结果的物理趋势或禀性。按此观点,概率是装置的属性,而非一系列试验的属性。卡尔·波普尔于二十世纪五十年代末提出了这一主张,部分目的是允许量子物理中存在单次事件的概率,部分目的是避开无限序列的问题。其他哲学家和物理学家也发展了相关版本,其中一些把倾向性与量子系统的随机倾向联系起来。批评者指出,倾向性无法被直接观测,只能通过频率来检验。他们还注意到,条件倾向性会引发一些技术性难题,例如汉弗莱悖论。因此,倾向性观点介于频率学派的可检验性与对随机性的物理解释之间。

主观与贝叶斯诠释

主观主义者认为,概率是理性主体所持有的信念程度。贝叶斯方法采纳了这一理解。弗兰克·拉姆齐于1926年、布鲁诺·德菲内蒂于二十世纪三十年代均主张,信念程度可以通过赌注价格来衡量,而一个融贯的主体,其信念必须满足概率公理。德菲内蒂的融贯性准则要求:不存在这样一组赌注,每一个赌注按主体自己的价格看都是公平的,却能在任何结果下保证其亏损。荷兰赌论证将这一点精确化,断言不融贯的主体可以被以这种方式利用。随后,依据新证据更新信念遵循的是同样的推理,并由此将主观概率与贝叶斯定理联系起来。德菲内蒂关于可交换序列的表示定理还表明,这类信念的行为可以如同它们是从未知频率中抽取的一样,从而将主观观点与频率学派的实践联系起来。批评者质疑:赌注价格是否真实地揭示了信念;荷兰赌论证是否只证明了一致性而不止于此;以及先验分布的选择在多大程度上影响结论。

与形式体系的关系及持续的争论

以上所有诠释都接受同一个形式框架:具有非负性、规范性和可数可加性的概率空间。它们的分歧在于抽象测度与现实世界之间的联系,而非概率演算本身。在实践中,统计学家常常兼采多种观点:基于频率的模型用于设计实验和评估方法,而贝叶斯更新则用于表达对某一假设不断变化的信念。物理学则带来了另一个问题:量子理论中的玻恩规则引出了一个疑问,即单次测量的概率是基本的,还是反映了知识的不完备。关于哪一种诠释最符合科学实践,争论仍在继续。每一种诠释都能很好地刻画某些用途:可重复的过程适合频率观点,不可重复的事件适合信念观点,而具体的物理装置适合倾向性观点。目前没有任何一种诠释获得普遍接受。

统计推断中的概率

估计量及其抽样行为

统计推断把概率推理反过来使用:从观测到的样本出发,去推断未知参数 θ。估计量是一种把数据转化为 θ 猜测值的规则,其优劣通过它的抽样分布来判断,即在假设的重复抽样中,估计量取值的分布。若估计量的期望等于参数,则称其为无偏的。样本均值对总体均值满足这一条件,但以 n 为除数计算的样本方差比 σ² 小了 (n−1)/n 这一因子,因此通常采用除数 n−1。仅有无偏性还不足以下结论,因为一个估计量可能偏差很小而方差很大。偏差-方差权衡描述了降低其中一项往往会使另一项增大。一致性要求随着样本量增大,估计值收敛到真实值,这一性质依赖于大数定律。

最大似然与贝叶斯更新

对于来自密度为 f(x; θ) 的模型的独立观测 x₁, …, xₙ,似然函数为 L(θ)=∏i=1nf(xi;θ)L(\theta) = \prod_{i=1}^{n} f(x_i;\theta),它被视为数据固定时关于 θ 的函数。最大似然估计选取使其最大的 θ。对于 n 次伯努利试验中有 k 次成功的情形,最大值点为 k/n。在标准的正则条件下,所得估计量是一致的且渐近正态的。罗纳德·费希尔在20世纪20年代使似然成为估计理论的核心工具。

贝叶斯方法则把 θ 本身视为随机变量。先验分布 π(θ) 编码了数据出现之前的信念,贝叶斯定理给出后验分布 π(θ∣x)∝L(θ) π(θ)\pi(\theta \mid x) \propto L(\theta)\,\pi(\theta)。在均匀先验下,10 次试验中有 7 次成功,得到后验分布 Beta(8,4)\text{Beta}(8,4)(贝塔分布),其均值为 2/3。贝叶斯推断中的可信区间是包含给定后验概率份额(如 95%)的区间。每个后验分布又成为下一批数据的先验,这就是该方法"序贯更新"的含义。

假设检验、P值与区间估计

检验从原假设 H₀ 和一个检验统计量开始。P值是在 H₀ 成立的条件下,统计量取到不小于所观测值的极端程度的概率。它并不是 H₀ 为真的概率。美国统计学会2016年的一份声明直接指出了这一点,并将其列为关于使用P值的六条原则之一。P值既不衡量所研究假设为真的概率,也不衡量数据纯粹由随机偶然性产生的概率。

决策会带来两类错误,见第一类与第二类错误。第一类错误是拒绝了一个真实的原假设,其概率为显著性水平 α。第二类错误是未能拒绝一个不真的原假设,其概率为 β。检验的统计功效为 1−β。95% 的置信区间是这样一种方法:在重复抽样中,它在约 95% 的情形下覆盖真实值;它并不是说,对于已经算出的这个特定区间,有 95% 的概率包含真实值。把P值视为分级证据的框架与费希尔相关,而面向决策的框架则与奈曼和皮尔逊相关,二者在应用实践中常被混用,这种混用是造成混淆的原因之一。

功效与多重比较

功效取决于效应量、样本量、数据的变异性以及 α。功效不足的研究常常漏掉真实的效应;而当它们确实得到显著结果时,估计的效应往往被夸大。因此,功效分析通常在数据收集之前进行,以确定样本量。多重比较则带来另一个问题。若进行 m 个独立检验,每个都以 α = 0.05 进行,且所有原假设都为真,则至少出现一次假阳性的概率为 1−0.95m1 - 0.95^{m},当 m = 20 时约为 0.64。Bonferroni 校正等方法将每个假设以 α/m 进行检验,以牺牲功效为代价控制族错误率(family-wise error rate)。

关于误用与可重复性的争论

对重复性的担忧使显著性检验成为公众争议的焦点。2016年美国统计学会的声明旨在改进定量科学的实施与解释,并回应科学研究中对可重复性日益增长的重视。声明强调,实际工作中往往需要做出二元的"是-否"决策,但这并不意味着仅凭P值就能保证决策正确或错误。2019年的一篇社论更进一步,呼吁弃用"统计显著"这一说法以及 p < 0.05 的阈值。作为回应,美国统计学会主席于2019年召集了一个工作组。其报告认为,P值与显著性检验在被正确应用和解释时是重要工具,不应被摒弃。报告还认为,阈值应根据研究目标以及错误决策的后果明确设定。在更广泛的争论中,提出的补救措施包括报告效应量和置信区间、使用贝叶斯度量,以及预先注册分析方案。关于应由哪一种方法取代或补充P值,分歧至今仍未解决。

物理学:统计力学与量子理论

统计力学

统计力学通过为系统的微观构型分配概率来描述包含大量粒子的系统,而不是逐个追踪每个粒子。对于处于热平衡的系统,基本的概率规律是玻尔兹曼分布。能量为 EiE_i 的每个状态获得的概率,与 −Ei/kBT-E_i/k_BT 的指数成正比,并除以对所有状态求和得到的归一化因子:

pi=e−Ei/kBTZ,Z=∑je−Ej/kBTp_i = \frac{e^{-E_i/k_BT}}{Z}, \qquad Z = \sum_j e^{-E_j/k_BT}

其中 kBk_B 为玻尔兹曼常数,TT 为绝对温度,ZZ 为配分函数,它使所有概率之和为1。玻尔兹曼于1868年在研究热平衡气体的统计力学时首次提出了这一分布。

该分布的若干推论可直接由其形式得出。两个状态概率之比会消去 ZZ,因此只有能量差起作用:两个状态的概率之比等于负能量差除以 kBTk_BT 后的指数。温度决定了概率差异的剧烈程度。在高温下,能量有限且各不相同的状态,其概率更加接近;在低温下,能量较低的状态获得的概率呈指数级增大。

配分函数将微观概率与宏观热力学联系起来。由 F=−kBTln⁡ZF = -k_BT\ln Z 可得自由能,能量及其他响应量则由 ln⁡Z\ln Z 的导数给出。熵由吉布斯形式 S=−kB∑ipiln⁡piS = -k_B\sum_i p_i\ln p_i 给出;当所有可及的 WW 个微观态等概率时,它退化为玻尔兹曼的 S=kBln⁡WS = k_B\ln W。在量子统计力学中,经典权重被密度算符 ρ=e−βH/Tr e−βH\rho = e^{-\beta H}/\mathrm{Tr}\,e^{-\beta H} 取代。全同粒子需要采用玻色–爱因斯坦或费米–狄拉克占据统计,而经典计数方法无法解释黑体辐射和金属中电子气等现象。

量子理论

在量子力学中,概率作为测量规则出现,而不是对隐藏状态无知的结果。玻恩规则由马克斯·玻恩于1926年在一篇关于碰撞过程量子力学的论文中提出。对于处于态 ψ\psi 的系统,若 φ\varphi 为归一化本征态,则测得系统处于该本征态的概率为 ∣⟨φ∣ψ⟩∣2|\langle\varphi|\psi\rangle|^2;对于位置测量,概率密度为 ∣ψ(x)∣2|\psi(x)|^2,并满足其在全空间的积分等于1。

玻恩本人起初的想法并不明确。他最初认为波函数的振幅本身给出概率,不久后才得出结论:正确的量是振幅模的平方。由于该规则是先对复振幅进行运算、再取平方,所得概率中会出现交叉项。这些交叉项产生干涉图样,例如双缝实验中观察到的图样,它们没有经典对应物。

海森堡不确定性原理是关于测量值离散程度的统计表述。海森堡在1927年的分析中指出,位置与动量不能同时被精确确定。在一对共轭可观测量的标准现代形式中,位置与动量的标准差满足 σxσp≥ℏ/2\sigma_x\sigma_p \ge \hbar/2,其中 ℏ\hbar 为约化普朗克常数。该不等式描述的是相同方式制备的各个态之间的离散程度,而不是单次测量造成的扰动,后者是海森堡最初显微镜论证的图景。因此,实验检验是比较在另一批同样处于该态的粒子上测得的离散程度。有一项中子干涉实验被宣称为对位置与动量关系的直接验证。

一些基础性问题仍未解决。玻恩规则为测量结果分配概率,而波函数的薛定谔演化是确定性的,确定的结果似乎正是在测量这一环节中出现的。试图从频率算符、多世界分支、贝叶斯推理或环境不变性(envariance)推导该规则的尝试,有学者批评其为循环论证。纠缠带来了进一步的难题:复合量子系统的各部分之间可以存在某种关联,而任何对局域确定值的赋值都无法重现这种关联。实验中对贝尔不等式的违背通常被解读为排除了局域隐变量解释,但对于这些关联对概率与实在的本性意味着什么,不同诠释之间存在分歧。

信息论与随机化计算

香农熵衡量离散随机变量 XX 的平均不确定性,其概率质量函数为 pp:H(X)=−∑xp(x)log⁡2p(x)H(X) = -\sum_x p(x)\log_2 p(x),单位为比特。克劳德·香农于1948年引入这一量,作为信息论奠基工作的一部分。一枚均匀硬币的熵为1比特,偏置为0.9的硬币的熵约为0.47比特,而结果确定的事件熵为零。在 nn 个结果上的所有分布中,均匀分布的熵最大,为 log⁡2n\log_2 n。熵通过信源编码定理获得了操作意义:任何无损编码,平均每个符号所用的比特数都不可能少于 H(X)H(X),而分组编码或霍夫曼编码可以逼近这一下界。这正是数据压缩的基本原理,即让高频符号获得较短的码字。对于有噪信道,互信息 I(X;Y)=H(X)−H(X∣Y)I(X;Y)=H(X)-H(X\mid Y) 衡量观察输出 YY 使输入 XX 的不确定性减少了多少。信道容量 C=max⁡p(x)I(X;Y)C=\max_{p(x)} I(X;Y) 是能以任意小的错误率传输信息的最高速率,这一结论称为有噪信道编码定理。对于交叉概率为 qq 的二元对称信道,其容量为 1−H2(q)1-H_2(q)。

若干种散度类度量用于比较分布。KL散度 D(p∥q)=∑xp(x)log⁡p(x)q(x)D(p\|q)=\sum_x p(x)\log\frac{p(x)}{q(x)} 非负,仅当 p=qp=q 时为零,且不具对称性,因此不是度量。交叉熵 H(p,q)=−∑xp(x)log⁡q(x)H(p,q)=-\sum_x p(x)\log q(x) 可分解为 H(p)+D(p∥q)H(p)+D(p\|q),这意味着在固定 pp 的情况下最小化交叉熵,等价于最小化与 pp 的散度。互信息也可以写成联合分布与边缘分布乘积之间的散度,因此当且仅当两变量独立时互信息为零。对于相关系数为 ρ\rho 的二元正态变量对,其互信息为 −12log⁡(1−ρ2)-\tfrac12\log(1-\rho^2),这表明线性相关度量与信息论度量之间的联系。

随机化算法利用随机性来获得确定性方法不易提供的速度或简洁性。在随机化快速排序中,若以均匀随机方式选取基准元素,则期望比较次数约为 2nln⁡n2n\ln n。该结果通过对元素对求示性变量之和并应用期望的线性性质得到。算法通常分为两类:拉斯维加斯算法总是返回正确答案,但运行时间是随机的;蒙特卡洛算法运行时间有界,但可能以小概率出错。例子包括米勒–拉宾素性检验,对合数的错误概率每轮至多为四分之一;以及卡格(Karger)的随机最小割算法,它反复收缩随机选取的边,每次运行成功的概率至少为 2/(n(n−1))2/(n(n-1))。因此,期望时间分析考察的是对算法内部随机抛硬币结果取平均的代价;对于固定输入,它与对输入取平均是不同的概念。

蒙特卡洛方法通过对目标分布中抽取的独立样本取 ff 的平均值,来估计期望 E[f(X)]\mathbb{E}[f(X)]。大数定律保证其收敛,中心极限定理给出 NN 个样本的标准误差为 σ/N\sigma/\sqrt{N}。这一收敛速度与积分的维数无关,因此该方法常用于高维积分,此时基于网格的求积法变得不切实际。一个简单的例子是估计 π\pi:在正方形内均匀采样点,统计落入内切四分之一圆的比例。该方法由斯坦尼斯瓦夫·乌拉姆(Stanisław Ulam)与约翰·冯·诺伊曼(John von Neumann)于20世纪40年代在洛斯阿拉莫斯发展起来,通常认为其名称由尼古拉斯·梅特罗波利斯(Nicholas Metropolis)提出。如今它被应用于中子输运、粒子物理和期权定价等领域。

当无法直接采样时,就需要马尔可夫链蒙特卡洛(MCMC)方法,这通常是因为目标密度 π(x)\pi(x) 只能确定到一个归一化常数之内,例如玻尔兹曼分布或贝叶斯后验分布。1953年的Metropolis算法构造了一条平稳分布为 π\pi 的马尔可夫链。从 xx 到 yy 的一次提议移动以概率 min⁡(1, π(y)q(x∣y)/(π(x)q(y∣x)))\min\bigl(1,\,\pi(y)q(x\mid y)/(\pi(x)q(y\mid x))\bigr) 被接受,其中 qq 为提议核。由于归一化常数在该比值中约去,因此无需计算它。1970年,黑斯廷斯(Hastings)推广了这一方案。细致平衡条件与遍历性共同保证链收敛到 π\pi。实际应用中的难点包括:当分布具有多个彼此分离的峰时混合缓慢;需要舍弃初始的燃烧期样本;以及在信任样本之前需要使用收敛性诊断。吉布斯采样是一种特殊情形,其中每个坐标依据其全条件分布进行更新。

机器学习与人工智能

概率主要通过那些返回可能标签上的分布、而非单一答案的模型进入机器学习。逻辑回归将输入特征的加权和送入 sigmoid 函数(处理多类别时则使用 softmax),因此其输出可以被解读为类别概率。朴素贝叶斯分类器直接应用贝叶斯定理:它将类别先验与各特征的似然相乘,并假设在给定类别的条件下各特征相互独立。这一假设很少严格成立,因此即使类别排序有用,所得的数值往往校准得不好。

分类器的训练目标通常从似然推导而来。对于独热标签,交叉熵之和坍缩为一项,即模型赋予真实类别的概率的负对数。由于 y 是独热的,只有一项保留下来——即真实类别的负对数概率。在分类模型下,这一表达式就是观测标签的负对数似然,从而将损失与极大似然估计联系起来,并赋予其该方法的常见性质,例如一致性和渐近有效性。二分类情形同样对应于伯努利似然。同样的逻辑也可以推广到离散输出之外:当假设目标服从高斯分布时,线性回归中的均方误差就是极大似然目标,因此平方误差训练与交叉熵训练是同一原理的两个实例。

结构化的依赖关系由概率图模型处理。贝叶斯网络使用有向无环图,其中每个变量仅以其父节点为条件,因此联合分布可分解为局部条件分布的乘积。隐马尔可夫模型假设存在一个潜在的马尔可夫链,其状态生成观测序列;前向算法用于计算观测序列的似然,后验解码则用于推断最可能的隐藏状态。高斯混合模型将类似的潜变量结构应用于聚类和密度估计。

大语言模型借助链式法则为词元序列赋予概率,P(x1,…,xT)=∏t=1TP(xt∣x<t)P(x_1,\dots,x_T)=\prod_{t=1}^{T} P(x_t \mid x_{<t}),因此每个下一词元的分布都是条件概率。这些数值是否真的意味着它们看起来所表示的含义,是另一个问题,由校准来讨论。一个校准良好的模型若对一组预测赋予 0.8 的概率,那么其中大约 80% 的预测应当最终被证明是正确的。早期研究考察了三种强大的生成模型——T5、BART 和 GPT-2——在问答任务上的概率是否校准良好,结论是答案相当明确地为否。校准偏差也可能是系统性的,因为预测概率会受到多种形式的偏置影响,例如偏好在预训练中出现更频繁的词元,或偏好出现在提示词末尾附近的词元。事后修正方法(如基于温度的缩放)被广泛用于调整这些输出。较新的研究则报告,大语言模型(LLM)展现出内在的校准能力,其预测概率与正确率吻合良好,这与此前关于深度神经网络常常过度自信的发现形成对比。

预测中的不确定性主要通过两种方式处理。集成方法使用不同的初始条件或重采样的训练数据训练多个模型,并组合它们的输出;成员之间的分歧被视为认知不确定性的标志,而取平均通常能同时提高准确率和校准程度。贝叶斯方法则是对模型参数放置一个分布,并通过对后验取平均来计算预测分布。对于大型网络,精确求平均通常难以实现,因此实践中会使用变分推断或马尔可夫链蒙特卡罗等近似方法。校准本身常常用 Brier 分数来检验,它度量预测概率与实际结果之间的均方差,数值越低表示校准越好。

在科学、医学、遗传学和社会科学中的应用

在实证学科中,概率承担两项任务:一是为产生数据的机会机制建模,二是量化观察到的差异应当获得多大的权重。随机化是第一项任务最典型的例子。在随机对照试验中,参与者通过随机装置被分配到治疗组或对照组,因此每个人进入各组的概率是已知的,分配也不依赖任何个人特征。年龄、性别和疾病严重程度因此平均而言在各组之间趋于均衡,包括研究者未曾想到要测量的因素。正是这种均衡使结局差异可以归因于干预措施。这种均衡只是近似的,小规模试验可能出现偶然的不均衡,因此会采用区组随机化和分层方法。分配隐藏使招募人员无法预先得知未来的分配结果,从而防止有意或无意地将患者引导至某一组。

概率也是因果效应形式化定义的基础。在潜在结局框架中(该框架可追溯到奈曼在1920年代对农业试验的研究,并由唐纳德·鲁宾在1970年代发展),某个单位所受处理的效应,就是该单位在接受处理与未接受处理时所表现出的结局之差。对于同一个单位,这两个结局中只有一个能被观察到,因此个体效应无法直接读出。因果推断由此成为一个缺失数据问题,需要通过比较各组来解决,而比较所依赖的假设,随机化可以通过设计予以保证,观察性研究则必须加以论证。概率正是借此将关联与因果区分开来:观察到的相关性可能源于一个同时影响暴露与结局的第三变量,即混杂因素。因果推断文献对何时进行此类调整是合理的做了形式化的说明。

在流行病学中,概率通常以发病率(一段时期内新病例的比例或速率)和患病率(某一时点受影响人群的比例)来概括。比较性指标包括相对风险,即暴露组与非暴露组的疾病风险之比;以及比值比,它是病例对照研究中的标准指标,因为在这类设计中无法直接估计绝对风险。围绕这些比值的置信区间表达了抽样不确定性,而基础计数数据常用二项分布或泊松分布建模。

在群体遗传学中,哈迪-温伯格原理由G. H. 哈迪和威廉·温伯格于1908年各自独立推导,给出了一个概率性的零模型。在一个随机交配、无突变、无选择、无迁移且无漂变的大群体中,由频率为 p 和 q 的等位基因组合而成的两种基因型频率,稳定在 p²、2pq 和 q²,并且逐代保持不变。偏离这些比例可用于检测进化作用力。遗传漂变是其随机对应物:每一代的等位基因频率是产生该代的配子的一个随机样本,因此频率会随机波动。这种效应在小群体中最强,经过长时间后会导致一个等位基因固定、另一个等位基因丢失。在中性条件下,当前频率为 p 的等位基因最终被固定的概率等于 p,这一结果说明可以用鞅型推理来分析漂变。

核物理提供了一个无记忆过程的教科书式例子。每个放射性原子核在单位时间内衰变的概率是恒定的,且不取决于该原子核已经存在了多久。因此,存活原子核的数量按 N(t)=N0 2−t/TN(t)=N_0\,2^{-t/T} 下降,其中 TT 为半衰期。无论单个原子核的历史如何,它在经过一个半衰期后仍存活的概率都是50%。单个衰变时间无法预测,但对于大样本,短时间间隔内的衰变计数可以很好地用泊松分布描述,而等待时间则服从指数分布。

在实验室之外,同样的工具也出现在多个领域。人口学家和精算师根据死亡率数据编制生命表,其中相邻两个年龄之间的死亡概率以及存活到某一年龄的概率,都由观测到的比率估计。在可靠性工程中,部件寿命常用指数分布(失效率恒定)或威布尔分布建模,系统可靠性则根据串联与并联结构计算,通常假定各部件相互独立。在质量控制中,休哈特于1920年代在贝尔实验室提出的控制图,利用过程的二项或正态模型设定控制限,超出限值即发出过程发生偏移的信号。对于一个稳定的正态过程,将控制限设在均值两侧三个标准差处,意味着每个点的误报率约为0.27%,这一选择在漏报偏移与虚假警报之间取得了平衡。

经济学、金融、保险与决策

期望效用与风险下的决策

概率进入经济学,主要源于一个问题:理性主体应当如何在不确定的前景之间做出选择。约翰·冯·诺伊曼与奥斯卡·摩根斯特恩于1944年出版的《博弈论与经济行为》被视为开创博弈论这一跨学科研究领域的奠基性著作。其对效用的公理化推导见于第二版(1947年)的附录。在由此形成的期望效用理论框架中,每个彩票的价值是其各结果效用的概率加权和,主体选择价值最高的选项。风险厌恶因此对应凹的效用函数:经济学中的通常假设是,决策者是风险厌恶的。这意味着他们对金钱的边际效用为正但递减,因此 u(x) 是递增且凹的。

几十年来,该理论既被当作规范模型,也被当作描述模型,但实验揭示了它存在系统性的偏离。莫里斯·阿莱和丹尼尔·埃尔斯伯格表明,在某些选择问题中,人们的决策通常与期望效用理论的公理不一致。这些问题通常被称为阿莱悖论和埃尔斯伯格悖论。伦纳德·萨维奇的推广允许概率本身是主观的,这也是为什么决策理论如今既涵盖客观风险,也涵盖个人信念。

保险与风险汇集

保险业建立在大数定律之上。若保险公司持有 nn 份独立保单,每份保单的理赔方差为 σ2\sigma^2,则每份保单的平均理赔方差为 σ2/n\sigma^2/n,因此随着保单池扩大,总体结果变得越来越可预测。保费因此通常设定在接近期望理赔额的水平,并加上用于管理成本、资本以及应对误差的附加费用。中心极限定理为总理赔额提供近似分布,用于确定准备金规模,并估计损失超过可用资本的概率。

这些结论依赖于其背后的假设。地震或大流行病等巨灾事件会同时影响大量投保人,违背了独立性假设;而重尾损失则可能使均值或方差不稳定。因此,精算实践将风险汇集与再保险、巨灾建模和压力测试结合起来。

资产定价与金融模型

价格的连续时间模型借助布朗运动过程。路易·巴舍利耶1900年的论文首次引入布朗运动来为股票价格建模,但这一思想的持久影响直到之后才显现。萨缪尔森的几何版本中,对数价格遵循带漂移的随机游走,成为股票价格的标准模型。1973年,费希尔·布莱克与迈伦·斯科尔斯发表了欧式期权的定价公式。他们基于套利论证和伊藤公式给出了看涨期权的公式。其核心思想是:股票与期权组成的组合可以被连续调整,使风险相互抵消,从而在Black–Scholes 模型中确定唯一的公允价格。同年,罗伯特·默顿也发展了其背后的数学工具。

该模型的假设已知具有很强的限制性。它的局限包括无法解释历史收益中的厚尾现象和超额峰度。恒定波动率也无法与不同执行价格下观察到的期权价格相吻合,这一偏差被称为波动率微笑,因此从业者会用更丰富的模型对市场数据进行校准。

信用风险与违约概率

违约概率是借贷和债券定价中的核心量。1974年,罗伯特·默顿提出了一种结构化方法:公司有一定数额的零息债务,将在未来时刻 T 到期,而当公司资产价值低于债务时,公司违约;因此股权相当于以债务面值为执行价格、以公司资产为标的的看涨期权。在模型假设资产价值服从几何布朗运动的前提下,到期时的违约概率为 P(AT≤L)P(A_T \le L),在 Black–Scholes 形式下可化为正态尾部概率 N(−d2)N(-d_2)。这就是默顿模型的逻辑,商业化的 KMV 方法即建立在其上。默顿模型通过将公司的债务与资产价值相联系,提供了一种直观估计公司违约风险的方式,但其准确性受限于关于公司和金融市场运行方式的简化假设。以这种方式得到的估计通常是风险中性概率,而非现实世界概率,因此可能与观察到的违约频率存在差异。将违约视为随机事件到来的简化式模型,是常用的替代方案。

博弈论与混合策略

在存在对抗方的博弈中,概率代表有意识的随机化。如果对手能够预测纯策略,该策略就可能被利用,因此参与人可以选择混合策略,以指定的概率选取各个行动。例如,在配对硬币博弈中,唯一的均衡是每位参与人以二分之一的概率选择正面或反面,这使对手无法通过偏离获利。允许混合策略后,纳什均衡的存在性结果(纳什,1950年)保证每个有限博弈至少存在一个均衡。因此,概率在这里扮演双重角色:既描述参与人自身的随机化,也描述每位参与人对另一方选择的不确定性,这也是为什么在整个博弈论中,人们对对手的信念都以概率方式建模。

悖论与概念难题

圣彼得堡悖论

该悖论由尼古拉·伯努利于1713年提出,1738年由其堂弟丹尼尔·伯努利发表在圣彼得堡科学院的学报上,悖论因此得名。游戏规则是:反复抛掷一枚公平硬币,直到首次出现正面为止。若首次出现正面是在第 nn 次抛掷,玩家便获得 2n−12^{n-1} 个杜卡特,该结果的概率为 2−n2^{-n}。因此,每一种可能阶段对期望值的贡献都是 2−n⋅2n−1=122^{-n}\cdot 2^{n-1} = \tfrac12,于是求和 ∑n≥112\sum_{n\ge 1}\tfrac12 发散。若严格依据期望值准则,玩家应当愿意支付任何有限的入场费,但几乎没有人会为此付出哪怕一个适度的金额。丹尼尔·伯努利的应对办法是以效用取代金钱,假设财富每增加一单位所带来的效用递减,并提出了对数形式的效用函数,从而使期望效用成为有限值。加布里埃尔·克拉默此前也提出过一个相关的、基于平方根的效用函数。后来的研究进一步推进:卡尔·门格尔1934年的论证常被引用,用以说明效用必须有上界。这一悖论因此成为决策理论的核心动机,也促使人们区分期望货币价值与期望效用。它还引出了一个更广泛的问题:当收益无界时,期望值是否仍是合理的选择指南。

贝特朗悖论

1889年,约瑟夫·贝特朗提出如下问题:随机选取的圆内弦比该圆内接等边三角形的边长更长的概率是多少?三种自然的操作程序给出了三个不同的答案。若两个端点独立且在圆周上均匀地选取,概率为1/3;若弦的中点到圆心的距离服从均匀分布,概率为1/2;若中点在圆盘上均匀选取,概率为1/4。每种程序都隐含地在弦的集合上定义了一个不同的概率分布,因此"随机"一词并未确定唯一的模型。1973年,E. T. Jaynes提出,对称变换下的不变性会选出答案1/2,并诉诸"最大无知"原则。另有学者主张,物理或几何的构造方式决定答案,这场争论至今尚未完全平息。该悖论表明,无差别原则在参数化变换下并不稳定,因此一个连续概率问题必须明确所用的测度。

辛普森悖论

最著名的案例涉及1973年秋加州大学伯克利分校的研究生录取情况。在全部12,763名申请者中,约44%的男性获得录取,而女性的录取率约为35%。当Bickel、Hammel和O'Connell分别考察101个院系时,他们发现女性不成比例地申请了录取率较低的院系,而且在大多数院系中,这一微小差异反而有利于女性。因此,一旦数据按院系拆分,总体上的关联便发生了逆转。其中的算术本身没有问题,问题在于解释:总体数字是否反映偏见,取决于院系选择的因果角色——它可能是性别效应的中介变量,也可能是混杂因素,或者属于其他情形。因果推断领域的研究者借这一案例说明,恰当的汇总层次必须依据因果模型来决定,而不能仅凭数据本身。同样的结构也出现在医学中:若分组情况与治疗分配相关联,某种疗法可能在每个亚组中都表现更好,总体却更差。这正是随机化以及对混杂因素进行调整至关重要的原因。

大圆悖论

博雷尔–柯尔莫哥洛夫悖论由埃米尔·博雷尔较早描述,安德烈·柯尔莫哥洛夫于1933年对其进行了分析,它揭示了以概率为零的事件为条件时所产生的问题。设一个点在球面上均匀分布,我们询问在该点位于某个特定大圆(例如一条子午线)上的条件下,它的分布是怎样的。答案取决于描述该圆所用的坐标系:以该点的经度为条件,或以固定同一圆的另一坐标为条件,会得到不同的条件密度。柯尔莫哥洛夫的解决方案属于测度论的范畴。关于 σ\sigma-代数的条件概率通过拉东–尼科迪姆定理定义,且只在零测集的意义下唯一,因此,若不指明 σ\sigma-代数或极限过程,以零概率事件为条件就毫无意义。由此看来,该悖论并非微积分本身的缺陷,而是表明:条件事件必须在概率空间中被精确地陈述。

归纳问题

大卫·休谟论证道,无论积累多少观察经验,都无法在逻辑上推出未被观察到的情形将如何发生;而通常用来为归纳辩护的前提——自然界的齐一性假设——本身也无法从经验中证明,否则便陷入循环论证。概率论提供了一种部分的回应。在均匀先验下,拉普拉斯的继承律给出:在 nn 次试验中成功 ss 次之后,下一次试验成功的概率为 (s+1)/(n+2)(s+1)/(n+2)。因此,关于未观察情形的预测可以由一个明确陈述的贝叶斯模型推出。然而,结果依赖于先验,而先验的选择又重新引出最初的问题:是什么理由使我们假定某种特定的模式?卡尔·波普尔拒绝了概率可以证实一般性假说的观点,并提出以"佐证度"来取代。因此,这场争论至今仍未结束:概率推断能够使预测变得融贯且可量化,但它本身并不能解决哪些背景假设是有根据的这一问题。

未解决的问题与当前争论

第一个尚未解决的问题是概率究竟意味着什么。科尔莫戈罗夫公理既与客观解释(长期频率、物理倾向性)相容,也与主观解释(理性信念的程度)相容,因此形式体系本身无法在两者之间作出裁决。争议主要涉及单次事件和科学假设。像"这种药有效的概率是0.7"这样的表述,对于可重复的过程有清楚的含义;但一个假设要么为真,要么为假,它并不存在长期频率。因此,频率学派把这类陈述与一个参考类绑定在一起,贝叶斯学派则把它们视为相容的信度。实践中,许多研究者会两者兼用:有客观机会的地方使用客观概率,其他地方则依赖主观判断。这种混合立场尚未得到形式上的确立。

先验分布的选择是贝叶斯分析的核心问题。贝叶斯定理给出后验为 P(H∣E)=P(E∣H) P(H)P(E)P(H\mid E)=\frac{P(E\mid H)\,P(H)}{P(E)},因此先验 P(H)P(H) 直接参与计算。当数据稀少或模型可识别性较弱时,不同但都合理的先验可能对同一数据集得出明显不同的结论。应对办法包括敏感性分析(报告在一族先验下结论如何变化)、弱信息先验(排除不合理的取值,但不编码强烈的信念),以及先验预测检验(检验先验是否能生成合理的数据)。批评者认为,这些补救措施只能减弱而无法消除对建模选择的依赖;为贝叶斯辩护的人则回应说,频率学派的程序同样包含选择,例如抽样方案和检验统计量。

可重复性问题使关于p值和置信区间的争论更加激烈。2016年,美国统计学会针对统计实践发布了首份正式声明,列出六项原则。其中包括:p值衡量数据与指定模型之间的不一致程度,它并不是假设为真的概率,也不是结果纯粹由偶然产生的概率;声明还警告,不应仅依据p值是否越过某个阈值来决定科学或政策问题。当时的美国统计学会负责人把这种阈值文化与发表偏倚(文件抽屉效应)以及"p值操纵"联系起来,后者指反复尝试各种分析,直到出现一个很小的p值。此后提出的方案包括:放弃固定的显著性阈值,报告效应量及其区间,使用贝叶斯因子,以及预先注册分析方案。相关的担忧还包括统计功效低(这会抬高显著结果中错误结论的比例)以及未经校正的多重比较。置信区间也面临类似的误读:一个95%的区间描述的是程序的长期覆盖率,而不是某一个具体计算出的区间包含参数的概率。

在量子力学中,玻恩规则根据波函数为测量结果赋予概率,但其地位仍有争议。那种类似科尔莫戈罗夫式的"无知"解释,即认为概率反映的是对一个预先存在的状态的不完全了解,被广泛认为与量子形式体系不相容,而关于该规则的含义也尚未达成共识。若干研究纲领试图从更基本的假设推导出这一规则,例如埃弗雷特框架中的决策论论证,或格利森型定理,但批评者指出其中一些推导是循环的,或者预设了本应解释的规则。另一些学者则把该规则视为一条适用范围有限、而非精确成立的定律。这些争论与测量问题相关,后者追问确定的结果究竟如何出现;也与对纠缠关联的诠释有关。

校准是机器学习中一个实际而尚未解决的问题。当分类器声明的置信度与在该置信度下的预测正确频率相符时,我们称它是经过校准的。高准确率并不能保证这一性质。2010年代后期的研究发现,用交叉熵训练的现代深度网络系统性地过度自信;校准程度通常用分箱指标来衡量,例如期望校准误差。温度缩放等事后修正方法在分布内数据上成本低且有效,但当测试数据与训练数据不同时,其效果会减弱,在分布发生极端偏移时甚至可能使情况更糟。一些较新的模型在分布内数据上表现出欠自信,这表明校准偏差的方向取决于训练方法和数据。由于在医疗诊断和自动驾驶中,错误但自信的预测会带来实际代价,研究者正在开发集成方法、贝叶斯近似以及恰当评分规则,以量化不确定性。评估大型语言模型的校准性则带来了更多困难,因为它们的输出是序列,而不是单一标签。

参考来源

  1. Problem of pointsen.wikipedia.org
  2. Pat'sBlog: Some additional History on the Problem of Pointspballew.blogspot.com
  3. Theory of Probability. A Historical Essayarxiv.org
  4. The Problem of Pointsusu.edu
  5. Reciprocity as the foundation of Financial Economicsarxiv.org
  6. History of probabilityen.wikipedia.org
  7. The time resolution of the St. Petersburg paradoxarxiv.org
  8. History and Basics of Expected Value Christian Huygens (1629-95)sfu.ca
  9. CHRISTIANI HUGENII LIBELLUS DE RATIOCINIIS IN LUDO ALEAE OR, The VALUE of allmath.dartmouth.edu
  10. Expected valueen.wikipedia.org
  11. Chance Combinatorics: The Theory that History Forgot John D. Nortonsites.pitt.edu
  12. 1 Review1 of Liber De Ludo Aleae (Book on Games of Chance) by Gerolamo Cardanoprobability.ca
  13. Ars Conjectandien.wikipedia.org
  14. Abraham De Moivreencyclopedia.com
  15. Mr. Bayes and the classics: a suggested interpretationarxiv.org
  16. History of Probability Theory Timelinepreceden.com
  17. Tercentenary of Ars Conjectandi (1713)statistics.gov.hk
  18. The Historical Development of Sample Size Estimation: From Huygens and Bernoulli to the Present - The James Lind Library The James Lind Libraryjameslindlibrary.org
  19. The origins and legacy of Kolmogorov's Grundbegriffearxiv.org
  20. randomness and foundations of probability: von mises' ...ime.usp.br
  21. The Sources of Kolmogorov's Grundbegriffearxiv.org
  22. Kolmogorov’s Axiomatisation and its Discontents Aidan Lyon1 January 30, 2012.aidanlyon.com
  23. Bayes' theoremen.wikipedia.org
  24. Who is the father of Bayesianism: Bayes or Laplace? By Hedibert Lopes1hedibert.org
  25. A nearby galaxy perspective on interstellar dust properties and their evolutionarxiv.org
  26. A Bird's-Eye View of Naming Game Dynamics: From Trait Competition to Bayesian Inferencearxiv.org
  27. Computing Bayes: Bayesian Computation from 1763 to the 21st Centuryarxiv.org
  28. On p-Values and Statistical Significancencbi.nlm.nih.gov
  29. AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ONamstat.org
  30. Full article: The ASA Statement on p-Values: Context, Process, and Purposetandfonline.com
  31. ASA President’s Task Force Statement on Statistical Significance and Replicabilityhdsr.mitpress.mit.edu
  32. Boltzmann distributionen.wikipedia.org
  33. Boltzmann Distribution -- from Wolfram MathWorldmathworld.wolfram.com
  34. Born rule — Grokipediagrokipedia.com
  35. Mysterious Quantum Rule Reconstructed From Scratchquantamagazine.org
  36. Entangled in Spacetimearxiv.org
  37. A closer look at the uncertainty relation of position and momentumarxiv.org
  38. Born ruleen.wikipedia.org
  39. Why Probability in Quantum Mechanics is Given by the Wave Function Squaredpreposterousuniverse.com
  40. (PDF) A simple proof of Born's rule for statistical interpretation of quantum mechanicsacademia.edu
  41. Heisenberg's original derivation of the uncertainty principle and its universally valid reformulationsarxiv.org
  42. Cross-Entropy Loss for Classificationabhik.ai
  43. How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answeringdirect.mit.edu
  44. Language Models in the Loop: Incorporating Prompting into Weak Supervisionarxiv.org
  45. Calibration Across Layers: Understanding Calibration Evolution in LLMsarxiv.org
  46. Model Calibration, Explained: A Visual Guide with Code Examples for Beginnerstowardsdatascience.com
  47. Generative Cross-Entropy: A Strictly Proper Loss for Data-Efficient Classificationarxiv.org
  48. Uses and Abuses of the Cross-Entropy Loss: Case Studies in Modern Deep Learningarxiv.org
  49. A Gentle Introduction to Cross-Entropy for Machine Learning - MachineLearningMastery.commachinelearningmastery.com
  50. Randomized controlled trialssciencedirect.com
  51. Randomized controlled trialspmc.ncbi.nlm.nih.gov
  52. Randomized Control Trial (RCT) - Simply Psychologysimplypsychology.org
  53. Hardy-Weinberg equilibriumnature.com
  54. Rethinking (again) Hardy-Weinberg and genetic drift in undergraduate biology - PMCpmc.ncbi.nlm.nih.gov
  55. Hardy-Weinberg and Genetic Drift in Biology - 31K+ Viewsjove.com
  56. Law of radioactive decaywalter-fendt.de
  57. Astrophysics with radioactive isotopesarxiv.org
  58. Half-Life and Activitycourses.lumenlearning.com
  59. Theory of Games and Economic Behavioren.wikipedia.org
  60. Mean-Variance and Expected Utility: The Borch Paradoxarxiv.org
  61. Generalized expected utilityen.wikipedia.org
  62. The Black-Scholes Option Pricing Model A Comprehensive Analysis Renoir Vieiraportal.if.usp.br
  63. The Golden Age of the Mathematical Financearxiv.org
  64. Black-Scholes Model - an overviewsciencedirect.com
  65. (PDF) Merton's Model, Credit Risk and Volatility Skewsresearchgate.net
  66. Merton modelen.wikipedia.org
  67. Expected Utility: Von Neumann-Morgenstern, Risk Aversion, Independence Axiomtheorempath.com
  68. Risk, ambiguity and quantum decision theoryarxiv.org
  69. Default Probability by Using the Merton Model for Structural Credit Risk - MATLAB & Simulinkmathworks.com
  70. Default prediction with the Merton-type structural model based on the NIG Lévy process - ScienceDirectsciencedirect.com
  71. The St. Petersburg Paradox (Stanford Encyclopedia of Philosophy)plato.stanford.edu
  72. Relative Net Utility and the Saint Petersburg Paradoxarxiv.org
  73. The Saint Petersburg Paradox and Its Solutionmdpi.com
  74. The St. Petersburg Paradox (Stanford Encyclopedia of Philosophy/Spring 2005 Edition)plato.stanford.edu
  75. Experimental tests of Bertrand's question and the Duhem-Quine problemarxiv.org
  76. Bertrand's Paradoxomnicalculator.com
  77. Bertrand paradox (probability)en.wikipedia.org
  78. Simpson's paradoxen.wikipedia.org
  79. Revisiting the Berkeley Admissions data: Statistical Tests for Causal Hypothesesarxiv.org
  80. Statistical significance and p-valuessciencedaily.com
  81. Quantum Probability: a reliable tool for an agent or a reliable source of reality?arxiv.org
  82. The Born rulearxiv.org
  83. Updating the Born rulearxiv.org
  84. Foundations of quantum physics I. A critique of the traditionarxiv.org
  85. Quantifying Calibration Error in Modern Neural Networks through Evidence Based Theoryarxiv.org
  86. Beyond Overconfidence: Model Advances and Domain Shifts Redefine Calibration in Neural Networksarxiv.org
  87. Rethinking Calibration of Deep Neural Networks: Do Not ...proceedings.neurips.cc