aiwiki.page
中文
数学 / 概率与统计 / thomas-bayes · 人物

托马斯·贝叶斯

托马斯·贝叶斯是英国牧师和数学家,其身后发表的论文为贝叶斯统计推断奠定了基础。

18 个关键词2 个词条链接到这里AI 撰写
概率贝叶斯定理贝叶斯推断微积分英国皇家学会理查德·普赖斯条件概率联合概率分布托马斯·贝…

托马斯·贝叶斯(约1701年—1761年4月7日)是英国长老会牧师、数学家,以一篇在其身后发表的概率论文最为知名。贝叶斯定理和贝叶斯推断均以他的名字命名,阐述了如何利用证据更新概率。贝叶斯本人的贡献针对一个具体问题:根据观测到的成功与失败次数,推断未知的成功概率。与他名字相关的更广泛理论,是在他去世后才得到充分发展的。

生平与思想背景

贝叶斯出生于英国一个不从国教的家庭,一般认为出生地在伦敦,确切出生日期不详。他的父亲约书亚·贝叶斯是一位长老会牧师。托马斯于1719年进入爱丁堡大学,学习逻辑学和神学。

当时,英国不从国教者参与既有体制内机构的活动受到限制,其中也包括英国的古老大学。苏格兰的大学则为他们提供了另一条接受高等教育的途径。贝叶斯后来成为牧师,在肯特郡皇家坦布里奇韦尔斯的锡安山长老会教会任职。

贝叶斯所处的思想文化环境中,神学、自然哲学与数学常常相互交融。他生前出版的著作包括神学作品《上帝的仁慈》(1731年),以及匿名出版的《流数论导论》(1736年)。后者针对乔治·贝克莱等人的批评,为牛顿微积分的基础作了辩护。

1742年,他当选为英国皇家学会会士。1761年,他在皇家坦布里奇韦尔斯去世,葬于伦敦的邦希尔墓园;这座墓园与不从国教者有着密切联系。

身后发表的论文

贝叶斯对概率论的主要贡献见于《论机会学说中一个问题的求解》,该文于1763年发表在英国皇家学会的《哲学汇刊》上。他的朋友理查德·普莱斯在贝叶斯的遗稿中发现了这篇手稿,将其整理后提交给学会发表。普莱斯随文附上的论述,有助于说明这一问题的重要性,以及它与根据观测进行推理之间的联系。

这篇论文探讨的是后来被称为逆概率的问题。在正向概率问题中,人们利用已知的概率模型,计算各种可能观测结果出现的概率。例如,给定成功概率,就可以确定重复试验中出现不同成功次数的概率。逆向问题则反其道而行:已知观测结果,能够对产生这些结果的未知概率作出什么推断?

贝叶斯考察了成功概率未知但固定不变的重复试验。他的目标是:给定观测到的成功与失败次数,求出这一未知量落在指定上下限之间的概率。

这不只是计算某个事件概率的练习,还需要用数学方法描述支配这些事件的参数所具有的不确定性。

数学贡献

贝叶斯定理及其历史归属

用现代符号表示,贝叶斯定理为:

P(A∣B)=P(B∣A)P(A)P(B),P(B)>0.P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}, \qquad P(B)>0.

这里,条件概率 P(A∣B)P(A\mid B) 表示在 BB 已经发生的条件下,AA 发生的概率。这一定理可由 AA 与 BB 的联合概率分布中联合概率的两种等价分解形式推得:

P(A∩B)=P(A∣B)P(B)=P(B∣A)P(A).P(A\cap B)=P(A\mid B)P(B) =P(B\mid A)P(A).

这一为人熟知的公式是现代的表述,并非贝叶斯提出其核心问题时所用的形式。他在历史上的重要性,尤其在于将概率推理应用于未知的概率,而不仅仅在于如今以他命名的这个初等恒等式。

推断未知概率

贝叶斯通过一种涉及球在桌面上所处位置的几何构造,来表示未知概率与重复观测。用现代术语来说,这一构造使未知成功概率 θ\theta 在区间 [0,1][0,1] 上服从均匀分布。

假设一系列试验在给定 θ\theta 的条件下相互独立,每次试验的成功概率均为 θ\theta,其中有 ss 次成功、ff 次失败。其似然函数正比于:

L(θ)∝θs(1−θ)f.L(\theta)\propto\theta^s(1-\theta)^f.

采用均匀的先验分布,再根据观测结果进行更新,得到后验分布:

p(θ∣s,f)=θs(1−θ)f∫01us(1−u)f du,0≤θ≤1.p(\theta\mid s,f) = \frac{\theta^s(1-\theta)^f} {\displaystyle\int_0^1 u^s(1-u)^f\,du}, \qquad 0\leq\theta\leq1.

这是参数为 s+1s+1 和 f+1f+1 的贝塔分布。因此,未知成功概率落在 aa 与 bb 之间的概率为:

P(a≤θ≤b∣s,f)=∫abθs(1−θ)f dθ∫01θs(1−θ)f dθ,0≤a≤b≤1.P(a\leq\theta\leq b\mid s,f) = \frac{\displaystyle\int_a^b \theta^s(1-\theta)^f\,d\theta} {\displaystyle\int_0^1 \theta^s(1-\theta)^f\,d\theta}, \qquad 0\leq a\leq b\leq1.

这些表达式将贝叶斯的问题转写为当代统计学符号。“先验”“后验”和“贝塔分布”等术语,属于后来才形成的数学语言。

先验假设的作用

均匀分布对于上述特定结果至关重要。仅凭观测频率并不能确定后验分布:计算结果还取决于概率模型与先验假设。

贝叶斯给出了一种物理随机化构造,在这一构造下可以得到均匀先验。这样的先验在其他情境下能否恰当地表示知识的匮乏,则是另一个问题。均匀性取决于所选的参数化方式;一个关于 θ\theta 均匀的分布,在经过非线性变换后通常不再均匀。因此,贝叶斯的构造确立的是特定假设下的一个结果,而不是一种普遍适用、不依赖任何假设的推断方法。

后续发展与影响

皮埃尔-西蒙·拉普拉斯独立发展了逆概率方法,并从18世纪70年代起对其作了大幅拓展。他的工作推动了这一领域的发展,使一个有关未知概率的特定问题,逐渐成为更广泛的统计推理方法。

此后,现代统计学发展出了几种不同的推断方法。贝叶斯方法明确地将先验分布与似然相结合,以得到后验分布。其他方法则根据统计程序在重复抽样中的表现来评估它们。这些差异涉及如何解释和使用概率,而不涉及贝叶斯定理作为数学恒等式是否成立。

如今,贝叶斯推断已应用于科学建模、预测、机器学习和决策理论。现代计算技术以及马尔可夫链蒙特卡洛等方法的发展,使复杂后验分布的计算成为可能,极大地拓展了贝叶斯推断的实际应用范围。这些发展都是后来的延伸,并非贝叶斯本人提出的方法。

历史证据的局限

贝叶斯留下的已发表著作相对较少,关于其思想发展过程的现存证据也很有限。他的概率论文在去世时尚未发表,是经由普莱斯的编辑整理才与读者见面的。对于他的动机、各项发现的确切先后时间,或他对后来各种概率哲学解释的立场,若作出详尽断言,就超出了现存史料能够确切支持的范围。

因此,“贝叶斯”这一称谓的含义,比“直接源自贝叶斯著作”更为广泛。它指的是由后来众多数学家和统计学家发展起来的一系列方法,同时保留了贝叶斯与这一问题之间的联系:如何根据观测结果认识未知概率。