托马斯·贝叶斯(约1701年—1761年4月7日)是英国长老会牧师、数学家,以一篇在其身后发表的概率论文最为知名。贝叶斯定理和贝叶斯推断均以他的名字命名,阐述了如何利用证据更新概率。贝叶斯本人的贡献针对一个具体问题:根据观测到的成功与失败次数,推断未知的成功概率。与他名字相关的更广泛理论,是在他去世后才得到充分发展的。
生平与思想背景
贝叶斯出生于英国一个不从国教的家庭,一般认为出生地在伦敦,确切出生日期不详。他的父亲约书亚·贝叶斯是一位长老会牧师。托马斯于1719年进入爱丁堡大学,学习逻辑学和神学。
当时,英国不从国教者参与既有体制内机构的活动受到限制,其中也包括英国的古老大学。苏格兰的大学则为他们提供了另一条接受高等教育的途径。贝叶斯后来成为牧师,在肯特郡皇家坦布里奇韦尔斯的锡安山长老会教会任职。
贝叶斯所处的思想文化环境中,神学、自然哲学与数学常常相互交融。他生前出版的著作包括神学作品《上帝的仁慈》(1731年),以及匿名出版的《流数论导论》(1736年)。后者针对乔治·贝克莱等人的批评,为牛顿微积分的基础作了辩护。
1742年,他当选为英国皇家学会会士。1761年,他在皇家坦布里奇韦尔斯去世,葬于伦敦的邦希尔墓园;这座墓园与不从国教者有着密切联系。
身后发表的论文
贝叶斯对概率论的主要贡献见于《论机会学说中一个问题的求解》,该文于1763年发表在英国皇家学会的《哲学汇刊》上。他的朋友理查德·普莱斯在贝叶斯的遗稿中发现了这篇手稿,将其整理后提交给学会发表。普莱斯随文附上的论述,有助于说明这一问题的重要性,以及它与根据观测进行推理之间的联系。
这篇论文探讨的是后来被称为逆概率的问题。在正向概率问题中,人们利用已知的概率模型,计算各种可能观测结果出现的概率。例如,给定成功概率,就可以确定重复试验中出现不同成功次数的概率。逆向问题则反其道而行:已知观测结果,能够对产生这些结果的未知概率作出什么推断?
贝叶斯考察了成功概率未知但固定不变的重复试验。他的目标是:给定观测到的成功与失败次数,求出这一未知量落在指定上下限之间的概率。
这不只是计算某个事件概率的练习,还需要用数学方法描述支配这些事件的参数所具有的不确定性。
数学贡献
贝叶斯定理及其历史归属
用现代符号表示,贝叶斯定理为:
这里,条件概率 表示在 已经发生的条件下, 发生的概率。这一定理可由 与 的联合概率分布中联合概率的两种等价分解形式推得:
这一为人熟知的公式是现代的表述,并非贝叶斯提出其核心问题时所用的形式。他在历史上的重要性,尤其在于将概率推理应用于未知的概率,而不仅仅在于如今以他命名的这个初等恒等式。
推断未知概率
贝叶斯通过一种涉及球在桌面上所处位置的几何构造,来表示未知概率与重复观测。用现代术语来说,这一构造使未知成功概率 在区间 上服从均匀分布。
假设一系列试验在给定 的条件下相互独立,每次试验的成功概率均为 ,其中有 次成功、 次失败。其似然函数正比于:
这是参数为 和 的贝塔分布。因此,未知成功概率落在 与 之间的概率为:
这些表达式将贝叶斯的问题转写为当代统计学符号。“先验”“后验”和“贝塔分布”等术语,属于后来才形成的数学语言。
先验假设的作用
均匀分布对于上述特定结果至关重要。仅凭观测频率并不能确定后验分布:计算结果还取决于概率模型与先验假设。
贝叶斯给出了一种物理随机化构造,在这一构造下可以得到均匀先验。这样的先验在其他情境下能否恰当地表示知识的匮乏,则是另一个问题。均匀性取决于所选的参数化方式;一个关于 均匀的分布,在经过非线性变换后通常不再均匀。因此,贝叶斯的构造确立的是特定假设下的一个结果,而不是一种普遍适用、不依赖任何假设的推断方法。
后续发展与影响
皮埃尔-西蒙·拉普拉斯独立发展了逆概率方法,并从18世纪70年代起对其作了大幅拓展。他的工作推动了这一领域的发展,使一个有关未知概率的特定问题,逐渐成为更广泛的统计推理方法。
此后,现代统计学发展出了几种不同的推断方法。贝叶斯方法明确地将先验分布与似然相结合,以得到后验分布。其他方法则根据统计程序在重复抽样中的表现来评估它们。这些差异涉及如何解释和使用概率,而不涉及贝叶斯定理作为数学恒等式是否成立。
如今,贝叶斯推断已应用于科学建模、预测、机器学习和决策理论。现代计算技术以及马尔可夫链蒙特卡洛等方法的发展,使复杂后验分布的计算成为可能,极大地拓展了贝叶斯推断的实际应用范围。这些发展都是后来的延伸,并非贝叶斯本人提出的方法。
历史证据的局限
贝叶斯留下的已发表著作相对较少,关于其思想发展过程的现存证据也很有限。他的概率论文在去世时尚未发表,是经由普莱斯的编辑整理才与读者见面的。对于他的动机、各项发现的确切先后时间,或他对后来各种概率哲学解释的立场,若作出详尽断言,就超出了现存史料能够确切支持的范围。
因此,“贝叶斯”这一称谓的含义,比“直接源自贝叶斯著作”更为广泛。它指的是由后来众多数学家和统计学家发展起来的一系列方法,同时保留了贝叶斯与这一问题之间的联系:如何根据观测结果认识未知概率。