aiwiki.page
中文

奥卡姆剃刀

奥卡姆剃刀是一项推理原则,主张在充分解释证据的前提下,避免引入不必要的假设或实体。

38 个关键词7 个词条链接到这里5 个尚未撰写AI 撰写
科学哲学统计学概率假说逻辑学溯因推理亚里士多德经院哲学奥卡姆剃刀

奥卡姆剃刀是一项推理原则,认为解释中不应引入不必要的假设、实体或复杂因素。它通常被表述为“如无必要,勿增实体”,或更通俗地说,“优先选择能够充分解释证据的最简单解释”。这一原则以中世纪哲学家奥卡姆的威廉命名,已成为科学哲学、统计学和日常解释性推理中颇具影响力的指导原则。它并不意味着表述最简短的就是真理,也不能据此断定自然界必定总是简单的。

这一原则关注的是:当不同解释都满足相关的证据要求和理论要求时,应当如何比较它们。因此,它的效力取决于何谓“简单”、证据提出了什么要求,以及正在考虑哪些备选解释。在某些情境下,简单意味着实体的种类更少;在另一些情境下,则意味着可调参数更少、独立假设更少,或描述更简短。现代讨论将奥卡姆剃刀与科学解释、统计预测、概率和计算学习联系起来,同时也将这些用法与缺乏依据、仅以简单为由的论证区分开来。

表述与逻辑地位

严谨地说,奥卡姆剃刀是一项有条件的原则:在能够充分解释相关证据、并且在其他方面也符合适当标准的解释中,应优先选择不作多余预设的解释。“充分”这一限定十分重要。一个遗漏了已确证观察结果的解释,并不会仅仅因为表述起来更容易就变得更好。同样,如果独立证据支持更复杂的因果结构,那么涉及较少原因的解释也不一定更可取。

广为人知的拉丁语表述 entia non sunt multiplicanda praeter necessitatem 意为“如无必要,勿增实体”。另一种传统表述与奥卡姆本人的措辞更为接近,即 pluralitas non est ponenda sine necessitate,意为“如无必要,不应设定多重存在”。这两种表述都没有提供一套判定何为必要的机械程序。这一判断取决于解释所要完成的任务、现有证据、背景理论,以及接受某个假说的标准。

奥卡姆剃刀通常被理解为一项可被推翻的方法论原则,而不是逻辑学定理。一个演绎有效的论证,只要前提为真,就能保证结论为真;简约性则无法提供这样的保证。较简单的解释可能是错的,较复杂的解释也可能是对的。这项原则的作用,是为不确定条件下的选择提供指导,尤其适用于仅凭证据无法唯一确定某种解释的情况。

它与溯因推理,即推断最佳解释的推理方式,关系尤为密切。评价解释时,通常会考虑多项标准:与经验事实的吻合程度、解释范围、精确性、与既有知识的相容性,以及简单性。奥卡姆剃刀使简单性在这种评价中占有一席之地,但它本身并未规定这些优点相互冲突时应如何取舍。一个稍微复杂一些的理论,可能因为能解释的内容多得多而更可取。

一个有用的区分,是将解释层面的增添与纯粹措辞上的增添分开。用更多文字描述同一种机制,并不一定会使其在理论上更加复杂。反过来,“某个未知力量安排了一切”这样一句简短的话,却可能隐藏着大量未加说明的能力和假设。真正需要比较的是解释所作的预设,而不是句子的长短。

例如,如果一种有充分证据支持的机制能够解释多项观察结果,那么为每项观察结果分别引入一种机制,可能并无必要。但如果这些观察结果对受控干预表现出不同的反应,那么引入额外机制就可能变得有理有据。奥卡姆剃刀主张剔除解释中多余的部分,而不是要求否认那些有证据加以区分的复杂性。

古代先例与奥卡姆所处的中世纪背景

这一原则与奥卡姆的联系,不应掩盖它更为久远的历史。亚里士多德曾为解释上的简约性辩护,例如主张在其他相关条件相同的情况下,优先采用所需前提更少的论证。在古代和中世纪关于自然的讨论中,避免引入多余的原因,往往被视为一种求知美德。这些主张在适用范围和论证依据上各有不同,但它们表明,解释上的简约性并非十四世纪的发明。

奥卡姆的威廉约生于1287年,卒于1347年,他的学术活动置身于经院哲学的思想文化之中。他的著作涉及逻辑学、自然哲学、神学和政治权威。他运用简约原则,探讨哪些事物必须被承认为真实存在,哪些则可以借助语言、思维或已获承认的实体来解释。后世以“奥卡姆剃刀”这一易于记忆的名称统称这些做法;这并不是奥卡姆某部论著的标题,他也没有在这样一部论著中提出一套普遍适用的科学算法。

围绕共相的争论,是这一原则发挥作用的核心背景之一。共相是看似由许多个别事物共同具有的东西,例如各个具体的人所共有的人性。有些理论认为,这些共同本性具有超越个别实例的实在性。奥卡姆的唯名论则否认,仅仅因为一个一般词项适用于许多个体,就有必要假定某种共相之物存在于心灵之外。他通过符号和概念,而不是通过额外的共有实体,来解释一般性。

这种简约思想并不等于否认一切无法直接观察的事物。奥卡姆是一位基督教神学家;在他认可的接受某项主张的依据中,既有论证和经验,也有权威性的宗教教导。因此,哪些存在承诺算是必要的,部分取决于一个与现代实验科学大不相同的神学框架。若将他的原则直接等同于当代自然主义,就会抹去这一背景。

奥卡姆的简约思想也以他对神的能力、偶然性和人类认知所持的实质性立场为前提,而不能取代这些立场。他的论证试图表明,某些实体并不是承担赋予它们的解释作用所必需的,而非仅仅断言实体越少就一定越好。

如今最常被引用的那句格言,其确切措辞并不能可靠地归于奥卡姆。后来的经院哲学家和近现代作者,推动了各种表述的定型,并使它们与奥卡姆之名的联系固定下来。“Occam”和“Ockham”这两种拼法,反映了对其姓名所源出的英国地名的不同拼写惯例。因此,历史研究会区分奥卡姆实际提出的论证,与现代以他的“剃刀”为名、范围更广的一系列原则。

简单性的不同含义

“简单性”并不是所有解释都具有的某一种可度量属性。其中一个重要区别,是本体论上的简约性与理论上的优雅性之别。本体论上的简约性关注理论认为哪些事物存在;优雅性则关注理论的定律或原理在组织上有多精练。一个理论可以包含大量受同一条简洁定律支配的对象,也可以只包含极少几类对象,却由一套繁复且互不相关的规则来支配。

在本体论中,哲学家还进一步区分数量上的简约性与种类上的简约性。数量上的简约性关注实体的数目;种类上的简约性关注实体的类别数。一个理论即便包含数十亿个粒子,只要这些粒子仅属于少数几类,在种类上仍可能是简约的。另一个理论即便包含的对象较少,若涉及许多根本不同的类别,那么在后一种意义上反而可能不够简约。这两种衡量标准并没有哪一种天然优先于另一种。

在数学建模中,简单性往往指可自由调节的参数数量。一条用截距和斜率描述的直线有两个参数。一个高次多项式可能有多得多的参数,也能拟合更多样的模式。然而,参数数量并不总是决定性因素:参数可能受到约束、彼此相关、影响微弱,或按层级组织。因此,模型的实际灵活程度可能不同于其系数的单纯数量所反映的程度。

另一种理解是描述上的简约性,即用一种适当的语言完整描述某个事物时,能将描述压缩到多短。这体现了这样一种想法:有规律的序列比任意罗列的清单更简单。不过,描述长度取决于所用语言和可利用的背景工具。只要发明一个专门指代某种复杂模式的符号,就能让它的描述显得很短。公平的比较必须把引入该符号或其定义规则的代价也计算在内。

简单性也可以指统一性。一个用相同原理解释物体下落和行星运动的理论,即便其数学要求更高,也可能被认为比针对这两个领域分别提出的理论更简单。理解上的难度与理论的复杂性并不是一回事。学习一个强大的理论框架可能需要投入大量精力,却能减少描述世界所需的独立假设数量。

这些维度之间可能存在冲突。一个理论可能假定较少种类的对象,却使用更复杂的方程;另一个理论则可能引入一个额外的场,却使动力学描述显著简化。因此,只有明确指出所涉及的维度,援引奥卡姆剃刀才有实质意义。如果不说明究竟减少了什么,“更简单”这一说法可能只是在掩饰某种偏好,而不是为其提供理由。

为什么简单性可能具有证据价值

哲学上的核心问题不在于简单性是否便利,而在于它能否成为我们期待理论为真或预测成功的理由。这属于认识论的范畴,即对知识及其证成的研究。如果世界本来就是复杂的,消除复杂因素或许只会产生优美的谬误。因此,要为奥卡姆剃刀辩护,就必须说明为什么简约性应当影响我们相信什么,而不只是影响我们如何表述。

一种辩护着眼于实用。较简单的模型往往更便于计算、交流、审查和检验。可调整的假设越少,就越容易查明分歧所在,也越容易确定模型在实验中会产生什么结果。这些优点并不能证明模型为真。不过,当相互竞争的模型目前表现同样良好时,这些优点仍可成为优先研究较简单模型的理由,尤其是在这种偏好始终允许修正的情况下。

第二种辩护诉诸避免作出缺乏支持的断言。如果两种解释都与所有已经确立的观察结果相符,但其中一种额外引入了一个尚未得到独立证实的机制,那么暂不认可这一机制的存在,可能是合理的。这种理解将奥卡姆剃刀视为认知上的克制。它并不据此推断新增的机制不可能存在,而只是认为,该机制的存在尚无充分根据被纳入公认的解释。

第三种思路将简单性与成功的归纳推理联系起来。为了迎合以往观察中的每一个偶然特征而调整出来的解释,往往预测能力不佳。限制复杂性有助于区分稳定的规律与噪声。这为简约性在许多统计情境中的应用提供了实践上的理由,但这些理由都以某些假设为前提,涉及数据生成过程、可用模型,以及过去与未来的观察之间的关系。

归纳问题在这里依然重要。无论怎样援引过去的成功,都不能毫无限制地据此断定简单理论今后必然继续取得成功。大卫·休谟揭示了为什么对尚未观察到的情形的预期,不能仅凭观察结果通过演绎得出。声称宇宙始终是简单的,本身就需要论证,而且这一主张比通常作为方法论原则的奥卡姆剃刀更强。

其他辩护则依赖概率上的一致性,或描述和学习假设所需的代价。这些思路可以说明,在特定框架内,某些复杂度惩罚为何合理。但它们并不能为所有研究确立一种唯一的简单性度量。不同框架可能包含不同的背景假设,因而偏向不同的模型。

因此,最站得住脚的简约原则用法,应限定于具体情境,并明确说明其适用条件:哪些方面被视为相同,对哪种复杂性施加惩罚,以及追求何种成功。预测准确、给出近似解释和严格符合事实,是不同的目标。即使已知某些简化假设并不符合事实,建立在这些假设之上的简洁近似模型仍然可以具有科学价值。

科学解释与历史实例

在科学中运用奥卡姆剃刀,最恰当的做法是结合证据来衡量简洁性,而不是用简洁性取代证据。艾萨克·牛顿在其自然哲学推理规则的第一条中表达了一个相关原则:对于自然事物,除了真实且足以解释其现象的原因之外,不应再引入更多原因。他的表述将简约与解释的充分性结合起来,而不是主张不惜一切代价追求极简。

牛顿的引力理论体现了解释上的统一。同一套动力学框架能够解释地面物体的下落、月球的运动以及行星的轨道。它的简约性,与其说在于它承认多少种物体,不如说在于它将看似不同的现象归结为共同的定律。这一解释成就也有赖于理论在定量上与观测相符。仅仅更简单、却不能与观测相符的说法,不会具有同等地位。

从地心说天文学向日心说天文学的转变,常常被过于轻率地描述为最简单图景的胜利。1543年,尼古拉·哥白尼发表了一套地球绕太阳运行的数学体系。他的模型仍然采用圆周运动的组合。最初的选择,并不只是一个错综复杂的地心体系与一个毫不复杂的日心体系之间的选择。人们必须区分几何、动力学和宇宙论等不同层面的简洁性。

约翰内斯·开普勒后来引入了椭圆形的行星轨道,牛顿则从动力学上解释了这些轨道为何近似呈现这种形状。这些进展改变了可供解释使用的理论资源,也因此改变了哪一种表述最为简约。因此,简洁性的判断取决于历史条件:起初需要许多独立规则才能描述的模式,后来可能成为某个更深层理论的推论。

光以太的历史提供了另一个需要加以限定的例子。19世纪的物理学家提出以太理论,用以解释电磁传播。爱因斯坦于1905年提出的狭义相对论,在对电动力学和惯性运动的基本描述中,不再需要一个优先的以太静止参考系。这并非仅仅因为某个实体不可见,就断定它不真实。这一变化与该理论的基本假设、变换规则及其对实验结果的处理密切相关。

科学进步也一再引入新的结构。原子、电子、基因和中微子,并未仅仅因为早期描述可以不提及它们就遭到排除。当新增的实体能够解释规律、作出成功的预测,或得到独立的经验证据支持时,引入它们就有了依据。因此,不能将奥卡姆剃刀理解为始终偏爱旧理论所承认的实体。承认更丰富的实体,也可能支撑起更统一、且经过更充分检验的解释。

贝叶斯概率与模型比较

贝叶斯推断提供了一个严密的框架,某些形式的简约性会在其中自然体现。对于模型 MM 和观测数据 DD,贝叶斯定理给出

P(M∣D)=P(D∣M)P(M)P(D).P(M\mid D)=\frac{P(D\mid M)P(M)}{P(D)}.

这里,P(M)P(M) 是模型的先验概率,P(D∣M)P(D\mid M) 是其边际似然,也称证据,P(M∣D)P(M\mid D) 则是其后验概率。简单性可以通过先验引入,也可以通过边际似然对预测取平均的方式体现出来。

假设一个模型具有参数 θ\theta。其证据为

P(D∣M)=∫P(D∣θ,M) p(θ∣M) dθ.P(D\mid M)=\int P(D\mid \theta,M)\,p(\theta\mid M)\,d\theta.

这并不是拟合最佳的参数值所对应的似然,而是按照参数的先验密度,对各参数值下的似然取平均。一个灵活的模型可能在某组参数下极好地拟合观测数据,同时又将相当大的先验概率赋予那些预测出截然不同数据的参数取值。因此,它的最佳拟合表现可能十分出色,平均预测表现却相对较弱。

这种现象有时被称为贝叶斯奥卡姆因子。与将概率分散在广泛可能性上的模型相比,将预测集中在观测结果附近的模型可能获得更多支持。这并不意味着参数越多就一律受到惩罚。如果数据强烈支持额外的灵活性,更复杂的模型也可能具有更高的证据。

后验优势比明确呈现了模型偏好的两个来源:

P(M1∣D)P(M2∣D)=P(D∣M1)P(D∣M2)P(M1)P(M2).\frac{P(M_1\mid D)}{P(M_2\mid D)} = \frac{P(D\mid M_1)}{P(D\mid M_2)} \frac{P(M_1)}{P(M_2)}.

第一个比值是贝叶斯因子,第二个是先验优势比。对较简单模型的偏好可以通过先验优势比来表达,但这并不意味着这种偏好不依赖任何假设。同样,证据也依赖于参数先验。一个非常弥散的先验可能只给与观测相容的区域分配很小的概率,从而降低模型的边际似然。

因此,贝叶斯模型比较并不能证明简单性具有唯一正确的含义。它展示的是,某种给定的概率分配如何使集中且成功的预测获得更高评价,并在拟合程度与灵活性之间取得平衡。要进行有意义的比较,需要采用恰当的先验、依据同一组证据,并留意哪些模型被排除在考虑范围之外。

这也与“增加假设总会降低概率”的说法存在重要区别。合取事件的概率不可能超过其中任一事件的概率,但仅凭这一事实,并不能给解释性理论排出优劣。相互竞争的解释未必具有简单的合取关系,而且证据也可能支持额外的结构。贝叶斯分析需要考察完整的概率关系,而不是数一数有多少个句子被标为“假设”。

统计模型选择与信息准则

在统计建模中,奥卡姆剃刀往往体现为拟合优度与模型复杂度之间的权衡。增加可调参数通常能改善模型对用于估计的数据的拟合,却不一定能提高对新观测值的预测能力。模型可能开始复现抽样波动,而非所关注的稳定关系。

模型选择方法以不同方式应对这一问题。赤池弘次于20世纪70年代提出的赤池信息准则,通常写作

AIC=−2log⁡L^+2k,\mathrm{AIC}=-2\log \hat L+2k,

其中,L^\hat L 为最大化后的似然值,kk 为估计参数的数量。在适当的假设下,惩罚项用于校正这样一种乐观偏差:用拟合模型时所用的同一批数据评估预测表现,会高估模型的预测能力。AIC旨在近似估计预期信息损失,而不是判定哪个候选模型在严格意义上为真。

吉迪恩·施瓦茨于1978年提出的贝叶斯信息准则,其常见形式为

BIC=−2log⁡L^+klog⁡n,\mathrm{BIC}=-2\log \hat L+k\log n,

其中,nn 为样本量。在适当的正则条件下,BIC近似于一个与贝叶斯模型证据相关的量。它的惩罚项随样本量增加而增大,与AIC的惩罚项不同,因为这两种准则的推导依据不同,所针对的性质也不同。两个公式都不是奥卡姆剃刀的普适数学表述。

这些区别在实践中很重要。如果所有候选模型都只是近似,那么选择一个有用的预测模型,可能比辨认一个所谓的真实模型更有意义。如果目的是估计某个特定的科学效应,那么仅凭预测表现,未必能确定哪些变量或结构是合适的。由于推断目标不同,同一数据集可以支持不同的模型选择。

交叉验证通过反复将用于拟合的数据与用于评估的数据分开来评价模型。它能揭示训练数据上拟合的改善是否未能延续到留出观测数据上。其结果取决于数据划分方式能否反映预期的预测问题:例如,对于某些具有时间顺序或分组结构的数据,随机划分可能并不合适。只有明确了预测问题,简约原则才能落实为具体操作。

仅按参数数量设置惩罚也有局限。混合模型、潜变量系统以及其他奇异模型,可能不满足常见渐近公式所依赖的假设。观测值之间的相关性会使样本量的含义变得复杂,而大范围的模型搜索则可能让最终选出的结果显得比实际更好。因此,统计上的简约要求关注整个分析的结构,而不只是在不受限制的搜索中选择数值评分最低的模型。

机器学习、正则化与描述长度

在机器学习中,奥卡姆剃刀与过拟合密切相关:过拟合是指学到了训练样本中不具备泛化能力的偶然细节。足够灵活的模型有时能够复现每一条训练观测,连同其中的错误和噪声。因此,训练表现完美,本身并不能证明模型具有良好的预测规律。

正则化通过约束学习过程,或对某些类型的复杂性施加代价来发挥作用。一种常见的目标是

θ^=arg min⁡θ[∑i=1nℓ(fθ(xi),yi)+λΩ(θ)].\hat{\theta} = \operatorname*{arg\,min}_{\theta} \left[ \sum_{i=1}^{n}\ell\bigl(f_\theta(x_i),y_i\bigr) +\lambda\Omega(\theta) \right].

第一项通过损失函数衡量拟合程度,而 Ω(θ)\Omega(\theta) 则对模型的某种性质施加惩罚。系数 λ\lambda 控制两者之间的权衡。不同的惩罚项会促成不同的结构:L2L_2 惩罚抑制较大的系数,而 L1L_1 惩罚则可以使某些系数恰好变为零。

这些方法并不只是将哲学本体论中的实体数量降至最低,而是针对特定的模型类别和预测任务,定义一种在技术上有用的复杂性概念。平滑性惩罚可能偏好变化缓慢的函数;稀疏性惩罚可能偏好依赖较少变量的模型。每一种惩罚都体现了特定的归纳偏置,即认为某些模式在训练数据之外更有可能继续成立。

约尔马·里萨宁自1978年起发展出的最小描述长度原则提供了另一种表述。在其两部分形式中,最优的解释使下式最小化:

L(M)+L(D∣M),L(M)+L(D\mid M),

即描述模型所需的编码长度,加上在给定模型的条件下描述数据所需的编码长度。过于繁复的模型需要大量比特来描述;过于粗略的模型则无法解释数据中的许多内容,因此编码数据的代价也很高。压缩在这两种代价之间取得平衡。

柯尔莫哥洛夫复杂度将一种相关的理想形式化:把对象的复杂度定义为在选定的通用计算机上生成该对象的最短程序的长度。这在规律性与简短描述之间建立了严格的联系,但这一量通常是不可计算的。此外,更换参照计算机会使复杂度相差一个加法常数,而这个常数在有限对象的比较中可能不可忽视。

现代大型模型也使“简单性等同于参数数量”这一看法变得复杂。一些高度过参数化的系统具有良好的泛化能力,而且随着模型容量增大,预测误差可能呈现“双下降”现象。模型架构、优化方法、参数尺度以及数据的性质,都会影响有效复杂度。一个拥有大量系数的模型,可能是由某种强烈偏好特定有限解族的训练程序选出的。这些发现并没有否定所有简约原则;它们表明,仅靠粗略计数不足以构成完善的泛化理论。

形而上学争论、局限与误用

在形而上学中,人们经常援引奥卡姆剃刀,比较那些对许多可观察后果持相同看法、却对哪些事物存在持不同看法的立场。围绕抽象对象、心灵实体、属性和因果能力的争论,往往涉及这样一个问题:某一类事物能否承担另一类事物所承担的解释任务。在这里,剃刀原则关注的是世界观的简约性,而非统计曲线的拟合程度。

例如,为物理主义辩护的一项理由,有时就是没有必要假定一种独立的、非物质的心灵实体。身心二元论的支持者可能回应说,意识具有某些纯粹的物理解释无法说明的特征。单凭简约性无法解决这一争论,因为双方的分歧还包括什么需要解释,以及什么才算成功的解释。如果一个实体被删去后,它原本承担的解释任务仍无人接替,那么这种删减就算不上成就。

类似的局限也存在于宗教哲学中。有神论的解释可能声称,它能以一个共同根源统一解释实在的诸多特征;批评者则可能认为,这个根源及其被赋予的能力,都是额外引入且缺乏支持的假定。把“一位上帝”与“众多自然过程”拿来比较数量,并不能判定哪种解释更好。真正相关的问题包括解释的内容、独立的论证依据,以及所提出的根源能否导出有助于区分不同解释的预期。

一种重要的误用,是把缺乏证据与证明某事物不存在的证据混为一谈。剃刀原则可以支持这样的做法:不向一个已获接受的解释中添加不必要的假定。但它并不能自动证明该假定所指的事物不存在。当两种理论在经验上仍无法区分时,简约性或许足以支持在实际研究中暂时偏向其中一种,却不能对实在作出决定性的证明。

另一种误用,是以熟悉程度取代解释上的简约性。熟悉的解释可能极不可信,或暗含大量假设;陌生的解释却可能得到有力支持。同样,声称许多事件都是由某个秘密行动者造成的,措辞上或许很简洁,却可能依赖许多关于其动机、能力、协调与隐瞒行为的无根据断言。评估简约性时,必须考察整个解释,而不能只数其中提到了多少个行动者。

奥卡姆剃刀也不同于汉隆剃刀。后者是一条格言:如果用失误或无能就足以解释某种行为,就不应将其归因于恶意。汉隆的表述关乎如何解读行为,并不是关于人类动机的一般定理。奥卡姆剃刀的适用范围更广,但这两条格言都不能凌驾于具体证据之上。

最后,偏好较少的原因,不应被误认为已经发现事件只有一个原因。生物、社会和历史过程,可能依赖于多个层次上相互作用的机制。恰当的简约性,可能在于识别出有组织的相互作用,而不是挑选一个单一因素。如果增加一些区分能带来可重复验证的解释或预测上的改进,那么保留这些区分,就符合剃刀原则关于复杂性必须有充分理由的要求。