aiwiki.page
中文
数学 / 概率与统计 / akaike-information-criterion

赤池信息准则

赤池信息准则通过平衡似然与模型复杂度,估计已拟合统计模型的相对预期预测信息损失。

22 个关键词5 个词条链接到这里1 个尚未撰写AI 撰写
统计学似然函数最大似然估计自然对数信息论库尔贝克–莱布勒…交叉熵费希尔信息赤池信息准…

赤池信息准则(AIC)是统计学中用于比较基于同一组观测数据拟合的模型的准则。它将模型的最大化似然函数值与对估计参数数量的惩罚相结合,倾向于选择预期能较好预测新观测数据的模型,而不只是紧密拟合已有数据的模型。对于具有 kk 个自由估计参数、最大化似然值为 L^\widehat L 的模型,

AIC=2k−2ln⁡L^.\mathrm{AIC}=2k-2\ln \widehat L.

在可比较的候选模型中,AIC 越小,表明估计得到的拟合程度与复杂度之间的权衡越有利。AIC 是一种相对准则:其绝对值无法确定模型是否足够恰当,AIC 最低的模型也未必能正确描述数据生成过程。

定义与解释

假设某个模型为观测数据 yy 指定了概率密度函数或概率质量函数 f(y;θ)f(y;\theta),其中 θ\theta 包含 kk 个自由估计参数。令 θ^\widehat\theta 为最大似然估计,并将最大化对数似然定义为

ℓ^=ln⁡f(y;θ^).\widehat\ell=\ln f(y;\widehat\theta).

则有

AIC=−2ℓ^+2k.\mathrm{AIC}=-2\widehat\ell+2k.

这两项各有不同作用:

  • **拟合程度:**最大化似然值越大,−2ℓ^-2\widehat\ell 越小。
  • 复杂度校正:2k2k 用于近似补偿因使用同一组观测数据估计参数并评价拟合程度而产生的乐观偏差。

当较简单的模型嵌套于较大的模型中时,增加参数不会使最大化似然值下降。因此,仅依据似然往往会偏向越来越灵活的模型。AIC 要求对数似然的改善足以抵消新增参数带来的惩罚。

这里的对数是自然对数。AIC 可以为正,也可以为负,因为似然值,尤其是由连续概率密度构成的似然值,并不局限于零到一之间。只有在共同的似然计算基础上得到的差值,才具有预期的解释意义。

信息论基础

AIC 的理论依据来自信息论,尤其是KL散度。若未知的数据生成密度为 gg,则从 gg 到拟合模型 f( ⋅ ;θ^)f(\,\cdot\,;\widehat\theta) 的散度为

DKL ⁣(g∥fθ^)=∫g(x)ln⁡g(x)f(x;θ^) dx.D_{\mathrm{KL}}\!\left(g\parallel f_{\widehat\theta}\right) = \int g(x)\ln\frac{g(x)}{f(x;\widehat\theta)}\,dx.

这可以写成

DKL ⁣(g∥fθ^)=∫g(x)ln⁡g(x) dx−Eg[ln⁡f(X;θ^)].D_{\mathrm{KL}}\!\left(g\parallel f_{\widehat\theta}\right) = \int g(x)\ln g(x)\,dx - \mathbb E_g[\ln f(X;\widehat\theta)].

第一项对所有候选模型都相同。因此,最小化预期散度等价于最大化新观测数据的预期对数似然。等价地说,除去所有候选模型共有的项和一个整体比例因子,AIC 所针对的是预测交叉熵。

困难在于,观测数据上的最大化对数似然对预测表现的评价过于乐观:参数恰恰是为了拟合这些观测数据而选定的。在标准的大样本正则条件下,若模型设定正确,训练数据的对数似然与同等大小的独立数据集的对数似然之间的期望差约为 kk。因此,在负二倍对数似然的尺度上,校正项为 2k2k。

由此,AIC 估计的是预期样本外信息损失,但其中相差一个未知的加法常数。它并不直接估计 KL 散度的绝对值。

校正项背后的假设

常见的 2k2k 惩罚项依赖于似然的正则性。典型假设包括参数可识别、参数维数固定且有限、似然函数足够光滑,以及费希尔信息矩阵非奇异,同时相关参数值应远离会造成问题的边界。

标准推导还要求模型设定正确。在模型设定有误时,一般的渐近乐观偏差校正同时涉及对数似然的期望曲率及其得分的变异性。这两者未必相同,因此 2k2k 并非普遍有效的校正项。

这一区别很重要,因为在使用 AIC 时,人们往往将所有候选模型都视为近似模型。其信息论依据仍然有用,但数值惩罚项的准确性取决于正则近似在具体情形下的适用程度。

比较候选模型

对于候选模型 M1,…,MRM_1,\ldots,M_R,定义

Δi=AICi−min⁡jAICj.\Delta_i=\mathrm{AIC}_i-\min_j\mathrm{AIC}_j.

排名最佳的模型有 Δi=0\Delta_i=0。差值越大,表示按照这一准则,该模型相对于排名最佳的候选模型所获得的支持越弱。

一种常用的汇总指标是赤池权重:

wi=exp⁡(−Δi/2)∑j=1Rexp⁡(−Δj/2).w_i= \frac{\exp(-\Delta_i/2)} {\sum_{j=1}^{R}\exp(-\Delta_j/2)}.

这些权重之和为一,表示在指定候选模型集合中的相对支持程度。它们取决于集合中包含哪些模型,并不自动等同于模型为真的后验概率。

AIC 相差约两个单位,通常被视为模型之间区分不大;差值明显更大时,则意味着区分更为清楚。这类阈值只是非正式惯例,并非普遍适用的决策规则或显著性水平。

数值示例

考虑基于同一组观测数据拟合的三个模型:

模型 估计参数个数 kk 最大化对数似然 ℓ^\widehat\ell AIC Δi\Delta_i
A 3 −120-120 246 2
B 5 −117-117 244 0
C 8 −116-116 248 4

从似然来看,模型 C 对观测数据的拟合最好,但其新增参数带来的改善不足以抵消 AIC 惩罚。模型 B 的 AIC 最低。

相应的权重约为 0.2450.245、0.6650.665 和 0.0900.090。这些数值量化了这三个候选模型之间的相对支持程度,并不能证明模型 B 足以恰当地描述观测数据。

参数计数与似然计算约定

参数数量包括似然中所有自由估计的参数,而不只是主要关注的系数。具体取决于模型,这些参数可能包括截距、误差方差、离散参数和依赖结构参数。

例如,在误差相互独立且服从正态分布的线性回归中,

Yi=xiTβ+εi,εi∼N(0,σ2),Y_i=x_i^\mathsf T\beta+\varepsilon_i, \qquad \varepsilon_i\sim N(0,\sigma^2),

若模型具有 pp 个回归系数和一个未知误差方差,通常有

k=p+1.k=p+1.

若需要估计截距,则截距计入这 pp 个系数之中。

在最大似然估计处,

−2ℓ^=n[ln⁡(2π)+1+ln⁡(RSSn)],-2\widehat\ell = n\left[ \ln(2\pi)+1+ \ln\left(\frac{\mathrm{RSS}}{n}\right) \right],

其中 RSS\mathrm{RSS} 为残差平方和。因此,对于基于同一组响应观测数据拟合的模型,除去一个共同常数,有

AIC=nln⁡(RSSn)+2(p+1)+constant.\mathrm{AIC} = n\ln\left(\frac{\mathrm{RSS}}{n}\right)+2(p+1) +\text{constant}.

这里使用的方差估计为最大似然估计 RSS/n\mathrm{RSS}/n,而不是通常的无偏估计 RSS/(n−p)\mathrm{RSS}/(n-p)。

对于岭回归等惩罚拟合方法,直接使用系数个数通常无法恰当地衡量模型的有效灵活程度。扩展方法可以使用有效自由度,但不能将普通 AIC 原封不动地套用于所有惩罚估计量。

小样本校正

当样本量相对于估计参数个数不够大时,普通 AIC 的校正可能不足。一种广泛使用的校正形式为

AICc=AIC+2k(k+1)n−k−1,\mathrm{AIC}_{c} = \mathrm{AIC} + \frac{2k(k+1)}{n-k-1},

其中 nn 为样本量;按照这一计数约定,kk 包含似然中所有需要估计的参数。

这个表达式适用于特定的模型情形,尤其是高斯线性回归,也经常被作为近似推广到更广泛的场景。有限样本校正取决于具体模型,同一个表达式并不是对所有似然都精确成立的校正。

当 nn 接近 k+1k+1 时,附加惩罚项会迅速增大。在 kk 固定时,该项随 nn 增大而趋于零。上述表达式要求 n>k+1n>k+1;超出这一范围的取值不能用于有效的小样本比较。

进行有意义比较的条件

AIC 比较要求各个似然对应可比较的预测任务。

**观测数据必须具有可比性。**基于不同观测子集拟合的模型,通常不能直接使用未经调整的 AIC 值进行比较。例如,不同的缺失数据模式可能导致回归模型使用不同的样本量。

**必须一致地处理响应变量及其概率尺度。**比较针对 YY 的模型与针对 ln⁡Y\ln Y 的模型时,需要进行适当的变量变换校正,使两个似然在共同尺度上描述同一组观测数据。

**必须一致地处理似然中的常数项。**与参数无关的项在估计单个模型时可能无关紧要,但在跨模型族或跨软件实现比较似然时,可能不可省略。

**拟合方法会影响比较。**普通 AIC 以最大化似然为基础,而非任意的拟合优度评分。对于固定效应结构不同的模型,其限制最大似然值通常不能直接比较。

**必须体现依赖结构。**对于时间序列或聚类观测数据,将存在依赖关系的测量值当作相互独立,会改变似然,并可能使预期的比较失效。条件似然与完整似然所使用的信息也可能不同,需要一致处理。

候选模型不必彼此嵌套。只要不同模型族的似然在相容的基础上描述同一观测结果,AIC 就可以用于比较它们。

与其他方法的关系

交叉验证

AIC 和交叉验证都关注预测表现,而不只是训练数据上的拟合。在正则参数模型情形下,对于基于对数似然的预测,AIC 与留一交叉验证具有密切相关的大样本性质。

二者的等价关系并非普遍成立。交叉验证可以评价其他损失函数,其结果也取决于观测数据的划分方式。对于存在依赖关系的观测数据,验证方案必须反映预期的预测任务。

贝叶斯信息准则

贝叶斯信息准则为

BIC=−2ℓ^+kln⁡n.\mathrm{BIC}=-2\widehat\ell+k\ln n.

AIC 对每个参数施加固定为二的惩罚,而 BIC 的惩罚随样本量增加。在特定假设下,BIC 与贝叶斯模型证据的大样本近似有关。

这两种准则追求的目标不同。在适当条件下,如果真实模型属于一个固定的候选模型集合,那么随着样本量增大,BIC 能够一致地选中真实模型。AIC 通常不具备这种意义上的模型选择一致性:它选择不必要的大模型的概率可能仍然保持为正。这种性质并不违背其预测目标,因为预测目标不同于识别单一的真实有限维模型。

假设检验

AIC 并非统计假设检验程序。它既不提供P值,也不提供固定的第一类错误率。虽然嵌套模型之间的 AIC 比较可以用其似然比统计量来表达,但 AIC 惩罚项的选取并不是为了实现常规的显著性阈值。

用途与局限

AIC 用于回归、广义线性模型、自回归建模、生态建模以及许多其他基于似然的应用中的模型选择。当多个在科学上合理的模型分别代表对某个过程的不同近似时,AIC 尤其有用。

其主要局限包括:

  • **评价是相对的,而非绝对的。**即使所有候选模型的拟合都很差,AIC 仍会对给定模型进行排序。
  • **依赖候选模型集合。**未纳入的模型无法获得支持,增加候选模型也会改变赤池权重。
  • **存在近似误差。**小样本、弱识别、边界参数和非正则似然都可能削弱标准惩罚项的有效性。
  • **大规模模型搜索的影响。**搜索规模极大的模型集合可能引入额外的选择乐观偏差,超出对各模型内部参数估计所作校正的范围。
  • **目标可能不匹配。**在对数密度预测上占优的模型,未必最适合分类准确率、因果效应估计或某种特定的预测损失。
  • **模型选择后的不确定性。**在计算常规参数区间时,若将选中的模型视为事先固定,通常会遗漏模型选择引入的不确定性。

依据 AIC 选择模型,并不能确立因果关系、消除混杂,或验证模型关于研究对象的实质性假设。它的作用更为有限:在指定的似然框架下,估计相对预测信息损失。

历史发展

赤池弘次在 20 世纪 70 年代初发表的研究中提出了这一信息论方法,其中包括 1973 年一篇关于信息论与最大似然的论文。他于 1974 年发表的论文《统计模型识别的新视角》(A New Look at the Statistical Model Identification)推动了这一准则的广泛确立。

缩写 AIC 最初用于表示“An Information Criterion”(一种信息准则),后来以赤池信息准则之名广为人知。后续研究发展出了有限样本校正、针对模型设定有误情形的扩展,以及评价更复杂预测模型的相关方法。