aiwiki.page
中文
数学 / 概率与统计 / adjusted-r-squared

调整后的 R 平方

调整后的 R 平方在衡量回归拟合优度时,考虑了估计参数个数相对于样本量的影响。

20 个关键词1 个词条链接到这里AI 撰写
线性回归决定系数普通最小二乘法样本均值自由度矩阵(数学)矩阵的秩方差调整后的 R…

调整后的 R 平方通常记作 Rˉ2\bar R^2 或 Radj2R_{\mathrm{adj}}^2,是衡量线性回归模型拟合优度的指标,它根据估计参数的个数对普通决定系数进行调整。对于使用同一组观测数据拟合的普通最小二乘模型,加入预测变量不会使普通 R2R^2 降低,但可能使调整后的 R2R^2 降低。因此,这一指标能够在比较模型解释性拟合表现的同时,对额外引入的预测变量施加惩罚。

定义

对于使用普通最小二乘法拟合且含截距项的回归模型,设:

  • nn 为观测值个数;
  • kk 为估计的斜率系数个数,不包括截距;
  • yiy_i 为响应变量的观测值;
  • y^i\hat y_i 为响应变量的拟合值;
  • yˉ\bar y 为响应变量的样本均值。

将残差平方和与总平方和定义为

SSE=∑i=1n(yi−y^i)2,SST=∑i=1n(yi−yˉ)2.\mathrm{SSE}=\sum_{i=1}^{n}(y_i-\hat y_i)^2, \qquad \mathrm{SST}=\sum_{i=1}^{n}(y_i-\bar y)^2.

普通 R2R^2 为

R2=1−SSESST.R^2=1-\frac{\mathrm{SSE}}{\mathrm{SST}}.

调整后的 R2R^2 为

Rˉ2=1−SSE/(n−k−1)SST/(n−1)=1−(1−R2)n−1n−k−1.\boxed{ \bar R^2 = 1-\frac{\mathrm{SSE}/(n-k-1)} {\mathrm{SST}/(n-1)} = 1-(1-R^2)\frac{n-1}{n-k-1} }.

这一定义要求 SST>0\mathrm{SST}>0,且残差自由度为正,即 n−k−1>0n-k-1>0。如果响应变量为常数,中心化总平方和就为零,此时通常使用的这一统计量没有定义。

参数个数指的是估计的系数个数,而非变量名称的个数。一个由多个指示变量列表示的分类预测变量,或一个由多个幂次项表示的多项式预测变量,都可能对应不止一个系数。如果设计矩阵秩亏,残差自由度为 n−rn-r,其中 rr 是该矩阵的秩;模型含截距项时,应以 r−1r-1 替代 kk。

统计解释

这一调整比较的是两个以方差为尺度的量:

se2=SSEn−k−1,sy2=SSTn−1.s_e^2=\frac{\mathrm{SSE}}{n-k-1}, \qquad s_y^2=\frac{\mathrm{SST}}{n-1}.

因此,

Rˉ2=1−se2sy2.\bar R^2=1-\frac{s_e^2}{s_y^2}.

这里,sy2s_y^2 是响应变量的样本方差。在线性模型设定正确,且误差均值为零、互不相关、具有相同方差的条件下,se2s_e^2 是误差方差的无偏估计量。

训练数据上的残差只要减小,普通 R2R^2 就会提高,即使这种减小只是拟合了随机波动的结果。调整后的 R2R^2 通过将残差平方和除以拟合模型后剩余的自由度,来抵消这种倾向。

尽管可以这样解释,调整后的 R2R^2 并不是真正将观测到的变异分解为已解释和未解释的两个比例。一般而言,它也不是总体决定系数的严格无偏估计量。各个方差估计量无偏,并不意味着它们的比值也无偏。

性质与取值范围

对于含截距项的普通最小二乘模型:

  • Rˉ2≤R2\bar R^2\leq R^2。
  • 仅含截距项的模型有 R2=Rˉ2=0R^2=\bar R^2=0。
  • 完美拟合时,若残差自由度仍为正,则 Rˉ2=1\bar R^2=1。
  • 调整后的 R2R^2 可以为负。
  • 在预测变量个数固定时,样本量越大,调整幅度越小。

这两个指标之差为

R2−Rˉ2=k(1−R2)n−k−1.R^2-\bar R^2 = \frac{k(1-R^2)}{n-k-1}.

调整后的 R2R^2 为负,表示残差方差的估计值大于响应变量的样本方差。这并不意味着模型真的解释了负比例的变异。

对于固定的数据集,最大化调整后的 R2R^2 等价于最小化残差均方 SSE/(n−k−1)\mathrm{SSE}/(n-k-1)。

加入预测变量后会发生什么?

考虑使用同一组观测数据拟合的两个嵌套模型。简约模型有 kk 个斜率系数,完整模型在此基础上增加了 qq 个可独立估计的系数。将两者的残差平方和分别记为 SSER\mathrm{SSE}_R 和 SSEF\mathrm{SSE}_F。

若完整模型的残差平方和为正,定义偏 FF 统计量为

F=(SSER−SSEF)/qSSEF/(n−k−q−1).F= \frac{(\mathrm{SSE}_R-\mathrm{SSE}_F)/q} {\mathrm{SSE}_F/(n-k-q-1)}.

则有

RˉF2>RˉR2⟺F>1.\bar R_F^2>\bar R_R^2 \quad\Longleftrightarrow\quad F>1.

因此,只有当每个新增参数带来的改善超过完整模型的残差均方时,调整后的 R2R^2 才会提高。这一关系是代数关系;要借助 FF 分布解释该统计量,还需要额外的假设。

只增加一个系数时,相应的普通最小二乘 tt 统计量满足 F=t2F=t^2。因此,当 ∣t∣>1|t|>1 时,调整后的 R2R^2 就会提高。这并不等同于通过常规的 5% 显著性水平下的统计假设检验。因此,以最大化调整后的 R2R^2 为目标,可能会保留不满足该检验阈值的预测变量。

数值示例

假设使用同一组 100 个观测值拟合若干模型:

模型 斜率系数个数 kk 普通 R2R^2 调整后的 R2R^2
A 2 0.600 0.5918
B 3 0.602 0.5896
C 3 0.610 0.5978

对于模型 A,

RˉA2=1−(1−0.600)9997≈0.5918.\bar R_A^2 = 1-(1-0.600)\frac{99}{97} \approx 0.5918.

如果模型 B 是在模型 A 的基础上加入一个预测变量得到的,那么其普通 R2R^2 的小幅提高不足以抵消新增参数带来的惩罚。模型 C 的改善幅度更大,调整后的 R2R^2 也更高。模型 B 和 C 的参数个数相同,因此按调整后的 R2R^2 排序与按普通 R2R^2 排序的结果一致。

用途与局限

在统计学、计量经济学及其他定量学科的回归分析中,调整后的 R2R^2 是常见的报告指标。在使用相同响应变量、相同观测数据和相同拟合约定的前提下,它有助于比较预测变量个数不同的模型。

对这一指标的解释存在若干重要限制。

它不是样本外性能指标

调整后的 R2R^2 是用拟合模型时所用的数据计算的。它对参数个数的惩罚并不直接衡量模型对新观测值的预测误差。从大量模型中进行筛选,可能使最终选出的数值偏高,显得过于乐观。交叉验证或独立测试数据集可以结合均方误差等指标,更直接地评估预测性能。

它不能证明模型有效,也不能确立因果关系

调整后的 R2R^2 较高,并不能证明函数形式正确、误差假设成立,或不存在强影响观测值。它也不能据以作出因果推断:即使拟合优度很高,仍可能存在遗漏变量、混杂及其他识别问题。

比较需要共同的基础

如果模型使用的观测数据不同,或对响应变量采用了不同的变换,通常不宜比较其调整后的 R2R^2。例如,以 yy 为响应变量的模型和以 log⁡y\log y 为响应变量的模型,是在不同尺度上衡量残差变异的。如果因预测变量值缺失而删除部分观测,由此造成的变化也不能完全归因于预测变量集合的变化。

其他类型的模型需要采用不同的约定

模型不含截距项时,一些软件会使用未中心化总平方和 ∑iyi2\sum_i y_i^2,并作相应调整。这样的数值不能与上文定义的中心化统计量直接比较。

对于正则化模型,如岭回归,拟合系数的个数通常不足以衡量模型的有效复杂度。同样,逻辑回归等基于似然的模型使用各种伪 R2R^2 指标;这些指标的调整形式,与普通最小二乘法中的调整后的 R2R^2 并不是同一种统计量。