调整后的 R 平方通常记作 或 ,是衡量线性回归模型拟合优度的指标,它根据估计参数的个数对普通决定系数进行调整。对于使用同一组观测数据拟合的普通最小二乘模型,加入预测变量不会使普通 降低,但可能使调整后的 降低。因此,这一指标能够在比较模型解释性拟合表现的同时,对额外引入的预测变量施加惩罚。
定义
对于使用普通最小二乘法拟合且含截距项的回归模型,设:
- 为观测值个数;
- 为估计的斜率系数个数,不包括截距;
- 为响应变量的观测值;
- 为响应变量的拟合值;
- 为响应变量的样本均值。
将残差平方和与总平方和定义为
普通 为
调整后的 为
这一定义要求 ,且残差自由度为正,即 。如果响应变量为常数,中心化总平方和就为零,此时通常使用的这一统计量没有定义。
参数个数指的是估计的系数个数,而非变量名称的个数。一个由多个指示变量列表示的分类预测变量,或一个由多个幂次项表示的多项式预测变量,都可能对应不止一个系数。如果设计矩阵秩亏,残差自由度为 ,其中 是该矩阵的秩;模型含截距项时,应以 替代 。
统计解释
这一调整比较的是两个以方差为尺度的量:
因此,
这里, 是响应变量的样本方差。在线性模型设定正确,且误差均值为零、互不相关、具有相同方差的条件下, 是误差方差的无偏估计量。
训练数据上的残差只要减小,普通 就会提高,即使这种减小只是拟合了随机波动的结果。调整后的 通过将残差平方和除以拟合模型后剩余的自由度,来抵消这种倾向。
尽管可以这样解释,调整后的 并不是真正将观测到的变异分解为已解释和未解释的两个比例。一般而言,它也不是总体决定系数的严格无偏估计量。各个方差估计量无偏,并不意味着它们的比值也无偏。
性质与取值范围
对于含截距项的普通最小二乘模型:
- 。
- 仅含截距项的模型有 。
- 完美拟合时,若残差自由度仍为正,则 。
- 调整后的 可以为负。
- 在预测变量个数固定时,样本量越大,调整幅度越小。
这两个指标之差为
调整后的 为负,表示残差方差的估计值大于响应变量的样本方差。这并不意味着模型真的解释了负比例的变异。
对于固定的数据集,最大化调整后的 等价于最小化残差均方 。
加入预测变量后会发生什么?
考虑使用同一组观测数据拟合的两个嵌套模型。简约模型有 个斜率系数,完整模型在此基础上增加了 个可独立估计的系数。将两者的残差平方和分别记为 和 。
若完整模型的残差平方和为正,定义偏 统计量为
则有
因此,只有当每个新增参数带来的改善超过完整模型的残差均方时,调整后的 才会提高。这一关系是代数关系;要借助 分布解释该统计量,还需要额外的假设。
只增加一个系数时,相应的普通最小二乘 统计量满足 。因此,当 时,调整后的 就会提高。这并不等同于通过常规的 5% 显著性水平下的统计假设检验。因此,以最大化调整后的 为目标,可能会保留不满足该检验阈值的预测变量。
数值示例
假设使用同一组 100 个观测值拟合若干模型:
| 模型 | 斜率系数个数 | 普通 | 调整后的 |
|---|---|---|---|
| A | 2 | 0.600 | 0.5918 |
| B | 3 | 0.602 | 0.5896 |
| C | 3 | 0.610 | 0.5978 |
对于模型 A,
如果模型 B 是在模型 A 的基础上加入一个预测变量得到的,那么其普通 的小幅提高不足以抵消新增参数带来的惩罚。模型 C 的改善幅度更大,调整后的 也更高。模型 B 和 C 的参数个数相同,因此按调整后的 排序与按普通 排序的结果一致。
用途与局限
在统计学、计量经济学及其他定量学科的回归分析中,调整后的 是常见的报告指标。在使用相同响应变量、相同观测数据和相同拟合约定的前提下,它有助于比较预测变量个数不同的模型。
对这一指标的解释存在若干重要限制。
它不是样本外性能指标
调整后的 是用拟合模型时所用的数据计算的。它对参数个数的惩罚并不直接衡量模型对新观测值的预测误差。从大量模型中进行筛选,可能使最终选出的数值偏高,显得过于乐观。交叉验证或独立测试数据集可以结合均方误差等指标,更直接地评估预测性能。
它不能证明模型有效,也不能确立因果关系
调整后的 较高,并不能证明函数形式正确、误差假设成立,或不存在强影响观测值。它也不能据以作出因果推断:即使拟合优度很高,仍可能存在遗漏变量、混杂及其他识别问题。
比较需要共同的基础
如果模型使用的观测数据不同,或对响应变量采用了不同的变换,通常不宜比较其调整后的 。例如,以 为响应变量的模型和以 为响应变量的模型,是在不同尺度上衡量残差变异的。如果因预测变量值缺失而删除部分观测,由此造成的变化也不能完全归因于预测变量集合的变化。
其他类型的模型需要采用不同的约定
模型不含截距项时,一些软件会使用未中心化总平方和 ,并作相应调整。这样的数值不能与上文定义的中心化统计量直接比较。
对于正则化模型,如岭回归,拟合系数的个数通常不足以衡量模型的有效复杂度。同样,逻辑回归等基于似然的模型使用各种伪 指标;这些指标的调整形式,与普通最小二乘法中的调整后的 并不是同一种统计量。