加权最小二乘法(WLS)是一种最小二乘法,它将每个残差的平方乘以指定的非负权重。当各观测的误差方差不同时,这种方法广泛用于线性回归,使精度更高的观测能够对拟合模型产生更大的影响。当所有权重均为相同的正数时,WLS 就退化为普通最小二乘法(OLS)。其统计性质取决于权重的选择方式以及对误差所作的假设。
定义
给定观测 、模型 和固定权重 ,WLS 选择使下式最小的参数 :
残差 是响应的观测值与拟合值之差。权重决定了各个残差平方对目标函数的相对贡献。
权重为零意味着该观测不参与目标函数的计算。将所有权重乘以同一个正常数,不会改变使目标函数最小的参数,但可能改变残差尺度的解释以及软件报告的不确定性。
这一方法的定义特征是加权平方误差准则,而不是某种特定的权重选择规则。在统计回归中,如果目的是处理观测精度不等的问题,标准做法是以误差方差的倒数作为权重。
线性模型及其解
对于线性模型,
是一个 维响应向量, 是一个 的设计矩阵, 包含 个未知系数, 是误差向量。如果模型包含截距,则用 中元素全为 1 的一列表示。
令
目标函数变为
将其梯度设为零,可得加权正规方程:
如果 可逆,则唯一解为
当权重均严格为正时,只要 的列秩满秩,解就唯一。如果部分权重为零,则权重为正的观测仍须足以识别每一个系数。否则,目标函数会有多个最小化解。
拟合残差向量 满足
对于包含截距的模型,这意味着 。未加权的残差和则不一定为零。
变换与几何解释
WLS 可以表示为对变换后的数据进行 OLS。定义
则
每个响应值以及设计矩阵对应行中的每个元素,都乘以 。特别是,截距列也必须进行变换:它会变成由 构成的一列,而不再是全为 1 的列。
当权重均严格为正时,
定义了一个加权内积。拟合响应是在这一内积下, 到 的列空间的正交投影。因此,WLS 改变了度量偏差的几何结构,但保留了模型所有可能的拟合响应所构成的集合。
逆方差加权
这一方法主要的统计动机是处理异方差性,即不同观测的误差方差不相等。假设给定 时,
且误差之间不相关,方差为
逆方差权重取为
这样,数值大小相同的误差,如果出现在精度更高的观测中,就会对目标函数作出更大的贡献。等价地,
因此,这一方法最小化的是以各自误差标准差为单位衡量的残差平方和。
如果已知各方差的相对大小,但未知一个共同的尺度因子,即
那么采用权重 即可。未知的共同因子 不影响系数估计。
示例:合并测量结果
假设独立测量值 都用于估计同一个未知量 ,且方差 已知。仅含截距的 WLS 模型给出
其方差为
标准差为 的测量值,其权重是标准差为 的测量值的四倍。权重是方差的倒数,而不是标准差的倒数。
统计性质
无偏性与有效性
当 固定,且权重固定或由 决定时,只要条件均值模型设定正确,WLS 就是无偏的:
这并不要求权重恰好是正确的逆方差。在上述假设下,不正确的权重通常影响的是有效性和不确定性的计算,而不是无偏性。
根据误差方差不等但误差互不相关情形下的高斯—马尔可夫定理,使用正确的逆方差权重可使 WLS 成为最佳线性无偏估计量:给定 时,在半正定序意义下,其协方差矩阵不大于任何其他关于 线性且对 无偏的估计量的协方差矩阵。这一结果不要求误差服从正态分布。
协方差与标准误
设误差真实的条件协方差矩阵为 。对于固定权重,
如果 ,则简化为
当 时,在这一方差模型下,共同尺度参数的一个无偏估计量为
如果 是完全已知的协方差矩阵的逆矩阵,就不需要通过残差估计共同尺度参数。
在相对权重固定且高斯误差模型正确的条件下,通常的学生化系数统计量服从自由度为 的学生t分布。这些结果为精确的置信区间和检验提供了依据。如果权重是估计得到的,或误差服从其他分布,这类推断可能需要依赖大样本近似。
当方差模型不确定时,可以用异方差稳健协方差估计量替代基于模型的公式。这些估计量的有效性仍取决于适当的假设,包括对观测之间依赖关系的处理。
最大似然
如果误差相互独立,并服从方差 已指定的正态分布,则略去常数项后,其对数似然为
由于对数项不依赖于 ,最大化这一表达式等价于采用逆方差权重进行 WLS。因此,在这一模型下,WLS 给出的就是最大似然估计。
如果方差本身依赖于 ,仅最小化加权残差平方和通常不能使完整似然最大化,因为方差的对数项也会起作用。
权重的选择与估计
权重可以来自仪器规格、重复测量、已经建立的方差模型,或根据数据得到的估计。
当方差结构未知时,一种常见做法是:
- 拟合一个初始回归模型。
- 利用残差和解释变量估计误差方差的结构。
- 使用估计方差的倒数作为权重,重新拟合。
例如,如果
则参数估计值 给出权重
这通常称为可行加权最小二乘法,是可行广义最小二乘法在协方差矩阵为对角矩阵时的特例。其性质取决于方差估计量和正则条件。由于从响应数据中得到的权重是随机的,固定权重下的无偏性和精确推断结果并不会自动成立。
反复更新拟合结果及其权重,就形成了迭代重加权最小二乘法过程。此类算法也出现在广义线性模型和稳健估计中;在这些情形下,权重的作用并非直接表示测量精度。
与其他方法的关系
广义最小二乘法
WLS 是广义最小二乘法(GLS)的一个特例。对于已知的正定误差协方差矩阵 ,GLS 最小化
通常的逆方差 WLS 对应于 为对角矩阵的情形。如果误差之间存在相关性,例如许多时间序列模型中的情况,仅使用对角权重无法处理这种依赖关系。GLS 还会利用非对角元素所包含的协方差信息。
权重的其他含义
含义不同的权重不能混为一谈:
- 精度权重描述误差方差倒数的相对大小。
- 频数权重表示同一观测重复出现的次数。
- 调查权重通常反映抽样概率和抽样设计调整。
- 重要性权重改变拟合模型所侧重的总体或分布。
这些权重可能产生相似的系数公式,却需要不同的不确定性计算方法。例如,调查推断可能需要有关抽样群和分层的信息。仅凭一个加权平方误差目标函数,并不能确定正确的推断方法。
非线性模型与惩罚模型
对于非线性模型 ,同样的 WLS 目标函数仍然适用,但一般不存在闭式解,此时需要使用数值优化方法。
WLS 也可以与正则化结合,例如,
与不带惩罚项的 WLS 不同,将所有权重乘以同一个常数,会改变数据拟合项与惩罚项之间的平衡,除非同时对 作相应调整。
数值计算
显式求逆公式描述了估计量,但通常不是首选的计算方法。标准实现方式是先构造 和 ,再使用QR分解或奇异值分解求解相应的最小二乘问题。
构造正规方程矩阵可能降低数值稳定性。对于列满秩的变换后设计矩阵,其谱条件数满足
权重相差过大也可能使矩阵的条件性变差。将所有权重乘以同一个正常数,可能防止数值上溢或下溢,但无法消除由权重相对大小造成的病态性。
应用与局限
WLS 用于科学校准、测量结果合并、元分析、观测精度不等的回归,以及方差不同的分组均值拟合。当存在有充分依据的测量不确定性模型时,它尤其有用。
主要局限包括:
- 权重不正确: 权重设定错误可能使 WLS 的有效性低于 OLS,并使基于模型的标准误失效。
- 对异常值敏感: 残差平方仍然对异常观测敏感,尤其是被赋予较大权重的异常观测。WLS 本身并不具有稳健性。
- 均值模型设定错误: 加权无法弥补函数形式的错误。在模型设定错误的情况下,改变权重通常也会改变所估计的总体近似。
- 内生性: 仅靠加权无法消除内生性、遗漏变量偏差或未测量的混杂影响。
- 预测变量的测量误差: 通常的 WLS 对响应误差的变异进行建模,本身并不处理解释变量的不确定性。
- 方差估计的不确定性: 估计得到的权重可能不稳定,尤其是在很小的方差估计值产生极大权重时。
因此,诊断需要同时关注条件均值模型和方差模型。在相对方差设定正确的情况下,变换后的残差 应当具有大致相当的误差尺度,不过,拟合所产生的杠杆效应也会影响各个残差的方差。