{
  "id": "weighted-least-squares",
  "title": "加权最小二乘法",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "加权最小二乘法通过最小化残差平方的加权和估计模型参数，通常赋予误差方差较小的观测更大权重。",
  "category": "mathematics",
  "subcategory": "probability-statistics",
  "type": "concept",
  "aliases": [
    "WLS",
    "加权最小二乘估计",
    "加权最小二乘回归"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/weighted-least-squares/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/weighted-least-squares/",
      "json": "https://aiwiki.page/en/weighted-least-squares.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "加权最小二乘法（WLS）是一种最小二乘法，它将每个残差的平方乘以指定的非负权重。当各观测的误差方差不同时，这种方法广泛用于线性回归，使精度更高的观测能够对拟合模型产生更大的影响。当所有权重均为相同的正数时，WLS 就退化为普通最小二乘法（OLS）。其统计性质取决于权重的选择方式以及对误差所作的假设。"
    },
    {
      "heading": "定义",
      "text": "给定观测 \\((x_i,y_i)\\)、模型 \\(f(x_i;\\beta)\\) 和固定权重 \\(w_i\\geq 0\\)，WLS 选择使下式最小的参数 \\(\\beta\\)：\n\n\\[Q(\\beta)=\\sum_{i=1}^{n}w_i\\bigl[y_i-f(x_i;\\beta)\\bigr]^2.\\]\n\n残差 \\(y_i-f(x_i;\\beta)\\) 是响应的观测值与拟合值之差。权重决定了各个残差平方对目标函数的相对贡献。\n\n权重为零意味着该观测不参与目标函数的计算。将所有权重乘以同一个正常数，不会改变使目标函数最小的参数，但可能改变残差尺度的解释以及软件报告的不确定性。\n\n这一方法的定义特征是加权平方误差准则，而不是某种特定的权重选择规则。在统计回归中，如果目的是处理观测精度不等的问题，标准做法是以误差方差的倒数作为权重。"
    },
    {
      "heading": "线性模型及其解",
      "text": "对于线性模型，\n\n\\[y=X\\beta+\\varepsilon,\\]\n\n\\(y\\) 是一个 \\(n\\) 维响应向量，\\(X\\) 是一个 \\(n\\times p\\) 的设计矩阵，\\(\\beta\\) 包含 \\(p\\) 个未知系数，\\(\\varepsilon\\) 是误差向量。如果模型包含截距，则用 \\(X\\) 中元素全为 1 的一列表示。\n\n令\n\n\\[W=\\operatorname{diag}(w_1,\\ldots,w_n).\\]\n\n目标函数变为\n\n\\[Q(\\beta)=(y-X\\beta)^{\\mathsf T}W(y-X\\beta).\\]\n\n将其梯度设为零，可得加权正规方程：\n\n\\[X^{\\mathsf T}WX\\widehat{\\beta} = X^{\\mathsf T}Wy.\\]\n\n如果 \\(X^{\\mathsf T}WX\\) 可逆，则唯一解为\n\n\\[\\widehat{\\beta}_{\\mathrm{WLS}} = (X^{\\mathsf T}WX)^{-1}X^{\\mathsf T}Wy.\\]\n\n当权重均严格为正时，只要 \\(X\\) 的列秩满秩，解就唯一。如果部分权重为零，则权重为正的观测仍须足以识别每一个系数。否则，目标函数会有多个最小化解。\n\n拟合残差向量 \\(r=y-X\\widehat{\\beta}\\) 满足\n\n\\[X^{\\mathsf T}Wr=0.\\]\n\n对于包含截距的模型，这意味着 \\(\\sum_i w_i r_i=0\\)。未加权的残差和则不一定为零。"
    },
    {
      "heading": "变换与几何解释",
      "text": "WLS 可以表示为对变换后的数据进行 OLS。定义\n\n\\[y^*=W^{1/2}y, \\qquad X^*=W^{1/2}X.\\]\n\n则\n\n\\[Q(\\beta)=\\|y^*-X^*\\beta\\|_2^2.\\]\n\n每个响应值以及设计矩阵对应行中的每个元素，都乘以 \\(\\sqrt{w_i}\\)。特别是，截距列也必须进行变换：它会变成由 \\(\\sqrt{w_i}\\) 构成的一列，而不再是全为 1 的列。\n\n当权重均严格为正时，\n\n\\[\\langle u,v\\rangle_W=u^{\\mathsf T}Wv\\]\n\n定义了一个加权内积。拟合响应是在这一内积下，\\(y\\) 到 \\(X\\) 的列空间的正交投影。因此，WLS 改变了度量偏差的几何结构，但保留了模型所有可能的拟合响应所构成的集合。"
    },
    {
      "heading": "逆方差加权",
      "text": "这一方法主要的统计动机是处理异方差性，即不同观测的误差方差不相等。假设给定 \\(X\\) 时，\n\n\\[\\operatorname{E}(\\varepsilon\\mid X)=0,\\]\n\n且误差之间不相关，方差为\n\n\\[\\operatorname{Var}(\\varepsilon_i\\mid X)=\\sigma_i^2>0.\\]\n\n逆方差权重取为\n\n\\[w_i=\\frac{1}{\\sigma_i^2}.\\]\n\n这样，数值大小相同的误差，如果出现在精度更高的观测中，就会对目标函数作出更大的贡献。等价地，\n\n\\[Q(\\beta)= \\sum_{i=1}^{n} \\left( \\frac{y_i-x_i^{\\mathsf T}\\beta}{\\sigma_i} \\right)^2,\\]\n\n因此，这一方法最小化的是以各自误差标准差为单位衡量的残差平方和。\n\n如果已知各方差的相对大小，但未知一个共同的尺度因子，即\n\n\\[\\operatorname{Var}(\\varepsilon_i\\mid X)=\\sigma^2v_i,\\]\n\n那么采用权重 \\(w_i=1/v_i\\) 即可。未知的共同因子 \\(\\sigma^2\\) 不影响系数估计。\n\n示例：合并测量结果\n\n假设独立测量值 \\(y_i\\) 都用于估计同一个未知量 \\(\\mu\\)，且方差 \\(\\sigma_i^2\\) 已知。仅含截距的 WLS 模型给出\n\n\\[\\widehat{\\mu} = \\frac{\\sum_i y_i/\\sigma_i^2} {\\sum_i 1/\\sigma_i^2},\\]\n\n其方差为\n\n\\[\\operatorname{Var}(\\widehat{\\mu}) = \\frac{1}{\\sum_i 1/\\sigma_i^2}.\\]\n\n标准差为 \\(1\\) 的测量值，其权重是标准差为 \\(2\\) 的测量值的四倍。权重是方差的倒数，而不是标准差的倒数。"
    },
    {
      "heading": "统计性质",
      "text": "无偏性与有效性\n\n当 \\(X\\) 固定，且权重固定或由 \\(X\\) 决定时，只要条件均值模型设定正确，WLS 就是无偏的：\n\n\\[\\operatorname{E}(\\widehat{\\beta}_{\\mathrm{WLS}}\\mid X)=\\beta.\\]\n\n这并不要求权重恰好是正确的逆方差。在上述假设下，不正确的权重通常影响的是有效性和不确定性的计算，而不是无偏性。\n\n根据误差方差不等但误差互不相关情形下的高斯—马尔可夫定理，使用正确的逆方差权重可使 WLS 成为最佳线性无偏估计量：给定 \\(X\\) 时，在半正定序意义下，其协方差矩阵不大于任何其他关于 \\(y\\) 线性且对 \\(\\beta\\) 无偏的估计量的协方差矩阵。这一结果不要求误差服从正态分布。\n\n协方差与标准误\n\n设误差真实的条件协方差矩阵为 \\(\\Omega\\)。对于固定权重，\n\n\\[\\operatorname{Cov}(\\widehat{\\beta}\\mid X) = (X^{\\mathsf T}WX)^{-1} X^{\\mathsf T}W\\Omega WX (X^{\\mathsf T}WX)^{-1}.\\]\n\n如果 \\(\\Omega=\\sigma^2W^{-1}\\)，则简化为\n\n\\[\\operatorname{Cov}(\\widehat{\\beta}\\mid X) = \\sigma^2(X^{\\mathsf T}WX)^{-1}.\\]\n\n当 \\(n>p\\) 时，在这一方差模型下，共同尺度参数的一个无偏估计量为\n\n\\[\\widehat{\\sigma}^2 = \\frac{r^{\\mathsf T}Wr}{n-p}.\\]\n\n如果 \\(W=\\Omega^{-1}\\) 是完全已知的协方差矩阵的逆矩阵，就不需要通过残差估计共同尺度参数。\n\n在相对权重固定且高斯误差模型正确的条件下，通常的学生化系数统计量服从自由度为 \\(n-p\\) 的学生t分布。这些结果为精确的置信区间和检验提供了依据。如果权重是估计得到的，或误差服从其他分布，这类推断可能需要依赖大样本近似。\n\n当方差模型不确定时，可以用异方差稳健协方差估计量替代基于模型的公式。这些估计量的有效性仍取决于适当的假设，包括对观测之间依赖关系的处理。\n\n最大似然\n\n如果误差相互独立，并服从方差 \\(\\sigma_i^2\\) 已指定的正态分布，则略去常数项后，其对数似然为\n\n\\[\\ell(\\beta) = -\\frac12\\sum_i \\left[ \\log(\\sigma_i^2) + \\frac{(y_i-x_i^{\\mathsf T}\\beta)^2}{\\sigma_i^2} \\right].\\]\n\n由于对数项不依赖于 \\(\\beta\\)，最大化这一表达式等价于采用逆方差权重进行 WLS。因此，在这一模型下，WLS 给出的就是最大似然估计。\n\n如果方差本身依赖于 \\(\\beta\\)，仅最小化加权残差平方和通常不能使完整似然最大化，因为方差的对数项也会起作用。"
    },
    {
      "heading": "权重的选择与估计",
      "text": "权重可以来自仪器规格、重复测量、已经建立的方差模型，或根据数据得到的估计。\n\n当方差结构未知时，一种常见做法是：\n\n- 拟合一个初始回归模型。\n- 利用残差和解释变量估计误差方差的结构。\n- 使用估计方差的倒数作为权重，重新拟合。\n\n例如，如果\n\n\\[\\operatorname{Var}(\\varepsilon_i\\mid X)=\\sigma^2h(z_i;\\gamma),\\]\n\n则参数估计值 \\(\\widehat{\\gamma}\\) 给出权重\n\n\\[\\widehat{w}_i=\\frac{1}{h(z_i;\\widehat{\\gamma})}.\\]\n\n这通常称为可行加权最小二乘法，是可行广义最小二乘法在协方差矩阵为对角矩阵时的特例。其性质取决于方差估计量和正则条件。由于从响应数据中得到的权重是随机的，固定权重下的无偏性和精确推断结果并不会自动成立。\n\n反复更新拟合结果及其权重，就形成了迭代重加权最小二乘法过程。此类算法也出现在广义线性模型和稳健估计中；在这些情形下，权重的作用并非直接表示测量精度。"
    },
    {
      "heading": "与其他方法的关系",
      "text": "广义最小二乘法\n\nWLS 是广义最小二乘法（GLS）的一个特例。对于已知的正定误差协方差矩阵 \\(\\Omega\\)，GLS 最小化\n\n\\[(y-X\\beta)^{\\mathsf T}\\Omega^{-1}(y-X\\beta).\\]\n\n通常的逆方差 WLS 对应于 \\(\\Omega\\) 为对角矩阵的情形。如果误差之间存在相关性，例如许多时间序列模型中的情况，仅使用对角权重无法处理这种依赖关系。GLS 还会利用非对角元素所包含的协方差信息。\n\n权重的其他含义\n\n含义不同的权重不能混为一谈：\n\n- 精度权重描述误差方差倒数的相对大小。\n- 频数权重表示同一观测重复出现的次数。\n- 调查权重通常反映抽样概率和抽样设计调整。\n- 重要性权重改变拟合模型所侧重的总体或分布。\n\n这些权重可能产生相似的系数公式，却需要不同的不确定性计算方法。例如，调查推断可能需要有关抽样群和分层的信息。仅凭一个加权平方误差目标函数，并不能确定正确的推断方法。\n\n非线性模型与惩罚模型\n\n对于非线性模型 \\(f(x_i;\\beta)\\)，同样的 WLS 目标函数仍然适用，但一般不存在闭式解，此时需要使用数值优化方法。\n\nWLS 也可以与正则化结合，例如，\n\n\\[\\min_\\beta \\left\\{ (y-X\\beta)^{\\mathsf T}W(y-X\\beta) + \\lambda\\|\\beta\\|_2^2 \\right\\}.\\]\n\n与不带惩罚项的 WLS 不同，将所有权重乘以同一个常数，会改变数据拟合项与惩罚项之间的平衡，除非同时对 \\(\\lambda\\) 作相应调整。"
    },
    {
      "heading": "数值计算",
      "text": "显式求逆公式描述了估计量，但通常不是首选的计算方法。标准实现方式是先构造 \\(X^*\\) 和 \\(y^*\\)，再使用QR分解或奇异值分解求解相应的最小二乘问题。\n\n构造正规方程矩阵可能降低数值稳定性。对于列满秩的变换后设计矩阵，其谱条件数满足\n\n\\[\\kappa_2(X^{*\\mathsf T}X^*)=\\kappa_2(X^*)^2.\\]\n\n权重相差过大也可能使矩阵的条件性变差。将所有权重乘以同一个正常数，可能防止数值上溢或下溢，但无法消除由权重相对大小造成的病态性。"
    },
    {
      "heading": "应用与局限",
      "text": "WLS 用于科学校准、测量结果合并、元分析、观测精度不等的回归，以及方差不同的分组均值拟合。当存在有充分依据的测量不确定性模型时，它尤其有用。\n\n主要局限包括：\n\n- 权重不正确： 权重设定错误可能使 WLS 的有效性低于 OLS，并使基于模型的标准误失效。\n- 对异常值敏感： 残差平方仍然对异常观测敏感，尤其是被赋予较大权重的异常观测。WLS 本身并不具有稳健性。\n- 均值模型设定错误： 加权无法弥补函数形式的错误。在模型设定错误的情况下，改变权重通常也会改变所估计的总体近似。\n- 内生性： 仅靠加权无法消除内生性、遗漏变量偏差或未测量的混杂影响。\n- 预测变量的测量误差： 通常的 WLS 对响应误差的变异进行建模，本身并不处理解释变量的不确定性。\n- 方差估计的不确定性： 估计得到的权重可能不稳定，尤其是在很小的方差估计值产生极大权重时。\n\n因此，诊断需要同时关注条件均值模型和方差模型。在相对方差设定正确的情况下，变换后的残差 \\(\\sqrt{w_i}r_i\\) 应当具有大致相当的误差尺度，不过，拟合所产生的杠杆效应也会影响各个残差的方差。"
    }
  ],
  "links": [
    "least-squares",
    "linear-regression",
    "ordinary-least-squares",
    "objective-function",
    "matrix",
    "gradient",
    "matrix-rank",
    "inner-product",
    "orthogonal-projection",
    "variance",
    "standard-deviation",
    "estimator-bias",
    "gauss-markov-theorem",
    "covariance-matrix",
    "students-t-distribution",
    "confidence-interval",
    "normal-distribution",
    "maximum-likelihood-estimation",
    "iteratively-reweighted-least-squares",
    "time-series",
    "regularization",
    "qr-decomposition",
    "singular-value-decomposition",
    "numerical-stability",
    "calibration",
    "meta-analysis",
    "endogeneity"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}