最小二乘法是一类通过最小化观测值与预测值之差的平方和,来估计未知量或逼近数据的方法。这些差值称为残差,用于衡量数学模型与现有观测结果的吻合程度。最小二乘法是统计学、数值分析和科学测量的基础方法,因为它能将许多涉及不一致信息或含噪信息的问题转化为定义明确的优化问题。
最广为人知的例子是对散点拟合直线,但最小二乘法也用于确定轨道参数、校准仪器、重建信号和逼近函数。其最简单的形式可以通过线性代数求得显式解;更一般的形式则需要迭代计算。最小二乘法的解释取决于具体情境:它可以是一种纯粹的几何逼近原则、一种具有统计学依据的估计方法,也可以是带约束或正则化的反问题的一个组成部分。这些解释采用相同的二次准则,但所依据的假设以及所得解能够说明的问题各不相同。
平方误差准则
假设观测值 分别对应于已知输入 ,模型的预测值为 ,其中 是未知参数向量。将残差定义为 ,则最小二乘问题为
准则 是一个目标函数。将其乘以正的常数,例如 或 ,不会改变使其取得最小值的参数。前一种归一化得到经验均方误差,后一种则便于求导。“最小”指的是在允许的参数集合内能够达到的最小值,并不意味着误差一定为零。
平方运算可防止正负残差相互抵消,并使较大的偏差产生不成比例的更大影响。大小为 4 的残差,其贡献是大小为 1 的残差的十六倍。这使平方误差有别于以绝对值衡量的误差:后者的贡献与残差大小成正比。这也解释了为什么最小二乘法既便于数学分析,又对极端观测值敏感。平方误差关于每个残差都是光滑的,一阶导数为 ,二阶导数恒为 2;不过,如果残差与参数之间存在非线性关系,整个优化问题仍可能是非凸的。
最简单的例子是通过最小化 ,根据观测值估计一个常数 。求导可得 ,即样本均值,而恒等式
证明了当 时,这是唯一的最小值点。因此,算术平均数本身就是一个最小二乘解。相比之下,最小化绝对偏差之和得到的是中位数。可见,损失函数的选择决定了所估计的是观测值的哪一种特征。
最小二乘法本身并不要求有概率模型。对表列数值进行多项式逼近时,无须将任何量视为随机量。然而,当观测值是随机的,同一准则就具有了统计学解释。在总体层面,只要相关的二阶矩存在,条件均值就能使期望预测平方误差最小:
这一与条件期望的联系解释了为什么最小二乘预测的目标是平均响应,而不是条件中位数或完整的概率分布等。
线性模型与投影几何
当预测值是未知系数的线性函数时,最小二乘问题就是线性的:
这里, 包含观测值, 是设计矩阵, 包含系数。 的列可以由常数、输入变量的幂、三角函数或其他固定特征构成。因此,尽管拟合出的抛物线是弯曲的,拟合 仍属于线性最小二乘问题。“线性”描述的是系数在模型中的作用,而不一定是拟合关系的形状。
目标函数为
其梯度为 ,因此每个极小点都满足正规方程
其海森矩阵为 ,是半正定的。因此,目标函数是凸函数,每个驻点都是全局极小点。如果 的矩阵的秩等于其列数,则海森矩阵正定,解唯一:
这个公式刻画了解的形式,不过数值算法通常会避免显式计算逆矩阵。
从几何上看,所有可能的拟合向量 构成 的列空间,即 的一个线性子空间。最小二乘法选取的是 在该子空间上的正交投影。残差 与 的每一列都正交,这恰好就是 所表达的含义。对于任意系数向量 ,都有
这是勾股定理的一种形式,直接证明了解的最优性。如果设计矩阵包含截距列,那么残差与该列正交就意味着残差之和为零。
当各列线性相关时,不同的系数向量可能产生相同的拟合向量。拟合向量仍然唯一,但系数无法被唯一确定。如果 是一个解,那么对于每个满足 的 , 也都是解。摩尔—彭罗斯伪逆给出的解 具有最小欧几里得范数。这一区别在过参数化模型中十分重要:完美插值与系数不唯一可以同时存在。它也区分了实践中经常混淆的两个问题——数据能否确定预测值,以及数据能否确定各个参数。
统计依据与不确定性
在普通最小二乘法中,标准模型假设
条件均值为零的假设表示,预测变量并不系统性地包含有关未解释部分的信息。协方差假设规定,各误差的方差相等,且任意两个误差之间的协方差为零。这一假设本身并不要求误差相互独立,也不要求误差服从某种特定分布。当设计矩阵列满秩时,
因此,在这些假设下,普通最小二乘估计是无偏的,其精度取决于设计点的分布方式。
高斯—马尔可夫定理指出,在所有关于 呈线性且条件无偏的估计量中,该估计量的协方差矩阵在半正定序意义下最小。“最佳线性无偏”是在限定范围内对最优性的陈述,并不意味着它优于所有非线性估计量或有偏估计量。特别是,收缩估计可以通过容许一定的偏差来降低预测误差。该定理也不要求误差服从正态分布;人们经常额外引入这一假设,但目的是不同的。
如果误差相互独立、服从正态分布且方差为 ,则其联合似然正比于
对 最大化这一表达式,等价于最小化残差平方和,由此将最小二乘法与最大似然估计联系起来。在正态性假设下,
当 时,残差方差估计量
是无偏的,且 服从自由度为 的卡方分布。利用这些结果,可以借助学生t分布进行精确的系数检验,并构造置信区间。
参数的不确定性不同于新观测值的不确定性。对于新的预测变量向量 ,平均响应估计值的条件方差为 。独立的未来响应还包含额外的噪声方差 ,因此其预测区间更宽。如果误差不服从正态分布,精确的小样本公式通常就不再成立,但适当的大样本近似仍可能有效。关键在于,残差平方和较小并不能证明条件均值为零的假设成立:遗漏变量、反向关系或测量过程都可能使这一假设不成立,同时仍呈现出看似令人信服的拟合效果。
精度不等与误差相关
当各观测值的精度不同时,对所有残差平方赋予相同权重,可能效率不高,也可能在科学上不合理。加权最小二乘法最小化以下目标:
其中, 是给定的对称正定矩阵。当 为对角矩阵时,该目标为 。如果误差彼此独立,且方差 已知,则采用方差倒数作为权重,即 ,可使残差按各自的不确定度衡量,从而具有可比性。因此,标准差为另一观测值两倍的观测值,所获权重是其四分之一,而不是二分之一。
当设计矩阵满列秩时,加权解为
如果 ,那么该问题等价于对变换后的数据 和设计矩阵 应用普通最小二乘法。这一变换也给出了几何解释:此时的投影采用内积 。在这种加权几何下,残差与设计矩阵的各列正交,尽管在通常的欧几里得内积下未必正交。
广义最小二乘法通过取 ,处理已知误差协方差矩阵 的情形,其中也包括非对角元素所表示的相关性。其估计量的协方差为
满足 的变换可将误差“白化”。这适用于对同一个体的重复测量、空间观测,以及误差存在序列相关的时间序列。当误差服从多元正态分布且协方差已知时,广义最小二乘估计也是均值参数的极大似然估计。
在实践中,协方差结构往往未知。可行广义最小二乘法先估计这一结构,再求解加权拟合问题;其性质取决于该结构的估计准确程度。在有限样本计算中,不能一概将估计得到的权重视为已知量。此外,加权并非应对方差不等的唯一方法:普通最小二乘系数估计可能仍然无偏,但其常规标准误却不再正确。在这种情况下,异方差一致协方差估计着眼于修正统计推断,而不是改变拟合系数。还必须区分精度权重、调查抽样权重,以及用于界定目标总体的权重。虽然这些权重都可能出现在二次型目标函数中,但它们的理论依据和不确定度计算方法并不能互换。
数值算法与条件性
正规方程在数学形式上简洁,但在数值计算中可能存在风险。对于列满秩矩阵,其谱条件数满足
因此,构造 会放大列之间近似线性相关以及浮点运算中舍入误差的影响。例如,条件数为 的设计矩阵会产生条件数为 的正规方程矩阵,这与标准双精度运算中机器精度的倒数相当。这并不意味着每次这样的计算都会失败,但确实可能导致系数的可靠有效位数严重损失。
一种标准的替代方法是QR分解。在薄分解 中, 的各列构成标准正交组, 为上三角矩阵。利用正交性,可以将问题化为
再通过回代求解。实际实现通常采用豪斯霍尔德变换;当观测数据依次到来、需要更新拟合结果时,平面旋转尤其有用。列主元选取有助于揭示秩亏,但要确定有效数值秩,仍需设定一个与计算精度及数据不确定性相关的容差。
奇异值分解能更明确地刻画敏感性。若 ,则
较小的奇异值 会放大沿其对应数据方向的扰动。这解释了为什么即使拟合值变化很小,系数也可能不稳定:系数的大幅变化在乘以 后可能大体相互抵消。奇异值分解对于处理秩亏问题、诊断近似线性相关以及计算最小范数解尤其有价值,不过,对于稠密满秩系统,其计算开销通常高于 QR 分解。
大规模问题还需要作出其他选择。当 时,稠密 QR 分解的主要计算成本为 量级,而显式存储设计矩阵可能占用大部分内存。对于稀疏矩阵,LSQR 等方法利用与 和 的乘积进行计算,无需构造正规方程矩阵。迭代收敛性取决于奇异值的分布,并可通过预条件处理得到改善。列缩放可能改善数值表现,但除非相应地考虑参数的缩放,否则它会改变最小范数解的含义。还必须区分数值稳定性与统计精度:稳定的算法能够准确计算系数估计值,但由于观测数据提供的相关信息很少,该估计值仍可能具有很大的不确定性。
非线性最小二乘法
在非线性最小二乘法中,模型关于一个或多个未知参数是非线性的。例如,指数衰减模型为
而当频率和相位未知时,正弦模型为
与线性最小二乘问题不同,这类问题可能存在多个局部极小值、目标函数几乎不变的方向,或产生几乎相同预测结果的不同参数组合。在无界的参数域上,极小值也可能不存在。因此,这类优化问题既涉及计算问题,也涉及参数的可辨识性问题。
设 为残差向量, 为其雅可比矩阵,矩阵元素为 。对于目标函数 ,有
高斯–牛顿算法忽略第二项,并通过求解
来计算步长向量 。随后沿该步更新 ,通常还会调整步长。当接近某个解、残差较小且雅可比矩阵的条件良好时,这种近似尤其有效。如果残差仍然较大,或被忽略的曲率项影响显著,近似效果就可能较差。
列文伯格–马夸尔特算法通过如下形式的方程组,使局部迭代步更加稳定:
阻尼较大时,该方向类似于经过缩放的梯度步;阻尼较小时,则接近高斯–牛顿步。现代实现通常从信赖域约束的角度理解阻尼,并根据局部模型对实际下降量的预测准确程度来调整阻尼。参数上下界及其他约束可能需要专门的方法处理。导数可以通过解析计算、有限差分或自动微分获得,这些方法的精度和计算成本各不相同。
在可辨识的最优解附近,近似协方差矩阵通常写为 ,其中雅可比矩阵在拟合所得的参数处计算。这是一种局部线性化近似,并非普遍适用的精确不确定性公式。较强的曲率、较弱的可辨识性、参数边界以及多个极小值,都可能使实际的不确定性呈现不对称或不连通的形态。有些模型可以采用变量投影法:对于 ,每固定一个 ,都可用线性最小二乘法求出参数 和 ,从而只需在较低维度上进行非线性搜索。这既保留了原始目标函数,又减少了计算量,但无法消除观测时间范围所含信息不足带来的困难。
正则化、约束与逆问题
当许多参数向量都能近乎同样好地解释观测数据时,最小二乘法就会遇到困难。在逆问题中,这种情况可能源于测量过程抑制了未知信号的某些分量。此时,微小的观测误差就会使未经正则化的解发生很大变化。正则化通过引入关于可接受解的信息来改变优化问题:
这就是吉洪诺夫正则化。根据具体应用,矩阵 可以用于惩罚系数的大小、一阶差分或曲率。
当 时,这种方法称为岭回归;对于 ,其解为
在奇异向量坐标系中,未经正则化时的因子 变为 ,从而抑制了那些难以准确确定的方向。对于一般的 ,要使正 对应的解唯一,必须要求 与 的公共零空间中不存在非零向量。正则化参数控制着观测拟合程度与惩罚项之间的平衡,其含义取决于损失函数和预测变量的尺度设定。
正则化通常会引入偏差,但可能大幅降低方差和预测误差,体现了偏差-方差权衡。在贝叶斯推断中,高斯观测模型与适当的高斯先验相结合,会产生二次惩罚项;此时,最小化解就是后验分布的众数。不同的惩罚项体现了不同的假设。套索回归采用 惩罚,可以使系数恰好为零,而岭回归的二次惩罚通常只会收缩系数,而不会将其消除。因此,惩罚项的选择既影响数值稳定性,也影响解所偏向的结构类型。
约束是表达先验知识的另一种方式。非负最小二乘法要求 ,适用于系数表示不能为负的数量的情形。线性等式约束可以强制满足守恒定律;单调性约束或形状约束则可以限制拟合曲线。当模型为线性且可行集为凸集时,这些问题仍然是凸优化问题,但其解不一定满足无约束的正规方程。不同正则化强度通常通过交叉验证或基于噪声估计的准则进行比较,而验证方案应体现数据中的依赖关系。在函数重建中,提前停止迭代求解器的迭代,或截去较小的奇异值,也可以起到正则化作用,因此数值求解过程本身就可能影响最终得到的估计量。
模型评估、影响与替代方法
训练集上的残差平方和较小,本身并不能证明模型预测得好,也不能证明它描述了相关机制。在线性模型的设计矩阵中增加列,不会使训练误差的最小值增大,即使新增变量不含任何有用信息也是如此。对于含截距项的满秩模型,决定系数为
前提是分母为正。它衡量的是相对于在同一组观测上拟合常数的改进程度,而非因果解释的有效性,也不保证样本外表现。调整后的指标与留出数据上的预测误差,分别针对模型比较的不同方面。
对于普通最小二乘法,拟合值向量为 ,其中
为帽子矩阵。其对角元素 衡量杠杆值:预测变量组合不寻常的观测,可能对其自身的拟合值产生很大影响。在误差相互独立且方差相等的条件下,
因此,即使在最简单的模型下,原始残差的方差也并不全都相同。影响度指标综合考虑杠杆值与残差大小。高杠杆值点未必与拟合模型不一致,而残差很大的观测也未必会显著改变系数。
残差呈现的模式可以揭示模型设定不当的某些方面。残差随某个预测变量呈现曲线趋势,表明均值函数可能不合适;离散程度发生变化,提示方差不等;按时间排列后连续出现同号残差,可能表明误差存在相关性。这些模式并不能唯一确定其成因。最小二乘法对离群值尤其敏感,因为平方惩罚会迅速增大。稳健回归采用绝对值损失或 Huber 损失等替代形式;Huber 损失在零附近为二次函数,而在残差足够大时为线性函数。这些方法改变了优化目标,通常需要使用迭代算法。它们能够应对特定形式的数据污染,但不会自动纠正遗漏变量偏误、相关性或预测变量中的误差。
普通回归将预测变量的取值视为固定值,或认为相对于所建模的误差而言,其测量已足够准确。如果预测变量本身含有测量误差,最小化纵向残差可能并不合适。总体最小二乘法允许同时修正预测变量矩阵和响应变量,通常通过对增广矩阵 进行奇异值分解来实现。其基本形式假定误差具有特定的各向同性几何结构,并且对变量的尺度敏感。最后,必须区分预测关联与因果推断:即使残差诊断看起来令人满意,混杂和内生性仍可能使因果解释失效。因果结论依赖于研究设计和识别假设,而这些都超出了最小二乘计算本身的范围。
函数逼近与科学应用
最小二乘法不仅用于拟合有限个观测值,也可推广到函数逼近。给定函数 、基函数 和非负权函数 ,可以通过最小化
来定义近似函数
正规方程使用格拉姆矩阵 。如果这组基在该内积下是标准正交的,则 ,每个系数就是 与相应基函数的内积。这相当于将观测向量投影到设计矩阵列空间这一过程的连续版本。
在希尔伯特空间中,对于任意闭线性子空间,空间中的每个元素在该子空间内都有唯一的最近点。这一投影定理为最小二乘逼近提供了一般性的框架。对于无限维子空间,闭性至关重要:如果子空间不闭,逼近误差的下确界就未必能够达到。傅里叶级数是一个重要例子,其中有限组正交三角函数在其张成的空间内给出积分平方误差最小的逼近。基于采样的最小二乘拟合与连续逼近彼此相关,但离散拟合能否准确反映所要采用的积分范数,取决于采样位置和权重。
在科学测量中,最小二乘法将冗余观测综合为参数估计,同时量化观测之间的不一致程度。测量学和大地测量学利用平差计算,在几何关系的约束下协调角度和距离测量结果。轨道确定将预测的天体位置与观测结果进行比较,通常会形成非线性最小二乘问题。仪器校准则拟合已知参考输入与测量输出之间的关系;当参考测量的精度不同时,适宜采用逆方差加权。在光谱学中,各组分的固定光谱可以构成设计矩阵的各列,而估计得到的幅度可以表示各组分对混合物光谱的贡献,有时还需满足非负约束。
最小二乘法也用于信号重建、系统辨识和机器学习。选择线性滤波器时,可以以最小化平均平方预测误差为目标;低秩矩阵逼近则最小化弗罗贝尼乌斯范数的平方,并通过奇异值分解导出主成分分析。实验设计利用 等矩阵,比较不同候选测量方案对参数的确定能力:如果设计矩阵的列近似线性相关,某些参数组合就难以得到准确估计。在这些应用中,如何选择残差所用的坐标及其尺度,都是实质性问题。对原始测量值、对数值、频率或变换后的输出最小化平方误差,通常会得到不同的估计量,因为每种表述对不同类型偏差赋予的重要性各不相同。
历史发展
最小二乘法源于一个实际问题:当观测次数多于未知量的个数时,如何综合利用这些观测数据。这一问题在天文学和大地测量学中尤为突出。由于存在观测误差,测量结果很少能精确满足一组方程。早期的方法通过取平均值、选取部分方程或采用其他平差规则来综合观测数据。后来形成的最小二乘准则提供了一种同时利用全部测量数据的系统方法,而求导则将最小化问题转化为便于计算的方程。因此,最小二乘法的发展既与观测误差理论有关,也与定量天文学的发展密不可分。
阿德里安-马里·勒让德于1805年在《彗星轨道测定新方法》(Nouvelles méthodes pour la détermination des orbites des comètes)的附录中,首次明确发表了对这一方法的论述。他提出将误差平方和最小化,并给出了由此得到的线性方程组。卡尔·弗里德里希·高斯于1809年在《绕日天体沿圆锥曲线运动的理论》(Theoria motus corporum coelestium in sectionibus conicis solem ambientium)中发表了自己的论述,并声称自己自1795年起就已使用这一方法。两人相互竞争的主张引发了优先权之争。勒让德率先发表这一方法,以及高斯对其发展作出重大贡献,是两个应当区分的历史事实;高斯关于更早使用该方法的说法,并不改变首次公开发表相关论述的时间。
高斯在1809年的论述中,利用关于被测量最可能值的假设,将这一方法与正态误差定律联系起来。随后,皮埃尔-西蒙·拉普拉斯从观测误差的累积与大样本推理出发,提出了基于概率论的论证。这些论证推动最小二乘法从一种便捷的计算方法发展为估计理论。在1823年发表的研究中,高斯不再假定误差服从完整的正态分布,而是在对误差矩作出假设的条件下,从最小方差的角度给出了论证。这一思路成为如今所称的高斯—马尔可夫定理的核心。
19世纪,最小二乘法成为天文和大地测量平差的标准工具;与此同时,它与相关和回归的联系也拓展了其在统计学中的应用。20世纪的发展使其计算、统计与优化方面的理论基础逐渐分化,并各自得到加强。肯尼思·莱文伯格于1944年将阻尼方法引入非线性最小二乘问题,唐纳德·马夸特则于1963年提出了一种相关且影响深远的算法。豪斯霍尔德变换、矩阵分解和奇异值方法,使电子计算比直接依赖正规方程更加可靠。后来出现的大规模迭代方法,使人们能够对观测数和未知量个数远超手工计算能力的稀疏系统进行拟合;正则化则将最小二乘估计与现代逆问题及高维预测联系起来。