{
  "id": "regularization",
  "title": "正则化",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "正则化通过惩罚项、约束或改变学习过程，稳定数学估计问题并控制模型复杂度。",
  "category": "mathematics",
  "subcategory": "applied",
  "type": "concept",
  "aliases": [
    "正规化"
  ],
  "generated_at": "2026-10-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/regularization/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/regularization/",
      "json": "https://aiwiki.page/en/regularization.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "正则化是数学、统计学和机器学习中的一类方法，通过为估计问题引入额外结构来发挥作用。它可以稳定那些对测量误差高度敏感的解，消除多个可能解之间的歧义，或抑制模型对噪声的拟合。在数学逆问题中，正则化侧重于稳定重建；在统计学习中，它通常侧重于减少过拟合，并提高模型在观测数据之外的泛化（机器学习）能力。正则化可以采用显式惩罚项、约束或修改训练过程等形式。(arxiv.org)"
    },
    {
      "heading": "数学表述",
      "text": "一种常见的表述是将数据拟合目标与惩罚项结合起来：\n\n\\[\\hat{\\theta}_{\\lambda} =\\operatorname*{arg\\,min}_{\\theta} \\left\\{L(\\theta;D)+\\lambda R(\\theta)\\right\\}.\\]\n\n这里，\\(\\theta\\) 表示未知参数，\\(D\\) 表示观测数据，\\(L\\) 是损失函数，\\(R\\) 是正则化项，用于表达对特定解的偏好。系数 \\(\\lambda\\geq0\\) 决定这种偏好的相对重要性。正则化项可以偏好幅度较小的参数、平滑的信号或其他指定结构。因此，正则化改变的是何种解可被接受，而不只是改进原有问题的数值实现。(deeplearningbook.org)\n\n一种相关的数学优化表述是在约束 \\(R(\\theta)\\leq t\\) 下最小化 \\(L\\)。在适当的凸优化条件下，约束形式与惩罚形式可以描述相互对应的解，但两者的参数不一定具有一一对应关系。加入惩罚项并不自动保证解的唯一性；这取决于目标函数的性质和所采用的模型。(web.stanford.edu)"
    },
    {
      "heading": "逆问题与稳定性",
      "text": "逆问题是根据某个未知对象产生的测量结果来推断该对象的问题。这类问题可能是不适定的，因为解可能不存在、不唯一，或不随观测数据连续变化。即使存在精确的逆运算，微小的测量误差也可能导致很大的重建误差。正则化用受控的近似来代替不稳定的逆运算。(arxiv.org)\n\n对于线性测量模型 \\(Ax\\approx b\\)，吉洪诺夫正则化通常采用以下形式：\n\n\\[\\hat{x}_{\\lambda} =\\operatorname*{arg\\,min}_{x} \\left\\{\\|Ax-b\\|_2^2+\\lambda\\|Bx\\|_2^2\\right\\}.\\]\n\n算子 \\(B\\) 指定惩罚的对象：选择恒等算子会惩罚幅度，而差分算子可以惩罚不平滑性。当 \\(B=I\\) 且 \\(\\lambda>0\\) 时，有限维情形下的解为\n\n\\[\\hat{x}_{\\lambda} =(A^{\\mathsf T}A+\\lambda I)^{-1}A^{\\mathsf T}b.\\]\n\n新增的项使逆运算更加稳定。其他方法包括谱滤波、截断奇异值分解，以及在噪声被过度放大之前停止迭代重建。在收敛理论中，正则化参数根据噪声水平选取，使重建结果在噪声趋于零时趋近于某个适当的精确解。(web.stanford.edu)"
    },
    {
      "heading": "统计学习中的参数惩罚",
      "text": "在线性回归中，岭回归将系数向量的欧几里得范数平方加入残差平方和。这种 \\(L_2\\) 惩罚会收缩系数，并降低模型对相关预测变量的敏感性。当所有系数都受到惩罚且惩罚强度为正时，即使设计矩阵不满列秩，系数的解也是唯一的。岭回归通常会收缩系数，但不会将其恰好设为零。(scikit-learn.org)\n\nLasso回归则采用\n\n\\[R(\\theta)=\\|\\theta\\|_1=\\sum_j|\\theta_j|.\\]\n\n\\(L_1\\) 惩罚可以使系数恰好为零，从而将估计与变量选择结合起来。它产生的稀疏性不同于岭回归的连续收缩。当预测变量之间高度相关时，Lasso可能选择其中一个而排除另一个。弹性网络结合了 \\(L_1\\) 惩罚与 \\(L_2\\) 范数平方惩罚，既能产生稀疏解，又保留了岭回归的部分稳定作用。这些惩罚也适用于最小二乘法之外的方法，包括逻辑回归。(scikit-learn.org)"
    },
    {
      "heading": "统计解释",
      "text": "正则化引入了并非完全由观测数据决定的偏好。在贝叶斯推断中，最小化负对数似然与惩罚项之和可以对应于最大后验估计：忽略缩放和加法常数后，惩罚项代表负对数先验。高斯先验产生 \\(L_2\\) 范数平方惩罚，拉普拉斯先验则产生 \\(L_1\\) 惩罚。这种对应关系涉及后验分布的众数，而不是完整的后验分布。(deeplearningbook.org)\n\n经典的偏差-方差权衡解释了正则化的一种作用：收缩可能增大估计偏差，同时降低估计结果在不同数据集之间的变动程度。过强的正则化可能导致欠拟合。系数更小或非零参数更少，并不总意味着预测更好；实际效果取决于数据以及所施加偏好的适切性。(deeplearningbook.org)"
    },
    {
      "heading": "基于训练过程的正则化",
      "text": "在人工神经网络中，正则化不一定表现为额外的惩罚项。随机失活在训练时随机停用部分单元，以减少模型对特定单元组合的依赖。早停法限制训练时长，通常根据留出数据上的表现选择某个检查点。数据增强提供经过变换的样本，以体现预期的不变性，例如不改变标签的图像变换。(jmlr2020.csail.mit.edu)\n\n权重衰减在优化过程中直接收缩参数。对于普通的随机梯度下降，经过适当缩放的权重衰减与 \\(L_2\\) 惩罚等价。但对于Adam优化器等自适应方法，这种等价关系通常不成立。AdamW采用解耦权重衰减，将参数收缩与损失梯度更新分开执行。(arxiv.org)"
    },
    {
      "heading": "选择与评估",
      "text": "正则化强度通常通过验证集或交叉验证来选择。其数值取决于所采用的约定：对损失取平均而不是求和，会改变损失相对于惩罚项的尺度。特征缩放也会改变系数惩罚的含义。(scikit-learn.org)\n\n评估时应区分用于调参的数据与专门用于评估所选模型的测试集。预处理所需的统计量必须在相应的训练数据划分内估计；使用留出观测数据来拟合变换或选择正则化设置，会造成数据泄漏（机器学习），并可能使性能估计过于乐观。(scikit-learn.org)"
    }
  ],
  "links": [
    "mathematics",
    "statistics",
    "machine-learning",
    "overfitting",
    "generalization",
    "loss-function",
    "mathematical-optimization",
    "convex-optimization",
    "inverse-problem",
    "linear-regression",
    "ridge-regression",
    "matrix",
    "lasso-regression",
    "elastic-net",
    "logistic-regression",
    "bayesian-inference",
    "bias-variance-tradeoff",
    "underfitting",
    "artificial-neural-network",
    "dropout",
    "early-stopping",
    "data-augmentation",
    "stochastic-gradient-descent",
    "adam-optimizer",
    "validation-set",
    "cross-validation",
    "test-set",
    "data-leakage"
  ],
  "sources": [
    {
      "title": "arxiv.org/abs/2001.00617",
      "url": "https://arxiv.org/abs/2001.00617"
    },
    {
      "title": "deeplearningbook.org/contents/regularization",
      "url": "https://www.deeplearningbook.org/contents/regularization"
    },
    {
      "title": "web.stanford.edu/class/ee364a/lectures/lectures_hd.pdf",
      "url": "https://web.stanford.edu/class/ee364a/lectures/lectures_hd.pdf"
    },
    {
      "title": "scikit-learn.org/stable/modules/linear_model.html",
      "url": "https://scikit-learn.org/stable/modules/linear_model.html"
    },
    {
      "title": "jmlr2020.csail.mit.edu/papers/volume15/srivastava14a/srivastava14a.pdf",
      "url": "https://jmlr2020.csail.mit.edu/papers/volume15/srivastava14a/srivastava14a.pdf"
    },
    {
      "title": "arxiv.org/abs/1711.05101",
      "url": "https://arxiv.org/abs/1711.05101"
    },
    {
      "title": "scikit-learn.org/stable/modules/cross_validation.html",
      "url": "https://scikit-learn.org/stable/modules/cross_validation.html?highlight=cross_validate"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}