{
  "id": "elastic-net",
  "title": "弹性网络",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "弹性网络结合套索与岭惩罚，通过正则化收缩回归系数并选择预测变量。",
  "category": "mathematics",
  "subcategory": "probability-statistics",
  "type": "concept",
  "aliases": [
    "弹性网",
    "弹性网络回归",
    "弹性网回归",
    "弹性网络正则化"
  ],
  "generated_at": "2026-10-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/elastic-net/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/elastic-net/",
      "json": "https://aiwiki.page/en/elastic-net.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "弹性网络是统计学和机器学习中的一种方法，结合了套索回归和岭回归的惩罚项。它既能收缩系数、进行特征选择，又能促使相关的预测变量具有相近的系数。该方法由邹辉（Hui Zou）和特雷弗·哈斯蒂（Trevor Hastie）于 2005 年提出，主要面向预测变量众多的问题，包括预测变量数量超过观测数量的情形。其名称寓意一张富有弹性的“网”，能够将成组的相关变量保留下来。(doi.org)"
    },
    {
      "heading": "数学表述",
      "text": "对于线性回归，假设有 \\(n\\) 个观测、\\(p\\) 个预测变量，响应值为 \\(y_i\\)，预测变量向量为 \\(x_i\\)，截距为 \\(\\beta_0\\)，系数为 \\(\\beta\\)。一种常见的弹性网络目标函数为\n\n\\[\\min_{\\beta_0,\\beta} \\frac{1}{2n}\\sum_{i=1}^{n} (y_i-\\beta_0-x_i^\\top\\beta)^2 +\\lambda\\left[ \\alpha\\|\\beta\\|_1+ \\frac{1-\\alpha}{2}\\|\\beta\\|_2^2 \\right].\\]\n\n这里，\\(\\|\\beta\\|_1=\\sum_j|\\beta_j|\\)，\\(\\|\\beta\\|_2^2=\\sum_j\\beta_j^2\\)，采用标准的范数记法。第一项是平方误差损失函数，第二项用于正则化。截距通常不受惩罚。(stat.ethz.ch)\n\n拟合由两个超参数控制。非负参数 \\(\\lambda\\) 决定总体惩罚强度，而 \\(0\\leq\\alpha\\leq1\\) 决定惩罚项的构成：\n\n- \\(\\alpha=1\\) 时采用套索惩罚。\n- \\(\\alpha=0\\) 时采用岭惩罚。\n- \\(0<\\alpha<1\\) 时结合两种惩罚。\n- \\(\\lambda=0\\) 时取消惩罚，目标函数退化为普通最小二乘法的目标函数。\n\n不同实现中的参数名称并不一致：在 scikit-learn 中，alpha 表示总体惩罚强度，对应上式中的 \\(\\lambda\\)；l1_ratio 则对应混合参数 \\(\\alpha\\)。因此，不能仅凭参数名称相同就直接比较其数值。(scikit-learn.org)"
    },
    {
      "heading": "稀疏性与相关预测变量",
      "text": "绝对值惩罚可以使系数恰好为零，从而得到稀疏模型。二次惩罚则会收缩系数，但本身不会施加将系数截为零的阈值。两者结合，在稀疏选择与岭回归带来的稳定性之间取得平衡。当预测变量之间存在很强的相关关系时，套索可能只保留一个变量，而排除其他传递类似信息的变量；弹性网络则倾向于让这些预测变量共同进入或退出模型。(doi.org)\n\n这种分组效应只是一种倾向，并不保证选中某个预先定义的完整变量组。当预测变量列完全相同且二次惩罚强度为正时，由对称性和解的唯一性可知，拟合得到的系数相等。如果各列只是相似，系数则未必相同。这种效应取决于预测变量的缩放方式、惩罚强度，以及两种惩罚之间的配比。(web.stanford.edu)\n\n弹性网络还避免了标准套索解的一项限制：它能够保留数量超过观测数的预测变量。因此，它适用于包含大量相关测量值的高维数据，例如基因表达数据集。最初的论文通过模拟和一个微阵列分类实例展示了该方法。这些例子并不能证明弹性网络在所有情况下都优于套索或岭回归。(doi.org)"
    },
    {
      "heading": "优化与计算",
      "text": "该目标函数对应一个凸优化问题。当 \\(\\lambda>0\\) 且 \\(\\alpha<1\\) 时，二次惩罚使目标函数关于受惩罚的系数严格凸，因此即使预测变量列之间线性相关，也能得到唯一的系数解。这解决了在变量高度冗余时，纯套索拟合可能出现的退化问题。(web.stanford.edu)\n\n一种广泛使用的算法是坐标下降法：每次更新一个系数，同时保持其他系数不变。若预测变量经过中心化，并缩放至满足 \\(n^{-1}\\sum_i x_{ij}^2=1\\)，则更新公式为\n\n\\[\\beta_j\\leftarrow \\frac{S(z_j,\\lambda\\alpha)} {1+\\lambda(1-\\alpha)}, \\qquad z_j=\\frac1n\\sum_i x_{ij}r_i^{(j)},\\]\n\n其中，\\(r_i^{(j)}\\) 是不计预测变量 \\(j\\) 时的残差。软阈值算子定义为\n\\(S(z,t)=\\operatorname{sign}(z)\\max(|z|-t,0)\\)。\n分子实现稀疏选择，分母则加入类似岭回归的收缩作用。(rdrr.io)\n\n软件通常会按 \\(\\lambda\\) 从大到小的顺序计算正则化路径，并将每一步的解用作下一步的初始值。这种“热启动”能高效地拟合一系列模型。最初的弹性网络论文采用的则是 LARS-EN 路径算法。(web.stanford.edu)"
    },
    {
      "heading": "缩放与模型选择",
      "text": "由于惩罚作用于系数的大小，预测变量的计量单位会影响结果。特征缩放通常包括中心化和除以标准差，使不同计量单位的特征所受的惩罚更具可比性。标准化改变了施加正则化时所用的坐标体系；拟合后的系数随后可以转换回原始尺度。(github.com)\n\n惩罚参数通常通过交叉验证选择，即比较各组候选参数设置下的预测误差。对于回归问题，均方误差是一种可用的评价指标。ElasticNetCV 等实现可以同时搜索总体惩罚强度和混合比例，再使用完整的训练数据，按选定的参数配置重新拟合。(scikit-learn.org)\n\n评估时必须区分参数选择与泛化（机器学习）能力的衡量。反复利用测试集选择参数，可能导致模型对该测试集过拟合。同样，若用留出观测计算预处理所需的统计量，也会造成数据泄漏（机器学习）。在交叉验证中，应从每个训练折中学习变换，再将其应用于对应的留出折；最终性能评估应与调参分开进行。(github.com)"
    },
    {
      "heading": "扩展与术语",
      "text": "弹性网络惩罚并不限于平方误差回归。它也可以与广义线性模型的负对数似然目标函数配合使用，包括逻辑回归和多项逻辑回归。损失函数随响应模型而改变，但系数的组合惩罚项保持不变。(web.stanford.edu)\n\n历史上还有一个与系数重新缩放有关的区别。邹辉和哈斯蒂将直接使用组合惩罚得到的估计量称为朴素弹性网络，并提出在拟合后重新缩放系数，以抵消额外的收缩。许多后来的文献和软件包则将“弹性网络”用于指称上文所示的直接惩罚目标函数，而不进行这项修正。因此，要复现文献报告的拟合结果，必须核对其目标函数、归一化方式、参数定义，以及是否在拟合后进行了重新缩放。(doi.org)"
    }
  ],
  "links": [
    "statistics",
    "machine-learning",
    "lasso-regression",
    "ridge-regression",
    "feature-selection",
    "linear-regression",
    "objective-function",
    "norm-mathematics",
    "loss-function",
    "regularization",
    "hyperparameter",
    "ordinary-least-squares",
    "correlation",
    "gene-expression",
    "convex-optimization",
    "algorithm",
    "coordinate-descent",
    "feature-scaling",
    "cross-validation",
    "mean-squared-error",
    "training-data",
    "generalization",
    "test-set",
    "overfitting",
    "data-leakage",
    "generalized-linear-model",
    "logistic-regression"
  ],
  "sources": [
    {
      "title": "Regularization Paths for Generalized Linear Models",
      "url": "https://web.stanford.edu/~hastie/Papers/glmnet.pdf"
    },
    {
      "title": "An Introduction to glmnet",
      "url": "https://stat.ethz.ch/CRAN/web/packages/glmnet/vignettes/glmnet.pdf"
    },
    {
      "title": "glmnet: vignettes/glmnet.Rmd",
      "url": "https://rdrr.io/cran/glmnet/f/vignettes/glmnet.Rmd"
    },
    {
      "title": "ElasticNetCV — scikit-learn documentation",
      "url": "https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.ElasticNetCV.html"
    },
    {
      "title": "scikit-learn/doc/modules/preprocessing.rst",
      "url": "https://github.com/scikit-learn/scikit-learn/blob/main/doc/modules/preprocessing.rst"
    },
    {
      "title": "scikit-learn/doc/modules/cross_validation.rst",
      "url": "https://github.com/scikit-learn/scikit-learn/blob/main/doc/modules/cross_validation.rst"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}