{
  "id": "feature-engineering",
  "title": "特征工程",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "特征工程是创建、转换和选择数据表示的过程，这些表示用作机器学习模型的输入。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [],
  "generated_at": "2026-10-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/feature-engineering/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/feature-engineering/",
      "json": "https://aiwiki.page/en/feature-engineering.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "特征工程是为机器学习模型设计和准备输入变量（即特征）的过程。它通过变换、编码、提取和选择，将原始观测转换为适合学习任务的表示。特征可以是原始测量值、派生量，也可以是数值向量中的一个分量。特征工程可以使相关模式更容易被模型学到，但其作用取决于数据、模型以及预期的预测场景。(developers.google.com)"
    },
    {
      "heading": "范围与概念辨析",
      "text": "数据集中记录的字段不一定就是最终提供给模型的特征。例如，一个时间戳可以转化为多个描述其在日历中所处位置的变量。更一般地说，特征工程定义了一个映射 \\(z=\\phi(x)\\)，其中 \\(x\\) 表示一条观测，\\(z\\) 表示对应的模型输入。这个映射可以由设计直接确定，也可以包含根据训练数据估计的参数。(developers.google.com)\n\n一些相关操作各有不同的含义。特征选择保留现有变量的一个子集。特征提取从源数据构造表示，例如从文档中提取词元计数。降维生成维度更少的表示；主成分分析就是一个例子。这些操作可以是特征工程的组成部分，但不能作为特征工程的同义名称互换使用。(arxiv.org)\n\n在监督学习中，有些变换使用目标变量，另一些则只依赖输入。这一区别很重要，因为依赖目标变量构造特征可能引入预测时无法获得的信息。因此，特征工程既是表示设计问题，也是信息流控制问题。(scikit-learn.org)"
    },
    {
      "heading": "数值变换",
      "text": "特征缩放改变数值的大小，而不一定改变其内在含义。标准化通常采用以下公式：\n\n\\[z_j=\\frac{x_j-\\mu_j}{s_j},\\]\n\n其中，\\(\\mu_j\\) 和 \\(s_j\\) 分别是某个特征在训练集上的均值和标准差。最小—最大缩放则将数值映射到指定区间。对于许多基于距离或梯度的方法，包括支持向量机，缩放都很重要。它还可能改变各变量在正则化约束下的相对影响。(scikit-learn.org)\n\n其他变换包括对适宜的偏态变量取对数、分位数变换、截断极端值，以及将连续测量值分箱到不同区间。多项式项以及 \\(x_1x_2\\) 这样的乘积项，使线性回归等模型能够表示原始变量之间的非线性关系。这类扩展会增加输入的数量，但并不保证性能更好。(scikit-learn.org)\n\n当估计器无法接受缺失值时，就需要对缺失观测进行明确处理。缺失值填补用估计值替代缺失值；另设一个缺失指示变量，则可记录原始观测是否缺失。填入的值与缺失指示变量传达的是不同信息。(scikit-learn.org)"
    },
    {
      "heading": "类别数据与结构化数据",
      "text": "类别值需要转换为与模型兼容的表示。独热编码为各类别分配指示变量，而不引入数值上的顺序。序数编码为类别分配整数代码，但对于本来没有顺序的类别，这些数字可能暗示并不存在的关系。特征哈希将值映射为固定大小的表示，不同输入之间可能发生哈希冲突。(scikit-learn.org)\n\n目标编码使用与目标变量有关的统计量来表示类别，通常还会结合平滑处理。由于这些统计量使用标签，训练样本可能无意中泄露自身目标值的信息。交叉拟合使用从其他折估计得到的编码来构造当前折的训练表示，从而减少这一来源造成的过拟合。(scikit-learn.org)\n\n在自然语言处理中，文档可以转换为词元计数向量，或词频—逆文档频率表示。这些特征概括了词语的出现情况，而不是保留文档的所有方面。通过学习得到的词嵌入提供了另一种方法：将词语映射到一种表示中，其结构从数据中学习得出。(scikit-learn.org)\n\n对于时间序列和带时间戳的观测，特征可以描述小时、星期几或其他日历位置。正弦和余弦变换可用于表示周期性变量，避免将一个周期的终点与起点视为相距很远的点。适合采用哪种表示取决于估计器：线性模型和基于树的模型未必能从同一种时间变量处理方式中获益。(scikit-learn.org)"
    },
    {
      "heading": "评估与信息泄漏",
      "text": "特征质量应根据模型在经过适当划分的数据上的表现来评估，而不能仅凭特征与目标变量在整个数据集中的关联来判断。交叉验证在不同的训练折和留出折上评估候选变换。预处理过程中学到的参数，包括缩放统计量和特征选择决策，都必须在每个训练折内估计，而不能一次性根据全部观测确定。(scikit-learn.org)\n\n当模型构建使用了预测时无法获得的信息，就会发生数据泄漏（机器学习）。例如，使用测试集选择特征，或使用依赖结果、且只在预测本应完成之后才记录的字段。这两种情况都会使对泛化（机器学习）能力的估计过于乐观。将预处理和估计器放在同一条拟合流水线中，有助于维持训练与评估之间的边界。(scikit-learn.org)"
    },
    {
      "heading": "学习得到的表示与部署",
      "text": "表征学习从数据中估计有用的表示，而不是完全依赖人工指定的特征。深度学习和自编码器就是其中的例子。这改变了人工设计的变换与学习得到的组件之间的分工；人工构造的特征和学习得到的特征可以在同一个系统中共存。(arxiv.org)\n\n部署还提出了一致性要求。训练和预测必须采用相互兼容的变换、数据模式和缺失值处理约定。即使模型本身没有变化，特征生成代码的差异也会导致训练与线上服务之间的偏差。因此，生产环境监控除了检查模型质量指标，还会检查特征分布、缺失或损坏的值，以及训练输入与线上服务输入之间的差异。(developers.google.com)"
    }
  ],
  "links": [
    "machine-learning",
    "training-data",
    "feature-selection",
    "feature-extraction",
    "dimensionality-reduction",
    "principal-component-analysis",
    "supervised-learning",
    "feature-scaling",
    "support-vector-machine",
    "regularization",
    "polynomial",
    "linear-regression",
    "missing-data-imputation",
    "one-hot-encoding",
    "overfitting",
    "natural-language-processing",
    "word-embedding",
    "time-series",
    "cross-validation",
    "data-leakage",
    "test-set",
    "generalization",
    "representation-learning",
    "deep-learning",
    "autoencoder"
  ],
  "sources": [
    {
      "title": "developers.google.com/machine-learning/crash-course/numerical-data/feature-vect…",
      "url": "https://developers.google.com/machine-learning/crash-course/numerical-data/feature-vectors?hl=en"
    },
    {
      "title": "arxiv.org/abs/1601.07996",
      "url": "https://arxiv.org/abs/1601.07996"
    },
    {
      "title": "scikit-learn.org/1.4/modules/generated/sklearn.preprocessing.TargetEncoder.html",
      "url": "https://scikit-learn.org/1.4/modules/generated/sklearn.preprocessing.TargetEncoder.html"
    },
    {
      "title": "scikit-learn.org/stable/modules/preprocessing.html",
      "url": "https://scikit-learn.org/stable/modules/preprocessing.html"
    },
    {
      "title": "scikit-learn.org/stable/api/sklearn.impute.html",
      "url": "https://scikit-learn.org/stable/api/sklearn.impute.html"
    },
    {
      "title": "scikit-learn.org/stable/api/sklearn.feature_extraction.html",
      "url": "https://scikit-learn.org/stable/api/sklearn.feature_extraction.html"
    },
    {
      "title": "scikit-learn.org/stable/auto_examples/applications/plot_cyclical_feature_engine…",
      "url": "https://scikit-learn.org/stable/auto_examples/applications/plot_cyclical_feature_engineering.html"
    },
    {
      "title": "scikit-learn.org/stable/common_pitfalls.html",
      "url": "https://scikit-learn.org/stable/common_pitfalls.html?highlight=linearregression"
    },
    {
      "title": "arxiv.org/abs/1206.5538",
      "url": "https://arxiv.org/abs/1206.5538"
    },
    {
      "title": "developers.google.com/machine-learning/crash-course/production-ml-systems/monit…",
      "url": "https://developers.google.com/machine-learning/crash-course/production-ml-systems/monitoring"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}