{
  "id": "one-hot-encoding",
  "title": "独热编码",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "独热编码将每个类别表示为仅有一个分量为1的二进制向量，使类别数据能够以数值形式处理。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "独热码",
    "一位有效编码"
  ],
  "generated_at": "2026-10-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/one-hot-encoding/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/one-hot-encoding/",
      "json": "https://aiwiki.page/en/one-hot-encoding.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "独热编码用一个恰好只有一个分量为1、其余分量均为0的向量来表示类别值。向量的每个位置对应一个不同的类别。在机器学习中，它将离散标签转换为数值输入，而不会人为赋予类别顺序。在数字电子技术中，同样的原理通过不同的有效比特来表示状态。向量的分量数等于所表示的类别数或状态数。(developers.google.com)"
    },
    {
      "heading": "定义与数学结构",
      "text": "对于类别集合 \\(C=\\{c_1,\\ldots,c_K\\}\\)，独热编码将 \\(c_i\\) 映射为向量 \\(e_i\\in\\{0,1\\}^K\\)，其定义为\n\n\\[(e_i)_j= \\begin{cases} 1,&j=i,\\\\ 0,&j\\ne i. \\end{cases}\\]\n\n每个坐标都是一个示性函数，表示某个值是否属于相应类别。例如，将类别表按红、绿、蓝的顺序排列，可得到：\n\n类别 | 红 | 绿 | 蓝\n红 | 1 | 0 | 0\n绿 | 0 | 1 | 0\n蓝 | 0 | 0 | 1\n\n类别的排列顺序确定了各坐标的含义，但并不代表类别之间存在等级关系。(developers.google.com)\n\n在实向量空间中，这些向量构成 \\(\\mathbb{R}^K\\) 的标准正交基。因此，不同类别对应向量的内积为零，欧几里得距离为 \\(\\sqrt{2}\\)。这些数学性质说明，这种表示能够区分类别身份，却无法自行表达语义相似性：关系密切的两个类别，其初始距离与毫不相关的两个类别完全相同。(developers.google.com)"
    },
    {
      "heading": "类别特征与统计模型",
      "text": "独热编码是一种常见的特征工程变换，适用于产品类型、地理区域等名义变量。如果为这些类别分配连续的整数，而模型又将这些编码视为数量，就可能引入原本不存在的数值关系。独热编码则为每个类别提供单独的特征，使模型能够为不同类别设置各自的参数。它广泛用于线性模型和支持向量机。(developers.google.com)\n\n对于多个类别变量，可将它们各自的编码向量拼接起来，形成彼此独立的块。如果这些变量分别有 \\(K_1,\\ldots,K_m\\) 个类别，则得到的行向量有 \\(\\sum_r K_r\\) 个分量，通常包含 \\(m\\) 个1。因此，“独热”针对的是每个类别变量对应的块，而不一定是整个特征向量。对数据集进行编码会生成一个矩阵，其中各列始终对应固定的类别含义。(scikit-learn.org)\n\n在含有截距项的线性回归中，保留所有示性变量列会产生线性依赖：同一个类别变量的各列相加，等于截距列。由此得到的设计矩阵不具有满秩，因此在没有额外约束的情况下，无法唯一确定其系数。一种常见的替代方法是保留 \\(K-1\\) 个示性变量，并将省略的类别作为参照类别。这种简化表示通常称为虚拟变量编码；其参照类别对应全零向量，因此严格来说并不是独热编码。并非所有情况下都必须删除一个类别，而且删除类别会破坏类别之间的对称性，从而影响采用正则化的模型。(scikit-learn.org)"
    },
    {
      "heading": "分类目标与嵌入",
      "text": "在监督学习中，独热向量可以表示相互排斥的目标类别。如果 \\(y=e_i\\)，而模型预测的各类别概率为 \\(p_j\\)，则交叉熵损失函数为\n\n\\[L=-\\sum_{j=1}^{K}y_j\\log p_j=-\\log p_i.\\]\n\n这些概率通常由Softmax函数的输出提供。并非总是需要显式构造目标向量：某些损失函数实现可以接受类别索引，直接计算等价的目标函数。软目标（包括经过平滑处理的标签）可能包含多个非零概率，因此不是独热向量。(docs.pytorch.org)\n\n在自然语言处理中，词表中的词项同样可以用独热向量表示。通过学习得到的嵌入，可将这种稀疏的身份表示转换为稠密向量。如果嵌入矩阵 \\(E\\) 的每一行存储一个向量，那么 \\(e_i^\\top E\\) 就会选出第 \\(i\\) 行。这种代数解释是词嵌入的基础；实际实现可以通过索引查找完成这一操作，无须构造完整的独热输入。与原始编码不同，嵌入通过学习形成的几何结构可以捕捉与训练任务有关的关系。(developers.google.com)"
    },
    {
      "heading": "存储与类别表管理",
      "text": "庞大的类别表会产生高维表示。对于包含 \\(n\\) 个观测值和 \\(K\\) 个类别的稠密数据集，需要存储 \\(nK\\) 个元素；但对于单个类别变量，其中只有 \\(n\\) 个元素非零。稀疏矩阵通过存储非零值及其位置，能够提高存储效率。不过，稀疏输入并不会自动消除大型模型的开销：将 \\(K\\) 个输入连接到 \\(h\\) 个神经单元，仍会引入 \\(Kh\\) 个权重。当类别表规模较大时，嵌入和特征哈希可作为替代表示。(developers.google.com)\n\n编码器需要稳定的类别表和列顺序。类别可以从外部指定，也可以从训练数据中学习。在评估时，需要学习的预处理步骤应仅在训练部分上拟合，再应用于留出的观测数据；使用测试集进行拟合可能导致数据泄漏（机器学习）。在交叉验证的各折中，也应保持同样的分离。(scikit-learn.org)\n\n对于此前未见过的类别，需要制定明确的处理策略。具体实现可以拒绝这些类别，将其映射到“未知类别”列，或返回一个全零块。罕见类别也可以合并到同一个桶中。全零块是实际操作中的一种扩展，而不是严格意义上的独热向量；如果同时省略了参照类别，这两种情况可能无法区分。(scikit-learn.org)"
    },
    {
      "heading": "数字状态编码",
      "text": "在有限状态机中，独热编码为每个状态分配一个存储比特，在有效运行期间，恰好只有一个比特置为1。因此，一个具有 \\(K\\) 个状态的状态机需要使用 \\(K\\) 个状态比特，而紧凑的二进制编码只需 \\(\\lceil\\log_2K\\rceil\\) 个比特。这种方式可以简化译码逻辑并改善时序，但代价是需要更多存储资源。实际的面积和性能取决于器件及综合后的逻辑。在严格的独热编码方案中，全零模式和多个比特同时为1的模式均为无效状态；恢复逻辑可以明确地将这些模式转回复位状态。(intel.com)"
    }
  ],
  "links": [
    "machine-learning",
    "bit",
    "indicator-function",
    "vector-space",
    "orthonormal-basis",
    "inner-product",
    "euclidean-distance",
    "feature-engineering",
    "integer",
    "support-vector-machine",
    "matrix",
    "linear-regression",
    "matrix-rank",
    "regularization",
    "supervised-learning",
    "cross-entropy",
    "loss-function",
    "softmax-function",
    "natural-language-processing",
    "word-embedding",
    "sparse-matrix",
    "training-data",
    "test-set",
    "data-leakage",
    "cross-validation",
    "finite-state-machine"
  ],
  "sources": [
    {
      "title": "developers.google.com/machine-learning/crash-course/categorical-data/one-hot-en…",
      "url": "https://developers.google.com/machine-learning/crash-course/categorical-data/one-hot-encoding"
    },
    {
      "title": "scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder",
      "url": "https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder"
    },
    {
      "title": "docs.pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html",
      "url": "https://docs.pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html"
    },
    {
      "title": "developers.google.com/machine-learning/crash-course/embeddings/obtaining-embedd…",
      "url": "https://developers.google.com/machine-learning/crash-course/embeddings/obtaining-embeddings"
    },
    {
      "title": "intel.com/content/www/us/en/docs/programmable/683122/current/fsm-compiler.html",
      "url": "https://www.intel.com/content/www/us/en/docs/programmable/683122/current/fsm-compiler.html"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}