{
  "id": "word-error-rate",
  "title": "词错误率",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "词错误率以最少的词替换、删除和插入次数除以参考文本的词数，衡量转写错误。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "WER",
    "词错率",
    "字词错误率"
  ],
  "generated_at": "2026-11-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/word-error-rate/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/word-error-rate/",
      "json": "https://aiwiki.page/en/word-error-rate.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "**词错误率（Word Error Rate，WER）**用于衡量参考转写文本与候选转写文本之间的差异，最常用于评估语音识别。它等于将一份转写文本转换为另一份所需的最少词替换、删除和插入次数，除以参考文本的词数。在选定的转写规范和评分规则下，数值越低，表示与参考文本越一致。WER 衡量的是词序列的一致程度，并不一定反映语义是否得到保留，也不一定反映实际可用性。"
    },
    {
      "heading": "定义",
      "text": "给定包含 \\(N\\) 个词的参考转写文本，词错误率为\n\n\\[\\mathrm{WER}=\\frac{S+D+I}{N},\\]\n\n其中：\n\n- \\(S\\) 为替换次数：参考文本中的某个词被替换成了另一个词。\n- \\(D\\) 为删除次数：参考文本中的某个词在候选文本中缺失。\n- \\(I\\) 为插入次数：候选文本中多出了一个词。\n\n这些计数来自使上述操作总次数最少的对齐方式，通常每次操作的代价均设为一。因此，WER 是词级编辑距离（Levenshtein 距离）的一种归一化形式。\n\nWER 通常以百分比表示。\\(0\\%\\) 表示在经过评估方采用的各项预处理后，两份文本完全一致。WER 的上限并非 \\(100\\%\\)：插入的词足够多时，其值可以更高。例如，参考文本只有一个词，而候选文本由三个完全不同的词组成，则需要一次替换和两次插入，得到的 WER 为 \\(300\\%\\)。\n\n这种归一化方式使 WER 不具备对称性。交换参考文本和候选文本后，未归一化的编辑距离不变，但分母通常会改变，因此得分也会改变。"
    },
    {
      "heading": "示例",
      "text": "考虑以下转写文本：\n\n转写文本 | 词序列\n参考文本 | the cat sat on the mat\n候选文本 | the dog sat the mat today\n\n一种最优对齐方式为：\n\n参考文本：the cat sat on the mat —\n候选文本：the dog sat —  the mat today\n\n此对齐包含：\n\n- 一次替换：“cat”变为“dog”。\n- 一次删除：省略了“on”。\n- 一次插入：添加了“today”。\n\n参考文本共有六个词，因此\n\n\\[\\mathrm{WER}=\\frac{1+1+1}{6}=0.5=50\\%.\\]\n\n对齐很重要，因为比较并非仅限于两份文本中相同位置上的词。如果不进行对齐，前面的一次插入或删除就可能使后面的许多词看起来都不正确，即使其余词的顺序实际上保持不变。"
    },
    {
      "heading": "计算",
      "text": "WER 通常使用动态规划计算。设参考文本为 \\(r_1,\\ldots,r_N\\)，候选文本为 \\(h_1,\\ldots,h_M\\)，\\(d(i,j)\\) 表示二者分别取前 \\(i\\) 个词和前 \\(j\\) 个词时的最小编辑代价。递推关系为\n\n\\[d(i,j)=\\min \\begin{cases} d(i-1,j)+1,\\\\ d(i,j-1)+1,\\\\ d(i-1,j-1)+\\mathbf{1}[r_i\\ne h_j], \\end{cases}\\]\n\n边界条件为\n\n\\[d(i,0)=i,\\qquad d(0,j)=j.\\]\n\n指示函数 \\(\\mathbf{1}[r_i\\ne h_j]\\) 在两个词相同时为零，否则为一。最终距离为 \\(d(N,M)\\)，且\n\n\\[\\mathrm{WER}=\\frac{d(N,M)}{N}.\\]\n\n标准算法的时间复杂度为 \\(O(NM)\\)。存储完整表格也需要 \\(O(NM)\\) 的空间；如果只计算距离，则可以仅保留有限的几行，从而减少内存占用。\n\n沿表格回溯可以得到一种对齐方式，以及分别统计的替换、删除和插入次数。最优对齐可能不止一种。它们的总编辑代价相同，但各类错误所占的次数可能不同，因此，在分析各项计数时，如何处理并列最优解也很重要。"
    },
    {
      "heading": "分词与归一化",
      "text": "WER 以词为单位定义，但什么算作一个词取决于评分流程。因此，分词与词元化以及文本归一化也是该指标操作性定义的一部分。\n\n常见的评分规则选择包括：\n\n- 是否忽略字母大小写。\n- 是否移除标点，或将标点作为独立词元计分。\n- 是否将数字与用文字写出的数视为等价。\n- 是否拆分或展开缩约形式。\n- 是否计入填充性停顿、重复和未说完整的词。\n- 如何表示带连字符的词、缩略语和复合表达。\n\n例如，“21”和“twenty one”可能表达相同的内容，但词元序列不同。同样，除非评估规则对“don't”和“do not”采用一致的归一化处理，否则二者也可能产生错误计数。\n\n对于书写时并不总是用空格分隔词语的语言，这些选择尤其重要。不同的切分规则可能使同一对转写文本得到不同的 WER 值。\n\n评分所用的词元也不必与语言模型内部使用的词元相同。识别器可能生成子词单元，但标准 WER 评估通常会先还原文本，再应用指定的词级评分流程。\n\n因此，只有在参考文本规范、归一化、切分和评分规则足够一致时，WER 值才能直接比较。"
    },
    {
      "heading": "数据集层面的评估",
      "text": "对于包含多个话语的测试集，通常先汇总错误计数，再计算语料级 WER：\n\n\\[\\mathrm{WER}_{\\text{corpus}} = \\frac{\\sum_u(S_u+D_u+I_u)} {\\sum_u N_u}.\\]\n\n对于参考文本非空的话语，这相当于以参考文本长度为权重，对各话语的 WER 求加权平均。它通常不等于话语级 WER 的无权平均值。无权平均会使一段很短的话语与一段长得多的话语具有相同的影响。\n\n参考文本词数为零时，需要特殊处理，因为该话语的 WER 分母为零。不过，只要整个语料的参考词总数大于零，这类话语中的插入错误仍可计入语料级得分。对于空参考文本的情况，不同软件包可能采用不同的显示约定。\n\n通常会先对每段话语或录音片段分别进行转写对齐，再汇总计数。如果将所有转写文本作为一个不受边界限制的序列统一对齐，就可能出现跨边界匹配，得到不同的结果。\n\n描述改进幅度时，有两种有用的方式：\n\n- **绝对降幅：**从 \\(20\\%\\) 变为 \\(15\\%\\)，表示降低了 5 个百分点。\n- **相对降幅：**同样的变化表示降低了 \\((20-15)/20=25\\%\\)。\n\n这两个量不应混淆。基线为零时，相对降幅无定义。"
    },
    {
      "heading": "应用",
      "text": "WER 广泛用于比较语音识别系统、评估模型更新，以及衡量系统在不同录音条件下的稳健性。它可以揭示与背景噪声、说话风格、词汇、语言变体，或开发数据与部署数据之间的分布偏移有关的性能变化。\n\n分别统计替换、删除和插入次数，可以提供额外的诊断信息。例如，总 WER 的下降可能掩盖插入错误的增加，因为删除错误的减少抵消了这一增加。\n\nWER 也可用于评估其他旨在复现固定参考文本的文本生成系统。当许多差异显著的输出都同样有效时，其含义就不那么直观。在机器翻译或自动文本摘要中，不同措辞可以保留原意，却仍得到较高的词级编辑得分。"
    },
    {
      "heading": "局限性",
      "text": "错误代价相同，不代表重要性相同\n\n标准 WER 为每次替换、删除和插入赋予相同的代价。它不区分轻微的语法错误与姓名、数字或否定词的错误。因此，对于某项具体任务，WER 较低的转写文本可能反而不如 WER 较高的文本有用。\n\n加权编辑度量和面向特定任务的指标可以区分这类错误，但它们不能与标准 WER 混为一谈。\n\n文本一致不等于语义正确\n\nWER 评估的是表层词序列。它并不直接衡量含义、可读性、事实正确性，也不衡量用户能否借助转写文本完成任务。\n\n参考文本的质量也很重要。参考词有误、规范不一致，或逐字转写与编辑整理后的转写风格不匹配，都可能使测得的错误率升高，而不代表识别过程出现了相应的失误。\n\n汇总得分会掩盖差异\n\n单一的语料级数值可能掩盖不同说话人、声学环境、语言变体和主题领域之间的差异。较长的录音对汇总得分的贡献也更大。\n\n系统之间观测到的差异取决于测试样本。进行统计比较时，应考虑到参与比较的系统通常在同一批录音上评估，而且同一说话人或同一录音内的错误可能存在相关性。\n\n标准 WER 不涵盖转写的其他方面\n\n除非评分方案明确将其纳入，否则 WER 不评估时间戳、说话人归属、标点质量或大小写使用。两份输出的 WER 可以完全相同，却在这些方面存在显著差异。"
    },
    {
      "heading": "相关指标",
      "text": "**字符错误率（CER）**将相同的编辑距离原理应用于字符，而不是词。当词语切分存在歧义，或需要关注字符级差异时，该指标很有用。其数值仍取决于空白字符、标点和字符归一化的处理规范。\n\n**句子错误率（SER）**是参与评分的句子或话语中至少包含一个错误的比例。它衡量整个单元被完全正确转写的情况有多常见，但不区分只有一个错误的单元与包含多个错误的单元。\n\n词准确率有时定义为 \\(1-\\mathrm{WER}\\)。由于 WER 可以大于一，这个量可能为负值，因此不应直接将其理解为参考文本中被正确识别的词所占的比例。"
    }
  ],
  "links": [
    "speech-recognition",
    "edit-distance",
    "dynamic-programming",
    "time-complexity",
    "tokenization",
    "language-model",
    "test-set",
    "distribution-shift",
    "machine-translation",
    "automatic-text-summarization"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}