aiwiki.page
中文
计算机 / 人工智能 / word-error-rate

词错误率

词错误率以最少的词替换、删除和插入次数除以参考文本的词数,衡量转写错误。

12 个关键词1 个词条链接到这里2 个尚未撰写AI 撰写
语音识别编辑距离动态规划时间复杂度词元化(自然语言…语言模型测试集分布偏移词错误率

**词错误率(Word Error Rate,WER)**用于衡量参考转写文本与候选转写文本之间的差异,最常用于评估语音识别。它等于将一份转写文本转换为另一份所需的最少词替换、删除和插入次数,除以参考文本的词数。在选定的转写规范和评分规则下,数值越低,表示与参考文本越一致。WER 衡量的是词序列的一致程度,并不一定反映语义是否得到保留,也不一定反映实际可用性。

定义

给定包含 NN 个词的参考转写文本,词错误率为

WER=S+D+IN,\mathrm{WER}=\frac{S+D+I}{N},

其中:

  • SS 为替换次数:参考文本中的某个词被替换成了另一个词。
  • DD 为删除次数:参考文本中的某个词在候选文本中缺失。
  • II 为插入次数:候选文本中多出了一个词。

这些计数来自使上述操作总次数最少的对齐方式,通常每次操作的代价均设为一。因此,WER 是词级编辑距离(Levenshtein 距离)的一种归一化形式。

WER 通常以百分比表示。0%0\% 表示在经过评估方采用的各项预处理后,两份文本完全一致。WER 的上限并非 100%100\%:插入的词足够多时,其值可以更高。例如,参考文本只有一个词,而候选文本由三个完全不同的词组成,则需要一次替换和两次插入,得到的 WER 为 300%300\%。

这种归一化方式使 WER 不具备对称性。交换参考文本和候选文本后,未归一化的编辑距离不变,但分母通常会改变,因此得分也会改变。

示例

考虑以下转写文本:

转写文本 词序列
参考文本 the cat sat on the mat
候选文本 the dog sat the mat today

一种最优对齐方式为:

参考文本:the cat sat on the mat —
候选文本:the dog sat —  the mat today

此对齐包含:

  • 一次替换:“cat”变为“dog”。
  • 一次删除:省略了“on”。
  • 一次插入:添加了“today”。

参考文本共有六个词,因此

WER=1+1+16=0.5=50%.\mathrm{WER}=\frac{1+1+1}{6}=0.5=50\%.

对齐很重要,因为比较并非仅限于两份文本中相同位置上的词。如果不进行对齐,前面的一次插入或删除就可能使后面的许多词看起来都不正确,即使其余词的顺序实际上保持不变。

计算

WER 通常使用动态规划计算。设参考文本为 r1,…,rNr_1,\ldots,r_N,候选文本为 h1,…,hMh_1,\ldots,h_M,d(i,j)d(i,j) 表示二者分别取前 ii 个词和前 jj 个词时的最小编辑代价。递推关系为

d(i,j)=min⁡{d(i−1,j)+1,d(i,j−1)+1,d(i−1,j−1)+1[ri≠hj],d(i,j)=\min \begin{cases} d(i-1,j)+1,\\ d(i,j-1)+1,\\ d(i-1,j-1)+\mathbf{1}[r_i\ne h_j], \end{cases}

边界条件为

d(i,0)=i,d(0,j)=j.d(i,0)=i,\qquad d(0,j)=j.

指示函数 1[ri≠hj]\mathbf{1}[r_i\ne h_j] 在两个词相同时为零,否则为一。最终距离为 d(N,M)d(N,M),且

WER=d(N,M)N.\mathrm{WER}=\frac{d(N,M)}{N}.

标准算法的时间复杂度为 O(NM)O(NM)。存储完整表格也需要 O(NM)O(NM) 的空间;如果只计算距离,则可以仅保留有限的几行,从而减少内存占用。

沿表格回溯可以得到一种对齐方式,以及分别统计的替换、删除和插入次数。最优对齐可能不止一种。它们的总编辑代价相同,但各类错误所占的次数可能不同,因此,在分析各项计数时,如何处理并列最优解也很重要。

分词与归一化

WER 以词为单位定义,但什么算作一个词取决于评分流程。因此,分词与词元化以及文本归一化也是该指标操作性定义的一部分。

常见的评分规则选择包括:

  • 是否忽略字母大小写。
  • 是否移除标点,或将标点作为独立词元计分。
  • 是否将数字与用文字写出的数视为等价。
  • 是否拆分或展开缩约形式。
  • 是否计入填充性停顿、重复和未说完整的词。
  • 如何表示带连字符的词、缩略语和复合表达。

例如,“21”和“twenty one”可能表达相同的内容,但词元序列不同。同样,除非评估规则对“don't”和“do not”采用一致的归一化处理,否则二者也可能产生错误计数。

对于书写时并不总是用空格分隔词语的语言,这些选择尤其重要。不同的切分规则可能使同一对转写文本得到不同的 WER 值。

评分所用的词元也不必与语言模型内部使用的词元相同。识别器可能生成子词单元,但标准 WER 评估通常会先还原文本,再应用指定的词级评分流程。

因此,只有在参考文本规范、归一化、切分和评分规则足够一致时,WER 值才能直接比较。

数据集层面的评估

对于包含多个话语的测试集,通常先汇总错误计数,再计算语料级 WER:

WERcorpus=∑u(Su+Du+Iu)∑uNu.\mathrm{WER}_{\text{corpus}} = \frac{\sum_u(S_u+D_u+I_u)} {\sum_u N_u}.

对于参考文本非空的话语,这相当于以参考文本长度为权重,对各话语的 WER 求加权平均。它通常不等于话语级 WER 的无权平均值。无权平均会使一段很短的话语与一段长得多的话语具有相同的影响。

参考文本词数为零时,需要特殊处理,因为该话语的 WER 分母为零。不过,只要整个语料的参考词总数大于零,这类话语中的插入错误仍可计入语料级得分。对于空参考文本的情况,不同软件包可能采用不同的显示约定。

通常会先对每段话语或录音片段分别进行转写对齐,再汇总计数。如果将所有转写文本作为一个不受边界限制的序列统一对齐,就可能出现跨边界匹配,得到不同的结果。

描述改进幅度时,有两种有用的方式:

  • **绝对降幅:**从 20%20\% 变为 15%15\%,表示降低了 5 个百分点。
  • **相对降幅:**同样的变化表示降低了 (20−15)/20=25%(20-15)/20=25\%。

这两个量不应混淆。基线为零时,相对降幅无定义。

应用

WER 广泛用于比较语音识别系统、评估模型更新,以及衡量系统在不同录音条件下的稳健性。它可以揭示与背景噪声、说话风格、词汇、语言变体,或开发数据与部署数据之间的分布偏移有关的性能变化。

分别统计替换、删除和插入次数,可以提供额外的诊断信息。例如,总 WER 的下降可能掩盖插入错误的增加,因为删除错误的减少抵消了这一增加。

WER 也可用于评估其他旨在复现固定参考文本的文本生成系统。当许多差异显著的输出都同样有效时,其含义就不那么直观。在机器翻译或自动文本摘要中,不同措辞可以保留原意,却仍得到较高的词级编辑得分。

局限性

错误代价相同,不代表重要性相同

标准 WER 为每次替换、删除和插入赋予相同的代价。它不区分轻微的语法错误与姓名、数字或否定词的错误。因此,对于某项具体任务,WER 较低的转写文本可能反而不如 WER 较高的文本有用。

加权编辑度量和面向特定任务的指标可以区分这类错误,但它们不能与标准 WER 混为一谈。

文本一致不等于语义正确

WER 评估的是表层词序列。它并不直接衡量含义、可读性、事实正确性,也不衡量用户能否借助转写文本完成任务。

参考文本的质量也很重要。参考词有误、规范不一致,或逐字转写与编辑整理后的转写风格不匹配,都可能使测得的错误率升高,而不代表识别过程出现了相应的失误。

汇总得分会掩盖差异

单一的语料级数值可能掩盖不同说话人、声学环境、语言变体和主题领域之间的差异。较长的录音对汇总得分的贡献也更大。

系统之间观测到的差异取决于测试样本。进行统计比较时,应考虑到参与比较的系统通常在同一批录音上评估,而且同一说话人或同一录音内的错误可能存在相关性。

标准 WER 不涵盖转写的其他方面

除非评分方案明确将其纳入,否则 WER 不评估时间戳、说话人归属、标点质量或大小写使用。两份输出的 WER 可以完全相同,却在这些方面存在显著差异。

相关指标

**字符错误率(CER)**将相同的编辑距离原理应用于字符,而不是词。当词语切分存在歧义,或需要关注字符级差异时,该指标很有用。其数值仍取决于空白字符、标点和字符归一化的处理规范。

**句子错误率(SER)**是参与评分的句子或话语中至少包含一个错误的比例。它衡量整个单元被完全正确转写的情况有多常见,但不区分只有一个错误的单元与包含多个错误的单元。

词准确率有时定义为 1−WER1-\mathrm{WER}。由于 WER 可以大于一,这个量可能为负值,因此不应直接将其理解为参考文本中被正确识别的词所占的比例。