**词错误率(Word Error Rate,WER)**用于衡量参考转写文本与候选转写文本之间的差异,最常用于评估语音识别。它等于将一份转写文本转换为另一份所需的最少词替换、删除和插入次数,除以参考文本的词数。在选定的转写规范和评分规则下,数值越低,表示与参考文本越一致。WER 衡量的是词序列的一致程度,并不一定反映语义是否得到保留,也不一定反映实际可用性。
定义
给定包含 个词的参考转写文本,词错误率为
其中:
- 为替换次数:参考文本中的某个词被替换成了另一个词。
- 为删除次数:参考文本中的某个词在候选文本中缺失。
- 为插入次数:候选文本中多出了一个词。
这些计数来自使上述操作总次数最少的对齐方式,通常每次操作的代价均设为一。因此,WER 是词级编辑距离(Levenshtein 距离)的一种归一化形式。
WER 通常以百分比表示。 表示在经过评估方采用的各项预处理后,两份文本完全一致。WER 的上限并非 :插入的词足够多时,其值可以更高。例如,参考文本只有一个词,而候选文本由三个完全不同的词组成,则需要一次替换和两次插入,得到的 WER 为 。
这种归一化方式使 WER 不具备对称性。交换参考文本和候选文本后,未归一化的编辑距离不变,但分母通常会改变,因此得分也会改变。
示例
考虑以下转写文本:
| 转写文本 | 词序列 |
|---|---|
| 参考文本 | the cat sat on the mat |
| 候选文本 | the dog sat the mat today |
一种最优对齐方式为:
参考文本:the cat sat on the mat —
候选文本:the dog sat — the mat today
此对齐包含:
- 一次替换:“cat”变为“dog”。
- 一次删除:省略了“on”。
- 一次插入:添加了“today”。
参考文本共有六个词,因此
对齐很重要,因为比较并非仅限于两份文本中相同位置上的词。如果不进行对齐,前面的一次插入或删除就可能使后面的许多词看起来都不正确,即使其余词的顺序实际上保持不变。
计算
WER 通常使用动态规划计算。设参考文本为 ,候选文本为 , 表示二者分别取前 个词和前 个词时的最小编辑代价。递推关系为
边界条件为
指示函数 在两个词相同时为零,否则为一。最终距离为 ,且
标准算法的时间复杂度为 。存储完整表格也需要 的空间;如果只计算距离,则可以仅保留有限的几行,从而减少内存占用。
沿表格回溯可以得到一种对齐方式,以及分别统计的替换、删除和插入次数。最优对齐可能不止一种。它们的总编辑代价相同,但各类错误所占的次数可能不同,因此,在分析各项计数时,如何处理并列最优解也很重要。
分词与归一化
WER 以词为单位定义,但什么算作一个词取决于评分流程。因此,分词与词元化以及文本归一化也是该指标操作性定义的一部分。
常见的评分规则选择包括:
- 是否忽略字母大小写。
- 是否移除标点,或将标点作为独立词元计分。
- 是否将数字与用文字写出的数视为等价。
- 是否拆分或展开缩约形式。
- 是否计入填充性停顿、重复和未说完整的词。
- 如何表示带连字符的词、缩略语和复合表达。
例如,“21”和“twenty one”可能表达相同的内容,但词元序列不同。同样,除非评估规则对“don't”和“do not”采用一致的归一化处理,否则二者也可能产生错误计数。
对于书写时并不总是用空格分隔词语的语言,这些选择尤其重要。不同的切分规则可能使同一对转写文本得到不同的 WER 值。
评分所用的词元也不必与语言模型内部使用的词元相同。识别器可能生成子词单元,但标准 WER 评估通常会先还原文本,再应用指定的词级评分流程。
因此,只有在参考文本规范、归一化、切分和评分规则足够一致时,WER 值才能直接比较。
数据集层面的评估
对于包含多个话语的测试集,通常先汇总错误计数,再计算语料级 WER:
对于参考文本非空的话语,这相当于以参考文本长度为权重,对各话语的 WER 求加权平均。它通常不等于话语级 WER 的无权平均值。无权平均会使一段很短的话语与一段长得多的话语具有相同的影响。
参考文本词数为零时,需要特殊处理,因为该话语的 WER 分母为零。不过,只要整个语料的参考词总数大于零,这类话语中的插入错误仍可计入语料级得分。对于空参考文本的情况,不同软件包可能采用不同的显示约定。
通常会先对每段话语或录音片段分别进行转写对齐,再汇总计数。如果将所有转写文本作为一个不受边界限制的序列统一对齐,就可能出现跨边界匹配,得到不同的结果。
描述改进幅度时,有两种有用的方式:
- **绝对降幅:**从 变为 ,表示降低了 5 个百分点。
- **相对降幅:**同样的变化表示降低了 。
这两个量不应混淆。基线为零时,相对降幅无定义。
应用
WER 广泛用于比较语音识别系统、评估模型更新,以及衡量系统在不同录音条件下的稳健性。它可以揭示与背景噪声、说话风格、词汇、语言变体,或开发数据与部署数据之间的分布偏移有关的性能变化。
分别统计替换、删除和插入次数,可以提供额外的诊断信息。例如,总 WER 的下降可能掩盖插入错误的增加,因为删除错误的减少抵消了这一增加。
WER 也可用于评估其他旨在复现固定参考文本的文本生成系统。当许多差异显著的输出都同样有效时,其含义就不那么直观。在机器翻译或自动文本摘要中,不同措辞可以保留原意,却仍得到较高的词级编辑得分。
局限性
错误代价相同,不代表重要性相同
标准 WER 为每次替换、删除和插入赋予相同的代价。它不区分轻微的语法错误与姓名、数字或否定词的错误。因此,对于某项具体任务,WER 较低的转写文本可能反而不如 WER 较高的文本有用。
加权编辑度量和面向特定任务的指标可以区分这类错误,但它们不能与标准 WER 混为一谈。
文本一致不等于语义正确
WER 评估的是表层词序列。它并不直接衡量含义、可读性、事实正确性,也不衡量用户能否借助转写文本完成任务。
参考文本的质量也很重要。参考词有误、规范不一致,或逐字转写与编辑整理后的转写风格不匹配,都可能使测得的错误率升高,而不代表识别过程出现了相应的失误。
汇总得分会掩盖差异
单一的语料级数值可能掩盖不同说话人、声学环境、语言变体和主题领域之间的差异。较长的录音对汇总得分的贡献也更大。
系统之间观测到的差异取决于测试样本。进行统计比较时,应考虑到参与比较的系统通常在同一批录音上评估,而且同一说话人或同一录音内的错误可能存在相关性。
标准 WER 不涵盖转写的其他方面
除非评分方案明确将其纳入,否则 WER 不评估时间戳、说话人归属、标点质量或大小写使用。两份输出的 WER 可以完全相同,却在这些方面存在显著差异。
相关指标
**字符错误率(CER)**将相同的编辑距离原理应用于字符,而不是词。当词语切分存在歧义,或需要关注字符级差异时,该指标很有用。其数值仍取决于空白字符、标点和字符归一化的处理规范。
**句子错误率(SER)**是参与评分的句子或话语中至少包含一个错误的比例。它衡量整个单元被完全正确转写的情况有多常见,但不区分只有一个错误的单元与包含多个错误的单元。
词准确率有时定义为 。由于 WER 可以大于一,这个量可能为负值,因此不应直接将其理解为参考文本中被正确识别的词所占的比例。