BLEU(Bilingual Evaluation Understudy,双语评估替代指标)是一种自动评估机器翻译的指标,通过将系统生成的文本与一份或多份人工撰写的参考译文进行比较来计算。它衡量词元序列的重合程度,限制重复匹配所能获得的分数,并对过短的输出施加惩罚。BLEU于2002年提出,由于计算成本低、不需要训练好的评估模型,而且能够概括系统在大型测试集上的表现,逐渐成为比较翻译系统的标准工具。它衡量的是译文与参考译文的相似程度,而不是直接判断翻译是否保留了原文含义。
起源与目的
BLEU由Kishore Papineni、Salim Roukos、Todd Ward和Wei-Jing Zhu在2002年的论文《BLEU:一种机器翻译自动评估方法》(BLEU: a Method for Automatic Evaluation of Machine Translation)中提出。其初衷是提供一种快速、可重复的评估方式,避免在系统开发的每轮迭代中都开展人工评估。
其核心假设是:在规模足够大的样本集合中,更好的译文通常会与专业参考译文共享更多词语和更长的词语序列。使用多份参考译文,可以涵盖不同但同样可接受的用词和句式,不过,任何有限的参考译文集合都无法囊括所有正确的译法。
BLEU主要面向语料库级评估,即在整个测试文本语料库上比较系统。最初的评估表明,在所研究的条件下,BLEU与人工判断具有一致性;这并不意味着某个具体的BLEU分数与某个绝对翻译质量水平之间存在普遍对应关系。
计算方法
BLEU结合了修正的N元语法精确率与长度惩罚。N元语法是由连续的 个词元组成的序列:一元语法包含一个词元,二元语法包含两个词元,依此类推。标准BLEU通常使用一至四阶N元语法,并赋予各阶相同的权重。
修正的N元语法精确率
普通精确率计算的是候选译文中出现在参考译文里的N元语法所占的比例。然而,如果不限制重复匹配的次数,候选译文就可能通过反复使用某个常见词而获得过多分数。
因此,BLEU会对候选译文中每种N元语法的计数进行截断,使其不超过同一片段的任一单独参考译文中该N元语法出现次数的最大值。对于候选片段 、参考译文集合 和N元语法 ,截断后的计数为
如果候选译文中某个词出现了七次,但每份参考译文中该词都不超过两次,那么最多只有两次能够计入一元语法匹配。存在多份参考译文时,上限是单份参考译文中的最大计数,而不是各份参考译文计数的总和。
语料库级的 阶修正精确率为
其中, 是候选片段 中不同N元语法组成的集合。
匹配只在彼此对应的候选片段与参考片段之间计数;某个句子中的N元语法,不会仅仅因为出现在另一个句子的参考译文中就被算作匹配。N元语法也不会跨越句子边界构建。
长度惩罚
仅使用精确率,可能会让只包含少数正确词语的不完整译文获得高分。BLEU通过长度惩罚来处理这一问题:
其中, 是候选译文的总长度, 是有效参考长度。
存在多份参考译文时,标准BLEU会为每个片段选择长度最接近候选译文的参考译文。如果两份参考译文的长度与候选译文同样接近,则选择较短的一份。随后将所选长度相加,得到 。
长度惩罚在语料库级别只施加一次。候选译文长于其有效参考译文时,不会受到显式的长度惩罚,但缺乏参考译文支持的额外词语可能会降低其修正精确率。空的候选输出得分为零。
综合得分
BLEU分数为
常用的四阶版本通常称为 BLEU-4,其中 ,。因此,BLEU就是将各阶修正精确率的几何平均值乘以长度惩罚系数。
数学定义下的得分介于0和1之间,但报告结果时通常会乘以100。因此,报告分数为30,通常表示0.30,并不意味着30%的句子是正确的,也不意味着译文达到了人工翻译质量的30%。
计算示例
考虑以下一份参考译文和一份候选译文,以空格划分词元:
- 参考译文:
the cat is on the mat - 候选译文:
the cat is on mat
候选译文中的五个词都能计入一元语法匹配。四个候选二元语法中,有三个出现在参考译文中;三个三元语法中有两个匹配;两个四元语法中有一个匹配:
候选译文有五个词元,参考译文有六个,因此
使用相同权重时,
按0—100的分制报告,结果约为57.9。这个例子旨在说明计算过程,而不是说明如何根据单个句子的得分普遍判断翻译质量。
语料库级BLEU、句子级BLEU与平滑处理
**语料库级BLEU并不是各句BLEU分数的算术平均值。**它首先汇总整个测试集中的匹配计数、候选N元语法计数和长度,再计算得分。对各句单独计算得分后再取平均值,通常会得到不同的结果。
这一区别很重要,因为短片段包含的高阶N元语法很少。在未经平滑处理的BLEU中,只要任何权重为正的精确率 为零,几何平均值就为零。因此,即使一个句子与参考译文有许多相同的词,也可能得零分。对于长度小于最高N元语法阶数的片段,实现时还需要约定如何处理没有候选N元语法的阶数。
句子级变体通常采用平滑处理,例如给计数加上一个小量,或为原本为零的精确率指定非零估计值。有些实现还提供“有效阶数”选项,只使用实际存在的N元语法阶数。这些修改能提高短文本得分的可用性,但具体选择会影响结果,因此必须明确说明。
分词与词元化及可复现性
BLEU以词元为计算单位,因此分词与词元化是评估流程的一部分。将标点符号与词语分开、改变大写规则,或者采用不同的规范化规则,都可能改变匹配计数和序列长度。
对于通常不以空格稳定分隔词语的语言,这一点尤其重要。例如,不同的中文分词方法,可能使同一份输出得到不同的BLEU分数。以词为单位计算的得分,也不能直接与按字符或按WordPiece词元化所产生的词元等子词单位计算的得分互换使用。
SacreBLEU是一种广泛使用的实现,通过标准化处理、支持常见测试集以及提供配置签名,来提高可复现性。其签名记录了相关设置,例如分词与词元化方式、大小写处理、参考译文数量、平滑方法、有效阶数的处理方式,以及软件版本。
有意义的比较要求使用相同的测试数据、参考译文、预处理方式和评分配置。仅标注“BLEU”“分词后的BLEU”或“不区分大小写的BLEU”,可能不足以明确所采用的评估流程。
用途与解读
BLEU通常用于:
- 在固定测试集上比较翻译系统。
- 跟踪模型开发过程中的变化。
- 选择模型检查点或调整系统设置。
- 复现历史翻译基准测试结果。
它在实践中的优点包括速度快、透明,以及不依赖经过训练的评估器。只要评估设置固定,就可以直接检查各项计数和惩罚。
不存在区分翻译好坏的通用分数阈值。分数分布会随语言对、领域、参考译文风格、参考译文数量以及分词与词元化方式而变化。对于固定的候选译文,增加参考译文不会减少截断后的匹配计数,但也可能改变有效参考长度;使用不同参考译文集合得到的分数,不应被视为等同的测量结果。
解读细微差异时,应考虑测试集带来的变异性。统计学方法,包括配对自助重采样,可以帮助判断观察到的差异在重采样条件下是否稳定。统计证据表明存在差异,并不等于这种差异具有实际重要性。
局限性
表层重合不等于意义对等
BLEU并不显式建模语义学层面的信息、事实一致性或翻译对等。它通常只将候选译文与目标语言的参考译文比较,而不考察原文。
一种正确的改述可能因为措辞不同于参考译文而得分较低。反过来,即使输出存在影响重大的错误,例如姓名、数字或否定表达有误,只要词汇重合度较高,也可能获得相当可观的分数。
对语序与结构的处理有限
高阶N元语法能够捕捉局部语序,但BLEU并不直接分析句子结构、长距离依赖关系或篇章连贯性。汇总后的匹配也不一定对应于与某一份参考译文之间连贯一致的对齐关系。
不同的屈折形式和语法结构即使保留了原意,也可能降低重合程度。因此,BLEU对语言形式的敏感方式并不总是与人工判断一致。
依赖参考译文和评估条件
参考译文只是可接受译法的一个例子,并不是对正确性的穷尽定义。参考译文可能偏好特定的词汇、语域或句式。与这些选择相近的系统,可能比采用其他同样可接受表达的系统得分更高。
因此,BLEU分数不适合单独用作跨不相关数据集或语言的绝对质量指标。反复针对同一批评估材料进行优化,也可能促使系统获得仅适用于这些材料的改进,而不是提升一般翻译能力。
无法全面覆盖人工评估标准
人工评估者可能会考虑信息传达的充分性、流畅性、术语、遗漏、篇章一致性,以及个别错误的严重程度。BLEU将表层重合程度和长度压缩为一个数字,并不分别衡量这些维度。
其他指标关注评估的不同方面。chrF使用字符N元语法的精确率和召回率,因此能够反映词语的部分重合。COMET翻译评估指标使用通过训练学习到的表示,并在基于参考译文的版本中利用原文、候选译文和参考译文的信息。这些方法也有各自的依赖条件和局限性;无论是它们还是BLEU,都不能替代细致的人工错误分析。