平均倒数排名(Mean Reciprocal Rank,MRR)是一种评估指标,用于信息检索、推荐系统及其他输出有序候选列表的任务。对于每个查询或评估样例,该指标先取首个相关结果排名的倒数,再对所有样例的这一数值求平均。MRR 对将相关结果排在列表前列的系统给予更高评分,尤其适用于找到一个满意答案比检索出所有相关条目更重要的任务。
定义
设 为一个非空的评估查询集合。对于每个查询 ,设 为其首个相关结果的位置,位置从 1 开始计数。该查询的倒数排名为
平均倒数排名为
查询可以代表一次搜索请求、一个问题、一种推荐情境,或任何具有有序候选列表且相关性标准明确的其他样例。
MRR 的取值介于 0 和 1 之间。得分为 1 表示每个评估样例的首位结果都相关;得分为 0 表示所有接受评估的列表中都未出现相关结果。在该指标下,得分越高,表现越好。
标准定义对每个查询赋予相同权重,不论其对应的候选结果或相关结果有多少。也可以采用加权变体,但必须明确说明加权方案。
示例
假设使用四个查询评估一个系统:
| 查询 | 首个相关结果的位置 | 倒数排名 |
|---|---|---|
| A | 1 | |
| B | 2 | |
| C | 4 | |
| D | 未检索到相关结果 |
该系统的 MRR 为
每个查询的得分仅取决于首个相关结果。如果查询 B 在第 3 位和第 5 位也有相关结果,其倒数排名仍为 。
MRR 不是平均排名的倒数。如果两个查询的首个相关结果分别排在第 1 位和第 3 位,MRR 为
而其平均排名的倒数为
因此,对 MRR 得分取倒数,通常无法得到首个相关结果的平均位置。
截断:设定截止位置的 MRR
许多评估只考察前 个结果。相应的指标通常记为 MRR@;如果某个查询的首个相关结果排在截止位置之后,该查询的得分就记为零:
例如,首个相关结果位于第 12 位时,它对 MRR@10 的贡献为零,对 MRR@20 的贡献则为 。
计算平均值时,分母通常包含所有评估查询,包括在所考察的列表前缀中没有相关结果的查询。如果仅对成功检索到相关结果的查询求平均,衡量的就是以成功为条件的表现,可能掩盖检索失败的情况。
在排序列表和相关性判定固定的情况下,MRR@ 不会随着 增大而降低。不过,在不同截止位置计算的得分不能直接相互替代。
解释与数学性质
高度重视靠前的位置
倒数折损在排名靠前的位置下降很快:
| 首个相关结果的排名 | 得分 |
|---|---|
| 1 | 1.00 |
| 2 | 0.50 |
| 3 | 约 0.33 |
| 5 | 0.20 |
| 10 | 0.10 |
将首个相关结果从第 位提升至第 位,会使该查询的得分增加
因此,从第二位提升至第一位的影响,远大于从第十位提升至第九位。这体现了对尽早找到相关结果的特定偏好;但这种偏好本身并不是经实证确立的用户注意力模型。
倒数效用的期望值
借助期望值的概念,可以将 MRR 理解为某个效用函数的经验平均值:在第 位找到首个相关条目时,该函数赋予效用 ;未找到时,效用为零。
这一解释并不意味着 MRR 等于用户满意的概率、成功查询的比例,或查看结果数量的期望值。这些量需要采用不同的定义,或引入额外的行为假设。
应用
MRR 常用于需要将正确或有用的候选结果排在前列的场景。
- 搜索与问答:搜索引擎或问答系统对文档、段落或候选答案进行排序,评估时确定首个可接受的结果。
- **推荐:**推荐系统针对用户或情境对条目排序,通常将一条留出的交互记录所对应的条目作为目标条目。
- **知识图谱补全:**对于知识图谱中某个关系缺失的组成部分,系统对可能填入的实体进行排序。
- **检索增强生成:**在检索增强生成中,MRR 可以评估支持答案的段落出现得有多靠前。它并不直接衡量生成的答案是否正确,或是否有充分依据。
- **排序模型开发:**MRR 可用于比较采用学习排序方法训练的系统,或采用不同检索与重排序架构的系统。
在机器学习中,MRR 通常是评估指标,而不是可直接求导的损失函数。当候选结果的分数顺序发生交换时,排名位置会离散变化,因此训练时通常使用替代目标。
与其他排序指标的关系
命中率与截止位置内的成功率
前 位的命中率在某些检索场景中也称为 success@,记录前 个位置中是否至少出现一个相关结果。它对在第 1 位和第 位找到相关结果给予相同评分,而 MRR@ 会区分这两种情况。
当 时,
当 时,MRR@1 与命中率@1 相同。
平均精度
平均精度考虑整个排序中的相关结果,而倒数排名只考虑首个相关结果。因此,在检索多个相关条目很重要时,对各查询的平均精度再求平均所得的平均精度均值(MAP)能提供更多信息。
如果每个查询恰好只有一个相关条目,那么只要评估约定和截断处理方式相同,平均精度就等于倒数排名。
归一化折损累计增益
归一化折损累计增益(NDCG)可以纳入分级相关性,并对多个位置上的相关条目给予得分。标准 MRR 仅对结果作相关与不相关的二元区分,并忽略首个相关结果之后的所有相关结果。
平均排名
平均排名直接对排名位置求平均,可能受到极差排名的强烈影响。MRR 将每个查询对总分的贡献限制在 0 到 1 之间,并着重衡量能否在靠前的位置找到相关结果。这两种指标体现了不同的偏好,因此可能对不同系统给出相反的优劣判断。
评估选择与局限性
相关性判定
MRR 取决于如何界定相关性。包含匹配词语的段落不一定是可接受的答案,而没有观测到交互的条目也不一定不相关。
如果将未经判定的结果视为不相关,不完整的相关性判定就可能使得分失真。对于集合中不存在相关条目的查询,也需要明确处理规则:纳入这些查询会计入零分,排除它们则会改变评估所针对的总体。
候选集与负采样
将目标条目与少量采样得到的其他候选项一起排序,与将其放在整个集合中排序,是不同的任务。基于采样的评估可能得出差异很大的分数,尤其是在遗漏难以区分的候选项时。要进行比较,候选池和采样流程必须具有可比性。
在知识图谱补全中,过滤评估通常会在测量目标排名之前,移除其他已知正确的候选项。因此,原始 MRR 与过滤 MRR 回答的是不同的评估问题。
并列
当候选结果得分相同时,必须说明并列处理规则。确定性排序、随机排序和采用平均排名的约定,可能产生不同的倒数排名。
平均排名的倒数,通常不等于随机打破并列时倒数排名的期望值。对于一个在第 1 位和第 2 位之间并列的相关条目,这两个值分别为 和 。
对排序质量的覆盖有限
两个系统可能具有相同的 MRR,即使其中一个检索出了许多额外的相关结果,而另一个在首个相关结果之后再无相关结果。MRR 不衡量结果多样性、首次命中之后的相关性、响应延迟或下游答案质量。
因此,当尽早找到一个相关结果与任务目标高度一致时,MRR 最具参考价值。
统计与实验可比性
MRR 是对评估样本求得的平均值,因此,微小的分数差异不一定代表可靠的性能差异。查询层面的配对比较和置信区间有助于刻画不确定性。
评估用的测试集应与模型选择和调优过程保持隔离。数据泄漏(机器学习)可能使报告的性能虚高,而分布偏移可能使测得的 MRR 无法代表部署条件下的表现。有意义的评估报告应说明截止位置、相关性定义、候选池、并列处理规则,以及对失败或无法作答样例的处理方式。