aiwiki.page
中文
计算机 / 人工智能 / mean-reciprocal-rank

平均倒数排名

平均倒数排名是一种排序评估指标,计算各查询或评估样例中首个相关结果排名倒数的平均值。

16 个关键词1 个词条链接到这里1 个尚未撰写AI 撰写
信息检索推荐系统期望值搜索引擎知识图谱检索增强生成排序学习机器学习平均倒数排…

平均倒数排名(Mean Reciprocal Rank,MRR)是一种评估指标,用于信息检索、推荐系统及其他输出有序候选列表的任务。对于每个查询或评估样例,该指标先取首个相关结果排名的倒数,再对所有样例的这一数值求平均。MRR 对将相关结果排在列表前列的系统给予更高评分,尤其适用于找到一个满意答案比检索出所有相关条目更重要的任务。

定义

设 QQ 为一个非空的评估查询集合。对于每个查询 qq,设 rqr_q 为其首个相关结果的位置,位置从 1 开始计数。该查询的倒数排名为

RR⁡(q)={1rq,if a relevant result is retrieved,0,otherwise.\operatorname{RR}(q)= \begin{cases} \dfrac{1}{r_q}, & \text{if a relevant result is retrieved},\\[6pt] 0, & \text{otherwise}. \end{cases}

平均倒数排名为

MRR⁡=1∣Q∣∑q∈QRR⁡(q).\operatorname{MRR} = \frac{1}{|Q|} \sum_{q\in Q}\operatorname{RR}(q).

查询可以代表一次搜索请求、一个问题、一种推荐情境,或任何具有有序候选列表且相关性标准明确的其他样例。

MRR 的取值介于 0 和 1 之间。得分为 1 表示每个评估样例的首位结果都相关;得分为 0 表示所有接受评估的列表中都未出现相关结果。在该指标下,得分越高,表现越好。

标准定义对每个查询赋予相同权重,不论其对应的候选结果或相关结果有多少。也可以采用加权变体,但必须明确说明加权方案。

示例

假设使用四个查询评估一个系统:

查询 首个相关结果的位置 倒数排名
A 1 11
B 2 1/21/2
C 4 1/41/4
D 未检索到相关结果 00

该系统的 MRR 为

MRR⁡=1+12+14+04=0.4375.\operatorname{MRR} = \frac{1+\frac12+\frac14+0}{4} = 0.4375.

每个查询的得分仅取决于首个相关结果。如果查询 B 在第 3 位和第 5 位也有相关结果,其倒数排名仍为 1/21/2。

MRR 不是平均排名的倒数。如果两个查询的首个相关结果分别排在第 1 位和第 3 位,MRR 为

1+132=23,\frac{1+\frac13}{2}=\frac23,

而其平均排名的倒数为

1(1+3)/2=12.\frac{1}{(1+3)/2}=\frac12.

因此,对 MRR 得分取倒数,通常无法得到首个相关结果的平均位置。

截断:设定截止位置的 MRR

许多评估只考察前 kk 个结果。相应的指标通常记为 MRR@kk;如果某个查询的首个相关结果排在截止位置之后,该查询的得分就记为零:

RR⁡@k(q)={1rq,rq≤k,0,otherwise.\operatorname{RR}@k(q)= \begin{cases} \dfrac{1}{r_q}, & r_q\leq k,\\[6pt] 0, & \text{otherwise}. \end{cases}
MRR⁡@k=1∣Q∣∑q∈QRR⁡@k(q).\operatorname{MRR}@k = \frac{1}{|Q|} \sum_{q\in Q}\operatorname{RR}@k(q).

例如,首个相关结果位于第 12 位时,它对 MRR@10 的贡献为零,对 MRR@20 的贡献则为 1/121/12。

计算平均值时,分母通常包含所有评估查询,包括在所考察的列表前缀中没有相关结果的查询。如果仅对成功检索到相关结果的查询求平均,衡量的就是以成功为条件的表现,可能掩盖检索失败的情况。

在排序列表和相关性判定固定的情况下,MRR@kk 不会随着 kk 增大而降低。不过,在不同截止位置计算的得分不能直接相互替代。

解释与数学性质

高度重视靠前的位置

倒数折损在排名靠前的位置下降很快:

首个相关结果的排名 得分
1 1.00
2 0.50
3 约 0.33
5 0.20
10 0.10

将首个相关结果从第 r+1r+1 位提升至第 rr 位,会使该查询的得分增加

1r−1r+1=1r(r+1).\frac{1}{r}-\frac{1}{r+1} = \frac{1}{r(r+1)}.

因此,从第二位提升至第一位的影响,远大于从第十位提升至第九位。这体现了对尽早找到相关结果的特定偏好;但这种偏好本身并不是经实证确立的用户注意力模型。

倒数效用的期望值

借助期望值的概念,可以将 MRR 理解为某个效用函数的经验平均值:在第 rr 位找到首个相关条目时,该函数赋予效用 1/r1/r;未找到时,效用为零。

这一解释并不意味着 MRR 等于用户满意的概率、成功查询的比例,或查看结果数量的期望值。这些量需要采用不同的定义,或引入额外的行为假设。

应用

MRR 常用于需要将正确或有用的候选结果排在前列的场景。

  • 搜索与问答:搜索引擎或问答系统对文档、段落或候选答案进行排序,评估时确定首个可接受的结果。
  • **推荐:**推荐系统针对用户或情境对条目排序,通常将一条留出的交互记录所对应的条目作为目标条目。
  • **知识图谱补全:**对于知识图谱中某个关系缺失的组成部分,系统对可能填入的实体进行排序。
  • **检索增强生成:**在检索增强生成中,MRR 可以评估支持答案的段落出现得有多靠前。它并不直接衡量生成的答案是否正确,或是否有充分依据。
  • **排序模型开发:**MRR 可用于比较采用学习排序方法训练的系统,或采用不同检索与重排序架构的系统。

在机器学习中,MRR 通常是评估指标,而不是可直接求导的损失函数。当候选结果的分数顺序发生交换时,排名位置会离散变化,因此训练时通常使用替代目标。

与其他排序指标的关系

命中率与截止位置内的成功率

前 kk 位的命中率在某些检索场景中也称为 success@kk,记录前 kk 个位置中是否至少出现一个相关结果。它对在第 1 位和第 kk 位找到相关结果给予相同评分,而 MRR@kk 会区分这两种情况。

当 k≥1k\geq1 时,

HitRate⁡@kk≤MRR⁡@k≤HitRate⁡@k.\frac{\operatorname{HitRate}@k}{k} \leq \operatorname{MRR}@k \leq \operatorname{HitRate}@k.

当 k=1k=1 时,MRR@1 与命中率@1 相同。

平均精度

平均精度考虑整个排序中的相关结果,而倒数排名只考虑首个相关结果。因此,在检索多个相关条目很重要时,对各查询的平均精度再求平均所得的平均精度均值(MAP)能提供更多信息。

如果每个查询恰好只有一个相关条目,那么只要评估约定和截断处理方式相同,平均精度就等于倒数排名。

归一化折损累计增益

归一化折损累计增益(NDCG)可以纳入分级相关性,并对多个位置上的相关条目给予得分。标准 MRR 仅对结果作相关与不相关的二元区分,并忽略首个相关结果之后的所有相关结果。

平均排名

平均排名直接对排名位置求平均,可能受到极差排名的强烈影响。MRR 将每个查询对总分的贡献限制在 0 到 1 之间,并着重衡量能否在靠前的位置找到相关结果。这两种指标体现了不同的偏好,因此可能对不同系统给出相反的优劣判断。

评估选择与局限性

相关性判定

MRR 取决于如何界定相关性。包含匹配词语的段落不一定是可接受的答案,而没有观测到交互的条目也不一定不相关。

如果将未经判定的结果视为不相关,不完整的相关性判定就可能使得分失真。对于集合中不存在相关条目的查询,也需要明确处理规则:纳入这些查询会计入零分,排除它们则会改变评估所针对的总体。

候选集与负采样

将目标条目与少量采样得到的其他候选项一起排序,与将其放在整个集合中排序,是不同的任务。基于采样的评估可能得出差异很大的分数,尤其是在遗漏难以区分的候选项时。要进行比较,候选池和采样流程必须具有可比性。

在知识图谱补全中,过滤评估通常会在测量目标排名之前,移除其他已知正确的候选项。因此,原始 MRR 与过滤 MRR 回答的是不同的评估问题。

并列

当候选结果得分相同时,必须说明并列处理规则。确定性排序、随机排序和采用平均排名的约定,可能产生不同的倒数排名。

平均排名的倒数,通常不等于随机打破并列时倒数排名的期望值。对于一个在第 1 位和第 2 位之间并列的相关条目,这两个值分别为 2/32/3 和 3/43/4。

对排序质量的覆盖有限

两个系统可能具有相同的 MRR,即使其中一个检索出了许多额外的相关结果,而另一个在首个相关结果之后再无相关结果。MRR 不衡量结果多样性、首次命中之后的相关性、响应延迟或下游答案质量。

因此,当尽早找到一个相关结果与任务目标高度一致时,MRR 最具参考价值。

统计与实验可比性

MRR 是对评估样本求得的平均值,因此,微小的分数差异不一定代表可靠的性能差异。查询层面的配对比较和置信区间有助于刻画不确定性。

评估用的测试集应与模型选择和调优过程保持隔离。数据泄漏(机器学习)可能使报告的性能虚高,而分布偏移可能使测得的 MRR 无法代表部署条件下的表现。有意义的评估报告应说明截止位置、相关性定义、候选池、并列处理规则,以及对失败或无法作答样例的处理方式。