{
  "id": "mean-reciprocal-rank",
  "title": "平均倒数排名",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "平均倒数排名是一种排序评估指标，计算各查询或评估样例中首个相关结果排名倒数的平均值。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "MRR",
    "平均倒数秩",
    "平均排名倒数"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/mean-reciprocal-rank/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/mean-reciprocal-rank/",
      "json": "https://aiwiki.page/en/mean-reciprocal-rank.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "平均倒数排名（Mean Reciprocal Rank，MRR）是一种评估指标，用于信息检索、推荐系统及其他输出有序候选列表的任务。对于每个查询或评估样例，该指标先取首个相关结果排名的倒数，再对所有样例的这一数值求平均。MRR 对将相关结果排在列表前列的系统给予更高评分，尤其适用于找到一个满意答案比检索出所有相关条目更重要的任务。"
    },
    {
      "heading": "定义",
      "text": "设 \\(Q\\) 为一个非空的评估查询集合。对于每个查询 \\(q\\)，设 \\(r_q\\) 为其首个相关结果的位置，位置从 1 开始计数。该查询的倒数排名为\n\n\\[\\operatorname{RR}(q)= \\begin{cases} \\dfrac{1}{r_q}, & \\text{if a relevant result is retrieved},\\\\[6pt] 0, & \\text{otherwise}. \\end{cases}\\]\n\n平均倒数排名为\n\n\\[\\operatorname{MRR} = \\frac{1}{|Q|} \\sum_{q\\in Q}\\operatorname{RR}(q).\\]\n\n查询可以代表一次搜索请求、一个问题、一种推荐情境，或任何具有有序候选列表且相关性标准明确的其他样例。\n\nMRR 的取值介于 0 和 1 之间。得分为 1 表示每个评估样例的首位结果都相关；得分为 0 表示所有接受评估的列表中都未出现相关结果。在该指标下，得分越高，表现越好。\n\n标准定义对每个查询赋予相同权重，不论其对应的候选结果或相关结果有多少。也可以采用加权变体，但必须明确说明加权方案。"
    },
    {
      "heading": "示例",
      "text": "假设使用四个查询评估一个系统：\n\n查询 | 首个相关结果的位置 | 倒数排名\nA | 1 | \\(1\\)\nB | 2 | \\(1/2\\)\nC | 4 | \\(1/4\\)\nD | 未检索到相关结果 | \\(0\\)\n\n该系统的 MRR 为\n\n\\[\\operatorname{MRR} = \\frac{1+\\frac12+\\frac14+0}{4} = 0.4375.\\]\n\n每个查询的得分仅取决于首个相关结果。如果查询 B 在第 3 位和第 5 位也有相关结果，其倒数排名仍为 \\(1/2\\)。\n\nMRR 不是平均排名的倒数。如果两个查询的首个相关结果分别排在第 1 位和第 3 位，MRR 为\n\n\\[\\frac{1+\\frac13}{2}=\\frac23,\\]\n\n而其平均排名的倒数为\n\n\\[\\frac{1}{(1+3)/2}=\\frac12.\\]\n\n因此，对 MRR 得分取倒数，通常无法得到首个相关结果的平均位置。"
    },
    {
      "heading": "截断：设定截止位置的 MRR",
      "text": "许多评估只考察前 \\(k\\) 个结果。相应的指标通常记为 MRR@\\(k\\)；如果某个查询的首个相关结果排在截止位置之后，该查询的得分就记为零：\n\n\\[\\operatorname{RR}@k(q)= \\begin{cases} \\dfrac{1}{r_q}, & r_q\\leq k,\\\\[6pt] 0, & \\text{otherwise}. \\end{cases}\\]\n\n\\[\\operatorname{MRR}@k = \\frac{1}{|Q|} \\sum_{q\\in Q}\\operatorname{RR}@k(q).\\]\n\n例如，首个相关结果位于第 12 位时，它对 MRR@10 的贡献为零，对 MRR@20 的贡献则为 \\(1/12\\)。\n\n计算平均值时，分母通常包含所有评估查询，包括在所考察的列表前缀中没有相关结果的查询。如果仅对成功检索到相关结果的查询求平均，衡量的就是以成功为条件的表现，可能掩盖检索失败的情况。\n\n在排序列表和相关性判定固定的情况下，MRR@\\(k\\) 不会随着 \\(k\\) 增大而降低。不过，在不同截止位置计算的得分不能直接相互替代。"
    },
    {
      "heading": "解释与数学性质",
      "text": "高度重视靠前的位置\n\n倒数折损在排名靠前的位置下降很快：\n\n首个相关结果的排名 | 得分\n1 | 1.00\n2 | 0.50\n3 | 约 0.33\n5 | 0.20\n10 | 0.10\n\n将首个相关结果从第 \\(r+1\\) 位提升至第 \\(r\\) 位，会使该查询的得分增加\n\n\\[\\frac{1}{r}-\\frac{1}{r+1} = \\frac{1}{r(r+1)}.\\]\n\n因此，从第二位提升至第一位的影响，远大于从第十位提升至第九位。这体现了对尽早找到相关结果的特定偏好；但这种偏好本身并不是经实证确立的用户注意力模型。\n\n倒数效用的期望值\n\n借助期望值的概念，可以将 MRR 理解为某个效用函数的经验平均值：在第 \\(r\\) 位找到首个相关条目时，该函数赋予效用 \\(1/r\\)；未找到时，效用为零。\n\n这一解释并不意味着 MRR 等于用户满意的概率、成功查询的比例，或查看结果数量的期望值。这些量需要采用不同的定义，或引入额外的行为假设。"
    },
    {
      "heading": "应用",
      "text": "MRR 常用于需要将正确或有用的候选结果排在前列的场景。\n\n- 搜索与问答：搜索引擎或问答系统对文档、段落或候选答案进行排序，评估时确定首个可接受的结果。\n- **推荐：**推荐系统针对用户或情境对条目排序，通常将一条留出的交互记录所对应的条目作为目标条目。\n- **知识图谱补全：**对于知识图谱中某个关系缺失的组成部分，系统对可能填入的实体进行排序。\n- **检索增强生成：**在检索增强生成中，MRR 可以评估支持答案的段落出现得有多靠前。它并不直接衡量生成的答案是否正确，或是否有充分依据。\n- **排序模型开发：**MRR 可用于比较采用学习排序方法训练的系统，或采用不同检索与重排序架构的系统。\n\n在机器学习中，MRR 通常是评估指标，而不是可直接求导的损失函数。当候选结果的分数顺序发生交换时，排名位置会离散变化，因此训练时通常使用替代目标。"
    },
    {
      "heading": "与其他排序指标的关系",
      "text": "命中率与截止位置内的成功率\n\n前 \\(k\\) 位的命中率在某些检索场景中也称为 success@\\(k\\)，记录前 \\(k\\) 个位置中是否至少出现一个相关结果。它对在第 1 位和第 \\(k\\) 位找到相关结果给予相同评分，而 MRR@\\(k\\) 会区分这两种情况。\n\n当 \\(k\\geq1\\) 时，\n\n\\[\\frac{\\operatorname{HitRate}@k}{k} \\leq \\operatorname{MRR}@k \\leq \\operatorname{HitRate}@k.\\]\n\n当 \\(k=1\\) 时，MRR@1 与命中率@1 相同。\n\n平均精度\n\n平均精度考虑整个排序中的相关结果，而倒数排名只考虑首个相关结果。因此，在检索多个相关条目很重要时，对各查询的平均精度再求平均所得的平均精度均值（MAP）能提供更多信息。\n\n如果每个查询恰好只有一个相关条目，那么只要评估约定和截断处理方式相同，平均精度就等于倒数排名。\n\n归一化折损累计增益\n\n归一化折损累计增益（NDCG）可以纳入分级相关性，并对多个位置上的相关条目给予得分。标准 MRR 仅对结果作相关与不相关的二元区分，并忽略首个相关结果之后的所有相关结果。\n\n平均排名\n\n平均排名直接对排名位置求平均，可能受到极差排名的强烈影响。MRR 将每个查询对总分的贡献限制在 0 到 1 之间，并着重衡量能否在靠前的位置找到相关结果。这两种指标体现了不同的偏好，因此可能对不同系统给出相反的优劣判断。"
    },
    {
      "heading": "评估选择与局限性",
      "text": "相关性判定\n\nMRR 取决于如何界定相关性。包含匹配词语的段落不一定是可接受的答案，而没有观测到交互的条目也不一定不相关。\n\n如果将未经判定的结果视为不相关，不完整的相关性判定就可能使得分失真。对于集合中不存在相关条目的查询，也需要明确处理规则：纳入这些查询会计入零分，排除它们则会改变评估所针对的总体。\n\n候选集与负采样\n\n将目标条目与少量采样得到的其他候选项一起排序，与将其放在整个集合中排序，是不同的任务。基于采样的评估可能得出差异很大的分数，尤其是在遗漏难以区分的候选项时。要进行比较，候选池和采样流程必须具有可比性。\n\n在知识图谱补全中，过滤评估通常会在测量目标排名之前，移除其他已知正确的候选项。因此，原始 MRR 与过滤 MRR 回答的是不同的评估问题。\n\n并列\n\n当候选结果得分相同时，必须说明并列处理规则。确定性排序、随机排序和采用平均排名的约定，可能产生不同的倒数排名。\n\n平均排名的倒数，通常不等于随机打破并列时倒数排名的期望值。对于一个在第 1 位和第 2 位之间并列的相关条目，这两个值分别为 \\(2/3\\) 和 \\(3/4\\)。\n\n对排序质量的覆盖有限\n\n两个系统可能具有相同的 MRR，即使其中一个检索出了许多额外的相关结果，而另一个在首个相关结果之后再无相关结果。MRR 不衡量结果多样性、首次命中之后的相关性、响应延迟或下游答案质量。\n\n因此，当尽早找到一个相关结果与任务目标高度一致时，MRR 最具参考价值。\n\n统计与实验可比性\n\nMRR 是对评估样本求得的平均值，因此，微小的分数差异不一定代表可靠的性能差异。查询层面的配对比较和置信区间有助于刻画不确定性。\n\n评估用的测试集应与模型选择和调优过程保持隔离。数据泄漏（机器学习）可能使报告的性能虚高，而分布偏移可能使测得的 MRR 无法代表部署条件下的表现。有意义的评估报告应说明截止位置、相关性定义、候选池、并列处理规则，以及对失败或无法作答样例的处理方式。"
    }
  ],
  "links": [
    "information-retrieval",
    "recommender-system",
    "expected-value",
    "search-engine",
    "knowledge-graph",
    "retrieval-augmented-generation",
    "learning-to-rank",
    "machine-learning",
    "loss-function",
    "average-precision",
    "normalized-discounted-cumulative-gain",
    "confidence-interval",
    "test-set",
    "data-leakage",
    "distribution-shift"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}