BM25 是信息检索中用于根据文本查询为文档评分的排序模型。它结合了三种主要信号:查询词项是否出现在文档中、这些词项在整个文档集合中有多稀有,以及相对于文档长度而言,它们的出现频率有多高。BM25 是一种词汇匹配模型:它主要匹配索引中的词项,而不是直接表示词项的含义。它广泛应用于搜索引擎,也常作为更复杂检索系统的基线模型或组成部分。
起源与理论基础
BM25 源于概率检索研究和 Okapi 信息检索系统。其名称展开为 Best Matching 25(最佳匹配 25);其中的数字标识一组实验性评分函数中的一个成员,并非参数,也不是文档数量上限。它的现代形式形成于 20 世纪 90 年代,主要来自斯蒂芬·罗伯逊、史蒂夫·沃克及其合作者的研究。
概率检索方法根据文档与查询相关的证据对文档排序。其理论基础包括概率排序原理:在适当假设下,按相关概率从高到低排列文档,可以使检索效果最优。
BM25 借鉴了一类模型,它们区分词项的出现是承载信息的,还是偶然的。其实际公式包含近似处理和建模选择,而非计算精确的相关概率。因此,BM25 分数是用于排序的数值,并不是经过校准的文档相关概率。
与许多机器学习排序模型不同,基础 BM25 无需带标注的查询—文档样本即可运行。它使用文档集合的统计信息和少量可调参数,不过也可以利用相关性标注来调节这些参数。
评分公式
BM25 的一种常见形式按如下方式计算文档 对查询 的得分:
其中:
- 是查询中不重复词项的集合。
- 是词项 在文档 中的出现次数。
- 是文档长度,通常以建立索引的词元数量衡量。
- 是文档集合中的平均文档长度。
- 是逆文档频率权重。
- 控制词频饱和程度。
- 控制文档长度归一化程度。
这是广泛使用的一种形式,而非所有实现都必须遵循的统一规范。不同系统在逆文档频率公式、重复查询词项的处理方式、长度统计以及数值近似方法上可能存在差异。
逆文档频率
逆文档频率会为出现在较少文档中的词项赋予更高权重。在缺乏明确相关性信息时,传统 BM25 使用的一种权重为:
其中, 是文档总数, 是包含 的文档数量。式中的 用于平滑估计值并避免除以零。
当一个词项出现在超过半数的文档中时,该表达式的值会变为负数。有些实现保留这一行为,另一些则会修改权重。一种常见的非负替代形式是:
这些不同形式可能产生不同的排序结果,尤其是当查询包含非常常见的词项时。
词频饱和
查询词项的重复出现可以提供更多相关性证据,但 BM25 赋予这些重复出现的边际收益会逐渐递减。定义:
则词频分量为:
在文档长度固定时,随着词频增加,这一分量趋近于 。因此,出现十次通常不会产生出现一次时十倍的贡献。
对于长度等于平均长度的文档,。当 时,出现一次对应的词频分量为 ,出现两次约为 ,出现十次约为 。
较大的 值通常使重复出现在达到饱和之前产生更强的影响。当 趋近于零时,假设其他因子仍有明确定义,已出现词项的贡献会趋近于仅表示出现与否的二值信号。
文档长度归一化
长文档仅仅因为文本更多,就有更多机会包含查询词项。BM25 使用比值 来调整词频。
参数 通常取 到 之间的值,用于控制这种调整:
- **:**文档长度不产生影响。
- **:**归一化因子随相对文档长度成比例变化。
- **中间值:**进行部分归一化。
在词频相同且逆文档频率权重为正的情况下,当 时,较长文档获得的分数贡献小于较短文档。这并不意味着长文档的排名总是更低:它们可能匹配更多查询词项,或包含更强的词频证据。
长度归一化体现了对文档为何较长的两种解释之间的折中。长文档可能以更冗长的方式反复讨论同一主题,也可能涵盖更广泛的主题。单个参数无法充分区分这两种情况。
查询词频
有些公式包含查询词频因子:
其中, 是该词项在查询中的出现频率, 控制查询端的饱和程度。许多实际实现会省略这一因子,尤其是在处理短查询时。另一些实现则通过查询处理逻辑计入重复的查询词项,因此不同系统处理重复词项的方式并不相同。
文本表示与实现
BM25 通常采用词袋模型表示文本。它记录词项的出现情况,但本身并不对词序、句法或词项之间的距离建模。因此,“狗咬人”和“人咬狗”这两个查询具有相同的基本词项表示,除非使用额外的查询特征来区分它们。
文本预处理决定了什么算作一个词项。分词与词元化、大小写归一化、词干提取、停用词处理以及针对特定语言的切分,都可能显著改变检索结果。必须以相互兼容的方式分析查询文本和文档文本,才能使其中的词项匹配。
为提高检索效率,BM25 通常基于倒排索引实现。倒排索引将每个词项映射到包含它的文档,并存储词频等信息。文档长度和整个文档集合的统计信息则单独维护。
查询时,系统访问查询词项的倒排记录,累加文档分数,并返回得分最高的结果。经过优化的 top- 算法可以跳过那些不可能影响当前结果集的倒排记录或数据块。因此,效率不仅取决于公式,还取决于索引组织方式、查询结构和执行算法。
BM25 本身并不规定布尔过滤、短语约束、访问权限,也不决定哪些文档有资格参与评分。这些通常由搜索系统中的其他组件处理。
参数选择与评估
常见的初始设置是将 取为 至 左右,并将 设为 ,但没有任何设置在所有场景下都是最优的。合适的取值取决于文档长度、查询风格、语言、预处理方式以及所采用的相关性判定标准。
这些参数属于超参数:它们控制评分行为,而不是直接由每篇文档的词项计数计算得出。可以利用相关性标注以及平均精确率均值、归一化折损累计增益或指定截断位置的召回率等检索指标来选择参数。验证集用于参数选择,独立的测试集则用于最终评估。
一般不应使用统一的相关性阈值来解释 BM25 分数。分数的尺度取决于查询词项、文档集合统计信息和具体实现。一个查询下的 分,并不一定比另一个查询下的 分代表更强的相关性证据。
文档集合的变化也可能改变分数。即使已有文档的文本保持不变,新增文档也可能同时改变逆文档频率和平均长度。在分布式系统中,使用分片局部统计信息可能得到与使用整个文档集合统计信息不同的分数。
变体与扩展
BM25F
BM25F 将 BM25 扩展到具有标题、正文和锚文本等字段的结构化文档。不同字段可以采用不同的权重和长度归一化设置。
在一种常见形式中,先合并经过字段长度归一化的词频,再应用词频饱和函数。这不同于为每个字段独立计算 BM25 分数后直接相加:在何处应用饱和函数会影响结果。
BM25+ 与 BM25L
BM25+ 和 BM25L 对 BM25 的词频和长度归一化机制做了部分修改,尤其针对长文档。BM25+ 对匹配词项的分数贡献引入了下界调整,而 BM25L 则调整了归一化词频的计算方式。
这些变体针对原始评分形式的特定不足作出改进,但它们的相对效果取决于文档集合和评估设置。
查询扩展与额外排序信号
BM25 可以与查询扩展结合,通过添加相关词项或重新调整已有词项的权重来扩展查询。扩展词项可能来自词典、用户反馈或初步检索得到的文档。由于扩展可能引入无关词项,它也可能使检索偏离查询的原本意图。
生产系统可能在 BM25 之外,补充短语匹配、文档时效性、字段加权、网页排名算法等基于链接的信号,或通过学习得到的排序特征。这些附加内容并不属于基础 BM25 公式。
与其他检索方法的关系
TF–IDF
BM25 和词频—逆文档频率都将词频与词项稀有程度相结合。TF–IDF 指的是一大类加权方案,而非一个固定的排序函数。BM25 则规定了一种具体的饱和型词频函数和文档长度调整方式。
这使 BM25 区别于常见的、使用余弦相似度对文档排序的 TF–IDF 向量模型,不过这两类方法都各有多种实现。
稠密检索与神经检索
稠密检索使用学习得到的向量表示查询和文档,这些向量通常由基于 Transformer架构的模型生成。即使没有精确的词项重合,这类系统也能检索出语义相关的文本。相比之下,BM25 主要依赖词汇匹配和文档集合统计信息。
对于辨识度高的名称、标识符和专业术语,只要这些字符串得到了恰当的索引,BM25 就可能有很好的效果。稠密检索可以缓解词汇不匹配问题,但也可能无法保留精确词汇匹配所能捕捉的区别。两种方法都不是在所有情况下更优。
混合系统将词汇检索与稠密检索结合起来,例如合并排序列表或组合归一化后的分数。另一种常见架构先使用 BM25 检索候选结果,再应用计算成本更高的神经模型进行重排序。
应用与局限
BM25 用于文档搜索、企业搜索、数字图书馆、法律与科学文献检索,以及对经过适当索引的源代码集合进行搜索。它也用于检索增强生成,为大语言模型提供文本段落。在这种场景中,BM25 检索的是可能相关的材料;它并不能证明材料真实,也不能证明生成的论断有依据。
其主要局限源于文本表示方式和模型假设:
- **词汇不匹配:**相关文档可能使用同义词、改述、缩写或另一种语言,而不包含查询词项。
- **上下文理解有限:**基础模型无法辨析词义、否定、句法或实体间的关系。
- **词项贡献可加:**查询词项基本上是独立评分的,因此即便所有词项都匹配但相互关系错误,仍可能得到高分。
- **长度调整不完善:**同一种归一化规则未必能同样适用于短段落、长报告、表格和混合格式文档。
- **依赖预处理:**词元边界、词干提取以及符号或标识符的处理方式,都可能决定是否能够匹配。
- **不具备内在的事实评估能力:**词汇相关性并不衡量正确性、权威性或完整性。
这些局限推动了能够考虑短语的检索方法、结构化字段模型、语义检索和多阶段排序系统的发展;与此同时,BM25 作为高效且可解释的词汇排序组件,仍然具有实用价值。