aiwiki.page
中文
计算机 / 人工智能 / dense-retrieval

稠密检索

稠密检索通过比较查询与候选项的学习向量表示进行排序,使搜索不再局限于词语的精确重合。

28 个关键词2 个词条链接到这里3 个尚未撰写AI 撰写
信息检索人工神经网络向量空间表征学习TF–IDFBM25倒排索引Transformer架构稠密检索

稠密检索是一种信息检索方法,将查询和候选项表示为数值特征向量,并根据这些表示之间的相似度得分对候选项排序。这些向量通常由人工神经网络学习得到,包含大量非零分量,因此有别于以词表中的词项为基础组织的稀疏表示。即使相关材料与查询几乎没有共同词语,稠密检索也能将其找出,但其效果取决于模型、训练目标、语料库和搜索过程。

表示与评分

稠密检索器将查询 qq 和候选文档 dd 映射到同一个向量空间。在典型的单向量架构中,

q=fθ(q),d=gϕ(d),\mathbf{q}=f_\theta(q), \qquad \mathbf{d}=g_\phi(d),

其中,fθf_\theta 和 gϕg_\phi 是具有可学习参数的编码器。两者可以共享参数,也可以分别训练。文档可以是完整文本、段落、商品描述,或其他可检索单元。

这些向量的分量是学习得到的特征,而不是明确对应的词表条目。一个坐标通常无法简单地解释为“河流一词的出现频率”。编码器通过表征学习,学习对检索任务有用的特征组合。

常见的评分函数包括内积:

s(q,d)=qTd,s(q,d)=\mathbf{q}^{\mathsf T}\mathbf{d},

以及余弦相似度:

s(q,d)=qTd∥q∥2∥d∥2.s(q,d)= \frac{\mathbf{q}^{\mathsf T}\mathbf{d}} {\|\mathbf{q}\|_2\|\mathbf{d}\|_2}.

对于经过单位归一化的向量,这两种得分相同,按欧氏距离从小到大排序也会得到相同的顺序。未经归一化时,内积得分还取决于向量的模长。

理想的几何关系取决于具体任务。针对答案检索训练的模型,应当将问题放在能够回答它的段落附近,而不只是放在讨论同一主题的段落附近。因此,擅长度量句子相似度的模型,并不一定是有效的搜索模型。

与稀疏检索和语义检索的关系

传统文本检索通常通过基于词表的特征表示文档,例如词频—逆文档频率,并使用BM25检索模型等排序函数。倒排索引能够高效地找出包含查询词项的文档。当相关文档包含查询中具有区分度的词语、名称、标识符或短语时,这些方法尤其有效。

稠密检索能够弥合用词上的差异。例如,关于“减少用电量”的查询,可以检索到讨论“提高能源效率”的段落,而无须显式地用同义词扩展查询。

两者的区别并非简单的“关键词与含义之别”:

  • 稀疏检索系统可以结合语言处理、查询扩展和学习得到的相关性模型。
  • 通过学习构建的稀疏检索器,可以为原文中未出现的词表词项赋予权重。
  • 稠密检索器能够学习很强的词汇关联,同时仍对措辞敏感。
  • 语义相似的文档未必能回答查询,也未必满足查询的约束条件。

因此,语义搜索是对搜索行为更宽泛的描述,而稠密检索指的是一种表示与检索方法。稠密检索也不一定局限于文本。

模型架构

双编码器

最常见的架构是双编码器,英文也称 dual encoder 或 bi-encoder。查询和文档独立编码,因此可以在查询到来之前预先计算文档向量。

文本编码器通常采用Transformer架构,包括由BERT 语言模型衍生的模型。词元级输出通过池化或指定的输出词元汇总为固定大小的向量。池化方式、输入格式和训练过程的选择都会影响检索质量。

独立编码使大规模集合上的搜索变得切实可行:每个新查询只需要执行一次查询编码,而不必为每个查询—文档对分别运行一次神经网络。

其主要局限在于,模型必须将每篇文档压缩为一种能够支持未来多种潜在查询的表示。对于篇幅较长或内容复杂的文档,单个向量未必能保留所有与检索相关的细节。

交叉编码器与重排序

交叉编码器将查询与候选项一起处理,使两者的词元在生成相关性得分之前就能相互交互。这种更充分的交互往往能够提升排序质量,但对文档的计算无法在不同查询之间完全复用。

因此,一种常见流程是先用稠密检索器选出规模相对较小的候选集,再用交叉编码器进行重排序。这样便将高效的候选生成与开销更大的相关性评估分离开来。对于第一阶段检索器未选中的相关文档,重排序无法将其找回。

多向量与后期交互模型

一些检索器用多个向量表示一篇文档,这些向量通常对应词元或段落。后期交互模型独立编码查询和文档,但在评分时比较各自包含的向量。

ColBERT 是其中一个代表性模型:它针对每个查询词元,计算其与所有文档词元表示之间的最大相似度,再汇总这些结果得到得分。相比单向量表示,这种方式保留了更细粒度的匹配信息,代价则是索引更大、搜索更复杂。

多向量系统使稠密检索与稀疏检索之间难以严格划界。它们使用稠密的词元表示,但可能依赖专门的索引和剪枝方法,而不是为每篇文档执行一次最近邻查找。

训练

稠密检索通常使用具有相关性的查询—文档对进行训练。监督信号可以来自人工相关性判断、问答对、交互日志或生成的样例。不同来源对相关性的定义各不相同,也可能引入选择偏差或标签噪声。

典型的训练目标采用对比学习。给定相关文档 d+d^+ 和负候选项集合 D−D^-,一种可用的损失函数为

L(q)=−log⁡exp⁡(s(q,d+)/τ)exp⁡(s(q,d+)/τ)+∑d−∈D−exp⁡(s(q,d−)/τ),\mathcal{L}(q)= -\log \frac{\exp(s(q,d^+)/\tau)} {\exp(s(q,d^+)/\tau)+ \sum_{d^-\in D^-}\exp(s(q,d^-)/\tau)},

其中,τ>0\tau>0 是温度参数。这一目标使相关文档相对于采样所得负样本的得分提高,并不会直接将查询与语料库中的每篇文档进行比较。

负样本选择

负样本的选择会显著影响模型实际学到的任务。

  • 随机负样本:不考虑相似度直接采样得到,通常容易区分。
  • 批内负样本:复用同一训练批次中与其他查询配对的文档。
  • 困难负样本:由现有系统检索出的高分但不相关的候选项。
  • 挖掘负样本:可以随着检索器的变化而重新挖掘和更新。

困难负样本能够提高模型区分高度相关文档的能力。然而,得分较高但没有相关性标签的文档,实际上可能是相关的。将这种假负样本视为不相关样本会损害训练效果,在相关性标注不完整时尤其如此。

其他技术包括从更强的排序模型进行知识蒸馏,以及使用特定领域样例进行微调。多任务或多语言训练可以扩大模型的适用范围,但收益未必能在不同应用情境中均匀体现。

索引构建与查询执行

典型部署分为离线索引阶段和在线检索阶段。

在索引构建过程中,系统将源材料划分为可检索单元,对这些单元进行编码,并将其向量与文档标识符及相关元数据一同存储。查询时,系统编码查询,搜索向量集合,并返回高分候选项。之后还可以进行过滤、重排序或下游处理。

精确搜索与近似搜索

精确检索可以计算查询与每个已存储向量之间的得分。对于 NN 个维度为 mm 的向量,直接扫描每个查询所需的计算量与 NmNm 成正比。利用图形处理器上的批量矩阵运算,可以使精确搜索在某些工作负载下具有实用性。

大型集合通常采用近似最近邻搜索。基于图的索引、分区方法和向量压缩,通过避免穷举比较或使用近似得分来降低搜索成本。

近似计算会引入一种独立的误差来源:即使编码器已经正确地为向量评分排序,搜索过程仍可能无法返回得分最高的向量。这不同于相关性错误;后者是模型本身为不相关项赋予了高分。

对于未经归一化的向量,最大内积搜索并不等同于欧氏最近邻搜索。索引配置必须与所采用的评分函数相匹配。

存储与更新

原始向量存储大约需要

NmbNmb

字节,其中 bb 为每个分量占用的字节数。索引结构、元数据、标识符和源文本还会带来额外开销。量化及其他数据压缩方法可以降低内存和带宽需求,但有时会牺牲检索准确性。

文档编码器发生变化后,通常需要重新编码整个语料库,除非明确维持了与现有向量空间的兼容性。源内容更新时,也需要更新相应的表示。因此,系统的运行质量不仅取决于模型质量,还取决于索引是否及时更新以及版本是否一致。

分块与过滤

长文档通常会被拆分为多个段落,因为编码器的输入长度有限,而且单个向量可能掩盖局部细节。分块大小和重叠程度会影响上下文完整性、检索针对性、内容重复程度和存储成本之间的平衡。

元数据过滤器可以按语言、日期、文档类型或访问控制权限限制结果。严格的过滤条件可能与近似搜索相互影响,而仅在选定候选项之后进行过滤,可能导致可用结果过少。

混合检索

混合检索将稠密检索与词汇检索或稀疏检索结合起来。不同系统可以独立搜索后合并排序结果,也可以由其中一个组件为另一个组件提供候选项。

常见的组合方法包括加权分数融合和倒数排名融合。不同检索器的原始得分未必具有可比性,因此,直接相加得分需要适当的归一化或校准。

混合检索可以兼取两类方法的优势。词汇匹配适用于精确标识符、罕见名称和专业术语;稠密匹配则能够找回相关的改写表达和概念相近的表述。不过,这种组合也增加了索引、调优和运维的复杂性,并不保证对每一类查询都有改善。

历史发展

稠密检索建立在信息检索领域早期的向量空间模型和潜在表示之上。词嵌入和神经匹配模型推动了学习表示成为比较文本的实用工具。

在2010年代初,深度结构化语义模型等模型开始为网络搜索中的匹配任务学习紧凑表示。此后,预训练上下文编码器为查询和文档表示提供了更强的基础。

2020年的稠密段落检索(Dense Passage Retrieval)研究展示了监督式双编码器在开放域问答段落检索中的有效性。同样在2020年,ColBERT 提出了一种具有代表性的后期交互方法。后续研究进一步扩展了训练数据、负样本挖掘、跨领域评估、多语言检索,以及更大规模预训练编码器的应用。

后来,稠密检索成为检索增强生成中的常见组件,由检索到的材料为大语言模型提供上下文。检索仍然是一项独立任务:找到相关材料,并不意味着生成的输出就一定得到这些材料的支持。

应用

稠密检索应用于文档搜索、开放域问答、企业知识搜索、商品发现和代码搜索。它可以支持推荐系统中的候选生成,不过这些系统的优化目标可能是用户偏好或交互结果,而不是文本相关性。

在多模态学习中,编码器可以将不同模态映射到相互兼容的向量空间。CLIP模型等模型通过比较文本和图像表示,实现以文搜图。跨语言检索器同样致力于在不同语言之间建立兼容的表示,使一种语言的查询能够检索另一种语言的内容。

这些应用的共同要求是:表示空间中的相似度函数应当与预期的相关性关系相一致。

评估与局限

评估必须区分相关性质量、搜索近似程度和运行性能。

常见的排序指标包括截断位置处的召回率、平均倒数排名、归一化折损累计增益和平均精度。不同指标侧重不同目标:找到任意一个有用答案、检索到大部分相关项,或正确排列候选项。对于近似索引,最近邻召回率衡量的是结果与精确向量搜索的一致程度,而不是与人工相关性判断的一致程度。

运行层面的评估包括延迟、吞吐量、内存消耗、索引构建时间、更新成本,以及过滤条件下的性能。端到端评估还可以考察下游系统是否正确使用检索到的证据。

主要局限包括:

  • 对领域敏感。 在某一语料库或查询风格上训练的模型,遇到分布偏移时,性能可能下降。
  • 精确细节区分不足。 相近的向量可能无法充分区分否定表达、日期、数值约束或几乎相同的标识符。
  • 语义压缩。 固定大小的表示可能丢失长文档或涉及多个方面的文档中的细节。
  • 相关性标签不完整。 评估可能会将从未经过判断的有用结果计为错误。
  • 可解释性有限。 单个向量维度通常无法直接解释相关性判断的依据。
  • 安全与隐私约束。 向量相似度既不能实施授权控制,也不能移除敏感信息,更不能证明检索内容可信。

因此,稠密检索的性能取决于整个流程,包括语料准备、监督信号、编码器、评分、索引、过滤和评估,而不仅仅取决于嵌入维度或模型规模。