TF–IDF(词频—逆文档频率)是用于信息检索和自然语言处理的一类数值加权方法,用来衡量相对于整个文档集合而言,一个词项在多大程度上能够体现某篇文档的特征。它将衡量词项在单篇文档中出现情况的局部因子,与降低广泛出现于多篇文档中的词项权重的全局因子相结合。TF–IDF广泛用于文档搜索、相似度度量、关键词提取和机器学习中的文本表示。它并非单一的标准化公式:不同实现采用的频率缩放、平滑和归一化方式各不相同。
定义与直观理解
一个词项如果在某篇文档中反复出现,可能有助于识别该文档的主题。然而,一个几乎出现在所有文档中的词项,通常无助于区分不同文档。TF–IDF结合了这两点观察:
- **词频(TF)**衡量词项在单篇文档中的出现情况。
- **逆文档频率(IDF)**衡量词项在整个文档集合中有多罕见。
由此得到的权重通常写为
其中, 为词项, 为文档, 为参考文档集合,也称语料库。
这里的“词项”不一定是完整的词。根据分词与词元化方式的不同,它可以是词干、字符序列或N元语法单位。同样,“文档”可以是一篇完整文章、一个段落、一段产品描述,或其他选定的文本单位。这些选择既会影响频率统计,也会影响权重的解释。
较高的TF–IDF权重表明,某个词项在一篇文档中较为突出,而在参考文档集合中相对少见。但仅凭这一点,并不能断定该词项有实际意义、在事实层面具有重要性,或与某个用户的具体问题相关。
数学表述
词频
设 为词项 在文档 中出现的次数。常见的TF定义包括:
原始计数
相对频率
其中,分母是文档中所有词项出现次数的总和。
对数词频
对数缩放会减弱重复出现的影响:出现二十次的词项比出现两次的词项权重更高,但不会高出十倍。
二值变体则在词项出现时取 ,否则取 。这些不同方案体现了对重复出现能够提供多少额外证据的不同假设。
逆文档频率
设 为集合中的文档数量,并令
表示词项 的文档频率。一种传统的IDF定义为
文档频率统计的是包含某个词项的文档数量,而不是该词项出现的总次数。一个词项即使在单篇文档中出现一百次,对其文档频率的贡献也只有一。
按照这一公式:
- 出现在所有文档中的词项,其IDF为 。
- 仅出现在少量文档中的词项,其IDF较大。
- 未在集合中出现的词项会使该公式无定义,需要另行处理。
改变对数的底数,会使所有IDF值乘以同一个常数因子。在加权过程的其他部分保持不变时,这不会改变余弦相似度;但如果权重用于其他运算,或与固定数值阈值进行比较,则可能产生影响。
一种常见的平滑并加偏移量的变体为
这里,在比值的分子和分母中加上 是为了平滑计数,而在对数外额外加上 ,则使出现在所有文档中的词项获得 而非 的权重。此外还有其他约定,因此仅指定“TF–IDF”并不能完全确定数值结果。
向量归一化
给定一个包含 个词项的词表,可以将文档表示为
这是词袋模型的一种加权形式。大多数文档只包含词表中的一小部分词项,因此其向量通常是稀疏的。
最后还可以选择进行单位长度归一化:
在比较不同长度的文档时,这可以减弱向量大小的直接影响,但不能消除所有可能与长度有关的偏差。零向量无法通过该表达式进行归一化,必须另行处理。
计算示例
假设一个集合包含 篇文档。词项“quasar”(类星体)出现在 篇文档中,而“system”(系统)出现在 篇文档中。使用自然对数可得:
如果某篇文档中“quasar”出现三次,“system”出现十次,采用原始计数作为TF可得:
尽管“system”在该文档中出现得更频繁,“quasar”仍获得了更高的权重,因为它在整个集合中要少见得多。
这些权重尚未归一化。采用对数词频或其他IDF约定,都会改变这些数值。
文档搜索与相似度
TF–IDF与向量空间检索方法密切相关。文档和搜索查询被表示在同一个向量空间中,再通过相似度函数比较它们的向量。
一种常见选择是余弦相似度:
对于单位长度向量,该式可简化为两个向量的点积。查询与文档共有的词项会对得分产生贡献;IDF值较大的词项,其贡献可能高于广泛分布的词项。
查询与文档不一定采用相同的加权方式。例如,系统可以对文档使用对数词频,而对较短的查询采用更简单的、仅根据词项是否出现的表示方式。查询的IDF值通常根据文档集合计算,而不是仅根据查询本身计算。
搜索引擎可以借助倒排索引高效计算得分;倒排索引将词项映射到包含它们的文档。TF–IDF并不要求构建或存储稠密的“文档×词表”数组。
历史发展
TF–IDF源自自动标引和文档检索中的统计方法。早期自动文本处理研究已经探索过词频加权,其中包括汉斯·彼得·卢恩在20世纪50年代的工作。
凯伦·斯帕克·琼斯在1972年一篇关于词项特异性的论文中提出了逆文档频率。其核心思想是:一个词项对于区分文档有多大用处,取决于它在整个集合中的分布有多广,而不仅取决于它在单篇文档中出现的频率。
杰拉德·索尔顿及其合作者在SMART信息检索系统中开发并评估了多种词项加权方法。索尔顿与克里斯托弗·巴克利于1988年开展的词项加权方法研究,推动了局部频率加权、集合频率加权和文档归一化的多种组合成为广泛使用的方案。
因此,TF–IDF指的是一组彼此相关的方案,而不是一个具有唯一定义的算法。
应用与实现
TF–IDF是一种通用的文本特征提取方法。除搜索外,常见应用还包括:
- **文本分类:**TF–IDF向量可作为支持向量机或其他分类器的输入。
- **文档聚类:**向量间的相似度可用于K均值聚类等方法。
- **关键词提取:**高权重词项可用于识别能够将某篇文档与参考文档集合区分开来的表达。
- **文档比较:**词汇重合情况有助于识别相关文档、重复内容和近似重复文档。
- **文本摘要:**一些自动文本摘要方法将词项权重作为句子评分的一部分。
结果在很大程度上取决于预处理。转为小写、标点处理、词干提取、去除停用词,以及是否纳入词级或字符级N元组,都会改变特征空间。IDF会降低常见词项的权重,但这并不等同于去除停用词,也不意味着在所有情况下都无需去除停用词。
在监督学习实验中,词表和IDF统计量通常从训练数据中学习得到,随后原样用于验证和测试。如果在留出文档上拟合这些内容,就可能使文本表示利用训练集之外的信息,从而引入数据泄漏(机器学习)。相比之下,在检索评估中,基于已建立索引的文档集合计算IDF,通常属于预先定义的检索设置的一部分。
在词表固定的情况下,先前未见过的词项通常会被忽略。集合的变化也可能改变IDF值,因此持续更新的索引可能需要更新统计量。要使实现结果可复现,必须明确语料库、预处理方式、词表构建规则、TF公式、IDF公式和归一化过程。
局限性与相关方法
TF–IDF衡量的是词汇分布,而不是语义。其主要局限包括:
- **丢失语言结构:**普通的一元词项表示忽略了词序和语法关系。
- **不具备内在的同义词处理能力:**讨论相同主题的文档如果使用不同词语,得到的相似度可能很低。
- **无法根据上下文消歧:**一个词的不同含义通常共用同一个特征。
- **对罕见噪声敏感:**拼写错误、标识符和偶然出现的字符串可能获得较大的IDF值。
- **依赖语料库:**一个词项在某个集合中可能很有辨识度,在另一个集合中却可能十分普通。如果不考虑权重的构造方式,就不能直接比较不同语料库的权重。
- **对重复和长度的处理不够完善:**原始计数词频可能给予重复词项过高的权重,而简单归一化也无法涵盖文档长度与相关性之间的所有关系。
BM25检索模型是一类相关的检索评分方法,显式地对词频饱和效应和文档长度调整进行建模。其评分函数并不等同于传统TF–IDF向量之间的余弦相似度。
词嵌入等稠密表示,以及Transformer架构模型生成的上下文表示,能够捕捉超越词项精确重合的关系。它们需要不同的计算资源,也有各自的建模局限。在重视稀疏存储、词项贡献透明、计算成本低和词汇精确匹配的场景中,TF–IDF仍然很有价值。