aiwiki.page
中文
计算机 / 人工智能 / stop-words

停用词

停用词是在文本处理过程中,因被认为对特定任务帮助不大而被有意排除或忽略的词项。

18 个关键词3 个词条链接到这里AI 撰写
信息检索自然语言处理倒排索引特征提取词袋模型特征选择训练数据测试集停用词

停用词是文本处理系统在建立索引、匹配或分析时有意排除的词或词元,因为系统认为它们对特定任务的价值不大。在信息检索和自然语言处理中,常见例子包括英语中的“the”“a”“and”和“of”等词。被排除的词项集合称为停用词表。一个词是否被视为停用词,取决于处理策略,而非其固有的语言属性:在一种应用中信息量很低的词,在另一种应用中可能至关重要。

用途与历史背景

在计算机文档检索的早期,存储和计算资源有限,去除停用词因此成为一种常见做法。高频词出现在大量文档中,往往无助于区分相关文档与不相关文档。排除这些词可以缩小索引,并减少处理查询所需的工作量。

在倒排索引中,每个被索引的词项都关联着一个列表,记录它出现在哪些文档中,有时还记录出现的位置。几乎在所有文档中都出现的词,其对应列表可能特别长。即使停用词表本身只包含相对少量的词,省略这些词项也能大幅减少需要存储的出现记录。

去除停用词也用于特征提取。在词袋模型中,文档由其中各词项的计数或权重来表示。去除选定的词可以减少特征数量,也可能减轻那些对目标分析无用的高频词所造成的干扰。

这些好处并非在所有情况下都成立。现代存储技术、压缩索引、排序方法和语言模型,已经降低了不加区分地去除停用词的必要性。过滤能否改善系统表现,取决于任务、数据和具体实现。

哪些词算停用词?

停用词表通常包含以下几类词,它们之间可能有所重叠:

  • **高频虚词:**冠词、连词、介词和助动词,例如“the”“and”“at”和“is”。
  • **语料特有词:**在整个文档集中普遍出现,却对区分集内文档作用不大的词。例如,反复出现的机构名称可能无助于区分来自同一机构的文档。
  • **模板化用语:**由反复使用的模板、导航元素或标准文档声明引入的词项。
  • **特定应用排除的词:**因不在分析范围内而被有意省略的词。

词频和语法类别是有用的判断线索,但并不是定义。有些常见词承载着决定性的信息,而有些不常见的词对特定应用仍可能无关紧要。去除低频词通常被视为一项独立的词表裁剪操作,而不是停用词去除。

停用词也不同于标点符号、格式残留和格式异常的词元,尽管预处理流程可能会将这些内容一并过滤。

构建停用词表

固定词表

固定词表为某种语言提供一组预先定义的词项。这类词表使用简单,有助于使预处理过程可复现,但不同词表所依据的假设并不相同。对于是否去除代词、否定词、数字或某些动词形式,不同词表可能采取不同做法。

为文档搜索设计的词表,不一定适用于情感分类、作者身份分析或语法分析。即使是被称为通用的词表,也体现了对舍弃哪些信息的取舍。

基于文档集的词表

系统可以从正在处理的文档集中识别候选停用词。一种常见的衡量指标是文档频率,即包含某个词项的文档数量。当一个词项出现于超过指定比例的文档中时,就可以将其排除。

对于包含 NN 篇文档的文档集,令 df(t)\mathrm{df}(t) 表示包含词项 tt 的文档数量。一条简单的规则是,当满足以下条件时,将 tt 加入停用词表:

df(t)N>τ,\frac{\mathrm{df}(t)}{N}>\tau,

其中,τ\tau 是选定的阈值。

这条规则便于使用,但并不能证明某个词项没有用处。高频词仍可能通过出现次数、位置或与其他词的相互作用来区分类别。

根据任务选择

停用词选择也可以视为特征选择,依据词项是否有助于预测标签或检索相关文档来进行。这类决策必须针对预期任务加以评估,不能想当然地认为它们适用于其他任务。

如果词表的取舍是从数据集中学习得到的,通常应以训练数据为依据。使用预留的测试集来作出这些选择,会将评估数据中的信息引入开发过程,并可能构成数据泄漏(机器学习)。

处理与实现

停用词过滤通常作用于分词与词元化所产生的词元。给定词元序列 T=(t1,…,tn)T=(t_1,\ldots,t_n) 和停用词集合 SS,简单过滤得到:

T′=(ti∣ti∉S),T'=(t_i \mid t_i\notin S),

其中,保留下来的词元仍按原来的顺序排列。

例如,去除“the”“is”和“on”,会将:

the book is on the table

转换为:

book table

结果取决于查表前如何对词元进行规范化。大小写转换、重音符号处理、词干提取以及缩约形式拆分,都可能影响词元能否匹配停用词表中的条目。如果分词器将“isn’t”拆成更小的单位,就需要与之兼容的词表;否则,过滤可能留下残片,或意外删除否定表达的一部分。

停用词集合通常存储在哈希表或其他支持快速成员查询的数据结构中。在哈希查询平均为常数时间的情况下,对 nn 个词元进行过滤的预期时间为 O(n)O(n),不包括分词与词元化及规范化所需的时间。

过滤还会与序列结构相互影响:

  • 在构建N元语法之前去除词语,可能产生在原文中并不相邻的词对。
  • 从位置索引中去除词项时,如果不保留位置间隔,可能导致短语匹配失真。
  • 对文档和查询采用不同的过滤规则,可能使预期的匹配无法实现,或改变查询含义。
  • 对完全由停用词组成的查询,需要明确规定处理方式,不能默默依赖未经说明的假设。

去除停用词会丢弃处理后表示中的信息,但不一定要改动所存储的原始文档。

对检索与文本分析的影响

搜索与排序

在搜索引擎中,去除停用词可以降低处理常见词项的成本,但也可能妨碍对标题、引文和短语的准确检索。“to be or not to be”这样的查询说明,常见词并不总是可以舍弃的。

赋予权重是删除词项之外的另一种选择。词频—逆文档频率会在词项出现于大量文档中时,赋予其较低的区分性权重;BM25检索模型也会在排序时使用文档频率信息。这些方法可以降低常见词项的影响,而不必将其从索引中排除。对极高频词的具体处理方式,取决于评分公式和实现。

系统可以保留某些词项用于短语匹配,同时在其他查询操作中忽略它们或降低其权重。因此,“忽略停用词”并不总是意味着在所有地方都将其删除。

分类与探索性分析

去除停用词可以防止常见语法词在词频展示中占据主导,使关键词列表和主题摘要更易于理解。但它对分类准确率的影响则较难预测。

否定表达是这一做法的一个突出局限:去掉“not”,可能会使“good”和“not good”在简单表示中变得无法区分。代词和虚词也可能为文体、作者身份或话语分析提供有用信号。去除这些词,可能恰好抹去这些任务试图衡量的信息。

多语言与神经模型处理

停用词表具有语言特异性,其有效性取决于形态、文字系统和切分方式。在形态丰富的语言中,语法信息可能附着在词上,而不是通过独立词元来表达。在词与词之间不使用空格的语言中,切分方式决定了哪些单位可以被过滤。多语言文档可能需要进行语言识别,或使用多份彼此兼容的词表。

现代语言模型,包括基于Transformer架构的模型,通常会将普通语法词作为输入的一部分来处理。这些词有助于表达句法、语义关系和否定意义。常规性地删除停用词,可能改变含义,并使输入不同于模型在训练时接触到的数据。

子词词元化还带来了另一个问题:词级停用词表与字节对编码或类似方法产生的词元并不直接对应。删除单个子词单位,可能意外改变不相关的词。

因此,停用词过滤仍是一项取决于具体任务的预处理操作,而不是普遍必需的步骤。应根据系统用途,通过检索质量、预测性能、可解释性、索引大小或计算成本来评估其效果。