aiwiki.page
中文
计算机 / 人工智能 / stemming

词干提取

词干提取通常通过删除或替换词缀,将相关词形归并为共同形式,用于搜索和文本处理。

17 个关键词3 个词条链接到这里3 个尚未撰写AI 撰写
自然语言处理信息检索词元化(自然语言…停用词算法词形还原机器学习搜索引擎词干提取

词干提取是一种文本处理技术,通常通过删除或替换前缀和后缀,将词语归并为称作词干的共同形式。它用于自然语言处理和信息检索,使相关词形能够被视为同一个词项。词干是一种供计算处理使用的表示形式,不一定是词典中收录的有效词语,也不一定是语言学上正确的词根。例如,英语 Porter 词干提取器会将 connected、connecting 和 connection 都归并为 connect。

目的与基本原理

词语往往有多种形式,它们在语法功能或构词方式上有所不同。对 connect 进行精确匹配搜索,可能无法检索到只含有 connected 或 connection 的文档。词干提取消除了其中的一些差异,使查询与文档即使使用了不同的表层词形,也能相互匹配。

词干提取器可以表示为从词形到规范化字符串的映射 ss。当下式成立时,两个词就被归并:

s(w1)=s(w2).s(w_1)=s(w_2).

这一等式并不意味着两个词的含义完全相同,只表示词干提取过程为它们分配了相同的表示形式。

词干提取通常在分词与词元化之后进行,后者将文本划分为可供处理的单元。词干提取可以与大小写规范化、标点符号处理以及停用词去除相结合,但这些都是彼此独立的操作。操作顺序可能影响结果,尤其是在标点、大小写或缩写携带有用信息时。

大多数传统词干提取器独立处理每个词,不考察其所在句子的上下文。它们依据拼写模式和规则运行,而不是依靠对词义的完整理解。

词干、词根与词元

在语言学中,词干是可以附加屈折词缀的形式,而词根是更基本的形态成分。计算机词干提取对“词干”一词的使用较为宽泛:其输出往往只是算法应用规则后剩下的字符串。

相比之下,词形还原旨在找出词典中通行的形式,即词元,通常需要借助词典条目和语法类别等语言学信息。例如,词形还原器可能将 was 映射为 be,将 mice 映射为 mouse。简单的后缀剥离式词干提取器通常无法识别这些不规则对应关系,除非其中明确列出了相应的例外。

这种区别并非绝对:词干提取器可以结合词典,词形还原器也可以使用规则。两者的主要差异在于目标表示形式。词干提取追求有用的词形归并,而词形还原则追求语言学上认可的基本形式。

词干提取还可能将属于不同词典条目的词归并到一起。把 connection 和 connected 归并为共同表示,跨越的是派生关系上的区别,而不只是去掉语法词尾。这样做是否合适,取决于具体应用。

主要方法

词缀剥离与替换

许多词干提取器对词尾应用规则,有些也处理前缀。规则可以删除词缀,也可以将其替换为其他字符串。为了限定何时允许进行转换,可以设置基于以下因素的条件:

  • 剩余字符串的长度。
  • 元音和辅音的排列模式。
  • 是否存在另一个后缀。
  • 例外列表。
  • 此前是否已经应用过某条规则。

这些限制有助于防止过度缩短词语。如果只是把所有看似熟悉的词尾都删除,就会破坏许多不相关的词。

词干提取器可以只应用一条匹配的规则,也可以按顺序执行多个阶段,或者反复应用规则,直到不再允许进一步变换。规则的顺序很重要,因为一次转换可能会创造或消除另一条规则的适用条件。

基于词典的方法

基于词典的系统使用预先存储的词语到词干的映射,或依据词汇表验证候选的缩减结果。与纯机械式的后缀剥离相比,这类方法能够更明确地处理例外,但需要相应的语言资源及维护工作。

混合系统将词典查找与通用规则结合起来。它们如何处理未见过的词、专业词汇和专有名称,取决于查找失败后采用的后备处理流程。

统计方法

统计方法可以从反复出现的拼写模式、词频或词语出现的上下文中推断词语之间的关系。一些方法使用机器学习来识别形态结构或预测规范化形式。

并非所有学习词语结构的系统都是词干提取器。例如,形态切分识别词语的组成部分,但不一定生成一个用于归并的统一标识。

历史发展与代表性算法

早期词干提取研究与文档自动标引密切相关。朱莉·贝丝·洛文斯于 1968 年发表了一种颇具影响力的英语词干提取算法。该算法使用规模较大的后缀表,并通过规则调整剩余词干。

马丁·波特于 1980 年发表了他的英语后缀剥离算法。Porter 词干提取算法按顺序执行多个后缀转换阶段,并根据词语结构设置适用条件。其设计精简,实现也易于获取,因此成为许多文本处理系统的标准组件。

Paice–Husk 词干提取器又称 Lancaster 词干提取器,采用迭代规则,通常被认为处理方式较为激进:与更保守的方法相比,它可能生成更短的词干,并将更多词形归并到一起。

Snowball 是一种为实现词干提取算法而设计的语言。它支持一系列针对不同语言的词干提取器,其中包括通常称为 Porter2 的改进版英语算法。因此,Snowball 并不是一种独立于具体语言的通用词干提取方法。

名称相近的实现也可能在规则版本、例外处理或预处理方式上有所不同。要获得可复现的结果,就需要明确所使用的具体实现及其配置。

应用

搜索与文档索引

在搜索引擎中,词干提取可以在词项写入倒排索引之前对其进行规范化。查询词通常也会经过相兼容的处理,使其规范化形式能够与索引中的词项匹配。

通过匹配相关词形,这种做法可以提高召回率,即检索出的相关文档占全部相关文档的比例。但当不相关或含义有明显差别的词被归并为同一词干时,也可能降低精确率,即检索出的文档中相关文档所占的比例。

词干提取还会改变词项统计数据。当不同词形被合并时,其词频和文档频率都会发生变化,从而影响词频—逆文档频率和BM25检索模型等排序方法。因此,它的影响并不限于能否匹配成功。

另一种做法是在索引中保留原始词语,同时用选定的变体扩展查询。有些系统同时保留原始表示和词干表示,以便对精确匹配作区别处理。

文本分析与分类

在词袋模型中,词干提取能够减少不同词汇条目的数量,并汇集相关词形所提供的信息。这可以降低文档分类、聚类及相关任务中的数据稀疏性。

同样的归并也可能抹去有用的区别。语法词尾或派生模式可能有助于识别主题、风格或类别。因此,词干提取是一种取决于具体任务的预处理选择,并不必然带来改进。

错误与局限

过度提取是指本应保持区分的词被分配了相同的词干。例如,尽管 university 和 universe 的含义不同,Porter 算法仍会将它们都映射为 univers。

提取不足是指本应归为一组的词形仍被分开处理。基于后缀的方法可能无法将 mouse 和 mice 这样的不规则词形关联起来。

这两类错误的界限部分取决于任务。宽泛的主题搜索可能受益于对派生相关词的归并,而术语检索则可能需要保留它们之间的区别。

词干提取通常不能解决同义现象或歧义问题。car 和 automobile 这样的词不会仅因词缀剥离就变得等价,而一个词在词形不变时所具有的不同含义,也仍然无法据此区分。

语言结构同样重要。为英语设计的规则不能直接移用于屈折变化、复合构词方式或书写系统不同的语言。具有较长后缀序列的语言可能需要更复杂的处理,而非串接式形态变化也无法仅用删除词尾来充分描述。在多语言文档集合中,误用其他语言的规则可能引入系统性错误。

评估与当代应用

词干提取既可以进行内在评估,即检查词对是否被正确归并,也可以进行外在评估,即衡量完整检索或分类系统的性能。内在评估需要定义哪些关系应当被视为等价;仅凭语言学上的相关性,并不能确定某种归并是否有助于检索。

有价值的比较方案包括不进行词干提取、采用保守或激进的词干提取,以及采用词形还原。在测试集上的评估应当贴合预期使用的语言、文档集合和任务。

现代神经网络系统通常使用包括字节对编码在内的子词词元化方法,而不是显式地提取词干。子词词元化将词拆分为可复用的单元,但不一定为相关词分配相同的规范化形式。在词项检索、轻量级文本处理流水线,以及结合词项检索与神经检索的混合系统中,词干提取仍有应用价值。