词干提取是一种文本处理技术,通常通过删除或替换前缀和后缀,将词语归并为称作词干的共同形式。它用于自然语言处理和信息检索,使相关词形能够被视为同一个词项。词干是一种供计算处理使用的表示形式,不一定是词典中收录的有效词语,也不一定是语言学上正确的词根。例如,英语 Porter 词干提取器会将 connected、connecting 和 connection 都归并为 connect。
目的与基本原理
词语往往有多种形式,它们在语法功能或构词方式上有所不同。对 connect 进行精确匹配搜索,可能无法检索到只含有 connected 或 connection 的文档。词干提取消除了其中的一些差异,使查询与文档即使使用了不同的表层词形,也能相互匹配。
词干提取器可以表示为从词形到规范化字符串的映射 。当下式成立时,两个词就被归并:
这一等式并不意味着两个词的含义完全相同,只表示词干提取过程为它们分配了相同的表示形式。
词干提取通常在分词与词元化之后进行,后者将文本划分为可供处理的单元。词干提取可以与大小写规范化、标点符号处理以及停用词去除相结合,但这些都是彼此独立的操作。操作顺序可能影响结果,尤其是在标点、大小写或缩写携带有用信息时。
大多数传统词干提取器独立处理每个词,不考察其所在句子的上下文。它们依据拼写模式和规则运行,而不是依靠对词义的完整理解。
词干、词根与词元
在语言学中,词干是可以附加屈折词缀的形式,而词根是更基本的形态成分。计算机词干提取对“词干”一词的使用较为宽泛:其输出往往只是算法应用规则后剩下的字符串。
相比之下,词形还原旨在找出词典中通行的形式,即词元,通常需要借助词典条目和语法类别等语言学信息。例如,词形还原器可能将 was 映射为 be,将 mice 映射为 mouse。简单的后缀剥离式词干提取器通常无法识别这些不规则对应关系,除非其中明确列出了相应的例外。
这种区别并非绝对:词干提取器可以结合词典,词形还原器也可以使用规则。两者的主要差异在于目标表示形式。词干提取追求有用的词形归并,而词形还原则追求语言学上认可的基本形式。
词干提取还可能将属于不同词典条目的词归并到一起。把 connection 和 connected 归并为共同表示,跨越的是派生关系上的区别,而不只是去掉语法词尾。这样做是否合适,取决于具体应用。
主要方法
词缀剥离与替换
许多词干提取器对词尾应用规则,有些也处理前缀。规则可以删除词缀,也可以将其替换为其他字符串。为了限定何时允许进行转换,可以设置基于以下因素的条件:
- 剩余字符串的长度。
- 元音和辅音的排列模式。
- 是否存在另一个后缀。
- 例外列表。
- 此前是否已经应用过某条规则。
这些限制有助于防止过度缩短词语。如果只是把所有看似熟悉的词尾都删除,就会破坏许多不相关的词。
词干提取器可以只应用一条匹配的规则,也可以按顺序执行多个阶段,或者反复应用规则,直到不再允许进一步变换。规则的顺序很重要,因为一次转换可能会创造或消除另一条规则的适用条件。
基于词典的方法
基于词典的系统使用预先存储的词语到词干的映射,或依据词汇表验证候选的缩减结果。与纯机械式的后缀剥离相比,这类方法能够更明确地处理例外,但需要相应的语言资源及维护工作。
混合系统将词典查找与通用规则结合起来。它们如何处理未见过的词、专业词汇和专有名称,取决于查找失败后采用的后备处理流程。
统计方法
统计方法可以从反复出现的拼写模式、词频或词语出现的上下文中推断词语之间的关系。一些方法使用机器学习来识别形态结构或预测规范化形式。
并非所有学习词语结构的系统都是词干提取器。例如,形态切分识别词语的组成部分,但不一定生成一个用于归并的统一标识。
历史发展与代表性算法
早期词干提取研究与文档自动标引密切相关。朱莉·贝丝·洛文斯于 1968 年发表了一种颇具影响力的英语词干提取算法。该算法使用规模较大的后缀表,并通过规则调整剩余词干。
马丁·波特于 1980 年发表了他的英语后缀剥离算法。Porter 词干提取算法按顺序执行多个后缀转换阶段,并根据词语结构设置适用条件。其设计精简,实现也易于获取,因此成为许多文本处理系统的标准组件。
Paice–Husk 词干提取器又称 Lancaster 词干提取器,采用迭代规则,通常被认为处理方式较为激进:与更保守的方法相比,它可能生成更短的词干,并将更多词形归并到一起。
Snowball 是一种为实现词干提取算法而设计的语言。它支持一系列针对不同语言的词干提取器,其中包括通常称为 Porter2 的改进版英语算法。因此,Snowball 并不是一种独立于具体语言的通用词干提取方法。
名称相近的实现也可能在规则版本、例外处理或预处理方式上有所不同。要获得可复现的结果,就需要明确所使用的具体实现及其配置。
应用
搜索与文档索引
在搜索引擎中,词干提取可以在词项写入倒排索引之前对其进行规范化。查询词通常也会经过相兼容的处理,使其规范化形式能够与索引中的词项匹配。
通过匹配相关词形,这种做法可以提高召回率,即检索出的相关文档占全部相关文档的比例。但当不相关或含义有明显差别的词被归并为同一词干时,也可能降低精确率,即检索出的文档中相关文档所占的比例。
词干提取还会改变词项统计数据。当不同词形被合并时,其词频和文档频率都会发生变化,从而影响词频—逆文档频率和BM25检索模型等排序方法。因此,它的影响并不限于能否匹配成功。
另一种做法是在索引中保留原始词语,同时用选定的变体扩展查询。有些系统同时保留原始表示和词干表示,以便对精确匹配作区别处理。
文本分析与分类
在词袋模型中,词干提取能够减少不同词汇条目的数量,并汇集相关词形所提供的信息。这可以降低文档分类、聚类及相关任务中的数据稀疏性。
同样的归并也可能抹去有用的区别。语法词尾或派生模式可能有助于识别主题、风格或类别。因此,词干提取是一种取决于具体任务的预处理选择,并不必然带来改进。
错误与局限
过度提取是指本应保持区分的词被分配了相同的词干。例如,尽管 university 和 universe 的含义不同,Porter 算法仍会将它们都映射为 univers。
提取不足是指本应归为一组的词形仍被分开处理。基于后缀的方法可能无法将 mouse 和 mice 这样的不规则词形关联起来。
这两类错误的界限部分取决于任务。宽泛的主题搜索可能受益于对派生相关词的归并,而术语检索则可能需要保留它们之间的区别。
词干提取通常不能解决同义现象或歧义问题。car 和 automobile 这样的词不会仅因词缀剥离就变得等价,而一个词在词形不变时所具有的不同含义,也仍然无法据此区分。
语言结构同样重要。为英语设计的规则不能直接移用于屈折变化、复合构词方式或书写系统不同的语言。具有较长后缀序列的语言可能需要更复杂的处理,而非串接式形态变化也无法仅用删除词尾来充分描述。在多语言文档集合中,误用其他语言的规则可能引入系统性错误。
评估与当代应用
词干提取既可以进行内在评估,即检查词对是否被正确归并,也可以进行外在评估,即衡量完整检索或分类系统的性能。内在评估需要定义哪些关系应当被视为等价;仅凭语言学上的相关性,并不能确定某种归并是否有助于检索。
有价值的比较方案包括不进行词干提取、采用保守或激进的词干提取,以及采用词形还原。在测试集上的评估应当贴合预期使用的语言、文档集合和任务。
现代神经网络系统通常使用包括字节对编码在内的子词词元化方法,而不是显式地提取词干。子词词元化将词拆分为可复用的单元,但不一定为相关词分配相同的规范化形式。在词项检索、轻量级文本处理流水线,以及结合词项检索与神经检索的混合系统中,词干提取仍有应用价值。