{
  "id": "stemming",
  "title": "词干提取",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "词干提取通常通过删除或替换词缀，将相关词形归并为共同形式，用于搜索和文本处理。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "词干抽取"
  ],
  "generated_at": "2026-11-04",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/stemming/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/stemming/",
      "json": "https://aiwiki.page/en/stemming.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "词干提取是一种文本处理技术，通常通过删除或替换前缀和后缀，将词语归并为称作词干的共同形式。它用于自然语言处理和信息检索，使相关词形能够被视为同一个词项。词干是一种供计算处理使用的表示形式，不一定是词典中收录的有效词语，也不一定是语言学上正确的词根。例如，英语 Porter 词干提取器会将 connected、connecting 和 connection 都归并为 connect。"
    },
    {
      "heading": "目的与基本原理",
      "text": "词语往往有多种形式，它们在语法功能或构词方式上有所不同。对 connect 进行精确匹配搜索，可能无法检索到只含有 connected 或 connection 的文档。词干提取消除了其中的一些差异，使查询与文档即使使用了不同的表层词形，也能相互匹配。\n\n词干提取器可以表示为从词形到规范化字符串的映射 \\(s\\)。当下式成立时，两个词就被归并：\n\n\\[s(w_1)=s(w_2).\\]\n\n这一等式并不意味着两个词的含义完全相同，只表示词干提取过程为它们分配了相同的表示形式。\n\n词干提取通常在分词与词元化之后进行，后者将文本划分为可供处理的单元。词干提取可以与大小写规范化、标点符号处理以及停用词去除相结合，但这些都是彼此独立的操作。操作顺序可能影响结果，尤其是在标点、大小写或缩写携带有用信息时。\n\n大多数传统词干提取器独立处理每个词，不考察其所在句子的上下文。它们依据拼写模式和规则运行，而不是依靠对词义的完整理解。"
    },
    {
      "heading": "词干、词根与词元",
      "text": "在语言学中，词干是可以附加屈折词缀的形式，而词根是更基本的形态成分。计算机词干提取对“词干”一词的使用较为宽泛：其输出往往只是算法应用规则后剩下的字符串。\n\n相比之下，词形还原旨在找出词典中通行的形式，即词元，通常需要借助词典条目和语法类别等语言学信息。例如，词形还原器可能将 was 映射为 be，将 mice 映射为 mouse。简单的后缀剥离式词干提取器通常无法识别这些不规则对应关系，除非其中明确列出了相应的例外。\n\n这种区别并非绝对：词干提取器可以结合词典，词形还原器也可以使用规则。两者的主要差异在于目标表示形式。词干提取追求有用的词形归并，而词形还原则追求语言学上认可的基本形式。\n\n词干提取还可能将属于不同词典条目的词归并到一起。把 connection 和 connected 归并为共同表示，跨越的是派生关系上的区别，而不只是去掉语法词尾。这样做是否合适，取决于具体应用。"
    },
    {
      "heading": "主要方法",
      "text": "词缀剥离与替换\n\n许多词干提取器对词尾应用规则，有些也处理前缀。规则可以删除词缀，也可以将其替换为其他字符串。为了限定何时允许进行转换，可以设置基于以下因素的条件：\n\n- 剩余字符串的长度。\n- 元音和辅音的排列模式。\n- 是否存在另一个后缀。\n- 例外列表。\n- 此前是否已经应用过某条规则。\n\n这些限制有助于防止过度缩短词语。如果只是把所有看似熟悉的词尾都删除，就会破坏许多不相关的词。\n\n词干提取器可以只应用一条匹配的规则，也可以按顺序执行多个阶段，或者反复应用规则，直到不再允许进一步变换。规则的顺序很重要，因为一次转换可能会创造或消除另一条规则的适用条件。\n\n基于词典的方法\n\n基于词典的系统使用预先存储的词语到词干的映射，或依据词汇表验证候选的缩减结果。与纯机械式的后缀剥离相比，这类方法能够更明确地处理例外，但需要相应的语言资源及维护工作。\n\n混合系统将词典查找与通用规则结合起来。它们如何处理未见过的词、专业词汇和专有名称，取决于查找失败后采用的后备处理流程。\n\n统计方法\n\n统计方法可以从反复出现的拼写模式、词频或词语出现的上下文中推断词语之间的关系。一些方法使用机器学习来识别形态结构或预测规范化形式。\n\n并非所有学习词语结构的系统都是词干提取器。例如，形态切分识别词语的组成部分，但不一定生成一个用于归并的统一标识。"
    },
    {
      "heading": "历史发展与代表性算法",
      "text": "早期词干提取研究与文档自动标引密切相关。朱莉·贝丝·洛文斯于 1968 年发表了一种颇具影响力的英语词干提取算法。该算法使用规模较大的后缀表，并通过规则调整剩余词干。\n\n马丁·波特于 1980 年发表了他的英语后缀剥离算法。Porter 词干提取算法按顺序执行多个后缀转换阶段，并根据词语结构设置适用条件。其设计精简，实现也易于获取，因此成为许多文本处理系统的标准组件。\n\nPaice–Husk 词干提取器又称 Lancaster 词干提取器，采用迭代规则，通常被认为处理方式较为激进：与更保守的方法相比，它可能生成更短的词干，并将更多词形归并到一起。\n\nSnowball 是一种为实现词干提取算法而设计的语言。它支持一系列针对不同语言的词干提取器，其中包括通常称为 Porter2 的改进版英语算法。因此，Snowball 并不是一种独立于具体语言的通用词干提取方法。\n\n名称相近的实现也可能在规则版本、例外处理或预处理方式上有所不同。要获得可复现的结果，就需要明确所使用的具体实现及其配置。"
    },
    {
      "heading": "应用",
      "text": "搜索与文档索引\n\n在搜索引擎中，词干提取可以在词项写入倒排索引之前对其进行规范化。查询词通常也会经过相兼容的处理，使其规范化形式能够与索引中的词项匹配。\n\n通过匹配相关词形，这种做法可以提高召回率，即检索出的相关文档占全部相关文档的比例。但当不相关或含义有明显差别的词被归并为同一词干时，也可能降低精确率，即检索出的文档中相关文档所占的比例。\n\n词干提取还会改变词项统计数据。当不同词形被合并时，其词频和文档频率都会发生变化，从而影响词频—逆文档频率和BM25检索模型等排序方法。因此，它的影响并不限于能否匹配成功。\n\n另一种做法是在索引中保留原始词语，同时用选定的变体扩展查询。有些系统同时保留原始表示和词干表示，以便对精确匹配作区别处理。\n\n文本分析与分类\n\n在词袋模型中，词干提取能够减少不同词汇条目的数量，并汇集相关词形所提供的信息。这可以降低文档分类、聚类及相关任务中的数据稀疏性。\n\n同样的归并也可能抹去有用的区别。语法词尾或派生模式可能有助于识别主题、风格或类别。因此，词干提取是一种取决于具体任务的预处理选择，并不必然带来改进。"
    },
    {
      "heading": "错误与局限",
      "text": "过度提取是指本应保持区分的词被分配了相同的词干。例如，尽管 university 和 universe 的含义不同，Porter 算法仍会将它们都映射为 univers。\n\n提取不足是指本应归为一组的词形仍被分开处理。基于后缀的方法可能无法将 mouse 和 mice 这样的不规则词形关联起来。\n\n这两类错误的界限部分取决于任务。宽泛的主题搜索可能受益于对派生相关词的归并，而术语检索则可能需要保留它们之间的区别。\n\n词干提取通常不能解决同义现象或歧义问题。car 和 automobile 这样的词不会仅因词缀剥离就变得等价，而一个词在词形不变时所具有的不同含义，也仍然无法据此区分。\n\n语言结构同样重要。为英语设计的规则不能直接移用于屈折变化、复合构词方式或书写系统不同的语言。具有较长后缀序列的语言可能需要更复杂的处理，而非串接式形态变化也无法仅用删除词尾来充分描述。在多语言文档集合中，误用其他语言的规则可能引入系统性错误。"
    },
    {
      "heading": "评估与当代应用",
      "text": "词干提取既可以进行内在评估，即检查词对是否被正确归并，也可以进行外在评估，即衡量完整检索或分类系统的性能。内在评估需要定义哪些关系应当被视为等价；仅凭语言学上的相关性，并不能确定某种归并是否有助于检索。\n\n有价值的比较方案包括不进行词干提取、采用保守或激进的词干提取，以及采用词形还原。在测试集上的评估应当贴合预期使用的语言、文档集合和任务。\n\n现代神经网络系统通常使用包括字节对编码在内的子词词元化方法，而不是显式地提取词干。子词词元化将词拆分为可复用的单元，但不一定为相关词分配相同的规范化形式。在词项检索、轻量级文本处理流水线，以及结合词项检索与神经检索的混合系统中，词干提取仍有应用价值。"
    }
  ],
  "links": [
    "natural-language-processing",
    "information-retrieval",
    "tokenization",
    "stop-words",
    "algorithm",
    "lemmatization",
    "machine-learning",
    "search-engine",
    "inverted-index",
    "tf-idf",
    "bm25",
    "bag-of-words-model",
    "test-set",
    "byte-pair-encoding"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}