词形还原是为一个词形确定其词元的过程。词元是词典或语言资源中用来代表一个词汇项的通用形式。在自然语言处理中,词形还原通常将 walks、walked 和 walking 等屈折形式映射为 walk,或将 mice 映射为 mouse。与简单地删除词尾不同,词形还原可能需要了解不规则形式、语法类别以及词语出现的上下文。
语言学基础
词元是为代表一个词位而选定的引用形式;词位是一种抽象的词汇单位,涵盖一组相互关联的语法形式。例如,以 write 为代表形式的英语动词还具有 writes、wrote、written 和 writing 等形式。这些形式在语法上有所不同,但通常属于同一个词位。
词形还原主要涉及屈折,即用于表达数、时态、格、人称或语法性别等区别的变化。它通常不会把所有意义相关的词都合并为同一种形式。因此,organizes 可以还原为 organize,但 organization 一般保留为独立的词元,而不是映射为 organize:两者之间是派生关系,而非屈折关系。
引用形式的选择取决于语言和标注惯例。英语动词通常以不带 to 的不定式为代表形式,形容词则通常采用原级形式。其他语言传统采用不同惯例:拉丁语动词可能以第一人称单数现在时主动形式作为引用形式,而德语动词通常采用不定式。因此,词元不一定是不含屈折成分的词根,也不一定是一个词最短的形式。
示例与上下文歧义
有些映射基本可以根据拼写预测,另一些则需要词汇知识。
| 词形 | 语法解释 | 典型词元 |
|---|---|---|
| cats | 复数名词 | cat |
| studies | 复数名词 | study |
| studies | 第三人称单数动词 | study |
| went | 过去时动词 | go |
| children | 复数名词 | child |
| saw | see 的过去时 | see |
| saw | 表示切割工具的名词 | saw |
| better | good 的比较级 | 在对形容词比较等级进行归一化的惯例下,为 good |
saw 一词说明了为什么仅凭词形不一定能确定词元。在“They saw the bird”(他们看到了那只鸟)中,它的词元是 see。在“They bought a saw”(他们买了一把锯子)中,它的词元是 saw。即使知道大致的语法类别,也可能仍然不够:saw 还可以用作动词,意为用锯子切割。
因此,词形还原不同于词义消歧。将 bank 识别为金融机构或河岸,通常不会改变其词元的书写形式,尽管词汇资源可能为这两个义项分配不同的标识符。仅凭词元字符串,无法唯一标识一个意义;在某些标注体系中,甚至无法唯一标识一个词位。
与其他文本处理操作的关系
词干提取
词干提取通常应用规则,删除或替换字符序列,以生成共同的词干。这个词干不一定是词典中存在的词。词干提取器可能将 studies 映射为 studi,而词形还原器通常会返回 study。
两者的区别并不简单地在于词干提取删除后缀,而词形还原查阅词典。词形还原器可以使用规则或通过学习得到的模型,词干提取器也可以纳入例外词表。核心区别在于预期输出:词干提取器生成的是便于归组的键值,而词形还原器旨在还原出语言学上定义的引用形式。
词干提取可以有意将存在派生关系的词归为一组,而词形还原则会将它们分开。这两种做法都可能适用于特定应用;词形还原并非在所有检索或分类任务中都必然更优。
分词与词元化及语法分析
分词与词元化决定将文本中的哪些单位视为词元(token)。词形还原通常作用于这些单位,或作用于分词与词元化之后得到的、按语言学标准界定的词。处理缩约形式、附着语素,以及书写词界与语法词边界并非直接对应的语言时,这一区别十分重要。
词性标注为词语赋予名词、动词或形容词等语法类别。这类信息通常有助于选择词元。格、数、时态和人称等更详细的形态特征可以提供额外约束。
形态分析的目标更为广泛:它可以同时识别词元、词的语法特征及其内部结构。词形还原只提取或预测这类分析结果中的一部分。
其他归一化形式
转为小写、拼写纠正、转写和 Unicode统一码归一化处理的是不同类型的变异。它们可能出现在同一条处理流程中,但本质上并不属于词形还原。历史拼写、大小写变体或不同正字法形式是否归入同一个词元,取决于资源所采用的惯例。
计算方法
词典查找
基于查找的系统存储从词形到可能词元的映射。它能够直接处理 went → go 这样的不规则形式,并可为每个候选项附加语法信息。
其主要局限是覆盖范围。未见过的技术术语、名称、拼写变体和新造词可能不在词典中。对于有歧义的形式,还需要一种从多个候选项中作出选择的机制。
例如,WordNet 词汇数据库提供的词汇信息被用于一些英语词形还原实现。结果在一定程度上取决于所提供的语法类别,以及具体实现采用的回退策略。
规则与形态分析器
基于规则的系统对后缀替换、辅音变化和例外处理等转换进行编码。将 -ies 映射为 -y 的规则可用于分析 studies 等形式,但必须施加约束,以避免错误转换。
更复杂的分析器会对词干和词缀的组合建模,而不是将每个词视为孤立的字符串。有些分析器使用有限状态转换器,这是一类与有限状态机相关的装置,用于在词汇表示与表层形式之间进行映射。这类系统能够表示广泛的屈折变化模式,而无须列出每一种完整词形。
在具备可靠的语言学描述和词典时,基于规则的方法可以很有效。不过,开发和维护这些系统仍可能需要大量针对特定语言的专业知识。
学习模型与上下文模型
机器学习系统从标注样例中推断转换方式。模型可以预测编辑操作、选择候选词元,或逐字符生成词元。编码器—解码器架构适合将词形及其语法特征作为输入,并将词元作为输出序列。
上下文系统还会利用周围的词语。Transformer架构或其他序列模型可以帮助区分 saw 是表示感知的动词过去时,还是名词或表示锯切的动词。有些系统会联合预测语法标签和词元。
学习系统依赖其训练数据的覆盖范围和标注惯例。它们能够泛化到未见过的形式,但也可能生成看似合理却不正确的词元。混合系统则结合词汇查找、规则和学习模型的预测。
应用
在信息检索中,词形还原可以使包含某种屈折形式的查询匹配到含有另一种屈折形式的文档。例如,索引可以将 write、writes 和 writing 关联到同一个表示。这可以提高召回率,但不恰当的归一化也可能引入不相关的匹配结果。
对于词袋模型及相关表示,词形还原可以减少不同词汇项的数量,并汇总各种屈折形式的出现次数。因此,一些文本分类、聚类和术语提取流程会采用词形还原。
在语料库分析中,基于词元的计数使研究者能够考察一个词汇项的各种语法形式。词典工具、语境索引和语言学习应用也可以利用词元,将实际出现的形式关联到词条。
词元还可以支持机器翻译和其他语言处理系统。不过,许多当代神经网络系统直接处理字符或子词单元。显式词形还原仍是一项取决于具体任务的设计选择,而非普遍必需的前提。
评估与局限
一种常见的评估指标是词元准确率:在接受评估的词元(token)中,预测词元(lemma)与标注参考答案完全一致的比例。要进行有意义的比较,分词与词元化方式、语言覆盖范围和标注惯例必须相容。评估还应区分两类系统:一类获得正确的语法标签作为输入,另一类则必须自行预测这些标签。
重要的错误来源包括:
- **词汇歧义:**相同拼写可能对应不同的词元。
- **未见形式:**不常见的屈折形式、名称、专业词汇和拼写错误可能得不到充分覆盖。
- **上游错误:**错误的词元边界或语法标签可能导致错误的词形还原结果。
- **领域差异:**以经过编辑的当代散文文本训练的系统,在历史文献或非正式消息上的表现可能不同。
- **标注差异:**不同资源对复合词、大小写、用作形容词的分词或不规则比较级的处理可能存在分歧。
词形还原也会丢弃某些应用所需的区别。将 walked 和 walking 映射为 walk 会移除语法信息,除非另行保留原始形式或形态特征。同样,对文档进行归一化而不保留原始文本,可能掩盖文体或历史方面的证据。
不同语言中,词形还原能够消除多少变异,以及映射有多困难,差别很大。丰富的屈折变化会使基于词元的归组尤为有用,但也会增加形态歧义,以及对合适语言资源的需求。在屈折变化相对较少的语言中,切分、拼写变异或多词表达可能是影响更大的处理难题。