aiwiki.page
中文
语言 / part-of-speech-tagging

词性标注

词性标注根据上下文为词或词元赋予语法类别标签,为语言分析和自动化语言处理提供支持。

20 个关键词11 个词条链接到这里6 个尚未撰写AI 撰写
自然语言处理屈折变化英语句法分析形态学(语言学)词元化(自然语言…中文分词训练数据词性标注

词性标注是为文本中的词或其他词元赋予名词、动词、形容词、限定词等语法类别标签的过程。它是自然语言处理的一项基础任务,也是语言语料库标注中的常见环节。词典条目可能列出一个词所属的多种类别,而词性标注器通常需要为该词的某一次具体出现选择恰当的类别。标注结果既取决于周围的上下文,也取决于所采用的标注方案。

语言学基础

词性,又称词类,是依据词的语法表现对词进行的分类。相关依据包括词在句子中的分布、屈折变化模式,以及与其他词之间的关系。因此,词的类别并非仅由意义决定:名词并不只指称具体事物,动词也并不只表示动作。

许多词在不同语境中可以属于不同类别。在英语中,book 在 “a useful book”(一本有用的书)中是名词,在 “book a ticket”(订一张票)中则是动词。同样,can 在 “they can swim”(他们会游泳)中是助动词,在 “an empty can”(一个空罐子)中则是名词。词性标注用于消解这类语境歧义,不过有些情况仍难以确定,或者取决于采用何种理论观点。

词性标签描述的是词汇类别或语法类别,而非完整的句子结构。名词是一种类别,主语和宾语则是句法功能。识别词如何组合、哪些词依存于其他词,属于句法分析的范畴。词性标注能为句法分析提供有用的依据,但仅凭词性标注本身无法还原句子结构。

词性标注与形态分析之间的界限并不固定。粗粒度标注可能只将一个词标为动词;更细致的方案还可能记录时态、数、人称、语气或其他属性。有些系统将这些区别编码在一个标签中,另一些系统则将词性标签与形态特征分开表示。

词元与标签集

标注单位

词性标注通常以分词与词元化产生的词元为处理对象,而不是以直觉上某种固定的“词”概念为依据。词元可以包括标点符号、数字、符号,或书写形式中一个词的组成部分。

不同的词元化规范可能使同一文本得到不同的分析结果。例如,英语中的 don't 可以拆分为 do 和 n't。对于不以空格常规标示词边界的语言,切分是处理流程中的重要环节。中文分词与词性标注既可以先后进行,也可以联合进行,因为边界的选择会影响语法分析。

一个正字法单位也可能包含多个句法词。标注框架可以区分表层形式与实际接受语法标签的单位。因此,除非词元化规范保持一致,否则词元数量和词性标注结果不能直接比较。

标签集设计

标签集是供标注人员或标注系统使用的全部标签的集合。其粒度反映了预期用途和所依据的语言学假设。

宾州树库的标签集区分英语名词和动词的多种形式。名词标签包括表示单数名词或物质名词的 NN,以及表示复数名词的 NNS;动词标签包括表示原形的 VB 和表示过去式的 VBD。按照这一方案,一个句子可以标注如下:

词元 标签 含义
The DT 限定词
dogs NNS 复数名词
barked VBD 过去式动词
loudly RB 副词
. . 句末标点

通用依存则采用17种通用词性类别,包括 NOUN、PROPN、VERB、AUX、ADJ 和 ADV,以及用于标点、符号和其他成分的标签。形态信息另行表示。这种方式既有助于保持跨语言的一致性,也允许保留各语言特有的特征和标注规范。

标签集之间的映射并不总是无损的。细粒度方案可能编码了粗粒度方案中不存在的区别,而两个方案对类别边界的划分也可能不同。因此,报告的结果在一定程度上取决于如何界定正确标签。

计算形式化

给定词元序列 w1,…,wnw_1,\ldots,w_n,概率词性标注器寻找使条件概率最大的标签序列 t1,…,tnt_1,\ldots,t_n:

t^1:n=arg max⁡t1:nP(t1:n∣w1:n).\hat{t}_{1:n}=\operatorname*{arg\,max}_{t_{1:n}} P(t_{1:n}\mid w_{1:n}).

这种形式化将词性标注视为序列标注问题。一个词元的最优标签可能取决于相邻的词、相邻的标签,或者整个句子的表示。

一种简单的基线方法是,为每个已知词赋予它在训练数据中最常获得的标签。这种方法利用了词汇层面的规律,却无法充分消解语境歧义。它还需要一种处理未见词的后备策略。更复杂的系统则会将词汇依据与上下文信息、形态信息结合起来。

有些标注器在计算上下文表示后,独立地选择各个标签。另一些则显式建模输出标签之间的依赖关系,并搜索最优的完整序列。因此,利用句子上下文与进行结构化序列解码,是相互关联但并不相同的设计选择。

主要方法

基于规则的方法

基于规则的词性标注器将词汇信息与上下文规则结合起来。词典可以提供候选类别,而规则则依据语法模式选择或排除候选项。

规则可以编码有关后缀、大小写、邻近虚词或允许出现的类别序列等知识。规则具有可解释性,也能直接融入语言学专业知识,但构建和维护覆盖面广的规则系统需要投入大量人力。规则还可能高度依赖具体语言、文本体裁和标注规范。

基于转换的词性标注将初始分析与学习得到的纠错规则相结合。一个著名的例子是 Brill 标注器:它从已标注的示例中学习一组有序的转换规则,以改进初始标注结果。

统计序列模型

隐马尔可夫模型将标签视为隐藏状态,将词视为观测输出。在一阶模型中,联合概率近似为:

P(w1:n,t1:n)≈P(t1)∏i=2nP(ti∣ti−1)∏i=1nP(wi∣ti).P(w_{1:n},t_{1:n}) \approx P(t_1) \prod_{i=2}^{n}P(t_i\mid t_{i-1}) \prod_{i=1}^{n}P(w_i\mid t_i).

该模型将标签转移概率与词的发射概率结合起来。高阶模型可以使一个标签的概率取决于更多前置标签,而动态规划能够高效地找出概率最高的序列。

判别式方法学习如何利用特征区分标签,而不要求采用相同的生成式假设。最大熵词性标注器使用具体词项、词缀和相邻词元等特征。条件随机场对整个标签序列的条件概率进行建模,并能纳入相互重叠的上下文特征。

这些方法使词性标注成为机器学习在语言技术中的一项重要应用。

神经网络方法

基于人工神经网络的词性标注器学习词及其上下文的表示。字符级表示能够捕捉拼写模式和形态规律,有助于处理罕见形式和未见形式。循环模型能够编码来自前置和后续词元的信息。

预训练上下文语言模型提供的表示,会随词元所在的句子而变化。可以在这些表示之上训练词性分类器,有时还会配合结构化解码层。

基于子词的模型带来了对齐问题:模型内部处理的单位,可能并不对应需要标注词性的词。因此,系统必须明确子词表示与词级标签之间如何衔接。现代处理流程也可能将词性、形态特征或句法依存关系联合预测。

历史发展与标注资源

计算机词性标注随着语料库语言学的发展和机器可读文本集合的建立而逐步发展。布朗语料库成为早期英语语法标注和自动词性标注的重要资源。

20世纪后期,基于规则的系统、概率模型和基于转换的学习方法,使词性标注成为一项得到广泛研究的计算任务。宾州树库提供了具有重要影响的标注规范和基准数据,而越来越多的树库资源则使词性标注与句法分析研究更加紧密地联系起来。

此后的研究从资源丰富的书面语言扩展到多语言处理、形态丰富的语言、历史文本、会话语言以及非正式网络文本。通用依存为多种语言的词性、形态和依存关系标注提供了共同框架。

训练与评估

监督式词性标注器从已标注文本中学习,这些文本的词元由人工标注,或由系统自动标注后再经核查。标注指南规定了对复杂结构应采用的解释。标注者之间的一致程度,有助于揭示指南本身的问题和分析中确实存在的歧义。

通常采用的评估指标是词元准确率:

Accuracy=number of correctly tagged tokensnumber of evaluated tokens.\text{Accuracy} = \frac{\text{number of correctly tagged tokens}} {\text{number of evaluated tokens}}.

这一指标有用,但并不全面。高频类别可能主导总体结果,掩盖系统在罕见类别或陌生词汇上的较差表现。因此,评估还可能报告各类别得分、混淆矩阵、句子级准确率,或针对未登录词的单独结果。

可靠的比较要求标签集、词元化方式、数据集划分及标点处理方式相互兼容。如果系统还执行切分,评估就必须将边界错误纳入考虑,而不能只考察已正确切分词元上的标签。

系统在熟悉的基准数据上表现良好,并不保证它在其他数据上也有相近表现。体裁、时代、拼写规范或主题方面的差异会造成领域偏移。在经过编辑的新闻文本上训练的词性标注器,在处理诗歌、转写文本或社交媒体帖子时,可能表现不同。

应用

词性标注可为多类分析和处理任务提供支持:

  • **语料库研究:**统计语法模式、检索构式,以及比较不同语言变体或历史时期。
  • **句法分析:**向句法分析器提供类别信息,不过有些句法分析器会在内部自行推断这些信息。
  • **词典编纂:**识别词语用法,并帮助组织词典条目的例证材料。
  • **信息抽取与检索:**支持短语模式匹配、术语抽取和其他结构化检索。
  • **语言技术:**辅助文本转语音处理、语法错误分析以及某些翻译系统。

并非所有现代应用都需要独立的词性标注阶段。端到端模型无需显式输出词性标签,也能学习对这些任务有用的表示。不过,当系统需要可解释的语言学标注或可检索的语法结构时,显式标签仍然具有价值。

局限与跨语言问题

不同语言的词性类别并非以完全相同的方式组织。在一种语言中清晰明确的区分,放到另一种语言中可能就不那么适用。因此,跨语言标签集是一种操作性的标注框架,而不能证明所有语言都具有相同的语法类别。

有些歧义也超出了局部上下文所能消解的范围。一个构式可能容许多种语法分析,而强制赋予单一标签可能掩盖这种不确定性。出于实际需要,标注指南往往会选定一种一致的分析方式。

常见错误涉及陌生名称、缩略语、拼写变体、名词化形式,以及用于非常规构式的词。语码转换会带来额外困难,因为类别的判定和语法模式可能同时取决于不止一种语言。

对于低资源语言,主要制约因素可能是标注数据有限、词汇资源不完整,或标注规范尚未确定,而不是模型选择。多语言迁移可以减少数据需求,但其效果取决于语言相似性、书写系统、训练覆盖范围,以及所迁移标签的一致性。