句法分析是确定语言表达的语法结构的过程:词语如何组合成更大的单位,哪些成分依存于其他成分,以及这些成分之间存在哪些语法关系。在语言学中,句法分析为句法提供明确的结构分析;在计算系统中,它是将语言单位序列映射为一种或多种结构表示的程序。人类句法分析研究则考察人们在阅读、聆听或感知手语时如何构建这些表示。
句法分析不止于识别单个词语或为其标注语法类别。例如,对于“The child saw the bird with binoculars”(那个孩子看见了那只鸟,句中的“with binoculars”既可能表示孩子使用望远镜,也可能表示鸟带着望远镜),句法分析器必须区分这两种解读。词语及其排列顺序完全相同,结构关系却有所不同。这类差异会影响语义解读、信息抽取以及许多其他语言处理任务。
这一领域融合了语法理论、形式化算法、统计推断以及关于语言理解的实验研究。其核心问题包括如何表示结构、消解歧义、在各种可能的分析中进行高效搜索,以及处理不同语言和交际情境中的变异。计算机语言分析与自然语言分析共用一些重要技术,但自然语言中的歧义尤为广泛,还存在表达不完整、解读依赖语境等问题。
结构表征
句法分析器依据某种特定的语法表征进行分析。不同的语言学理论和计算系统并不共用一种表征。其中两种影响尤为广泛的方法,分别通过具有层级结构的成分和词与词之间的依存关系来描述句子。这两种方法所刻画的信息往往相互关联,但对于什么是结构的基本单位,它们有不同的看法。
在基于成分的分析中,词组合成句法成分,例如名词短语、动词短语或分句。句子“The dog chased a cat”(那只狗追逐了一只猫)的结构可以示意如下:
这里,名词短语“a cat”包含在动词短语之中,而两个主要短语又都包含在整个句子之中。成分树明确呈现了这种嵌套关系。其终结节点对应词或其他输入单位,非终结节点则标明语法上的组合单位。根据标注方案的不同,树还可以编码语法功能、空范畴,或表层顺序中彼此分离的成分之间的联系。
在依存语法中,主要关系连接的是中心词与其依存词。在同一个例句中,“chased”是核心谓词,“dog”是其主语,“cat”是其宾语;两个冠词分别依存于各自的名词。基本依存树通常为根节点以外的每个词指定且仅指定一个句法中心词。边上的标签标明主语、宾语、修饰语和限定词等关系。当应用需要直接建立谓词与其论元之间的联系时,依存分析尤为方便。
树结构并不能满足所有用途。在“Kim wants to leave”(金想离开)中,分析可能需要表明,离开的人应理解为金,尽管不定式分句中并未显式重复出现“Kim”。增强型依存表征可以加入此类关系,从而形成图,而不再是简单的树。其他形式体系则采用特征结构、带有组合指令的范畴,或将成分组织与语法功能联系起来的表征。
区分表征与解释十分重要。宾语关系本身并不能确定,其指称对象是受到影响、被感知、被拥有,还是被创造出来的。这些区别涉及语义学和词汇知识。一种表征也不会仅仅因为可以画成树,就具有中立性:对短语边界、中心词、并列结构和省略成分的处理,都体现了特定理论或标注方案的立场。因此,最好将句法分析器的输出理解为在明确约定下作出的分析,而不是对句子的唯一确定的描述。
语法约束与歧义
句法分析既要遵循语法约束,也要在相互竞争的分析结果之间作出选择。有些约束决定哪些结构是允许的;另一些约束则使某些结构更为合理,但并不排除其他可能。数的一致关系、动词的补足语要求、成分顺序以及语法范畴的分布,都会影响这些判断。它们的重要性因语言和语法理论而异。
尚未考察更大的结构,单个词就可能带来不确定性。在“They can fish”中,“can”可以是表示能力的助动词,此时“fish”是动词,整句意为“他们会捕鱼”;也可以是意为“把某物制成罐头”的主要动词,此时“fish”是它的宾语,整句意为“他们把鱼制成罐头”。词性标注用于确定词的类别,但词性标注与句法分析并非彼此独立:最恰当的词类分析往往取决于句子结构。因此,系统可以联合执行这两项任务,而不是预先确定词性标签。
当同一序列可以有多种语法组织方式时,就会出现结构歧义。介词短语的附着位置是一个常见例子,但并列结构、关系从句以及修饰语的作用范围也会产生歧义。“Old men and women”既可以将“old men”(老年男性)与“women”(女性)并列,也可以让两个名词都受“old”(年老的)修饰。有些歧义即使在完整句子中仍然存在,另一些则会随着后续词语的出现而消失。
不同语法理论对可能分析范围的界定各不相同。上下文无关文法使用 这样的产生式,其中,一个符号的展开不依赖于其周围的符号。这类文法为嵌套的短语结构提供了有用的模型。表达能力更强的系统可以编码特征、词汇选择要求或依存关系,而较简单的文法只能间接表示这些信息。例如,在基于合一的分析中,主语与动词的特征必须相容,而不仅仅是按允许的顺序出现。
谓词的论元结构限定了它通常需要哪些补足语。“Put”在表示“放置”时,通常要求有一个宾语和一个地点成分,而“sleep”通常不带直接宾语。这些要求并不总是绝对的:构式、省略、隐喻用法以及话语语境,都可能改变实际表达出来的内容。稳健的句法分析器必须区分强烈的词汇倾向与不可违反的语法限制。
语境与语用学可以使某种解释更受支持,而单凭句法无法在这些解释之间作出定论。在讨论观鸟时,将“with binoculars”理解为表示所用工具的“用双筒望远镜”,就比其他一些解释更为合理。不过,意义合理与语法结构合规不能等同。一个不合常理的命题可能在语法上完全成立,而一个结构不完整的话语也可能在交谈中很容易被理解。不同句法分析系统的处理方式各异:有的保留多种可能,有的只返回排名最高的分析结果,还有的会显式表示不确定性。
经典句法分析算法
可能的结构数量随句子长度迅速增长,因此穷举所有结构并不现实。经典句法分析算法通过共享中间结果、利用语法施加的约束来解决这一问题。这些算法区分识别与分析:识别是判断一个序列是否属于某种语法所定义的语言,而分析则是构建使该序列符合语法的结构。
自顶向下的方法从句子层面的类别出发,逐步展开语法规则,直到与输入词语相匹配。自底向上的方法则从词语出发,将已识别的单位组合成更大的结构。纯粹的自顶向下搜索可能反复探索得不到输入支持的预测;纯粹的自底向上搜索则可能构建出无法用于组成完整句子的成分。许多实用方法将预测与输入提供的证据结合起来。
图表句法分析将中间分析结果记录在一张表中,即分析图表,从而避免重复求解同一个子问题。一个图表项可以表示某个名词短语覆盖了位置 到 。多个更大结构的分析都可以复用这个图表项。当许多分析共享子结构时,可以用紧凑表示保留各种备选分析,而不必为每种可能性单独存储一棵完整的树。
Cocke–Kasami–Younger 算法源于20世纪60年代的研究,适用于采用适当二元范式的上下文无关语法。对于固定的语法和一个包含 个词的句子,其常见的动态规划形式在最坏情况下的时间复杂度为 的三次方。该算法将相邻跨度内的成分组合起来,并考察其间可能的切分点。如果需要将所得结构映射回原始分析,那么将原始语法转换为二元形式时,就必须保留相应的转换记录。
杰伊·厄利于1970年发表的算法无需进行上述转换,就能处理任意上下文无关语法。该算法维护尚未完成的产生式,并通过预测、扫描和完成三种操作推进分析过程。其一般情况下的最坏运行时间为三次方量级,而对于一些重要的语法类别,则有更低的复杂度界限。这些界限描述的是形式上的最坏情况,并不能普遍用于预测实际的句法分析速度。
依存分析器通常采用不同的搜索组织方式。基于转移的句法分析通过对栈、输入缓冲区和弧集合执行一系列动作来构建结构。这些动作可以移入一个词,也可以建立中心词与依存词之间的关系。某些转移系统所需的动作数与输入长度呈线性关系,但分类器、搜索策略以及非投射结构的处理方式也会影响总成本。相比之下,基于图的依存句法分析为候选弧或更大的结构片段评分,再选出一棵结构合法的树。动态规划可以保证所得结构的投射性,而在适当的评分假设下,有向生成树方法可以求得非投射树。这些方法以不同方式分解搜索问题,并不一定代表相互竞争的语法观。
概率句法分析与统计学习
一套语法可以允许多种分析,却不指明哪一种在实际使用中最有可能出现。概率句法分析在结构约束之外,引入为候选结构赋予概率或分数的模型。分析器随后从中寻找最优分析,通常表示为:
其中, 为输入, 为允许的结构集合。有些模型则定义联合概率 ,对于给定的句子,同样可以据此选出概率最高的分析。
概率上下文无关文法为每条产生式赋予一个概率,并在左部相同的产生式之间进行概率归一化。在其独立性假设下,一棵树的概率等于它所使用的各条产生式的概率之积:
这种因子分解使得我们可以改造上下文无关句法分析算法,实现高效推断。然而,使模型易于计算的这一结构,也限制了它捕捉相距较远的决策之间的依赖关系,以及由特定词汇决定的决策之间的依赖关系的能力。
简单的概率文法会以相似的方式处理两个类别相同的名词短语,即使它们的中心词导致了截然不同的附着偏好。词汇化统计句法分析器通过以词汇中心语及相关信息为条件来作出结构决策,弥补了这一不足。20 世纪 90 年代出现了一批有影响力的系统,包括迈克尔·柯林斯和尤金·查尼亚克等人的工作,将语言结构与学习得到的词汇偏好相结合。这类模型改善了对动词与论元关系以及附着决策的处理,但也需要采用应对观测数据稀疏的策略。
训练通常使用树库,即标注了句法结构的句子集合。规则频次或事件计数可用于估计模型参数,但许多相关组合很少出现,甚至从未出现。平滑和回退方法通过重新分配概率,使模型在细粒度证据不足时能够依赖更宽泛的类别。例如,对于未曾出现过的中心语与修饰语组合,可以利用二者的语法类别或更一般的词汇类别信息来处理。
判别式方法直接学习区分相互竞争的分析,而不是对句子和树的联合生成过程建模。这类方法可以使用彼此重叠的特征,描述词语、标签、距离、结构配置以及先前作出的决策。训练目标既可以是局部分类损失,也可以是比较完整树或局部树的结构化目标。局部学习与全局学习之间的区别十分重要:单独看来合理的决策,组合起来未必能形成最佳的完整结构。
概率还提供了一种保留不确定性的方式。系统可以计算成分或依存弧的边缘概率,返回一个 最佳列表,或保留一个压缩分析森林。这些信息有助于后续应用避免将不确定的附着关系视为确定事实。不过,模型给出的数值置信度并不天然具有良好的校准性,尤其是在输入与其训练数据差异较大时。
神经网络架构与预训练语言模型
神经网络句法分析用学习得到的数值表示,取代了许多人工设计的特征组合。人工神经网络可以根据词的形式、语法语境和位置对其进行编码,再利用这一表示为分析器动作、依存弧、成分跨度或完整的输出序列评分。神经网络建模改变了评分的学习方式,但并不意味着无需明确规定输出结构和解码流程。
早期具有重要影响的神经网络依存分析器使用前馈网络,在转移系统中选择动作。陈丹琦与克里斯托弗·曼宁于2014年提出的分析器表明,稠密嵌入与相对精简的神经网络分类器相结合,能够实现快速、准确的依存分析。后续系统使用循环神经网络表示句子,有些还用它表示不断变化的分析器状态。上下文编码减少了对人工选定的小范围输入特征窗口的依赖。
在依存分析中,一种常见架构为每个词元分别分配两种表示,分别对应它可能充当的中心词和依存词角色。双仿射评分函数可示意性地写为:
其中, 和 是学习得到的向量, 和 是学习得到的参数, 是偏置项。该分数估计一对中心词与依存词之间的匹配程度。依存关系标签可以由另一个独立组件预测。蒂莫西·多扎特与克里斯托弗·曼宁在2017年的研究使这一架构产生了尤为广泛的影响。
神经网络成分分析器通常对带标签的跨度进行评分。编码器对句子进行表示,跨度表示汇总位置 到 之间的信息,分类器则为可能的成分标签评分。随后,图表解码器可以选出满足结构兼容约束且得分最高的树。其他模型将带括号的树作为序列生成,或使用逐步构建短语的动作系统。强大的句子编码器与受结构约束的解码器相辅相成:上下文表示提供判断依据,而解码过程确保输出满足指定的结构条件。
2017年提出的Transformer架构,以及随后出现的BERT等预训练上下文模型,成为句法分析系统的重要组成部分。在大规模文本集合上进行预训练,可以在有监督的句法训练之前提供词汇和上下文信息。子词切分有助于表示不熟悉的词形,但分析器往往需要将多个子词向量与一个句法词对齐。这种对齐涉及工程实现和标注问题,而不只是模型规模的问题。
也可以通过提示或训练,让大语言模型输出树、依存关系列表或对语法结构的解释。解释流畅,并不能证明相应的分析在结构上有效或正确。仍然需要检查输出中是否存在词元缺失、一个词具有多个中心词、环、括号不匹配以及标签不一致等问题。同样,注意力权重本身并不是句法依存关系:必须采用明确的方法从中推导出句法分析结果,并依据独立规定的标注对其进行评估。
树库、标注与评估
树库既为句法分析器提供训练依据,也为其评估提供参考分析。树库的建设将句法分析与语料库语言学联系起来,因为文本、说话者、语体及标注规范的选择,决定了数据所代表的语言范围。在经过编辑的报纸文章上训练的分析器,并不能因此就被认定为在会话、历史文献、学习者写作或技术报告上也能取得同样好的效果。
宾州树库项目始于1989年,其标注的英语材料,包括《华尔街日报》文本,产生了尤为深远的影响。该项目的短语结构标注规范为许多统计句法分析器提供了共同的训练和测试条件。其他项目则发展了依存标注,并为更多语言建设了资源。通用依存于2015年首次发布,在共享框架内允许保留各语言特有区别的同时,提供面向跨语言研究的标注指南和树库。
创建树库需要作出一系列决策,而这些工作有时会被误认为只是简单的转录。标注者必须确定词元边界、选择并列结构中的中心词、分析多词表达式,并表示省略或其他未显现的成分。标注指南为这些问题提供足够一致的处理方式,使数据集能够投入使用,但不同项目完全可能合理地采用不同方案。标注者间一致性衡量的是同一套标注体系下结果的可复现性,并不能证明该体系是唯一在语言学上站得住脚的方案。
对于成分句法分析,一种标准评估方法是比较带标签的跨度。精确率是预测成分中与参考成分相匹配的比例;召回率是参考成分中被成功识别出的比例。二者的调和平均值为:
评估必须说明是否计入标点、最外层句子节点、空成分或特定标签。如果两项报告的得分采用了不同的分词方式、测试集或规范化流程,就不能直接比较。
依存句法分析通常使用无标签依存准确率和有标签依存准确率:前者指被评估的词中,中心词指派正确的比例;后者还要求关系标签正确。整句准确率更为严格,因为所有要求评估的关系都必须正确。有些评估方案侧重特定依存关系类别,或明确将形态特征和词元对齐纳入考虑。对标点和多词词元的处理方式可能显著影响结果。
评估还必须防范数据泄漏和误导性的汇总。若训练材料与测试材料高度相关或存在重复,就可能高估模型的泛化能力。总体的词元级得分可能掩盖分析器在长距离关系、并列结构、罕见构式或占比较低的语体上的不足。因此,有价值的分析会按句子长度、关系类型、词汇频率和领域分别考察错误。置信区间和多次重复实验有助于区分稳定的改进与抽样波动或训练不稳定造成的差异。
跨语言与多语言句法分析
介绍句法分析方法时,人们往往使用英语例子,但这些方法所依据的假设必须经受人类语言多样性的检验。语序、形态复杂度、论元省略,以及书写单位与语法词之间的关系,都会影响分析器的输入及其必须还原的结构。如果一种语言主要通过屈折变化或话语语境来标示语法关系,那么高度依赖相邻关系和固定位置的系统就可能难以应对。
即使语序发生变化,语法格和一致关系也能为识别主语、宾语和修饰语提供线索。另一方面,丰富的形态变化会产生大量表层形式,加剧基于词的训练数据的稀疏性。字符级或子词表示有助于在相关形式之间实现泛化,而形态分析器则能提供显式特征。这些技术并不能消除歧义:一个表层形式可能对应多种特征组合,而正确的分析可能取决于句法。
投射性是跨语言句法分析中一个尤为重要的问题。如果依存树中的每个中心词所支配的词都构成一个连续区间,这棵树就是投射的;等价地说,在通常的线性绘图方式下,只要根节点的位置安排得当,依存弧就不会相交。当依存关系交错时,就会出现非投射结构,语序扰动、外置或不连续表达式中都可能出现这种情况。其出现频率因语言、体裁和标注惯例而异。如果分析器仅允许生成投射树,就无法精确还原违反这一限制的参考树。
输入词元的定义也因语言而异。在中文文本中,由于通常不用空格划分词界,基于词的句法分析往往需要先进行中文分词。在其他语言中,一个正字法单位可能包含多个与句法相关的成分。通用依存标注体系区分表层的多词词元与其内部接受分析的句法词。切分错误可能进一步导致依存附着错误,因此端到端评估十分重要。
跨语言迁移利用一种语言的资源来训练或适配分析器,以辅助另一种语言的句法分析。平行文本、多语言嵌入、共享编码器和通用标注方案都可以为这种迁移创造条件。语言类型差异和标注惯例的不一致则会限制迁移效果:共享词汇表示并不意味着论元结构、语序或中心词选择规则也能对齐。大型多语言模型从其所涵盖的不同语言中获得的训练证据,也可能极不均衡。
语码转换会使同一话语或句子中出现混合的词汇和语法模式。仅用单语材料训练的分析器,可能误判语码转换点、不熟悉的形式或借入的构式。历史语言变体和地域性言语也存在类似的资源不匹配问题。在手语中,句法线索可能涉及空间组织方式以及同时出现的非手控特征,因此,线性排列的书面释义标注只能捕捉相关信息的一部分。要将句法分析扩展到这些情境,除了增加训练数据,还需要关注表示方法和标注方式。
人类句子加工
研究者通过阅读时长、眼动、理解判断、电生理测量及其他实验方法,研究人类的句法分析过程。核心问题不只是一个句子允许哪些结构,还包括对句子的分析如何随时间逐步展开。读者和听者逐步接收输入,必须在完整句子尚未呈现之前,维持或修正已有的理解。
花园路径句展示了最初倾向采用的分析会带来什么后果。在“The horse raced past the barn fell”中,“raced”起初很可能被理解为主要动词。句末的动词“fell”则要求采用另一种分析:将“raced past the barn”视为修饰“the horse”的成分,大致相当于“the horse that was raced past the barn”(那匹被驱赶着跑过谷仓的马)。这种加工困难表明,早期理解与后续证据之间存在冲突,不过,究竟哪些因素决定了最初的分析偏好,仍是理论争论的焦点。
串行理论认为,语言加工系统起初只选择一种结构,并在必要时重新分析。并行理论或基于约束的理论则允许多种解释相互竞争,由词汇频率、合理性、语境和结构偏好共同发挥作用。实验结果推动了这两类理论的不断完善,但尚未确立一种得到普遍认可的单一机制。能否观察到语境效应,也取决于所研究的构式、任务以及测量的时间点。
基于预期的研究路径将加工困难与即将出现的词的可预测性联系起来。一种形式化度量是自信息:
在模型中,越出乎预期的词,自信息越大。约翰·黑尔(John Hale)在2001年的研究中,将概率句法分析与增量加工中的困难联系起来,后续研究又对这一思路进行了广泛发展。可预测性可能反映句法、词汇联想、语义和话语等多方面因素,因此,自信息与阅读时长之间的关联并不能单独确认纯粹的句法成因。
基于记忆的理论强调维持尚未完成的依存关系,以及提取先前材料所需的代价。在长距离主谓关系中,介于主语与动词之间的名词可能造成干扰,因为它们与目标主语具有相同的提取线索。当多个依存关系必须同时保持未解决状态时,中心嵌入句往往会较难理解。这些效应与熟悉度、语义支持和呈现条件相互作用,而非仅由句子长度决定。
计算句法分析器可以作为这些假说的明确模型,但工程性能与心理合理性是两套不同的评价标准。一个先查看整个句子、再为其指派结构的分析器,可能在基准测试中取得极高的准确率,却不能模拟实时理解。反过来,一个受到增量输入或有限记忆约束的模型,可能有助于解释人类的错误,却未必是最准确的标注系统。语言习得研究还提出了另一个问题:在不假定儿童接受树库式监督的前提下,对结构的预期如何从经验中形成。
应用与实际局限
句法分析适用于需要了解表达之间关系,而不只是判断某些表达是否出现在文档中的应用。在自然语言处理中,句法分析结果可以提供以下信息:谁执行了某个动作、什么受到了影响、哪个短语修饰某个实体,以及各个分句如何连接。这些信息的价值取决于具体应用,也取决于句法分析错误所引入的噪声是否超过了所提供的有用结构信息。
信息抽取既体现了句法分析的益处,也揭示了它的局限。“委员会批准了该提案”和“该提案由委员会批准”的表层语序不同,但句法分析可以帮助将其中的参与者表示为同一种形式。然而,并非在所有构式中,语法关系都能直接确定语义角色。被动语态、名词化、并列结构和隐含论元都需要进一步解释。依存路径可以是一项有用的特征,但并不等于对所述事件的完整表示。
句法分析在机器翻译中也发挥过重要作用。基于句法的统计翻译系统使用树或树片段来建模语言之间的对应关系和语序调整。现代神经机器翻译系统通常不使用显式的句法分析器,但在结构泛化、输出控制以及一致关系错误或附着错误诊断等研究中,句法信息仍然有用。句法分析器的贡献必须在实际翻译系统中加以衡量,不能仅凭其语言学相关性就认定它有帮助。
语法检查和教育软件利用句法分析来识别可能存在的一致关系问题、补足语缺失或不常见构式。这些应用面临一种不匹配:句法分析器可能主要使用经过编辑、符合语法规范的文本训练,而实际输入却包含学习者的错误和尚未完成的修改。稳健的系统可能需要考虑多种候选分析、采用容错语法,或设置置信度阈值。偏离训练语料库中更常见的模式,本身并不能证明存在错误,尤其是在涉及不同方言和语域时。
在研究中,经过句法分析的语料库使研究者能够考察构式的演变、依存距离、动词的补足结构或语法变异模式。自动标注极大地扩大了这类研究的规模,但句法分析器的系统性错误也可能转化为研究中的系统性错误。历史拼写、受损文本和不熟悉的文类都可能使错误率发生变化,而这些变化未必能通过现代基准测试体现出来。因此,对相关构式进行人工验证,并明确报告标注规范,是重要的方法论控制措施。
实际部署还会带来准确率之外的约束。系统可能需要低延迟、可预测的内存占用、跨软件版本保持稳定的输出,或者在不向外部服务传输敏感文本的情况下运行。现代语言模型有时使特定任务不再需要显式的句法分析;而在另一些场景中,经过验证的树或图则能提供一种紧凑且便于检查的中间表示。因此,是否引入句法分析器是一项需要通过实证评估作出的设计决策,涉及准确率、可解释性、计算成本,以及结构错误可能造成的后果。