自动文本摘要是指通过计算方法,从一篇或多篇源文档中生成较短的文本,并保留其中选定的信息。它是自然语言处理的一项主要任务,既涉及对信息重要性的判断,也涉及信息的组织与表达。摘要可以由直接摘录自源文档的句子、新生成的文字,或两者混合组成。摘要的质量不仅取决于是否简短,还取决于它能否在不引入缺乏依据的论断的前提下,保留目标读者所需的信息。
摘要技术可用于新闻监测、文档检索、会议记录和科学文献综述等多种活动。与无损数据压缩不同,摘要通常会不可逆地舍弃部分信息,并以人类可读的语言呈现其余信息。核心难点在于,信息的重要性取决于具体情境:针对同一篇研究论文,面向专业人士的实用摘要,与面向普通受众或为回答某个具体问题而撰写的摘要,可能有很大差异。
相关研究已从基于词频的规则和句子选择,发展到统计学习、神经网络生成,以及能够遵循指令的大语言模型。尽管生成文本的流畅性已有显著提升,要可靠地生成摘要,仍需解决证据选择、语义忠实性、篇章组织和评估等问题。
任务定义与摘要形式
摘要任务的定义不只是给出源文档和期望的输出长度,还取决于读者的目的、源文档之间的关系、需要突出呈现的信息,以及允许改写的程度。通用摘要力求在没有明确的信息需求时呈现文档的主要内容。面向查询的摘要则选取与某个问题或主题相关的材料,例如报道中设备故障的原因。更新摘要假定读者已经了解部分材料,因此只呈现新的进展。
抽取式摘要与生成式摘要的传统区别在于输出的构建方式。抽取式摘要从原文中选取现有的文本单元,通常是句子,也可以是分句或其他文本片段。生成式摘要生成的表述不必沿用原文措辞。它可以合并多条陈述,用一个类别概括一组列举项,消解指代,或以更简洁的方式表达某种关系。在工程实现中,这两类方法并不互斥:生成式系统可能照搬大部分原文措辞,而抽取式处理流程也可能编辑选中的句子。
输入的组织方式也带来了进一步的区分。单文档摘要以一篇文章、报告或转录文本为基础。多文档摘要则整合多个来源,这些来源可能内容重复、细节互补,也可能存在分歧。按时间顺序组织的摘要保留事件发生的先后次序;按主题组织的摘要则将材料按主题归类。在对话摘要中,发言者、提议、决定和尚未解决的问题,往往比转录文本的句子层面结构更为重要。跨语言摘要的输出语言与源文档不同,因此需要将信息选择与机器翻译相结合。
输出要求可以通过字数限制、句子数量、结构模式、阅读难度或指定的主题集合来表达。压缩程度的一种简单度量是
其中, 和 分别是以相同单位衡量的摘要长度和源文档长度。 越小,表示摘要相对于输入越短,但这一数值本身并不能说明质量。标题和执行摘要都可以是有效的输出,却服务于截然不同的目的。
摘要也有别于一些相近的任务。信息检索主要是定位相关材料,而不是改写材料。问答可能旨在获取某一项事实,而非具有代表性的概述。文本简化可以在改变词汇和句法的同时保留大部分内容。在实际应用中,系统会将这些功能结合起来,因此,要进行有意义的比较,就必须明确界定任务。
历史发展
早期的自动摘要方法将文档内容视为承载信息的词语的分布。1958 年,汉斯·彼得·卢恩提出了一种利用重要词语的出现频率及分布,为科技文献自动生成摘要的方法。该方法根据这些词语在句子中的集中程度为句子评分。其背后的直觉——反复出现的实义词有助于识别文档主题——至今仍有影响,不过,仅凭词频无法区分核心发现与反复出现的背景材料。
H. P. 埃德蒙森在 1969 年的研究中考察了更多信号,包括提示词、标题词和句子位置。这些特征反映了常见的写作惯例:开篇段落可能用于引入主题,而“总之”等短语之后可能会出现主要论点。后来的系统不再完全依靠人工设定各项特征的权重,而是通过学习来组合特征。朱利安·库皮克、扬·佩德森和弗朗辛·陈在 1995 年发表的研究,是以人工撰写的摘要作为监督信号、利用统计方法选择句子的一个有影响力的实例。
20 世纪 90 年代,研究范围从单文档抽取扩展到多文档信息综合,以及面向用户需求的摘要。1998 年的 SUMMAC 评测考察了信息获取场景中的摘要应用。从 2001 年开始,文档理解会议(Document Understanding Conferences)定期提供评测任务和共用文档集。此后,摘要评测在文本分析会议(Text Analysis Conference)中继续开展。这些共享任务有助于确立标准实验规范,同时也揭示了比较摘要结果的难点:不同结果的措辞可能差异很大,却传达相近的信息。
2004 年出现了两种影响深远的方法:拉达·米哈尔恰和保罗·塔劳开发的 TextRank,以及居内什·埃尔坎和德拉戈米尔·拉德夫开发的 LexRank。两者都利用句子之间的关系来识别核心内容。同年,林钦佑提出了 ROUGE,这是一组自动评测指标,后来成为摘要基准评测的核心工具。这些进展使研究者更容易构建无监督基线系统,并在反复进行的实验中比较不同系统。
在随后的十年间,神经网络方法改变了这一领域。2015 年,亚历山大·拉什、苏米特·乔普拉和贾森·韦斯顿提出了一种用于生成式句子摘要的神经注意力模型。阿比盖尔·西、彼得·刘和克里斯托弗·曼宁于 2017 年提出的指针生成网络系统将复制与生成相结合,并利用覆盖机制减少重复。随后,BART、T5 和 PEGASUS 等预训练模型使迁移学习成为主流方法。遵循指令的模型进一步使摘要系统能够响应灵活多样的请求,但从抽取走向流畅生成的历史转变,也使事实可靠性成为评测中更为突出的问题。
抽取式选择与内容组织
抽取式系统通常先将文档划分为候选单元,评估各单元的重要性,在长度限制下选取其中一部分,再确定它们的呈现顺序。预处理可能包括句子切分、分词与词元化,以及标题或章节边界识别。早期的评分方法使用词频、句子位置,以及句子与文档标题之间的词语重合程度。基于学习的系统还可以利用语义表示和文档上下文信息。
一个核心难题是,逐一选出得分最高的句子,往往会生成内容冗余的摘要。如果三个句子都在重述同一结果,将它们全部纳入摘要就会浪费有限的篇幅。海梅·卡博内尔和杰德·戈尔茨坦于1998年提出的最大边际相关性方法,通过权衡候选内容的相关性及其与已选内容的相似性来解决这一矛盾。一种常见形式是选择使下式达到最大值的候选句子 :
其中, 是查询或文档主题的表示, 是当前已选内容的集合, 控制相关性与冗余度之间的权衡。这一方法表明,摘要质量是整个句子集合的属性,而不仅仅取决于各个句子本身。
基于图的方法构建一个网络,其中节点代表句子,边反映句子之间的相似性。与许多重要句子相连的句子会获得较高的中心性得分。与网页排名算法相关的算法可以通过迭代计算这类得分。相似性可以基于共有词语或语义向量。这些方法不需要参考摘要集,但中心性指标可能偏向反复出现的论断,而忽略鲜少提及却影响重大的细节。
其他建模方式则明确考虑内容覆盖度。系统可以在遵守字数限制的同时,使摘要所涵盖概念的加权数量最大化,也可以从不同的主题簇中选取代表性内容。这类目标将摘要任务与带约束的数学优化联系起来。基于学习的抽取器可以使用BERT 语言模型或其他上下文编码器对句子进行分类,同时考虑各项选择决策之间的依赖关系。训练标签通常不是由人工直接标注,而是通过搜索与参考摘要有较高重合度的句子子集来构建。
由于选中的措辞可以在原文中找到,抽取式方法具有一定的可追溯性,但这并不保证摘要能够准确呈现原意。以“这并未发生”开头的句子,如果缺少前文交代的指代对象,就可能令人不知所云;选取引语却省略其出处,也可能使读者误判是谁认同了其中的观点。遵循原文顺序通常有助于保持连贯性,但多文档摘要可能需要按时间或主题重新排序。因此,抽取式摘要仍然需要就上下文、指代消解、冗余,以及所选陈述之间的关系作出判断。
神经生成与语言模型方法
神经网络生成式摘要通常对给定输入条件下的输出序列概率进行建模。对于源文本 和摘要词元 ,有:
编码器—解码器架构对源文本进行编码,并逐个词元生成摘要。早期系统常使用循环神经网络,后来的系统则普遍采用Transformer架构。注意力机制使生成器在生成每个输出词元时,能够利用源文本的不同部分。
复制机制旨在满足保留名称、数字和专业表达的需要。指针生成器模型将词汇表上的概率分布与源文本位置上的概率分布相结合。因此,它既能生成常见的衔接性表达,也能复制不熟悉的机构名称。覆盖机制会跟踪此前的注意力分配,以减少重复段落。但这两种技术都无法保证忠实于原文:模型仍可能复制错误的数字,将正确的名称与错误的行为关联起来,或将各自有依据的片段拼接成缺乏依据的陈述。
预训练在面向特定任务的微调之前,为模型提供语言和结构知识。BART学习重建经过加噪过程破坏的文本;T5则以统一的文本到文本格式表示多种任务。2020年提出的PEGASUS围绕间隔句生成任务设计:从文档中移除选定的句子,再根据剩余内容预测这些句子。这些训练目标各不相同,但都使摘要模型能够利用没有人工摘要标注的文本。
遵循指令的系统则可以同时接收文档和请求,例如“用150个词概述研究方法及其局限性”。通过上下文学习提供的示例,无需更新模型参数,就能展示期望的格式。仅解码器模型将指令和源文本作为前置序列,并以此为条件生成输出。这种灵活性减少了为每种输出风格分别建立模型的需要,不过,相比有关证据或信息覆盖的细微要求,模型可能更善于遵循风格方面的指令。
生成过程需要采用解码程序。贪心解码每次选择概率最高的下一个词元,而束搜索则保留多个候选续写序列。采样允许输出具有更大的变化,但也可能使不同输出中的事实细节发生改变。长度惩罚、重复控制和结构化输出约束可以影响生成结果,却不能保证其真实性。一个概率较高的句子,只是模型所学分布更偏好的句子,并不一定是源文本所支持的命题。因此,语法流畅性的提升与摘要准确性的提升必须分别衡量。
训练语料与学习目标
摘要系统在很大程度上依赖于训练数据与预期用途之间的关系。新闻报道及其配套的编辑要点提供了大量样例,但这些要点并不总是报道的缩略版。它们可能旨在吸引读者、突出新意,也可能省略重要的限定条件。新闻标题则遵循另一套惯例。使用这些配对数据进行训练,既会让模型学会筛选信息,也会让它习得来源媒体的编辑习惯。
一些数据集确立了广泛采用的实验设置。带标注的英语 Gigaword 语料库支持利用报道开头和标题开展标题生成实验。CNN/Daily Mail 将新闻报道与要点配对,成为多句摘要的重要基准。Shashi Narayan、Shay Cohen 和 Mirella Lapata 于 2018 年推出的 XSum,将 BBC 报道与简短摘要配对,这些摘要往往需要对原文进行大幅概括和改写。在这些数据集上取得的表现不能等同看待:在某些新闻场景中,复制开头几句的做法尤其具有竞争力,但对于需要高度压缩和改写的输出,这种做法就不太适用。
长文档数据集则体现了其他要求。基于 arXiv 和 PubMed 构建的科学论文数据集将论文与摘要配对,而这些摘要通常围绕研究目标、方法、结果和结论来组织信息。2019 年推出的 BillSum 使用立法文档及其摘要。SAMSum 提供对话及其配套摘要。每种数据资源都隐含着对何为重要信息的假设:论文摘要、立法文件概要和对话摘要体现了不同的交际目的。
标准的监督学习会最小化参考摘要的负对数似然:
这一目标训练模型预测某一种特定的参考措辞,尽管其他许多摘要也可能是可接受的。一些系统会在此基础上加入序列级奖励、偏好比较或强化学习。这些方法可以面向人工评判或自动评价指标进行优化,但如果优化信号不完整,也可能导致系统因表面特征而获得奖励。
数据集的构建方式决定了评估的可信程度。重复或近乎重复的报道可能同时出现在训练集和测试集中,对同一事件的报道也可能造成不易察觉的重叠。这类数据泄漏会使模型的泛化能力显得高于实际水平。发表日期、领域、语言或文档长度上的差异会造成分布偏移。参考摘要还可能包含所提供输入中没有的事实,使忠实于原文的模型反而显得能力不足。因此,数据来源、输入与参考摘要的对齐,以及数据集划分设计,都是摘要研究的实质性组成部分,而非仅仅是管理层面的细节。
长文档、多来源与多语言输入
长文档摘要必须从分散在原文各处的信息中识别重要内容,而原文长度可能超出模型的上下文窗口。简单截断输入,等于假定开头已包含所有关键信息。这种假设对于某些新闻报道或许尚可接受,但对于研究结果出现在大篇幅方法或背景章节之后的报告,就很不适用。此外,完整自注意力机制中的交互数量随序列长度呈平方增长,因此,即使长输入在技术上未超出容量限制,也会带来较高的计算成本。
一种策略是分层摘要:将原文划分为若干部分,分别生成摘要,再整合这些中间结果。这能减少单个阶段需要处理的文本量,但早期遗漏的信息可能再也无法恢复。反复压缩还可能逐渐丢失限定条件、引文或不同实体之间的区别。另一种方法是在生成前检索相关段落。检索增强生成尤其适用于面向查询的摘要,不过,检索时必须保留足够的周边上下文,以便正确解读选中的证据。
多文档摘要还需要处理来源之间的对齐与冲突。不同报道可能用不同名称指代同一实体,重复引用同一篇通讯社稿件,或描述事件在不同阶段的情况。如果统计重复出现的说法时不考虑它们是否出自同一来源,就可能把相互转载误当成独立佐证。时间元数据可能至关重要:早期估计与后续更正,不一定是证据地位相同、彼此竞争的两种说法。忠实的摘要可能需要保留明确的分歧,而不是强行将所有来源整合为单一叙述。
对话具有另一种结构。说话者会相互打断,隐含地指代彼此都知道的事物,并修改提议。建议不等于决定,表示知悉也不一定意味着接受分配的任务。因此,对话摘要往往需要跟踪对话行为、参与者、承诺和尚未解决的问题。当输入来自语音识别时,转写错误和说话人归属错误又会成为额外的误差来源。除非系统保留指向证据的链接,否则一份行文流畅的会议摘要可能会掩盖这些上游环节的不确定性。
多语言摘要和跨语言摘要既要求语言能力,也要求恰当的内容筛选。先翻译原文再生成摘要,可能使翻译错误传递下去;先生成摘要,则可能删去准确翻译所需的上下文。联合模型避免了僵化的两阶段流程,但仍面临许多语言的训练数据覆盖不足的问题。评估必须考虑词形、切分方式以及可接受的改述方式之间的差异。即使周围的文字流畅自然,人名、日期、度量值以及具有特定文化背景的机构等内容仍可能需要谨慎处理,因此,与单一参考摘要的表面相似度尤其不能作为全面的衡量标准。
评估与基准测试结果的解读
摘要质量包含几个不同的维度:重要内容的覆盖程度、与请求的相关性、事实一致性、连贯性、可读性、简洁性,以及对输出约束的遵守程度。这些属性之间可能存在冲突。较长的输出可能涵盖更多事实,却超出严格的篇幅限制;高度压缩的输出则可能产生歧义。因此,评估需要明确界定任务,不应将单一分数视为衡量实用性的完整标准。
ROUGE 通过重合的文本单元,将生成的摘要与人工撰写的参考摘要进行比较。ROUGE-N 衡量 -gram 的重合程度,而 ROUGE-L 使用最长公共子序列。在简化的单参考摘要情形下,-gram 召回率可以写为
其中, 和 分别表示 -gram 在系统生成摘要和参考摘要中的出现次数。不同实现也会报告精确率或 F 分数,并且在预处理和结果汇总方式上存在差异。因此,为确保可复现性,必须明确说明分词、词干提取和评分设置。
基于重合程度的指标计算成本低,适合在条件稳定的情况下进行比较,但其局限性也广为人知。正确的改写可能与参考摘要几乎没有用词重合,而一个数字有误的句子却可能保留参考文本中几乎所有的措辞。BERTScore 使用词元的上下文表示,更灵活地衡量语义相似度。其他基于学习的指标则通过训练样例来估计质量。这些方法丰富了评估所依据的信息,但并不能让语义相似度成为检验事实是否有据可依的可靠手段。
人工评估可以考察自动指标遗漏的维度。标注者可以为连贯性评分、识别缺乏依据的断言,或比较两个输出中哪一个更能满足指定读者的需求。阿尼·嫩科娃和丽贝卡·帕索诺开发的金字塔方法将参考内容表示为语义单元,并根据这些单元在多份人工摘要中的出现情况赋予权重。基于任务的评估则考察实际效果,例如读者能否准确回答问题,或能否更快地找到相关文档。与仅考察参考文本重合程度相比,这些方法更明确地体现了读者的作用。
评估设计也会影响结论。清晰的标注指南、独立判断、一致性分析以及恰当的统计检验,有助于区分系统性的改进与噪声。以模型充当评判者可以扩大评估规模,但模型可能偏好冗长的表述、熟悉的措辞,或与自身风格相似的输出。因此,解读基准测试结果时,必须同时考虑文档体裁、参考摘要的构建方式、长度约束、模型对源材料的访问情况,以及所衡量的具体维度。在新闻摘要任务中排名靠前的系统,在技术报告或非正式对话上的表现可能有所不同。
事实一致性、不确定性与证据归属
当摘要中的陈述得到所提供证据的支持,且保留了原有的限定条件和关系时,该摘要就具有事实一致性。这与陈述在现实世界中是否为真有所不同。一项陈述可能是正确的,却未出现在原文中,因此不适合纳入严格依据原文的摘要。反过来,准确转述某份文档提出了一项有争议的主张,也不意味着该主张已被证实为真。区分报告证据与认可证据内容,是忠实摘要的根本要求。
错误包括实体错误、数量变动、关系颠倒、否定遗漏、时间错误,以及毫无依据的确定性表述。原文说某委员会“可能考虑一项提案”,并不能支持摘要声称该委员会“批准了该提案”。一项研究报告存在关联,本身并不足以确立因果关系。数值错误尤其难以察觉:模型可能将正确的百分比套用到错误的人群上,或混淆绝对增幅与相对增幅。
生成式系统可能产生人工智能幻觉,因为其训练机制奖励的是看似合理的续写,而不是强制要求生成内容在逻辑上由原文蕴涵。训练数据中的常见模式可能会补入看似很有可能、却没有文献依据的细节。抽取式方法减少了一些凭空编造措辞的机会,但选择性引用和省略上下文仍然可能扭曲原意。流畅的表达会让这两类错误都更难被发现,因为读者常常将语言表达的流畅笃定视为可靠性的线索,而这种判断并不十分可靠。
自动一致性检查采用多种方法。基于蕴涵的方法会检验原文段落是否支持摘要中的陈述。基于问答的方法则根据摘要生成问题,利用原文回答,再比较答案。其他工具会对齐命名实体、日期、数量或命题层面的关系。每种方法都有局限:蕴涵模型可能难以处理较长的证据链,问题生成可能忽略关键的限定条件,而实体匹配并不能证明实体之间的关系正确。
将陈述与支持它的段落关联起来,明确证据归属,可以使核查更有据可循。只有当所引用的材料确实支持相关陈述时,引文才有用;仅有参考文献并不能保证摘要忠实于原文。来源追踪可以保留文档版本、时间戳、段落标识符,以及中间摘要的来源。保留不确定性同样重要。“估计”“初步”以及“据该报告”等表述往往承载着实质性信息。删去这些表述,即使没有加入任何明显捏造的事实,也可能将暂定的观察结果变成断然的断言。
应用、部署与持续研究的问题
摘要技术已应用于搜索界面、新闻聚合、企业文档系统、电子邮件工具和会议软件。它可以在读者打开文档之前提供简短预览,也可以对规模更大的文档集合进行结构化概述。在软件开发中,摘要可用于描述变更、问题讨论或技术文档。在研究工作流程中,摘要可以帮助整理文献,但类似论文摘要的输出并不能替代对研究方法、证据和局限性的审查。
不同应用对错误的容忍度和对信息呈现形式的要求各不相同。新闻预览可能优先考虑让读者迅速了解概况,而合同摘要则必须准确涵盖例外条款、日期和义务。科学和临床文档中包含专业领域的细微区别,过度压缩可能使这些区别消失。对记录的摘要也不同于经过独立验证的专业判断。因此,系统设计通常会明确任务边界,提供指向原文段落的链接,并在错误可能造成严重后果的情况下引入人工审核。
部署还会带来语言质量之外的数据隐私与安全问题。源文档可能包含机密信息,而生成的摘要可能将敏感事实集中到更易于分享的形式中。原始材料的访问权限也必须同样适用于生成的输出。接收不可信文档的系统还面临提示注入风险:恶意文本可能试图使模型偏离摘要任务,或诱使其泄露其他信息。必须将文档内容与支配应用行为的指令区分开来。
运行条件的限制会影响系统架构。长输入会增加处理成本和延迟,而分层处理流程会引入更多可能累积错误的环节。缓存可以减少重复工作,但需要注意文档版本和访问权限。输出模式可以使摘要更易于集成到下游软件中,但结构有效并不意味着内容正确。监测可以跟踪缺乏依据的断言、信息遗漏、违反长度限制的情况,以及文档集合发生变化时的性能变化。
持续开展的研究重点包括:在反复转换中保留证据、不依赖单一参考摘要来评估实用性,以及控制摘要的侧重点。面向特定用户的摘要引出了一个问题:如何在根据用户需求调整信息相关性的同时,不隐去重要的相反证据。对于持续积累的文档集合,需要能够纳入更正的增量摘要,而不是仅仅追加新陈述。另一个问题是,如何判断所要求的压缩程度何时已无法兼顾忠实而充分的信息覆盖。系统可能在满足字数限制的同时,悄然舍弃关键的限定条件;要发现这种冲突,就需要明确表示哪些信息对任务不可或缺,而不能仅靠生成更短文本的机制。