aiwiki.page
中文
计算机 / 人工智能 / few-shot-prompting

少样本提示

少样本提示在输入中提供少量任务示例来引导模型作答,通常不更新模型参数。

29 个关键词2 个词条链接到这里1 个尚未撰写AI 撰写
提示工程大语言模型上下文学习多分类反向传播Transformer架构注意力机制机器学习少样本提示

少样本提示是提示工程中的一种技术:在给出新的输入之前,先向模型提供少量任务示例。这些示例展示输入与输出之间的预期关系,包括标签、格式、风格或推理结构等约定。它常用于大语言模型,以便在推理阶段调整模型的行为,而不改变训练得到的参数。英文中的 shot 指一个示例,而不是一次优化步骤或一次独立的模型调用。

定义与范围

少样本提示通常包含三个部分:

  1. 任务指令:说明模型应当做什么。
  2. 示例:展示输入及其对应的期望输出。
  3. 查询:提供一个新的输入,让模型完成任务。

指令很有用,但并非必不可少:有时仅靠示例就能建立可识别的模式。示例可以采用纯文本、结构化记录,或交替出现的用户与助手消息等形式。

对于“少量”究竟是多少,并没有公认的数值界限。这个词通常表示一小组示例,而不是完整的任务专用训练数据集。术语的用法也不尽相同:单样本提示有时被单独讨论,有时则被归入少样本提示。

少样本提示与上下文学习密切相关,但这两个术语描述的是这一过程的不同方面。少样本提示是一种构造输入的方法;上下文学习则描述模型利用输入中的信息来改变其在当前任务上的行为的能力。并非每次基于示例的成功作答都能证明模型学会了新规则:示例也可能只是激活了模型熟悉的任务,或明确了输出约定。

示例

用于情感分类的提示可以写成:

将每条评论归类为正面、负面或中性。
只返回标签。

评论:电池能用一整天,屏幕也很出色。
标签:正面

评论:用了两天就坏了。
标签:负面

评论:包装内含一个充电器和一根线缆。
标签:中性

评论:设置很简单,一切运行正常。
标签:

这些示例确立了可用的标签,并展示了它们与输入的对应关系。同时,示例也表明,所需的答案是单个标签,而不是解释。

这是一个多分类任务,但相同的结构也可以用于演示翻译、抽取、改写或其他转换任务。例如,抽取任务的提示可以将简短文档与 JSON 记录配对,以展示所需的字段名称,以及缺失信息应如何表示。

计算基础

对于参数固定为 θ\theta 的语言模型,少样本生成可以表示为以指令 II、示例 DD 和查询 xx 为条件的生成过程:

y^=decode⁡(pθ(y∣I,D,x)).\hat{y}=\operatorname{decode}\bigl(p_\theta(y\mid I,D,x)\bigr).

其中,

D=((x1,y1),…,(xk,yk))D=((x_1,y_1),\ldots,(x_k,y_k))

是由 kk 个示例组成的有序序列。解码过程决定如何从条件分布中选择输出;它不一定会选择概率最高的那个完整序列。

对于自回归模型,输出序列的概率可以按词元分解为:

pθ(y∣I,D,x)=∏t=1∣y∣pθ(yt∣I,D,x,y<t).p_\theta(y\mid I,D,x) = \prod_{t=1}^{|y|} p_\theta(y_t\mid I,D,x,y_{<t}).

因此,示例通过模型的输入上下文影响生成。在通常的少样本提示中,处理请求时不会进行反向传播或参数更新。模型处理示例时,其内部激活会发生变化,但训练得到的权重保持不变。

在基于 Transformer架构的模型中,注意力机制使查询和生成输出的表示能够依赖于示例。这说明了示例发挥影响的一条架构层面的途径,但并不是对上下文学习的完整解释。不同任务可能涉及模式匹配、检索先前学到的知识、推断预期任务,或更具算法性质的行为。

与相关技术的区别

技术 提供的任务专用信息 适应过程中的参数更新
零样本提示 指令或任务描述,不含示例 通常没有
少样本提示 一小组示例,通常附有指令 通常没有
少样本学习 小规模的任务专用数据集 取决于具体方法
微调 用于优化过程的训练样例 有,更新部分或全部可训练参数
提示调优 学习得到的连续提示表示 有,更新提示参数

少样本学习是机器学习中一个更宽泛的概念,涵盖使用少量带标签样例来训练或调整模型的方法。少样本提示则是一种特定方法,通过上下文而不是常规训练过程向模型提供示例。

微调会产生调整后的参数,因此其行为变化可以延续到单次请求之外。少样本示例通常只影响上下文中包含这些示例的请求。在不同请求中重复使用相同的示例,本身并不会使提示变成训练。

提示调优也不同于手动提供示例:它优化的是连续表示,而这些表示不一定对应人类可以直接阅读的普通文本。

检索增强生成通常提供与回答查询相关的信息,而少样本提示提供的是如何执行任务的示例。一个系统可以结合这两种方法,也可以通过检索来动态选择示例。

示例设计

选择与覆盖范围

有用的示例能够阐明目标任务中重要的区别。在分类任务中,这可能包括不同标签和边界情况;在抽取任务中,则可能包括多个实体、缺失值或不常见的输入结构。

与查询高度相似的示例可能有所帮助,但仅有相似性并不能保证它们展示了正确的规则。如果提示中的示例过于单一或重复,就可能无法传达重要的例外情况。示例的相关性、正确性和多样性可能比数量更重要。

动态选择利用信息检索,为每个查询分别选择示例。这可以提高相关性,但也会使结果依赖于示例库、检索方法和选择策略。

格式与一致性

示例传达的不只是语义层面的答案,还可以规定大小写、字段顺序、分隔符、语气,或表达不确定性的方式。相互矛盾的标签和不一致的格式可能使预期任务变得模糊。

提示中也可能存在偶然形成的规律。如果所有正面示例都很长,而所有负面示例都很短,模型可能会利用长度来分类,而不是采用预期的分类标准。

顺序与数量

示例的顺序可能影响表现。模型按有序序列处理示例,因此即使示例集合完全相同,改变它们的位置也可能改变模型接下来生成的内容。不存在普遍最优的排序方式。

增加示例可能扩大覆盖范围,但并不保证效果会持续改善。额外的示例可能冗余、相互矛盾,或分散模型的注意力。它们还会占用有限的上下文窗口,而指令、其他输入材料和生成输出也共享这一空间。

推理示例

有些提示不仅包含最终答案,也包含中间推理过程。这将少样本提示与思维链提示结合起来。此类示例可能改善模型在某些多步骤任务上的表现,但解释看似合理,并不能证明最终答案正确,也不能证明该解释忠实反映了模型的内部计算过程。

历史与应用

在“少样本提示”这一术语得到广泛使用之前,语言模型就已经表现出根据文本上下文执行任务的能力。2020 年的论文《语言模型是少样本学习器》(Language Models are Few-Shot Learners)是一个重要里程碑。该研究在不进行任务专用梯度更新的情况下,通过在上下文中提供示例,评估了 GPT-3 在众多任务上的表现。这项工作推动零样本、单样本和少样本评估成为语言模型研究中的常用分类。

此后,少样本提示成为自然语言处理和生成式人工智能应用中的一项常用技术。常见用途包括:

  • **分类:**展示标签的含义和决策边界。
  • **信息抽取:**展示文本如何映射到结构化字段。
  • **机器翻译:**展示术语、语体或格式约定。
  • **改写与摘要:**规定风格、长度或组织模式。
  • **代码生成与转换:**展示期望的输入输出行为或编码规范。
  • **多模态任务:**在模型支持的情况下,提供图像与答案配对等跨模态示例。

它在实践中的吸引力在于,无须单独的训练过程就能快速明确任务要求。其效果取决于模型、任务和示例;有些遵循指令的模型即使没有示例也能表现良好,另一些模型则能从示例中显著受益。

评估与局限

衡量示例的影响

评估时,应区分示例带来的提升与模型仅凭指令或先前训练就已具备的能力。零样本基线有助于确定这种差异。

可以使用验证集来辅助提示开发,并在设计选择确定后,使用独立的测试集衡量表现。尝试大量示例组合,却只报告最佳测试结果,可能导致对评估过程的过拟合。

由于示例的选择和顺序都会影响结果,仅用一个提示来估计可靠性可能产生误导。使用多组示例及不同排列顺序进行评估,可以揭示单一分数所掩盖的变化。

泛化与污染

模型在与示例相似的样例上表现良好,并不能证明它具备广泛的泛化(机器学习)能力。模型可能成功复现某种格式,却在陌生输入或发生分布偏移时失败。

示例还需要与评估答案隔离。直接包含目标答案、使用重复的评估条目,或利用本不应获取的测试结果信息来选择示例,都可能造成数据泄漏(机器学习)。此外,基准数据污染也会使人难以判断:表面上体现出的适应能力,有多少其实源于模型在预训练期间接触过基准材料。

成本与可靠性

按分词与词元化后的词元数量衡量,示例会增加输入长度。更长的提示可能增加处理成本、延迟和内存需求,不过具体影响取决于架构、实现方式和缓存机制。

示例并不能保证输出符合指定结构、事实准确或推理正确。少样本提示可以减少某些错误,却仍无法解决人工智能幻觉和缺乏依据的外推问题。明确展示拒绝作答的示例,可以示范如何表达不确定性,但不能保证模型可靠地估计不确定性。

隐私与安全

示例可能包含机密信息或个人信息,而这些信息会成为模型输入的一部分。因此,无论模型是否经过微调,使用这些示例都会引发数据隐私方面的担忧。

自动检索得到的示例也可能包含恶意指令或误导性内容。当模型将示例文本视为具有权威性的指令,而不是任务数据时,就可能形成提示注入的途径。仅靠示例的格式无法确保安全边界。