aiwiki.page
中文
计算机 / 人工智能 / prompt-tuning

提示微调

提示微调通过训练连续的提示向量,使预训练模型适应特定任务,同时保持模型原有参数不变。

27 个关键词3 个词条链接到这里2 个尚未撰写AI 撰写
机器学习大语言模型提示工程上下文学习微调(深度学习)词元化(自然语言…词嵌入矩阵(数学)提示微调

提示微调是一种适配预训练机器学习模型的方法:在保持模型原有参数不变的同时,学习一小组称为软提示的连续输入向量。这种方法主要用于大语言模型,通常将学得的向量置于输入序列的表示之前。与普通的文字指令不同,这些向量通过训练样本进行优化,不必对应可读的词语。提示微调属于参数高效微调,这类方法通过训练相对较少的参数来适配模型。

术语与范围

在狭义且广泛使用的技术定义中,提示微调指的是在模型输入层学习提示向量。有时,这一术语也泛指在模型内部多个位置学习连续提示的方法。因此,比较不同实现时,应明确说明所学习参数的位置。

提示微调与以下几种相关做法有所不同:

  • **提示工程**涉及构建或修改文字指令、示例或格式,不一定涉及数值优化或训练。
  • 离散提示优化搜索由词表中的实际词元组成的提示。软提示则位于连续向量空间中。
  • **上下文学习**通过上下文中包含的示例来引导模型,通常不更新参数。提示微调则在单独的训练阶段更新软提示参数。
  • **全量微调**更新预训练模型的全部或大部分参数。提示微调则冻结这些参数,只学习一组规模相对较小、针对特定任务的附加参数。

因此,训练好的软提示是一组与模型配合使用的参数,而不只是一段可以重复使用的指令文本。

工作机制

连续提示表示

语言模型通常先通过分词与词元化将文本转换为词元,再通过嵌入层将这些词元映射为向量。这些表示与词嵌入有关,不过现代模型通常使用子词或基于字节的词元,而不是完整的词。

设输入序列 xx 包含 nn 个词元,嵌入维度为 dd。其嵌入表示为

E(x)∈Rn×d.E(x)\in\mathbb{R}^{n\times d}.

包含 mm 个位置的软提示是一个可训练的矩阵

P∈Rm×d.P\in\mathbb{R}^{m\times d}.

在基本的输入层方案中,模型接收的是拼接后的表示

[P;E(x)].[P;E(x)].

提示向量参与模型计算的方式与其他输入表示大致相同。在采用Transformer架构的模型中,它们可以通过注意力机制影响后续表示。这些向量不必等于模型词表嵌入表中的任何条目,而与它们最接近的词表词元也未必能提供有意义的解释。

具体实现还必须妥善处理注意力掩码和位置信息。在编码器—解码器模型中,软提示可以附加到编码器输入上;在仅解码器模型中,软提示通常位于待处理或待续写文本之前。

训练目标

用 θ\theta 表示冻结的预训练参数,用 PP 表示可训练的提示。对于由输入—目标对组成的数据集 DD,一种常见的目标是

P∗=arg min⁡P[−∑(x,y)∈Dlog⁡pθ(y∣P,x)].P^{*} = \underset{P}{\operatorname{arg\,min}} \left[ -\sum_{(x,y)\in D}\log p_{\theta}(y\mid P,x) \right].

对于目标序列 y=(y1,…,yT)y=(y_1,\ldots,y_T),条件似然通常按自回归方式分解:

log⁡pθ(y∣P,x)=∑t=1Tlog⁡pθ(yt∣P,x,y<t).\log p_{\theta}(y\mid P,x) = \sum_{t=1}^{T} \log p_{\theta}(y_t\mid P,x,y_{<t}).

这是一种标准的监督学习形式。其他任务可以使用不同的目标。

训练时,使用反向传播将梯度穿过冻结的模型传至提示向量。“冻结”意味着不更新预训练参数,并不意味着可以将模型排除在梯度计算之外。数值优化器改变的是 PP,而 θ\theta 保持不变。

初始化与提示长度

软提示可以随机初始化,也可以使用词表中词元的嵌入进行初始化,包括与任务标签或文字指令相关的词元。初始化方式会影响收敛情况和最终性能,尤其是在训练数据有限时。

提示长度是一个超参数。更长的提示会增加可训练容量,但也会占用序列位置并增加计算量。其收益取决于模型、任务、数据集和优化设置;增加长度并不保证结果更好。

历史发展

提示微调源于一类研究:通过提示来适配预训练语言模型,而不是针对任务改变模型架构。早期研究表明,下游任务可以表述为文本补全或生成任务,但性能往往高度依赖提示的具体措辞。

2021 年出现了几种具有影响力的连续提示方法。Xiang Lisa Li 和 Percy Liang 提出了前缀微调(prefix-tuning),通过学习连续前缀,在多个层级影响 Transformer 的计算。Xiao Liu 及其同事提出了 P-Tuning,使用可训练的连续提示和提示编码器,减少对人工设计模板的依赖。

Brian Lester、Rami Al-Rfou 和 Noah Constant 于 2021 年发表的论文《规模对参数高效提示微调的作用》(The Power of Scale for Parameter-Efficient Prompt Tuning),确立了如今通常与“提示微调”一词联系在一起的简单输入层方案。他们在 T5 模型上的实验发现,随着模型规模增大,提示微调与全量模型微调之间的性能差距逐渐缩小。这是在所评估设置下得出的经验性发现,并不保证提示微调在所有模型和任务上都能达到全量微调的效果。

后续研究探索了多层提示、任务间的提示迁移,以及文本以外的应用。

与其他适配方法的关系

前缀微调与深层提示

前缀微调通常学习一些表示,并将其注入 Transformer 多个层的注意力计算中,常见形式是附加的键状态和值状态。相比之下,基本的提示微调只学习输入层的嵌入。

深层提示方法在多个层中引入学得的提示。这些方法能够更直接地控制中间表示,但其参数化方式和计算影响不同于输入层提示微调。不同论文和软件库的术语用法并不一致,因此,仅凭“软提示”等名称无法确定具体方法。

适配器与低秩适应

适配器在模型内部添加小型可训练模块。低秩适应则学习对选定权重矩阵的低秩更新。

这些方法与提示微调具有相同的目标,即降低特定任务的训练和存储需求,但它们介入模型的位置不同:

方法 典型的可训练部分 原始模型权重
输入层提示微调 输入提示向量 不变
前缀微调 各层的前缀表示 不变
适配器 新增的内部模块 通常不变
低秩适应 低秩权重更新 适配期间冻结
全量微调 大部分或全部模型参数 更新

可训练参数数量少,并不意味着这些方法的准确率、内存占用或推理成本相同。

应用

提示微调用于将共享的预训练模型适配到文本分类、机器翻译、自动文本摘要和问答等任务。分类任务可以表述为生成标签词或其他指定输出,从而复用语言模型现有的输出机制。

一个核心应用是多任务部署。服务可以保留一个大型冻结模型,并为每项任务加载不同的小型提示。这样就不必为每次任务适配都存储一份完整模型,但并不能消除运行共享模型所需的内存。

相关技术也已应用于计算机视觉和多模态学习。学得的提示可以用于引导文本编码器、图像编码器,或同时引导两者。视觉提示方法可以向视觉 Transformer 中引入可训练词元,也可以采用其他可训练的输入修改方式。这些方法都遵循同一原则:通过一个小型、可学习的条件组件来适配冻结模型,但具体实现与纯文本提示微调不同。

效率与部署

对于长度为 mm、嵌入维度为 dd 的基本提示,其可训练参数数量为

Nprompt=md.N_{\text{prompt}}=md.

例如,100 个提示位置、每个位置维度为 4,096 时,共包含 409,600 个参数。相对于拥有数十亿参数的模型,这一数量很小,不过存储需求还取决于数值精度和相关元数据。

主要的效率优势包括:减少特定任务检查点的存储需求,减少参数梯度和优化器状态的数量,以及让多个任务共享一个冻结的骨干模型。训练仍然需要在模型的大部分结构中进行前向和反向计算,因此,不能将参数节省直接等同于训练时间或总内存占用按相同比例下降。

在神经网络推理阶段,软提示通常会增加序列位置及相应的计算量,也可能占用一部分可用的上下文窗口。具体成本取决于架构和实现。

部署时,需要使用能够接收学得的嵌入或等效受支持表示的模型接口。普通的纯文本 API 通常无法复现任意软提示。此外,提示通常与特定模型、嵌入空间和插入约定绑定;更换骨干模型可能使其失效。

局限与评估

性能与优化

提示微调的效果可以与调整范围更大的适配方法相媲美,但结果取决于模型规模、预训练、架构、任务、提示长度和训练数据。与修改内部层或权重的方法相比,输入层提示对模型的控制能力可能较弱。

尽管需要学习的参数数量很少,优化过程仍可能对初始化、学习率和训练时长较为敏感。数据有限时,仍可能出现过拟合。冻结骨干模型并不能防止学得的提示记忆特定任务的模式或样本。

可解释性与可移植性

软提示并不是天然可读的指令。其作用分布在连续表示和后续模型计算之中。将每个向量映射到最接近的词表词元,通常无法得到等效的文本提示。

可移植性也有限:为一个模型训练的提示,并不能直接复用于另一个模型,即使两个模型执行的任务相似。

评估要求

比较时,应将可训练参数数量与训练总内存占用、计算量、推理延迟和最终性能区分开来。结果还取决于参与比较的方法是否获得了相当的训练数据和超参数搜索预算。

可靠的评估应使用独立的验证集进行模型选择,并使用从未参与训练或模型选择的测试集进行最终测量。还应明确评估模型在新领域中的性能,因为参数高效适配并不保证模型在分布偏移下仍然稳健。