低秩适应通常简称为 LoRA,是一种让预训练的人工神经网络适应新任务的方法:它只训练少量新增参数,而不更新全部原有权重。该方法将选定权重矩阵的变化表示为两个较小矩阵的乘积。预训练权重保持冻结,新增矩阵则根据任务的训练目标进行优化。LoRA 是一种重要的参数高效微调方法,尤其常用于大语言模型和图像生成系统。
该方法由 Edward J. Hu 及其同事在 2021 年发布的一篇论文中提出,并于 2022 年在国际学习表征会议上发表。其重要意义在于,将存储和优化任务特定权重变化的成本与规模大得多的预训练模型本身分离开来。多个适应版本可以共享同一个基础模型,而适应过程中学得的权重变化通常可以在推理时合并到原始权重中,无须增加新的网络层。
LoRA 并不会缩小底层模型,也不会消除运行模型所需的计算。它所做的是限制权重在微调过程中能够如何变化。其效果取决于所选的层、权重更新的秩、优化设置,以及预训练模型与目标任务之间的关系。后续研究已将这一方法扩展到量化模型、自适应秩分配、其他初始化方案以及多适配器部署等方面。
数学表述与低秩结构
神经网络中的全连接层通常执行由权重矩阵表示的线性映射。设预训练权重为 ,输入为 。常规微调直接更新 中的元素,而 LoRA 则采用以下形式:
其中,,, 为缩放因子。训练时只更新 和 。因此,实际的权重更新为
整数 称为秩,通常远小于原矩阵的任一维度。这一秩上界是该方法的核心约束:更新通过一个维度为 的中间空间起作用,而不是为完整权重矩阵中的每个元素都设置一个可独立训练的值。
可训练参数的数量从 变为 。对于一个 的方阵,全量微调涉及 16,777,216 个权重。秩为 8 的 LoRA 更新只使用 65,536 个可训练参数,约为前者的 0.39%。这一比较仅针对一个采用 LoRA 的矩阵;整个网络中可训练参数的比例,还取决于有多少个矩阵加入了适配器,以及是否另外训练偏置、嵌入或输出层。
这种因子分解与线性代数中的概念有关,但 LoRA 通常并不是先学习完整的权重更新,再计算其低秩近似,而是直接训练这两个因子。尽管更新本身是低秩的,实际使用的矩阵 仍可能保持满秩。因此,LoRA 约束的是层的变化,而不是压缩预训练层本身。
这种参数表示也不唯一。对于任意可逆的 矩阵 ,将 替换为 ,并将 替换为 ,不会改变 。此外,所有秩不超过 的矩阵构成的集合并不是一个固定的线性子空间:两个因子都可以在训练过程中变化。因此,与仅在一组始终固定的更新方向上学习系数相比,LoRA 更为灵活,同时仍施加了显著的结构约束。
起源及其与其他适应方法的关系
LoRA 源于一个更广泛的问题:如何让规模日益庞大的预训练模型适应不同任务,而不必为每项任务都保留一份经过完整训练的模型副本。在传统的迁移学习中,模型先从大规模语料库中学习通用表征,再利用特定任务的训练数据进行进一步优化。随着预训练网络的参数量从数百万增长到数十亿,即使下游数据集相对较小,存储模型副本和优化器状态也成了实际应用中的障碍。
早期的参数高效方法从多个角度解决这一问题。适配器模块在现有层之间插入小型可训练网络。提示调优在冻结模型的同时学习连续的输入表征,前缀调优则为注意力计算提供可训练的表征。还有一些方法只训练选定的现有参数,例如偏置。这些方法不仅在参数量上有所不同,在介入计算的位置,以及推理时是否增加运算或占用额外序列位置等方面,也存在差异。
LoRA 论文《LoRA:大语言模型的低秩适应》(LoRA: Low-Rank Adaptation of Large Language Models)提出,在保持预训练模型不变的情况下,学习低秩的权重变化。论文作者包括 Edward J. Hu、Yelong Shen、Phillip Wallis、Zeyuan Allen-Zhu、Yuanzhi Li、Shean Wang、Lu Wang 和 Weizhu Chen。该研究在包括 BERT 语言模型的衍生模型 RoBERTa,以及 DeBERTa、GPT-2 和 GPT-3 在内的模型上评估了这一方法,并考察了下游任务表现和所学更新矩阵的性质。RoBERTa 是基于 BERT 衍生的模型,而非 BERT 本身。
对于原始研究所考察的 1750 亿参数 GPT-3 配置,作者报告称,与使用 Adam 优化器进行微调相比,LoRA 的可训练参数量约降至万分之一,GPU 显存需求约降至三分之一。这些数字描述的是特定实验配置下的结果,并非普遍适用的性能保证。实际节省幅度取决于计算精度、优化器实现、序列长度、选定的目标矩阵,以及对激活值的处理方式。
LoRA 在部署方面的独特之处在于,其更新可以直接加到现有权重矩阵上。与插入层间的非线性适配器不同,基本的 LoRA 分支在合并后不需要永久扩展模型架构。与基于提示的适应方法不同,它本身不会占用模型上下文窗口中的位置。这些差异使其在将基础模型适配到多种任务时颇具吸引力。不过,LoRA 只是多种可选方案之一,并不能全面取代其他方法:在不同的运行约束下,提示方法、插入式适配器、选择性参数更新和全量微调仍各有优势。
初始化、缩放与优化
标准的 LoRA 初始化旨在使预训练网络在适配开始时保持原有输出。一种常见做法是将 初始化为较小的随机值,将 初始化为零,从而得到 。因此,除训练流程可能引入的其他改动外,网络起始时执行的线性变换与原来完全相同。如果两个矩阵都初始化为零,那么在常规的基于梯度的训练中,两个因子的初始梯度都会为零,导致学习无法启动。
这种不对称性可以直接从反向传播中看出。若 表示损失相对于有效权重矩阵的梯度,那么在基础权重冻结的情况下,
初始化时, 使 的梯度为零,但随机初始化的 通常能使 的梯度非零。一旦 发生变化,两个因子便都可以学习。这些方程也说明,对两个因子进行优化,并不等价于直接对一个稠密更新矩阵执行普通的梯度更新。
原始方案通常采用 ,其中 是缩放超参数。这种缩放将适配器贡献的幅度与改变秩所产生的部分影响分离开来。不过,在增大 时保持 不变,并不等价于保持 不变。秩稳定化 LoRA(通常称为 rsLoRA)采用与 成正比的缩放方式,其依据是激活值和梯度随秩变化时的表现。因此,不同秩之间的比较不仅取决于可训练参数的数量,也取决于所采用的缩放约定。
适配器通常使用 Adam优化器或 AdamW 进行优化。适配器的学习率不必与全量微调所用的值相同,因为两者的参数化方式和可训练变量数量不同。有些方法还会为两个因子设置不同的学习率。可以在适配器分支的输入上应用随机失活,从而在训练期间不改变已冻结的基础分支的前提下,提供一种正则化手段。
LoRA 本身并不规定损失函数。它可以用于下一个词元预测、分类、序列到序列目标或其他可微任务。训练目标决定期望的行为;低秩参数化则决定为实现这些行为可以进行哪些权重变化。因此,词元掩码、标签构建、批次组成和数值精度仍然是适配流程中的重要环节,并不会因为使用了 LoRA 就自动得到解决。
在 Transformer 中的应用位置与秩分配
在 Transformer架构中,LoRA 可以应用于多种线性变换,包括自注意力中的查询、键、值和输出投影,以及前馈模块中的升维、降维和门控投影。嵌入矩阵和输出矩阵也可以进行适配,但需要恰当的实现方式,而且可能与权重共享机制相互影响。适配目标的选择既决定了参数预算,也决定了哪些内部计算可以发生变化。
最初的 LoRA 实验侧重于注意力投影,尤其是在多种配置下对查询矩阵和值矩阵进行适配。适配查询投影会改变词元从其他位置选取信息的方式;适配值投影则会改变注意力权重计算完成后所传递的信息。对键投影和输出投影的修改会影响同一过程中的其他环节。由于多头注意力将计算分布在不同的头和层中,对共享投影的低秩修改可以影响许多词元之间的关系,而不只是对输出进行面向特定任务的简单校正。
后来的实践往往将适配范围扩展到大部分乃至全部大型线性层。这为优化器提供了更多改变表示的位置,其中包括前馈模块;在许多 Transformer 模型中,前馈模块的参数占比相当大。覆盖范围更广可能改善适配效果,但也会增加适配器的大小、优化器的内存占用和计算量。即使可训练参数总数相近,广泛应用低秩适配与仅在少数位置应用较高秩适配,仍然属于不同的模型类别。
对于一组以 为索引的适配矩阵,参数预算为
根据这一表达式,可以为不同的层分配不同的秩。统一设置秩虽然简单,却忽略了各层在宽度、深度和功能上的差异,假定它们同等重要。自适应方法则尝试将容量分配给训练过程中被判定为更有用的更新。2023 年提出的 AdaLoRA 采用基于重要性的分配流程,结合类似奇异值分解的参数化方式,在给定预算内进行剪枝。
这里的秩是针对每个适配矩阵而言的局部属性。即使网络中许多层的适配器都采用秩 8,其整体输入—输出行为的变化也并不局限于八维空间。非线性激活函数、注意力运算以及反复复合,使整体效果丰富得多。反过来,提高局部秩也不保证带来可测量的质量提升:较低的秩可能已经足以很好地表示任务,也可能是优化和数据方面的限制主导了最终结果。
内存、计算与量化适应
LoRA 在训练内存方面最大的收益,通常来自可训练参数相关状态的减少。全量微调可能需要为每个参数存储模型权重、梯度和优化器累积量,有时还需要额外的高精度副本。使用 LoRA 时,只有适配器及其他有意解除冻结的参数才需要分配这些梯度和优化器状态所占的内存。基础权重仍然占用内存,网络也仍然需要执行前向计算。
冻结参数并不会消除预训练网络中的所有反向计算。梯度必须经过中间运算传播,才能到达较早层中的适配器。因此,存储的激活值仍可能占据大量内存,尤其是在序列较长、批量较大时。激活检查点技术通过在反向传播过程中重新执行选定的前向运算,减少这部分存储需求。FlashAttention 等内存高效的注意力实现则解决了内存问题的另一个方面,可以与 LoRA 配合使用。
对于单个采用适配器的矩阵,除基础矩阵乘法的 运算开销外,新增分支对每个输入向量还需要约 的运算。当 较小时,这部分开销很小,但执行开销和硬件利用率也很重要。大量小规模矩阵运算对图形处理器的利用效率,可能低于仅凭算术运算量所预期的水平。因此,可训练参数数量的减少不应被理解为训练时间也会同比减少。
蒂姆·德特默斯(Tim Dettmers)及其同事于 2023 年提出的 QLoRA量化低秩微调,将低秩适应与量化后的冻结基础模型相结合。其主要组成部分包括 4 位 NormalFloat 量化、对量化常数进行的双重量化,以及分页优化器。低比特存储减少了基础权重占用的内存,而计算时则使用反量化后、以适当算术格式表示的数据。梯度通过冻结模型中的计算过程传播,以更新适配器;低比特基础参数本身通常不参与优化。
QLoRA 研究报告称,在其设定的实验条件下,使用单张显存为 48 GB 的 GPU 完成了对一个 650 亿参数模型的微调。这一结果展示的是基础权重压缩与参数高效优化相结合的价值,而非未经量化的 LoRA 单独具备的能力。实际内存用量仍会受到序列长度、批量大小、优化器行为及具体实现的显著影响。
量化会引入近似误差,因此,基于量化基础模型训练出的适配器,不一定能与基于更高精度基础模型训练出的适配器互换。先合并权重更新再重新量化,与保留量化基础模型并单独使用更高精度的适配器,可能得到实际效果不同的模型。在评估部署产物能否重现训练期间观察到的行为时,这些数值差异至关重要。
合并、存储与多适配器推理服务
对于标准的 LoRA 层,推理时可以使用合并后的矩阵:
由此得到的运算与原始层具有相同的矩阵维度。更新一旦合并,就不再需要单独的低秩分支,因此基本形式的 LoRA 不必增加推理运算,也不必引入新的序列位置。这一说法的前提是部署格式支持合并,且适配器采用通常的线性形式;量化及其他变换可能使数值等价性问题变得复杂。
将适配器单独保留则有另一种好处。推理服务系统可以只保留一个基座模型,并针对不同任务、领域或用户加载不同的小型适配器。保存的适配器文件通常包含学得的因子、缩放设置、目标模块说明及其他必要配置。任何单独训练过的偏置、嵌入或输出头也必须一并保存。因此,在常见设置下,适配器远小于完整模型,但不能脱离基座模型独立使用,也不能替代基座模型。
要保证兼容性,仅仅匹配标称的模型规模还不够。基座架构、确切的权重版本、目标张量形状、分词与词元化器以及相关预处理都必须一致。在某个检查点上训练的适配器,可能成功加载到另一个张量形状相同的检查点上,却表现出不同的行为。可复现的部署还取决于提示词格式和生成设置。因此,模型版本标识符是适配器元数据的重要组成部分。
多个更新可以通过代数运算组合起来。如果若干适配器共用同一个基座模型,则加权组合的形式为:
组合后的秩至多等于各组成部分的秩之和,但更新方向的重叠可能使其更低。在进一步压缩之前,将经过适当缩放的因子拼接起来,可以精确表示这个和。随后,可以通过奇异值分解得到秩更低的近似。不过,权重更新的精确相加并不意味着所得模型能够互不干扰地融合各项任务能力,因为网络的整体行为是非线性的。
多适配器推理服务会带来单模型推理中不存在的调度问题。使用不同适配器的请求可以共享基座权重的计算基础设施,但各自的低秩运算和内存访问有所不同。专门设计的批处理方法和 GPU 内核可以降低适配器切换的开销。系统可以缓存常用适配器,并按需加载其他适配器。因此,即使每个适配器本身都相对较小,适配器选择、内存驻留和请求调度仍然是部署工程需要考虑的环节。
在语言模型与生成模型中的应用
在自然语言处理中,LoRA 可用于分类、机器翻译、摘要生成、信息抽取和指令遵循等任务。这种方法无需重新进行预训练,就能改变现有模型对任务样例的响应方式。通过适应训练,可以让模型学会某种输出格式、侧重使用领域术语,或改变回答风格。其效果取决于基础模型是否已经具备可由当前权重更新加以引导的表征和能力。
指令微调通常使用包含提示和期望回答的序列进行训练,并仅对选定的回答词元计算损失。LoRA 可以为这一过程提供可训练参数,但它本身并不规定指令的格式。它也可用于基于偏好的优化和基于人类反馈的强化学习,这些方法的目标不同于普通的监督预测。在这些情况下,区分学习算法与权重参数化方式始终很重要。
LoRA 也广泛用于基于扩散模型的图像生成。这类模型包含可应用低秩更新的注意力投影和其他变换。适应训练可以将某个主体与文本标识符关联起来、改变视觉风格,或使模型专门生成某一类别的图像。保存下来的适配器可以独立于体积大得多的基础模型进行分发。根据架构和训练流程的不同,适应训练可能作用于去噪网络、文本编码器,或同时作用于两者。
图像个性化体现了专门化与泛化之间的一种特定矛盾。少量主体图像就可能训练出能够再现其可辨识特征的适配器,但模型也可能记住样例中反复出现的背景、姿态或视觉细节。图像描述、图像多样性、训练时长以及所选适配器的容量都会影响这种行为。检查点文件体积小,本身并不能证明学到的表征是抽象概括的结果,而非记忆的结果。
LoRA 也已应用于计算机视觉、语音识别和多模态学习。当架构中包含大型稠密投影时,它尤其便于使用;但对卷积进行适应时,则需要选择如何分解卷积核,或如何表示额外的分支。这些实现遵循相同的低秩适应原理,但不一定采用相同的张量布局。
在上述各种应用中,LoRA 都不同于检索增强生成。适配器会改变模型参数,而检索是在推理过程中提供外部信息。两种方法都不能涵盖另一种。模型可以使用 LoRA 学习特定领域的回答模式,同时从独立的知识来源检索不断变化的事实资料。
扩展与其他参数化方式
后续方法对 LoRA 设计的不同环节进行了修改,包括初始化、秩分配、因子优化、缩放以及更新本身的表示形式。这些都是彼此独立的设计选择。一种方法既可以保留基本的低秩矩阵乘积形式,仅改变其训练动态,也可以采用与原始参数化方式差异更大的设计。
秩稳定 LoRA 关注较大秩下激活值和梯度的尺度问题。2024 年提出的 LoRA+ 则研究为两个因子设置不同学习率的做法。虽然 和 共同定义同一个更新矩阵,但它们在前向和反向计算中的作用不同,因此,以完全相同的方式优化两者并不总是最优选择。这两种修改都不需要采用与自适应秩分配相同的假设:一种改变缩放方式,另一种改变优化方式,而自适应秩方法改变的是可训练容量的分配。
2024 年提出的权重分解低秩适配(DoRA)将权重的幅值与方向分离。它对方向分量施加低秩更新,同时学习额外的幅值参数。其目标是在不让整个稠密权重矩阵的所有参数都独立参与训练的前提下,实现更接近全量微调的效果。这会在训练期间引入与归一化有关的计算,不过,最终的有效权重可以在推理前显式计算出来。
PiSSA 等初始化方法利用预训练权重的主要奇异分量来构造可训练因子。这不同于一个因子随机初始化、另一个因子初始化为零的常规设置。在这类分解中,可以对冻结的残差部分和可训练分量进行设置,使二者之和在初始时恰好还原原始权重。即便适配器最终的参数数量不变,初始方向的选择也可能影响收敛。
另一个方向是量化感知初始化。例如,LoftQ 同时考虑基础权重的量化近似,以及用于减小量化所造成偏差的低秩残差。这种方法直接针对低比特表示引入的误差,而不是仅依靠下游优化来弥补。因此,它的目标不同于单纯选择更大的适配器秩。
还有一些技术会周期性地将训练好的低秩更新合并到基础权重中,再初始化一个新的适配器。经过多个连续阶段,累积的有效更新的秩可以超过任一单独阶段的秩,而正在优化的适配器参数数量仍保持有限。这改变了训练约束:模型相对于原始检查点的变化,不再局限于单次固定秩的更新。这类流程也削弱了“不变的共享基础模型”与“小型的最终任务专用适配器”之间原本简单明确的区分。
评估、局限与未解问题
有意义的 LoRA 评估应分别考察任务质量、资源使用和部署成本。视具体应用而定,质量指标可以包括准确率、精确匹配率、任务专用评分或困惑度。资源指标包括加速器峰值内存占用、训练时间、可训练参数量、适配器存储空间和推理吞吐量。某种配置可能在一项指标上更优,却在另一项指标上更差;适配器规模小,并不自动意味着优化更快或性能相当。
与全量微调比较时,需要投入相当的调参工作。LoRA 与全量微调各自适合的学习率、正则化强度和训练时长可能不同。仅使参数量相等,并不能使优化难度相同;使训练步数相等,也不一定意味着计算量相同。此外,还必须说明适配器的插入位置和秩:“LoRA”既可能指仅应用于少数几个注意力投影,也可能指应用于网络中几乎所有的线性变换。
合适的秩仍取决于任务和模型。容量过小可能导致欠拟合,尤其是在目标行为需要对多种表征进行大幅调整时。提高秩可以改善性能,但收益可能趋于饱和,也可能被有限数据上的过拟合所抵消。因此,低秩更新与泛化(机器学习)之间的关系需要通过实证来确定,并不存在普遍保证。低秩约束可以起到归纳偏置的作用,但这并不能证明每一种有用的适配在本质上都是低秩的。
评估还必须区分真正的任务学习、记忆以及基准数据污染。只有在测试样本及其高度相似的变体未泄漏到适配数据或模型选择流程中的情况下,模型在留出的测试集上的表现才具有参考价值。分布偏移可能暴露出域内评估中未出现的失效情况。对于生成任务,人工评判或基于模型的评判还会引入额外的变异,因此,采用标准化提示词并明确定义评估流程十分重要。
冻结基础模型并不意味着冻结其行为。适配器可以显著改变输出,也可能削弱目标任务之外的能力。它本身并不能保持安全行为、保证事实准确性,也不能防止泄露模型记住的信息。小型适配器可能编码了训练数据中的敏感关联,因此,参数高效本身并不是一种数据隐私保护机制。适配器体积小,也不能证明其来源或训练过程值得信赖。
理论上的问题在于,为什么相对低秩的更新往往就足够。可能的解释包括预训练表征中的冗余、特定任务所需的调整方向数量有限,以及许多微小的局部变化能够跨越网络深度相互作用。更新矩阵的秩、有效优化轨迹的维度以及所学行为的复杂度,是三个不同的量。在这些量之间建立可靠的关系,仍是理解参数高效适配的一个活跃研究问题。