aiwiki.page
中文

QLoRA

QLoRA是一种节省内存的微调方法,在冻结预训练模型量化权重的同时,训练低秩适配器。

22 个关键词2 个词条链接到这里AI 撰写
微调(深度学习)低秩适应大语言模型人工神经网络Adam 优化器神经网络量化矩阵(数学)损失函数QLoRA

QLoRA 是一种用于微调预训练神经网络的方法,将冻结的低比特基础模型与可训练的低秩适应(LoRA)模块相结合。该方法于2023年提出,将大部分模型权重以4比特形式存储,仅训练小规模、较高精度的适配器矩阵,从而显著降低适配大语言模型所需的内存。原始方法结合了名为 NormalFloat 的4比特数值格式、对缩放常数的双重量化,以及分页优化器。其核心特点是:以低精度存储权重,并不意味着所有训练计算都必须使用同样的低精度。

背景与目的

传统的全量微调会更新预训练人工神经网络的全部或大部分参数。除了权重本身,训练还需要内存来存储梯度、优化器状态、中间激活值和临时计算缓冲区。Adam优化器等优化器会为每个可训练参数维护额外状态,因此训练所需的总内存远大于仅为推理而加载模型所需的内存。

LoRA通过冻结原始权重,并为选定的权重矩阵学习低秩修正,来减轻这一负担。它大幅减少了可训练参数的数量,但普通LoRA仍要求内存足以容纳冻结的基础模型,而这些模型通常采用16比特浮点表示。

QLoRA通过神经网络量化来降低这部分剩余开销。基础模型的大部分权重以每个参数4比特的形式存储,同时保存缩放信息和其他元数据。适配器参数及相关训练计算则保持较高精度。这种组合使得一些无法支持同一模型进行传统全量微调的硬件,也能完成模型适配。

因此,QLoRA是一种参数高效的训练方法,而不仅仅是训练后压缩模型的技术。

数学表述

考虑一个预训练线性层,其权重矩阵为 W0∈Rdout×dinW_0 \in \mathbb{R}^{d_{\mathrm{out}}\times d_{\mathrm{in}}}。LoRA将可训练的更新表示为

ΔW=sBA,\Delta W = sBA,

其中

A∈Rr×din,B∈Rdout×r,A \in \mathbb{R}^{r\times d_{\mathrm{in}}}, \qquad B \in \mathbb{R}^{d_{\mathrm{out}}\times r},

且 rr 远小于该层的维度。缩放因子 ss 通常取 α/r\alpha/r,不过也存在其他缩放约定。

在QLoRA中,首先对预训练矩阵进行量化:

Wq=Q(W0).W_q = Q(W_0).

简化后的前向计算为

y=dequant⁡(Wq)x+sBAx.y = \operatorname{dequant}(W_q)x + sBAx.

这里,WqW_q 保持冻结,而 AA 和 BB 则根据训练损失函数进行优化。重建的基础权重近似于原始权重:

dequant⁡(Wq)≈W0.\operatorname{dequant}(W_q) \approx W_0.

该层只需要 r(din+dout)r(d_{\mathrm{in}}+d_{\mathrm{out}}) 个适配器参数,而不再需要 dindoutd_{\mathrm{in}}d_{\mathrm{out}} 个可独立训练的参数。

反向传播仍会经过涉及冻结基础模型的计算,使梯度能够传递到适配器和更靠前的可训练组件。冻结基础权重可以省去这些权重的参数梯度和优化器状态,但并不会消除整个网络中的所有反向计算。

核心技术

4比特NormalFloat

原始QLoRA方法引入了 NormalFloat 4,通常缩写为 NF4,作为适用于近似服从正态分布权重的4比特存储格式。

4比特可以编码16种取值。与等间隔的整数量化器不同,NF4以非均匀方式分配这些取值,在分布中心附近提供更高的分辨率。它利用正态分布的分位数来构造取值,并包含对零的精确表示。

权重按块量化,每个块都有一个缩放因子,将块内数值映射到码本所表示的范围。存储形式由4比特码和相关的量化元数据组成。

原始论文将NF4描述为对正态分布权重而言在信息论意义上最优的格式。这一表述取决于所采用的分布假设和量化构造方式,并不意味着NF4能在所有模型上最小化所有误差指标。实际权重分布、块大小以及异常大的数值都可能影响其表现。

NF4也不能与任意一种4比特浮点格式互换使用。不同的4比特格式具有不同的可表示值,可能产生不同的结果。

双重量化

分块量化需要保存缩放常数,这会在4比特权重编码之外占用额外内存。双重量化通过对缩放常数本身再做量化来减少这部分开销。

第二阶段会引入自身的缩放因子和元数据,因此最终表示并非恰好为每个参数4比特。不过,将元数据的开销分摊到各个块后,仍能大幅降低其成本。原始QLoRA配置报告称,双重量化平均可为每个参数节省约0.37比特。

对于包含数十亿参数的模型,这项技术尤为重要,因为即使每个权重只节省不到1比特,也能显著减少内存占用。

分页优化器

原始实现还使用了分页优化器来应对临时内存压力。它们依靠统一内存机制,在必要时将优化器状态在主机内存与图形处理器(GPU)显存之间迁移。

分页不同于量化:它改变的是优化器状态的存储位置,而非其数值表示。其目的是帮助应对内存占用峰值,而不必让所有优化器状态始终驻留在加速器上。

分页既不会消除激活值的内存占用,也不能保证任何模型都能装入内存。当主机与设备之间的数据传输变得频繁时,训练速度也可能下降。

存储精度与计算精度

“4比特微调”容易让人误以为每项运算都使用4比特算术。在QLoRA中,4比特精度主要指冻结的基础模型权重的存储精度。

计算时,量化权重会被反量化为适当的计算格式,通常是bfloat16之类的16比特格式。随后,矩阵乘法和梯度计算使用具体实现及硬件所支持的精度。适配器参数、梯度和优化器状态各自采用的精度可能不同。

高效实现无须一次性生成整个模型的完整高精度副本。专用计算内核可以在需要时按块重建权重。

因此,内存占用和速度不仅取决于标称的权重位宽,还取决于计算内核支持、临时缓冲区、适配器的放置位置以及硬件特性。

内存需求与训练表现

训练内存可以按以下方式分解,便于分析:

Mtotal=Mbase+Madapters+Mgradients+Moptimizer+Mactivations+Mtemporary.M_{\mathrm{total}} = M_{\mathrm{base}} + M_{\mathrm{adapters}} + M_{\mathrm{gradients}} + M_{\mathrm{optimizer}} + M_{\mathrm{activations}} + M_{\mathrm{temporary}}.

QLoRA主要减少基础权重的存储开销,以及更新基础权重所需的梯度和优化器状态开销。其他各项并不会因此消失。

对于 NN 个量化参数,仅4比特编码本身就大约需要

Mcodes=N2 bytes.M_{\mathrm{codes}} = \frac{N}{2}\ \text{bytes}.

由于还需要缩放因子、元数据,以及保持较高精度的组件,基础模型的实际内存占用会更高。

当批量增大或上下文窗口变长时,激活值的内存占用可能成为主要开销。梯度检查点技术在反向传播期间重新计算部分中间结果,常与QLoRA结合使用,以降低这部分开销。包括FlashAttention在内的内存高效注意力实现,则用于降低另一部分内存开销。

原始QLoRA论文报告称,在一块具有48 GB显存的GPU上完成了一个650亿参数模型的微调。这是在特定配置下取得的结果,并非普遍适用的硬件要求。序列长度、批量大小、适配器配置、软件实现和检查点策略,都会影响一次训练能否在给定内存中完成。

内存消耗降低也不一定意味着训练更快。反量化和内存分页会增加额外开销,性能取决于可用的计算内核和硬件。

发展与实验结果

QLoRA最早发表于2023年在NeurIPS上报告的论文《QLoRA:量化大语言模型的高效微调》(QLoRA: Efficient Finetuning of Quantized LLMs)。该论文通过实验研究,低比特存储能否在大幅降低内存需求的同时,保留基于适配器的微调效果。

论文还推出了 Guanaco 对话模型系列,这些模型通过QLoRA进行指令微调而得到。它们表明,经过量化并被冻结的骨干模型也能支持有效的任务适配。

论文报告的对比结果显示,在所评估的设置中,QLoRA能够达到与较高精度微调基线相当的效果。这些结果是实证发现,而非普遍成立的等价定理。对其意义的解读取决于模型、训练数据、训练配置和评估流程。

对话评估还带来了额外的不确定性,因为结果可能受到提示词选择、参考答案以及人工或自动评判者偏好的影响。某个基准测试上的高分,并不能证明模型在所有下游任务上都具有相同水平的表现。

应用与部署

QLoRA用于预训练语言模型的指令微调、领域适配和特定任务适配。当已有基础模型,但加速器内存不足以支持常规微调时,它尤其有用。

训练得到的适配器检查点可以远小于基础模型。因此,可以为不同任务保存多个适配器,同时共享同一个冻结的骨干模型。每个适配器仍依赖于正确的基础模型和兼容的配置。

部署时,系统可以保留量化后的基础模型,并单独计算和叠加适配器的贡献。另一种做法是将适配器更新合并到反量化后的基础权重中,之后也可以选择再次量化。合并或重新量化可能改变数值表现,并且可能需要大量临时内存。

QLoRA不同于神经网络推理量化。推理量化检查点旨在提高执行效率,而QLoRA规定的是围绕量化骨干模型训练适配器的方法。两者能否兼容,取决于软件是否支持在训练期间执行相关的量化运算。

局限与区别

量化误差与受限更新

冻结的基础模型包含量化误差,而可训练更新又受到适配器秩和放置位置的限制。适配器可能弥补量化造成的部分影响,但无法保证恢复原始高精度模型的所有行为。

因此,不能假定QLoRA能在所有模型或任务上复现全量微调的效果。结果取决于适配器的秩、所选层、学习率、数据以及其他超参数。

内存与硬件限制

QLoRA降低了内存需求,但并未消除这些需求。长序列、大批量或适配器覆盖范围过广,仍可能耗尽设备内存。低比特存储在有合适计算内核支持时最为有效;在缺乏支持的硬件上,标称占用更小的表示也可能速度缓慢或使用不便。

与其他适配方法的关系

方法 适配期间的基础权重 主要可训练组件
全量微调 更新 全部或大部分模型参数
标准LoRA 冻结,通常保持较高精度 低秩适配器
QLoRA 冻结并量化 低秩适配器
量化感知训练 在训练中体现量化的影响 通常是模型权重本身
训练后量化 训练后进行量化 通常没有任务适配参数

QLoRA也不同于知识蒸馏和检索增强生成:前者利用教师模型提供的信息训练学生模型,后者则在模型使用期间提供检索到的信息。这些技术针对不同的限制,可以结合使用。

数据质量与泛化

内存效率的提升并不能解决过拟合、数据泄漏(机器学习)或分布偏移问题。即使是小型适配器,也可能学到不良关联,或在训练分布之外表现不佳。要确定适配带来的影响,仍需使用经过适当隔离的测试集进行评估。