{
  "id": "qlora",
  "title": "QLoRA",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "QLoRA是一种节省内存的微调方法，在冻结预训练模型量化权重的同时，训练低秩适配器。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "量化低秩适应",
    "量化LoRA"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/qlora/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/qlora/",
      "json": "https://aiwiki.page/en/qlora.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "QLoRA 是一种用于微调预训练神经网络的方法，将冻结的低比特基础模型与可训练的低秩适应（LoRA）模块相结合。该方法于2023年提出，将大部分模型权重以4比特形式存储，仅训练小规模、较高精度的适配器矩阵，从而显著降低适配大语言模型所需的内存。原始方法结合了名为 NormalFloat 的4比特数值格式、对缩放常数的双重量化，以及分页优化器。其核心特点是：以低精度存储权重，并不意味着所有训练计算都必须使用同样的低精度。"
    },
    {
      "heading": "背景与目的",
      "text": "传统的全量微调会更新预训练人工神经网络的全部或大部分参数。除了权重本身，训练还需要内存来存储梯度、优化器状态、中间激活值和临时计算缓冲区。Adam优化器等优化器会为每个可训练参数维护额外状态，因此训练所需的总内存远大于仅为推理而加载模型所需的内存。\n\nLoRA通过冻结原始权重，并为选定的权重矩阵学习低秩修正，来减轻这一负担。它大幅减少了可训练参数的数量，但普通LoRA仍要求内存足以容纳冻结的基础模型，而这些模型通常采用16比特浮点表示。\n\nQLoRA通过神经网络量化来降低这部分剩余开销。基础模型的大部分权重以每个参数4比特的形式存储，同时保存缩放信息和其他元数据。适配器参数及相关训练计算则保持较高精度。这种组合使得一些无法支持同一模型进行传统全量微调的硬件，也能完成模型适配。\n\n因此，QLoRA是一种参数高效的训练方法，而不仅仅是训练后压缩模型的技术。"
    },
    {
      "heading": "数学表述",
      "text": "考虑一个预训练线性层，其权重矩阵为 \\(W_0 \\in \\mathbb{R}^{d_{\\mathrm{out}}\\times d_{\\mathrm{in}}}\\)。LoRA将可训练的更新表示为\n\n\\[\\Delta W = sBA,\\]\n\n其中\n\n\\[A \\in \\mathbb{R}^{r\\times d_{\\mathrm{in}}}, \\qquad B \\in \\mathbb{R}^{d_{\\mathrm{out}}\\times r},\\]\n\n且 \\(r\\) 远小于该层的维度。缩放因子 \\(s\\) 通常取 \\(\\alpha/r\\)，不过也存在其他缩放约定。\n\n在QLoRA中，首先对预训练矩阵进行量化：\n\n\\[W_q = Q(W_0).\\]\n\n简化后的前向计算为\n\n\\[y = \\operatorname{dequant}(W_q)x + sBAx.\\]\n\n这里，\\(W_q\\) 保持冻结，而 \\(A\\) 和 \\(B\\) 则根据训练损失函数进行优化。重建的基础权重近似于原始权重：\n\n\\[\\operatorname{dequant}(W_q) \\approx W_0.\\]\n\n该层只需要 \\(r(d_{\\mathrm{in}}+d_{\\mathrm{out}})\\) 个适配器参数，而不再需要 \\(d_{\\mathrm{in}}d_{\\mathrm{out}}\\) 个可独立训练的参数。\n\n反向传播仍会经过涉及冻结基础模型的计算，使梯度能够传递到适配器和更靠前的可训练组件。冻结基础权重可以省去这些权重的参数梯度和优化器状态，但并不会消除整个网络中的所有反向计算。"
    },
    {
      "heading": "核心技术",
      "text": "4比特NormalFloat\n\n原始QLoRA方法引入了 NormalFloat 4，通常缩写为 NF4，作为适用于近似服从正态分布权重的4比特存储格式。\n\n4比特可以编码16种取值。与等间隔的整数量化器不同，NF4以非均匀方式分配这些取值，在分布中心附近提供更高的分辨率。它利用正态分布的分位数来构造取值，并包含对零的精确表示。\n\n权重按块量化，每个块都有一个缩放因子，将块内数值映射到码本所表示的范围。存储形式由4比特码和相关的量化元数据组成。\n\n原始论文将NF4描述为对正态分布权重而言在信息论意义上最优的格式。这一表述取决于所采用的分布假设和量化构造方式，并不意味着NF4能在所有模型上最小化所有误差指标。实际权重分布、块大小以及异常大的数值都可能影响其表现。\n\nNF4也不能与任意一种4比特浮点格式互换使用。不同的4比特格式具有不同的可表示值，可能产生不同的结果。\n\n双重量化\n\n分块量化需要保存缩放常数，这会在4比特权重编码之外占用额外内存。双重量化通过对缩放常数本身再做量化来减少这部分开销。\n\n第二阶段会引入自身的缩放因子和元数据，因此最终表示并非恰好为每个参数4比特。不过，将元数据的开销分摊到各个块后，仍能大幅降低其成本。原始QLoRA配置报告称，双重量化平均可为每个参数节省约0.37比特。\n\n对于包含数十亿参数的模型，这项技术尤为重要，因为即使每个权重只节省不到1比特，也能显著减少内存占用。\n\n分页优化器\n\n原始实现还使用了分页优化器来应对临时内存压力。它们依靠统一内存机制，在必要时将优化器状态在主机内存与图形处理器（GPU）显存之间迁移。\n\n分页不同于量化：它改变的是优化器状态的存储位置，而非其数值表示。其目的是帮助应对内存占用峰值，而不必让所有优化器状态始终驻留在加速器上。\n\n分页既不会消除激活值的内存占用，也不能保证任何模型都能装入内存。当主机与设备之间的数据传输变得频繁时，训练速度也可能下降。"
    },
    {
      "heading": "存储精度与计算精度",
      "text": "“4比特微调”容易让人误以为每项运算都使用4比特算术。在QLoRA中，4比特精度主要指冻结的基础模型权重的存储精度。\n\n计算时，量化权重会被反量化为适当的计算格式，通常是bfloat16之类的16比特格式。随后，矩阵乘法和梯度计算使用具体实现及硬件所支持的精度。适配器参数、梯度和优化器状态各自采用的精度可能不同。\n\n高效实现无须一次性生成整个模型的完整高精度副本。专用计算内核可以在需要时按块重建权重。\n\n因此，内存占用和速度不仅取决于标称的权重位宽，还取决于计算内核支持、临时缓冲区、适配器的放置位置以及硬件特性。"
    },
    {
      "heading": "内存需求与训练表现",
      "text": "训练内存可以按以下方式分解，便于分析：\n\n\\[M_{\\mathrm{total}} = M_{\\mathrm{base}} + M_{\\mathrm{adapters}} + M_{\\mathrm{gradients}} + M_{\\mathrm{optimizer}} + M_{\\mathrm{activations}} + M_{\\mathrm{temporary}}.\\]\n\nQLoRA主要减少基础权重的存储开销，以及更新基础权重所需的梯度和优化器状态开销。其他各项并不会因此消失。\n\n对于 \\(N\\) 个量化参数，仅4比特编码本身就大约需要\n\n\\[M_{\\mathrm{codes}} = \\frac{N}{2}\\ \\text{bytes}.\\]\n\n由于还需要缩放因子、元数据，以及保持较高精度的组件，基础模型的实际内存占用会更高。\n\n当批量增大或上下文窗口变长时，激活值的内存占用可能成为主要开销。梯度检查点技术在反向传播期间重新计算部分中间结果，常与QLoRA结合使用，以降低这部分开销。包括FlashAttention在内的内存高效注意力实现，则用于降低另一部分内存开销。\n\n原始QLoRA论文报告称，在一块具有48 GB显存的GPU上完成了一个650亿参数模型的微调。这是在特定配置下取得的结果，并非普遍适用的硬件要求。序列长度、批量大小、适配器配置、软件实现和检查点策略，都会影响一次训练能否在给定内存中完成。\n\n内存消耗降低也不一定意味着训练更快。反量化和内存分页会增加额外开销，性能取决于可用的计算内核和硬件。"
    },
    {
      "heading": "发展与实验结果",
      "text": "QLoRA最早发表于2023年在NeurIPS上报告的论文《QLoRA：量化大语言模型的高效微调》（QLoRA: Efficient Finetuning of Quantized LLMs）。该论文通过实验研究，低比特存储能否在大幅降低内存需求的同时，保留基于适配器的微调效果。\n\n论文还推出了 Guanaco 对话模型系列，这些模型通过QLoRA进行指令微调而得到。它们表明，经过量化并被冻结的骨干模型也能支持有效的任务适配。\n\n论文报告的对比结果显示，在所评估的设置中，QLoRA能够达到与较高精度微调基线相当的效果。这些结果是实证发现，而非普遍成立的等价定理。对其意义的解读取决于模型、训练数据、训练配置和评估流程。\n\n对话评估还带来了额外的不确定性，因为结果可能受到提示词选择、参考答案以及人工或自动评判者偏好的影响。某个基准测试上的高分，并不能证明模型在所有下游任务上都具有相同水平的表现。"
    },
    {
      "heading": "应用与部署",
      "text": "QLoRA用于预训练语言模型的指令微调、领域适配和特定任务适配。当已有基础模型，但加速器内存不足以支持常规微调时，它尤其有用。\n\n训练得到的适配器检查点可以远小于基础模型。因此，可以为不同任务保存多个适配器，同时共享同一个冻结的骨干模型。每个适配器仍依赖于正确的基础模型和兼容的配置。\n\n部署时，系统可以保留量化后的基础模型，并单独计算和叠加适配器的贡献。另一种做法是将适配器更新合并到反量化后的基础权重中，之后也可以选择再次量化。合并或重新量化可能改变数值表现，并且可能需要大量临时内存。\n\nQLoRA不同于神经网络推理量化。推理量化检查点旨在提高执行效率，而QLoRA规定的是围绕量化骨干模型训练适配器的方法。两者能否兼容，取决于软件是否支持在训练期间执行相关的量化运算。"
    },
    {
      "heading": "局限与区别",
      "text": "量化误差与受限更新\n\n冻结的基础模型包含量化误差，而可训练更新又受到适配器秩和放置位置的限制。适配器可能弥补量化造成的部分影响，但无法保证恢复原始高精度模型的所有行为。\n\n因此，不能假定QLoRA能在所有模型或任务上复现全量微调的效果。结果取决于适配器的秩、所选层、学习率、数据以及其他超参数。\n\n内存与硬件限制\n\nQLoRA降低了内存需求，但并未消除这些需求。长序列、大批量或适配器覆盖范围过广，仍可能耗尽设备内存。低比特存储在有合适计算内核支持时最为有效；在缺乏支持的硬件上，标称占用更小的表示也可能速度缓慢或使用不便。\n\n与其他适配方法的关系\n\n方法 | 适配期间的基础权重 | 主要可训练组件\n全量微调 | 更新 | 全部或大部分模型参数\n标准LoRA | 冻结，通常保持较高精度 | 低秩适配器\nQLoRA | 冻结并量化 | 低秩适配器\n量化感知训练 | 在训练中体现量化的影响 | 通常是模型权重本身\n训练后量化 | 训练后进行量化 | 通常没有任务适配参数\n\nQLoRA也不同于知识蒸馏和检索增强生成：前者利用教师模型提供的信息训练学生模型，后者则在模型使用期间提供检索到的信息。这些技术针对不同的限制，可以结合使用。\n\n数据质量与泛化\n\n内存效率的提升并不能解决过拟合、数据泄漏（机器学习）或分布偏移问题。即使是小型适配器，也可能学到不良关联，或在训练分布之外表现不佳。要确定适配带来的影响，仍需使用经过适当隔离的测试集进行评估。"
    }
  ],
  "links": [
    "fine-tuning",
    "low-rank-adaptation",
    "large-language-model",
    "artificial-neural-network",
    "adam-optimizer",
    "neural-network-quantization",
    "matrix",
    "loss-function",
    "backpropagation",
    "graphics-processing-unit",
    "context-window",
    "flashattention",
    "training-data",
    "neural-network-inference",
    "learning-rate",
    "hyperparameter",
    "knowledge-distillation",
    "retrieval-augmented-generation",
    "overfitting",
    "data-leakage",
    "distribution-shift",
    "test-set"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}