神经网络量化是指用有限的取值集合表示人工神经网络中的数值,通常旨在降低存储需求和执行开销。量化模型不再以常规的 32 位浮点格式保存每个权重或中间激活值,而是可以采用 8 位整数、4 位编码或低精度浮点数。量化可以在训练完成后进行,也可以融入训练过程,还可以与对现有模型的小幅调整相结合。
量化之所以重要,在于神经网络数据的传输和处理成本高昂。大型模型需要大量内存容量和带宽,而小型设备则受到严格的功耗和延迟限制。降低精度可以使神经网络推理在微控制器、智能手机乃至数据中心加速器等各类设备上切实可行。量化也支持以较低的内存开销对大语言模型进行适配,不过,模型的标称位宽本身并不能决定其速度或准确性。
量化通常是一种有损数据压缩:不同的原始数值可能被映射为相同的存储表示。其核心工程问题是如何选择数值格式、缩放规则和执行方法,在节省资源的同时,避免模型行为发生不可接受的变化。由此产生的权衡取决于网络架构、数据分布、硬件指令以及应用对准确性的要求。
数值基础与量化误差
量化器将数值输入映射到有限可表示集合中的一个元素。在均匀仿射量化中,使用尺度因子 和整数零点 ,将输入 转换为整数编码 :
随后可近似重构为
尺度因子规定了相邻重构值之间的间距,而零点使得数值零即使在编码范围为无符号时也能被精确表示。对于无符号 8 位格式,可用编码通常为 0 至 255。有符号格式通常使用从 到 127 的编码,不过有些对称量化方案会刻意排除其中一个端点。
量化误差主要包含两个部分。当数值落在可表示的量化级之间时,会产生舍入误差。当数值超出所选范围、被替换为端点值时,会产生截断误差。在采用就近舍入且不发生截断的情况下,均匀量化的绝对误差至多为 。如果再作一个理想化假设,即舍入误差在一个量化区间内均匀分布,则其均方值为 。实际神经网络中的误差未必满足这一假设:误差可能与输入相关,集中在某些特定值附近,并被后续计算放大。
因此,量化范围的选择需要权衡。较宽的范围能保留罕见的极端值,但会增大普通数值之间的间距。较窄的范围能提高概率分布主体部分的分辨率,却会截断其尾部。在精度极低时,这种权衡尤为严峻。4 位只能提供 16 个编码,因此少量离群值就可能占用可用数值范围的很大一部分。对称量化通常将零点固定为零,并表示原点附近的数值。非对称量化能够更灵活地设置可表示区间,因此可能更适合非负或分布偏斜的激活值。
并非所有量化方法都使用等间距的整数量化级。低精度浮点运算格式将比特分配给符号、指数和有效数字,使零附近的绝对间距更细,而数值幅度较大处的间距更粗。非均匀码本则将存储的索引与选定的重构值关联起来。二值网络和三值网络将某些量分别限制为两个或三个取值。这些表示方式在数值特性和硬件开销方面各不相同;将它们一概称为“低比特”会掩盖重要差异。
量化对象、粒度与混合精度
神经网络包含多类数值特性不同的对象:学习得到的权重、中间激活值、偏置、累加器、梯度和优化器状态。量化其中一类并不意味着也要量化其他类别。仅权重量化压缩存储的参数,同时让激活值和大量算术运算保持较高精度。权重与激活值量化则还会降低主要运算输入的精度。量化训练将问题进一步扩展到反向计算和参数更新,在这些过程中,微小的数值变化可能在多次优化迭代中不断累积。
一种常见的记法会分别标明权重和激活值的精度。W8A8 通常表示 8 位权重和 8 位激活值;W4A16 通常表示 4 位权重和 16 位激活值。这类标签并不是完整的规格说明。它们不一定能说明数值采用整数还是浮点数、数值如何分组、累加器使用何种精度,或是否有部分层未被量化。W4A16 的实现可能会先解包权重,再以更高精度的格式执行乘法,而不是执行原生的 4 位与 16 位数值相乘运算。
粒度描述的是哪些数值共享量化参数。逐张量量化为整个张量分配一个缩放因子,并可能分配一个零点。逐通道量化则为不同通道分配各自的参数,这些通道通常是卷积或线性变换的输出通道。当各通道的数值范围差异很大时,这种方式很有价值;例如,将批量归一化折叠到前一层后,就可能出现这种情况。分组量化将权重划分为更小的块,例如每组包含 32、64 或 128 个元素,每组都有自己的参数。更细的粒度通常能提高局部数值分辨率,但也会增加元数据开销和实现复杂度。
对于以每个权重 位存储的 个权重,若每组 个权重共用一个 位的缩放因子,则不计其他元数据时,所需存储空间约为
因此,如果采用 4 位权重,并为每 32 个权重配置一个 16 位缩放因子,那么平均每个权重约需 4.5 位,而非恰好 4 位。零点、填充、异常值和对齐还可能带来额外开销。对缩放因子本身进行量化可以降低这部分开销。
混合精度方案为模型的不同部分分配不同的数值格式。对量化敏感的层可以保留 8 位或 16 位表示,其他层则使用 4 位或更低位宽。在采用激进量化的视觉网络中,第一层和最后一层往往会受到特殊处理,但具体的敏感程度取决于架构。在 Transformer架构中,注意力投影、前馈层、归一化运算和输出投影可能具有不同的数值精度要求。因此,精度分配是一个涉及准确率、内存、延迟和可用硬件计算内核的约束优化问题,而不是将一种数据类型统一替换为另一种。
整数运算与执行语义
整数量化可以用整数运算替代开销较大的浮点运算,但仅将权重存储为整数还不够。考虑量化后的激活值与权重之间的点积:
其重建值近似为
内层求和可以通过整数乘累加指令计算。常见的 8 位推理实现使用 32 位整数累加乘积,因为对大量低精度乘积求和所需的数值范围,远大于表示单个输入所需的范围。
零点会影响实现开销。将乘积展开可得
当权重采用对称量化且 时,涉及 的输入相关校正项就会消失。仅与权重有关的求和项通常可以预先计算。这也是许多整数推理系统将对称量化的权重与可能采用非对称量化的激活值搭配使用的原因之一。偏置项可以用与累加器相同的量化单位表示,其缩放因子与激活值和权重的缩放因子之积相关;如果权重采用逐通道缩放,偏置也需要按通道进行相应处理。
累加结果通常必须转换为下一层的量化表示。这一操作称为再量化:先应用一个近似等于 的乘数,再进行输出零点调整、舍入和截断。纯整数实现使用整数乘数和移位来近似实现这一乘法。具体的舍入规则十分重要:中点舍入到偶数、中点向远离零的方向舍入,以及其他规则,在经过多层计算后可能产生不同的输出。累加器的溢出行为同样重要,尤其是在点积长度异常大或中间表示位宽较窄的情况下。
整个网络的执行还会带来额外约束。将两个残差分支相加时,需要使用兼容的缩放因子,或显式进行重新缩放。拼接操作可能需要统一多个输入的数值表示。修正线性单元通常可以通过将低于零对应编码值的整数输出截断至该编码值来实现,而归一化、指数运算和 softmax 则需要更复杂的近似方法,或使用更高精度执行。将归一化折叠到相邻的线性运算中可以简化计算图,但会改变量化器实际处理的权重分布。
这些细节使量化在一定程度上成为模型转换与运行时执行之间的一项约定。即使两个系统使用相同的标称位宽,也可能因缩放因子、截断规则、算子实现或中间精度不同而产生不一致的结果。因此,正确部署不仅仅是转换参数文件,还必须在整个计算图中保持数值语义一致。
训练后量化与校准
训练后量化将已训练好的模型转换为量化模型,无须重新执行原有的训练过程。最简单的方法是将权重舍入到选定的离散网格上,并通过具有代表性的样本确定激活值的范围。由于不需要完整地重新训练,这种方法很适合原始训练数据不可用、计算资源有限,或需要将预训练模型部署到多种设备上的情况。不同方法的需求有所不同:有些完全不需要样本数据,有些需要一个小型校准集,还有些则需要进行更复杂的重建。
校准用于估计推理过程中出现的数值范围。最小值—最大值观测器会记录激活值的最小值和最大值,保留观测到的整个范围,但可能为了涵盖罕见的极端值而牺牲量化分辨率。百分位数方法会舍弃一定比例的尾部数值。基于直方图的方法则搜索阈值,使某种重建准则最小化,例如均方误差或近似分布之间的散度。这些准则都不能直接保证任务准确率的变化最小:在数值上保持张量与保持网络的最终决策,是相互关联但并不相同的目标。
校准集必须覆盖与实际部署相关的执行路径和数据分布。图像分辨率、预处理方式、序列长度、语言和任务类型都可能影响激活值的统计特征。根据短文本输入拟合出的范围,可能无法准确描述长上下文推理的情况;根据常见图像拟合出的范围,则可能遗漏异常光照或传感器工作条件。因此,分布偏移可能使原本表现良好的静态量化器频繁发生截断。动态量化则根据运行时的输入确定部分参数,通常以张量或词元为单位,通过增加计算开销来适应不断变化的数值范围。
更先进的方法会在舍入之前或舍入过程中调整模型。跨层均衡通过缩放相邻层,使其参数范围更易于量化,同时在满足适当网络结构条件时保持这些层的组合函数不变。偏置校正用于补偿系统性的输出偏移。2020 年提出的 AdaRound 会优化权重的舍入选择,而不是简单地将每个值舍入到最近的网格点。逐层和逐块重建方法则寻找能够在校准样本上复现中间输出的量化参数。
对于权重为 、校准输入为 的线性层,重建目标可写为
其中, 必须符合量化表示的约束。这个目标考虑了哪些输入方向实际被激活,而不是将所有权重误差视为同等重要。优化仍受到校准集覆盖范围、计算成本,以及局部重建误差与模型端到端质量之间不一致性的制约。因此,训练后量化是一系列方法的统称,既包括成本低廉的舍入,也包括复杂的数据驱动优化。
量化感知训练与低精度学习
量化感知训练让网络在参数优化过程中就受到量化效应的影响。一种常见实现是在原本采用浮点运算的计算图中插入伪量化操作。在前向传播时,这些操作按照最终部署时所用量化器的方式对数值进行舍入和截断,再以浮点数表示重建后的数值。这样便能模拟数值精度下降的影响,而不必在训练时实际执行低精度硬件指令。
舍入给反向传播带来了困难,因为它的导数几乎处处为零,在不连续点处则没有定义。一种广泛使用的近似方法是直通估计器,即用有助于优化的替代导数来代替真实导数。在选定范围内,反向传播可以将量化近似视为恒等函数,而被截断的数值则可能获得不同的梯度或零梯度。这种估计器并非离散操作的精确导数,而是一种实用的优化手段,其效果取决于模型和训练设置。
许多实现会保留全精度主权重。这些权重用于累积微小更新;如果每次更新后都立即舍入到粗粒度网格上,这些更新就会丢失。前向传播使用量化后的权重版本,而优化器则更新主参数。这种安排使量化感知训练有别于全低精度训练:模拟4位推理,并不意味着梯度、优化器状态或所有训练运算都使用4位精度。Adam优化器等优化器需要维护额外状态,即使前向传播所用的权重已被压缩,这些状态仍可能占用大量内存。
训练还可以优化量化尺度或截断阈值。2019年提出的学习步长量化方法将步长视为可训练量,并使用经过适当缩放的梯度估计。其他方法则学习激活值范围,或通过正则化使参数分布更易于量化。知识蒸馏可以提供额外的训练信号,促使量化后的学生模型复现更高精度教师模型的输出。这些方法能够在较低位宽下恢复精度,但需要训练数据、优化投入,以及模拟算子与实际部署算子之间的精确匹配。
从更广义上说,低精度训练还包括以较低精度执行前向和反向运算、对工作节点之间的通信进行量化,以及压缩优化器状态。随机舍入在某些场景中很有用,因为它可以在期望意义上保留微小更新,而不是总将其丢弃。不过,这些技术解决的是不同的瓶颈。分布式计算中训练通信的量化不一定会改变推理模型,而优化器状态的量化也不意味着激活值经过了量化。要理解数值行为和实际资源节省情况,就必须报告各个组成部分所用的精度。
大语言模型与 Transformer 专用方法
大语言模型在量化方面面临独特挑战:庞大的参数量使权重存储成本高昂,而其激活值分布中又可能出现异常大的数值。在某些 Transformer 中,少量隐藏维度的激活值幅度远大于其他维度。如果所有维度共用一个缩放因子,量化范围就会有很大一部分被分配给这些离群值,导致普通数值的表示分辨率不足。层与层之间的差异,以及随词元而变化的激活分布,也进一步增加了静态范围选择的难度。
几种有影响力的方法分别针对这一问题的不同方面提出了解决方案。2022 年提出的 LLM.int8() 对大多数数值采用 8 位矩阵乘法,同时以更高精度处理选定的离群维度。SmoothQuant 于 2022 年发布、2023 年正式发表,它通过保持函数不变的重新缩放,将激活值量化的部分难度转移到权重上,使权重和激活值均采用 8 位量化的推理更具实用性。对于合适的对角缩放矩阵 ,
未量化的乘积保持不变,但两个量化器各自面对的数值分布可以变得更有利于量化。
仅量化权重的方法采用了另一种权衡。2022 年提出的 GPTQ 利用从校准输入中获得的近似二阶信息,指导权重的逐步量化,并通过调整其余权重来补偿误差。2023 年提出的 AWQ 则利用激活信息识别重要的权重通道,并在低比特量化前通过缩放加以保护。当从内存读取权重占据大部分执行时间时,这些方法尤为适用。这些名称指代的是算法方案,而不是可以互换的存储格式:实际实现会在分组、数据打包、计算内核和支持的架构等方面有所不同。
2023 年提出的 QLoRA 将冻结的量化基础模型与可训练的低秩适应模块相结合。其 4 位 NormalFloat 表示使用非均匀码本,专为近似服从正态分布的权重设计;双重量化则用于压缩量化常数。这样既减少了微调所需的内存,又无需训练基础模型的每一个参数。但这并不等同于全程采用 4 位精度的训练,因为适配器更新和重要计算仍使用更高精度。
自回归生成还会为先前处理过的词元存储键值缓存。其大小随上下文长度、批次大小、层数,以及所存储注意力头的数量和维度而增加。量化权重并不会自动缩减这一缓存。缓存量化还涉及一组独立的问题,包括键和值的分布、按词元缩放与按通道缩放的选择,以及误差如何影响后续的注意力机制运算。因此,即使使用相同的量化权重,长上下文工作负载也可能需要与短提示词工作负载不同的精度策略。
硬件、软件与实际性能
量化在资源方面的主要收益是减少存储占用、减少数据搬移,以及采用更高效的算术运算。在不计元数据和例外情况时,理想的 4 位表示所需的权重存储空间仅为 32 位浮点表示的八分之一。这能否转化为更快的推理速度,取决于系统瓶颈。如果执行速度受限于算术吞吐量,低精度指令就能直接带来帮助。如果受限于内存带宽,那么即使压缩后的权重在乘法运算前需要解包为更高精度的表示,也仍然可能带来收益。
工作负载的形态对结果影响很大。在小批量下进行单词元解码时,每次读取权重后执行的算术运算通常相对较少,因此权重读取带宽尤为重要。处理长提示或大批量输入时,可以在多个输入之间复用权重,从而提高算术强度。一种能够加速内存带宽受限解码的方法,在计算受限的提示处理阶段可能带来的收益较小。在长上下文场景下,读取注意力缓存也可能成为主要开销。因此,延迟、吞吐量和可支持的最大批量大小是不同的性能指标。
不同硬件的支持情况并不一致。中央处理器可能提供用于整数点积的向量或矩阵指令;图形处理器及专用加速器可能提供支持特定整数和浮点格式的矩阵运算单元。专用集成电路可以围绕特定精度和数据流进行设计。名义上支持某种数据类型,并不意味着能够高效支持所有分组方案、矩阵维度或算子。打包顺序、对齐、填充、内存布局和转换指令,都可能决定预期优势能否真正实现。
软件必须将量化后的计算图映射到可用的计算内核。PyTorch 等框架、开放神经网络交换(ONNX)等交换表示格式,以及 TensorRT 等部署系统,以不同方式表示或转换量化信息。显式的量化和反量化操作可以传达预期的数值处理方式,而编译器或运行时则可能将它们与周围的操作融合。不受支持的层可能回退到更高精度的执行方式,从而引入转换和额外的内存流量。即使模型中有许多算子名义上已被量化,仍可能有相当多的时间花在更高精度的代码上。
低位宽算术也有不可忽视的额外开销。4 位数值通常必须以每字节两个的方式打包,还需要加载缩放因子并对各组进行解码。小矩阵的计算量可能不足以摊薄内核启动或初始化的成本。反过来,如果量化使整个模型都能容纳在加速器内存中,就可以消除数据传输或卸载的需要,从而带来远超存储缩减比例的实际性能提升。因此,有意义的性能声明应明确说明硬件、软件版本、批量大小、序列长度、精度配置,以及计时是否包含预处理、缓存管理和数据传输。
准确性测量、鲁棒性与可复现性
量化质量不能仅用单个张量的误差来衡量。权重重建误差、中间激活误差和最终任务性能反映的是不同方面的影响。在不敏感方向上出现较大误差,可能对预测几乎没有影响;而分类边界附近的微小误差,却可能改变输出。误差传播还取决于网络架构:残差连接、归一化、非线性变换和注意力机制可能抑制某些扰动,同时放大另一些扰动。数值比较是有用的诊断手段,但不能替代端到端评估。
对于视觉系统,评估可以涵盖分类准确率、目标检测指标或分割质量。对于语言模型,困惑度衡量模型对词元序列的预测拟合程度,而任务基准则衡量模型在特定推理、知识或生成任务上的表现。平均困惑度的变化很小,并不意味着任务结果不变。生成文本可能仅因一个词元发生变化就走向不同的后续内容,而采样还会引入额外的变动。因此,比较时需要明确解码设置,并使用足够多的样例,以区分量化的影响与测量噪声。
校准数据应与留出的测试集区分开来。反复根据测试结果选择缩放因子、截断阈值或位宽分配方案,可能造成评估中的信息泄漏。验证集可用于模型选择,而最终评估应保持独立。为使报告的结果可复现,还应说明校准样本的数量和选择流程、是否使用了标签,以及是否对权重进行了重建、微调或其他更新。两个都被称为训练后量化的系统,可能使用了截然不同的数据量和优化预算。
鲁棒性评估不能只关注常见输入上的平均性能。罕见的激活模式可能导致校准阶段从未出现过的截断。长序列、幅值异常的输入、不同的图像预处理方式,以及专业语言领域,都可能暴露出综合基准所掩盖的弱点。量化并不必然改善或削弱所有形式的鲁棒性,宽泛的结论需要在相关条件下经过评估。此外,仅仅降低数值精度,并不能使训练数据匿名化、消除模型记忆的信息,也不能据此确立任何安全性保证。
资源测量同样需要谨慎。模型文件大小不同于驻留内存占用,后者可能包括解包后的权重、工作区、缓存、内存分配器开销和临时缓冲区。加载过程中的峰值内存占用可能超过稳态推理时的内存占用。每次请求的能耗不同于瞬时功率,执行速度更快也不意味着能耗会自动按相同比例下降。全面的比较应同时报告准确性、延迟分布、吞吐量、峰值内存占用和工作负载细节。这样才能区分真正的改进与批处理方式、计算内核或评估流程不同所带来的变化。
历史发展与持续研究
神经网络量化借鉴了数字信号处理、定点运算和数值近似等领域的早期研究。由于存储器和乘法器电路成本高昂,有限精度在早期神经网络硬件中就已是一个重要问题。2010 年代,深度学习的迅猛发展使这一问题以大得多的规模重新受到关注:神经网络通过浮点训练取得了出色的效果,但需要在移动处理器、嵌入式系统和能耗受限的加速器上运行。
2010 年代中期的几项进展确立了影响深远的研究方向。Matthieu Courbariaux、Yoshua Bengio 和 Jean-Pierre David 于 2015 年提出的 BinaryConnect,探索了在前向传播和反向传播中使用二值权重、同时保留更高精度底层参数的训练方法。Song Han、Huizi Mao 和 William Dally 于 2015 年发布的 Deep Compression,将剪枝、通过权重共享实现的训练式量化以及霍夫曼编码结合起来。这些技术分别针对相互补充的不同冗余形式,而不是将降低精度视为一种孤立的变换。Mohammad Rastegari 及其同事于 2016 年提出的 XNOR-Net,则研究了利用二值运算和缩放因子来近似卷积计算。
随着神经网络进入消费级设备,实用的整数部署方案变得日益重要。Benoit Jacob 及其同事在 2018 年的论文《神经网络量化与训练:实现仅使用整数运算的高效推理》中,描述了一个影响广泛的框架,将仿射量化、训练中的量化模拟与整数执行衔接起来。后续研究改进了训练后校准方法,优化了舍入策略,探索了量化参数的学习,并发展了混合精度分配方法。研究重点也从低精度是否可行,拓展到如何让训练、转换和硬件执行更加紧密地协同。
2020 年代初,Transformer 和大语言模型的发展,使研究重点转向激活值中的离群值、超大规模权重矩阵,以及受内存带宽限制的生成过程。仅对权重进行低比特量化的方法变得尤为重要,因为让模型能够装入加速器内存,可能与降低算术运算开销同样重要。与此同时,低精度浮点格式,包括指数与有效数位宽分配不同的各种 8 位格式,也成为加速训练和推理的重要手段。因此,整数方法与浮点方法是并行发展的,而非沿着使用越来越小的整数这一条路径不断演进。
持续开展的研究涵盖低于 4 比特的精度、向量量化与码本量化、可学习变换,以及模型与计算内核的联合优化。极低位宽带来了棘手的问题:哪些信息必须保留,又应在哪些环节增加计算,以弥补存储精度的降低。训练时就考虑量化的架构,可能比仅为高精度执行而设计的架构更容易量化。长上下文缓存压缩、多模态激活值分布,以及不规则的专家混合模型工作负载,又带来了更多挑战。在这些场景中,数值格式、统计敏感性与实际硬件执行始终紧密耦合:单独改进某个组成部分,并不一定能改善部署后系统的整体表现。