推理批处理是指在神经网络推理过程中,将多个输入或请求放在一起执行,而不是逐个处理。这种方法广泛用于机器学习系统,以提高吞吐量并降低单次预测的计算成本。批处理将计算任务合并为规模更大的操作,从而更充分地利用处理器、内存带宽和共享模型参数。其收益取决于工作负载:收集请求可能带来等待时间,更大的批次需要更多内存,而请求之间的差异则可能使调度更加复杂。
工作原理
许多人工神经网络会对不同输入应用相同的运算序列和学习得到的参数。批处理增加了一个表示这些输入的维度,使底层数值计算库能够将它们放在一起执行。
以一个简化的线性层为例,单个输入向量需要与权重矩阵相乘。当输入组成一个批次时,这些向量便成为输入矩阵中的各行,运算形式为
其中, 包含成批输入, 包含共享权重,偏置 则广播到各行。算术运算量通常随批次大小增加,但执行时间在最初阶段的增长可能更慢。
在图形处理器(GPU)上,批处理可以:
- 提供足够多的独立计算任务,让更多执行单元参与工作;
- 分摊加速器计算内核的启动开销和框架开销;
- 在多个输入之间复用模型权重;
- 将小规模数值运算转化为规模更大、效率更高的运算。
中央处理器或张量处理单元上也可能获得类似收益,但最优批次大小取决于硬件和软件实现。
批处理不等同于并发运行多个独立模型实例。并发实例可能重复存储权重,或相互争用资源;而一个批次通常是在共享的模型运算中合并处理多个输入。不过,模型服务系统也可以同时采用这两种方法。
主要批处理策略
静态批处理
静态批处理在执行前将输入组成一组,并在相关计算期间保持该分组不变。这种方式常用于离线工作负载,例如对图像集合进行分类、生成文档嵌入向量,或为数据集打分。
由于输入已经就绪,离线系统通常可以组成较大的批次,而不会引入用户可感知的请求收集延迟。其主要约束是内存容量、输入兼容性和处理效率。
“静态”也可以指配置固定的批次大小。这个术语并不一定意味着所有输入都具有相同形状,也不意味着模型是专门针对该批次大小编译的。
动态批处理
动态批处理将独立到达模型服务端点的请求合并起来,这些请求通常通过应用程序编程接口提交。调度器将请求暂存在队列中,并把相互兼容的请求分组执行。
常见的控制项包括:
- 最大批次大小;
- 优选批次大小;
- 收集请求的最长延迟;
- 形状与模型版本的兼容性;
- 请求优先级或截止时间。
请求到达率较低时,等待凑成大批次可能会延长响应时间,却无法带来多少计算收益。请求到达率较高时,则可能几乎立即形成有用的批次。批次收集延迟的上限并不一定能限制总排队时间:设备处理先前任务时,请求仍可能需要等待。
连续批处理
连续批处理在一些系统中也称为迭代级批处理,对于生成可变长度输出的大语言模型尤为重要。
在一种简单的、成员固定的生成批次中,较短的请求可能已经完成,而较长的请求仍在继续。除非实现支持用新请求替换已完成的请求,否则就会有部分计算容量闲置。连续批处理允许活跃请求集合在调度边界处发生变化:已完成的请求退出,新请求加入。
这个术语描述的是一种调度方式,而不是某种通用算法。不同实现各有差异,例如是否混合执行提示词处理与词元生成、是否将提示词分块,以及是否分别限制活跃序列数与调度词元数。
微批处理与形状感知批处理
微批次是较大逻辑批次中划分出的较小部分。微批处理可以限制临时内存用量、支持流水线执行,或提高调度的精细程度。它的具体含义取决于系统,并不必然意味着连续批处理。
形状感知批处理将维度相近的输入归为一组,例如分辨率相近的图像或长度相近的文本序列。按长度分组通常称为分桶。这种方法可以减少填充和无效计算,但为寻找兼容请求而延后处理,也可能增加等待时间。
吞吐量、延迟与内存
核心权衡在于整体效率与单个请求响应时间之间的取舍。
如果一批包含 个等权重请求的任务需要 秒执行,则其执行吞吐量为
当 时,批处理相较于逐个请求执行能够提高吞吐量。但这一条件并不意味着单个请求会更快完成。一个请求可能先要等待批次形成,然后再经历整个批次的执行时间。
响应时间可以简化分解为
其中, 包括等待可用处理容量和等待批次形成的时间,而 包括预处理、数据传输和通信等开销。
增大批次通常只能在一定范围内提高吞吐量。最终,处理器、内存带宽或其他资源会达到饱和。继续增大批次可能收效甚微,还可能增加延迟,或导致内存不足而失败。
内存需求包括模型参数、临时激活值、中间工作区、输入和输出。参数通常由整个批次共享,而其他许多内存分配的大小会随批次大小或输入长度增加。因此,对于输入大小差异很大的工作负载,仅以请求数量设定限制可能并不充分。
运行评估通常会考察延迟中位数与尾部延迟、真实请求到达模式下的吞吐量、内存消耗,以及每个已完成请求的成本。对于交互式服务,相关目标往往是在仍然满足服务级别协议的前提下,能够持续维持的最高吞吐量,而不是在待处理请求无限积压的条件下测得的峰值吞吐量。
自回归语言模型中的批处理
在采用Transformer架构的语言模型中,批处理更加复杂,因为每个请求都包含提示词处理阶段和顺序生成阶段。
预填充与解码
在预填充阶段,模型处理提示词中的词元,并构建生成所需的状态。提示词中的许多位置可以并行处理,但注意力机制和输入长度约束会影响计算成本。
在解码阶段,每个活跃序列通常在一次常规生成迭代中向前推进一个词元。同一序列中的后续词元依赖先前词元,但彼此独立的序列可以一同处理。
在批次较小时,解码往往受制于从设备内存读取模型权重的开销,而不只是算术计算能力。批处理使一次权重读取能够服务更多序列,从而提高利用率。随着批次和序列长度增加,注意力计算以及缓存状态的数据传输可能变得越来越重要;不同配置下的瓶颈并不固定。
可变长度与缓存状态
提示词和生成回复的长度各不相同。将所有序列都填充到最长序列的长度,可能浪费计算和内存,不过经过优化的实现可以避免其中一部分开销。
Transformer模型服务通常为每个活跃序列维护一个键值缓存。该缓存保存先前已处理词元的注意力键和值。对于给定模型和缓存表示方式,缓存大小大致随所有活跃序列中已缓存词元的总数增长,而不只是随请求数量增长。
因此,内存管理也是批处理策略的一部分。调度器可能有空间容纳许多短请求,却只能容纳少量长请求。基于块的缓存分配及相关技术可以减少分配浪费,但无法消除底层容量约束。
词元预算调度
语言模型调度器通常会限制一次迭代中处理的词元总数,而不只是采用固定的请求数量上限。新到达的提示词可能带来许多词元,而一个正在解码的活跃序列可能只带来一个词元。
如果将长提示词计算作为不可中断的大任务单元进行调度,就可能延误正在进行的生成。分块预填充将提示词处理拆成较小的部分,从而能够以更细的粒度与解码任务交错执行。
这些决策会影响不同的用户可感知指标:
- **首词元时间:**开始生成前的延迟。
- **词元间延迟:**相邻生成词元之间的延迟。
- **端到端延迟:**直到整个回复完成所需的时间。
- **输出词元吞吐量:**所有请求合计的词元生成速率。
改善一项指标可能会使另一项变差。例如,更大的提示词批次可能提高提示词处理效率,却会降低正在解码的请求的响应速度。
兼容性与正确性
只有当执行系统能够将多个请求放在一起表示和处理时,这些请求才能组成批次。相关约束包括模型及其版本、数据类型、输入维度、支持的数值运算,以及执行后端。不同的解码设置或模型适配器可能需要额外的状态管理或专门支持,但不一定会妨碍批处理。
对于各样本在数学上相互独立的模型,批处理应当保留每个样本原本应执行的计算。不过,并不能保证结果逐比特一致:不同的批次形状可能导致系统选择不同的计算内核,或改变浮点归约的顺序。
批量归一化需要特别注意。在标准评估模式下,它使用已存储的统计量,而不是根据当前推理批次重新计算。如果模型有意使用当前批次的统计量,那么一个输入的输出就可能依赖同批次中的其他输入。误将模型保持在训练模式,也可能激活训练特有的行为。
随机生成还会带来另一种区别。除非服务系统为每个请求独立管理随机性,否则不同的调度方式或批次安排可能改变随机数的使用情况。因此,在不同批处理配置下,相同的提示词不一定会产生相同的采样输出。
部署考量与局限
批处理适用于计算机视觉、语音识别、嵌入向量生成、推荐系统和生成式模型服务。离线处理通常能够容许更大的批次,而交互式工作负载对等待时间有更严格的限制。
在分布式计算部署中,批处理会与负载均衡相互影响。将请求分散到许多副本上,可能降低每个副本的请求到达率,使高效批次更难形成。集中请求可以提高批处理效率,但也可能增加排队时间或减少富余容量。
批处理也不同于模型并行。前者决定哪些输入一起执行,后者则将模型计算分布到多个设备上。这两种技术可以结合使用。
实际局限包括:
- **流量不足:**同期到达的兼容请求太少。
- **工作负载异构:**耗时较长或计算成本较高的请求会拖延较短请求。
- **内存压力:**激活值或缓存状态会限制活跃批次的规模。
- **公平性约束:**偏好短请求或容易组合进批次的请求的策略,若不采取防止饥饿的措施,可能使其他工作负载处于不利地位。
- **取消开销:**已放弃的请求可能仍占用资源,直到能够被安全移除。
- **响应能力有限:**设备操作可能无法按紧急请求所需的粒度被抢占。
因此,合适的策略取决于模型、硬件、请求到达分布、输入长度和延迟要求。在饱和基准测试中表现良好的批次大小,在生产环境的稀疏流量或突发流量下,表现可能很差。