屋顶线模型是一种性能分析框架,根据峰值计算速率和内存带宽这两项硬件限制,估算程序能够达到的计算吞吐量。它将这些限制与程序的算术强度联系起来;算术强度指的是每跨越指定存储边界传输一个字节所执行的算术运算次数。该模型最初面向多核处理器上的浮点工作负载开发,如今广泛用于分析中央处理器、图形处理器及其他加速器上的并行计算。模型的名称源于其形似屋顶的上边界:一条倾斜的带宽限制线与一条水平的计算限制线共同构成了这一边界。
起源与目的
塞缪尔·威廉斯、安德鲁·沃特曼和戴维·帕特森在 2009 年发表于《ACM 通讯》的文章《Roofline:面向多核体系结构的直观可视化性能模型》中提出了屋顶线模型。最初的论述使用了操作强度(operational intensity)这一术语,强调运算量相对于缓存与主存之间数据流量的比例。
该模型针对性能工程中的一个核心问题:仅凭处理器标称的算术吞吐量,无法预测应用程序的性能。程序必须为执行单元提供数据,而在算术运算能力耗尽之前,数据搬移速率就可能早已成为性能限制因素。
屋顶线分析将简明的硬件描述与工作负载特征结合起来。它主要用于确定性能边界、归类潜在瓶颈并安排优化优先级,而不是详细模拟处理器的执行过程。
数学表述
对于某个计算内核,设:
- 为执行的算术运算次数;
- 为跨越所研究存储边界传输的字节数;
- 为执行所用的时间;
- 为相应的峰值或经校准的计算吞吐量;
- 为相应的内存带宽。
算术强度为
实测计算吞吐量为
基本屋顶线模型给出的上界为
对于浮点工作负载, 通常以 FLOP/s 为单位, 以字节每秒为单位, 以 FLOP 每字节为单位。FLOP 表示一次浮点运算,而 FLOP/s 表示运算速率。
这一上界来自执行时间的两个下界:
将二者结合可得
这一表述并不是说计算与数据传输总能完全重叠。相反,完全重叠只是与该上界相符的一种理想条件;重叠不充分以及其他额外开销都可能使执行速度变慢。
屋脊点
计算限制线与带宽限制线相交于屋脊点,也称拐点:
低于这一强度时,带宽项给出的上限更低;高于这一强度时,计算项给出的上限更低。比值 通常称为机器的计算与带宽平衡比。
如果一台机器的屋脊点对应较高的算术强度,工作负载就需要充分复用数据,才有可能达到其计算上限。
如何阅读屋顶线图
常规屋顶线图采用对数坐标轴:
- 横轴表示算术强度。
- 纵轴表示计算吞吐量。
带宽上限 在这一坐标系中是一条斜率为 1 的直线。计算上限 则是一条水平线。两者的下包络线构成屋顶。
实测内核在图中表示为位于 的一个点。根据其位置,可以作出两种不同的判断:
- 该点上方的屋顶表明,哪种资源限制了模型给出的性能上界。
- 该点与屋顶之间的垂直差距表明,仅靠这两项基本限制还无法解释多少性能差距。
因此,一个点位于低强度一侧,并不能直接证明实测执行已经用满内存带宽。它也可能受到内存延迟、并发不足、依赖关系或指令开销的限制。
对于采用一致口径测量的执行区段,
因此,吞吐量与强度之比等于所选存储边界处实际达到的带宽。
运算量与数据搬移的定义
算术运算计数
对于浮点运算,融合乘加通常计为两次运算:一次乘法和一次加法。这一约定必须与确定计算上限时采用的约定一致。
适用的上限还取决于精度和指令类型。标量运算、向量运算和专用矩阵运算的峰值速率可能存在显著差异。使用普通向量指令的内核,不应直接与只有通过专用矩阵指令才能达到的硬件峰值进行比较。
对于整数或混合运算工作负载,也可以构建类似的屋顶线,但运算的定义必须有实际意义且保持一致。不同的指令组合可能需要分别建立吞吐量模型。
内存流量
字节数 并不简单等于程序输入的大小,也不等于其源代码中加载和存储表达式的数量。它表示跨越指定边界的数据传输量。
对于主存屋顶线,在 CPU 缓存内复用的数据可以支持大量算术运算,而不引发额外的主存读取。反过来,缓存逐出、写分配、写回以及对已传输缓存行的低效利用,都可能增加流量。
这一区别将屋顶线分析与存储层次结构联系起来。同一个内核在主存、末级缓存和一级缓存边界处可能具有不同的算术强度。
“算术强度”与“操作强度”经常互换使用,但有些资料会根据计入哪些流量来区分二者。因此,分析时应明确说明所采用的存储边界,而不能仅依赖术语本身。
计算示例
考虑一台假想设备,其参数为:
其中使用十进制前缀。它的屋脊点为
算术强度为 的内核,其屋顶线上界为
仅提高算术运算能力无法抬高这一带宽上限。相比之下,算术强度为 的内核,其上界为 。
向量加法
对于双精度向量加法,
每个元素需要执行一次加法。理想化的流量模型计入两次 8 字节读取和一次 8 字节写入,得到
如此低的算术强度,使向量加法成为典型的带宽主导型工作负载。实际流量可能更高,例如存储操作触发写分配读取时;如果相关数据已经位于缓存中,主存流量也可能更低。
矩阵乘法
对于方形稠密矩阵乘法,算术运算量约为 次浮点运算。在每个输入矩阵只读取一次、输出矩阵只写入一次的理想化数据搬移假设下,传输的数据量按 增长,因此算术强度与 成正比。
这一假设要求有足够的有效存储空间和数据复用。实际流量取决于缓存容量、分块方式以及部分结果的保留方式。分块计算围绕能够放入更快存储器的数据块来组织运算,从而改善数据复用,使内核在目标边界处具有更高的算术强度。
性能上限与层次化扩展
额外的性能上限
基本模型还可以加入代表特定硬件或实现约束的性能上限,包括:
- 采用标量执行而非向量执行。
- 对融合乘加指令的利用有限。
- 活跃核心数量较少。
- 独立指令不足。
- 只有在适当的访问模式下才能达到的带宽。
这些上限说明了内核为何可能始终低于机器的标称屋顶线。编译器进行的向量化或循环变换等改动,可以在基本不改变算术强度的情况下,提高可达到的吞吐量。
层次化屋顶线模型
层次化屋顶线模型包含多个存储层级,每个层级都有对应的带宽 和边界特定的算术强度 :
每个强度值都使用跨越相应边界传输的字节数计算。一个内核在主存利用方面可能很高效,却仍然受限于缓存与执行单元之间的数据流量。
其他扩展模型则针对指令吞吐量、能耗、通信或特定加速器资源建模。在分布式计算中,也可以采用类似的带宽与运算量分析思路来处理网络数据搬移,不过通信延迟和集合通信操作通常需要额外建模。
测量与优化
实际进行屋顶线研究时,通常需要界定一个内核或执行区段,确定适当的硬件上限,测量运行时间和运算次数,并估算或测量内存流量。
常见的上限有两类:
- 理论上限:根据硬件规格计算得出。
- 实测上限:在有记录可查的条件下,通过基准测试测得。
实测上限可能更能反映可持续达到的性能,但它取决于基准测试设计、工作集大小、访问模式、线程放置和系统状态。根据某一种访问模式测得的上限,不一定适用于其他所有访问模式。
性能计数器和性能剖析工具可以提供运算次数和流量测量值。解释这些数据时需要谨慎:计数器事件可能只涵盖特定指令类别,可能统计的是非预期边界处的传输,也可能包含计时区段以外的活动。
优化通常着眼于以下三类变化之一:
- **提高算术强度:**改善数据复用、对循环分块、融合内核、避免不必要的中间数组,或减小传输数据所用表示的大小。
- **在强度相近的情况下提高实际吞吐量:**改进向量化、调度、并行性或内存访问的组织方式。
- **减少总运算量:**选择效率更高的算法,即使这样会使最终的 FLOP/s 更低。
最后这一点区别很重要:最大化算术吞吐量,并不等于最小化运行时间。增加不必要的算术运算可以提高报告中的算术强度,却不一定让程序运行得更快。
在 GPU 上,CUDA 实现可以利用共享存储和协同内存访问来改善数据复用与传输效率。在深度学习中,内核融合以及 FlashAttention 等注意力机制实现可以减少中间数据搬移。神经网络量化可以减少存储流量,但也可能改变运算次数、可用计算指令以及数值行为,因此需要重新进行比较,而不能只是将图上的点移动到新位置,同时保持图的其他部分不变。
局限性与解读
屋顶线分析有意将执行过程概括为少数几个量。其重要局限包括:
- **延迟与并发:**存在依赖关系的访问,或在途请求过少,都可能使带宽无法达到饱和。
- **控制流与指令组合:**分支、地址计算、类型转换和非算术指令可能占据执行时间的主要部分。
- **同步与负载不均衡:**等待、工作分配不均和串行区段会降低吞吐量,却不一定改变算术强度。
- **阶段变化:**整个应用程序的平均值可能掩盖计算密集阶段与带宽密集阶段的交替。
- **硬件变化:**时钟频率变化、功率限制、温度条件和资源争用都会影响可达到的性能上限。
- **放置效应:**在非统一内存访问系统上,内存放置和线程亲和性会影响带宽与延迟。
- **问题规模效应:**小型内核可能主要受启动或调度开销影响,而不是受稳态资源限制影响。
如果观测点位于标称屋顶线上方,通常说明假设或测量口径不一致,例如将缓存驻留数据的结果与主存屋顶线比较、运算计数约定不匹配,或采用的带宽上限过低。
该模型是对其他性能模型的补充,而非替代。阿姆达尔定律描述了增加并行资源时串行工作所施加的限制;屋顶线模型则描述了计算与数据搬移所带来的吞吐量限制。要解释真实应用程序的性能,可能需要同时使用这两种模型,并结合对延迟、同步和通信的性能剖析。