图形处理器通用计算(GPGPU)是指利用图形处理器(GPU)执行图像渲染以外的计算,或在渲染图像的同时执行其他计算。它将原本为高度并行的图形工作负载开发的硬件,用于数值模拟、矩阵代数、信号处理、数据分析和机器学习等任务。GPGPU 不再仅仅将 GPU 视为生成像素的设备,而是将其视为能够处理大规模数据的可编程处理器。
GPGPU 的重要性源于面向吞吐量与面向延迟的计算方式之间的差异。中央处理器(CPU)投入大量硬件资源,以高效执行单个指令流,包括处理复杂的控制流和进行推测执行。GPU 则将更大比例的资源用于并行算术运算,以及让大量操作同时处于执行过程中。当问题具有足够的并行性,并且能够有效利用内存时,这种组织方式可以实现远高于纯 CPU 实现的吞吐量。这一优势取决于具体的工作负载:GPU 并不是在所有情况下都比 CPU 更快的替代品。
GPGPU 涵盖硬件执行模型、内存系统、编程语言与库、数值方法,以及异构计算机的组织方式。它的发展使 GPU 从专用图形加速器转变为科学超级计算机和现代人工智能基础设施的核心组件。
起源与发展
GPGPU的基础是计算机图形学硬件日益增强的可编程能力。早期图形加速器执行的操作相对固定,包括顶点变换、三角形光栅化、纹理应用和颜色混合。尽管如此,研究人员仍意识到,图形操作可以用来表示更通用的计算。数值数组可以存储在纹理中,对这些数组的计算则可以表示为绘制操作。早在20世纪80年代和90年代,就已有利用图形硬件执行数值运算的实验,不过这些技术受制于专用接口和有限的数值格式。
21世纪初,可编程顶点处理器和片元处理器开始广泛应用。着色器可以为每个顶点或片元执行一段简短的程序,使研究人员能够实现矩阵乘法、流体模拟和图像滤波等运算。在典型的早期GPGPU程序中,输入数组以纹理的形式上传,随后渲染一个四边形,由片元程序为每个位置计算一个输出值。结果写入另一张纹理,并在后续渲染遍次中再次使用。这种方式利用了数据并行性,却迫使程序员将计算问题转化为图形概念。任意位置的写入、灵活的同步以及对中间结果的访问尤其难以实现。
研究工具开始消除这种不匹配。伊恩·巴克及其合作者于2004年介绍的Brook for GPUs,通过流和内核来表达计算,而不再依赖显式的渲染操作。其他系统也在探索以更高层次的方式表达并行数值计算。这些工作确立了许多后来与GPU计算紧密相关的概念:在大规模索引空间上启动函数、将主机端执行与加速器端执行分离,以及围绕成批的计算任务组织数据传输。
统一着色器架构和专用计算编程接口的出现带来了一次重大转变。NVIDIA于2006年宣布推出CUDA,并于2007年首次公开发布相关软件工具。CUDA通过扩展人们熟悉的编程语言来提供GPU计算能力,使程序员能够直接寻址内存,而不必将每项操作都表示为图形渲染。Khronos组织于2008年发布了首个OpenCL规范,为异构处理器编程建立了一个跨厂商框架。此后,DirectCompute以及图形API中的计算着色器,又为非渲染计算提供了更多途径。
在2010年代,GPGPU从一种专业技术发展为重要的计算平台。科学计算程序开始采用GPU加速,执行线性代数、分子模拟及其他大规模计算。2012年的AlexNet图像分类系统展示了GPU训练对深度学习的重要实用价值,不过,基于GPU的神经网络研究在此之前就已开展。后续各代GPU陆续增强了双精度运算能力,扩大了内存容量,改进了互连,并加入了专用矩阵运算硬件。因此,该领域的范围也从将图形流水线改作计算用途,扩展为围绕面向吞吐量的加速器设计完整的计算系统。
执行架构与并行组织
GPU 的执行围绕程序的大量轻量级实例展开,各实例处理不同的数据。计算内核规定一个逻辑线程所执行的工作,而一次内核启动会创建大量这样的线程。在 CUDA 中,线程被组织成线程块,线程块再组成网格。OpenCL 使用相近的概念,分别称为工作项、工作组和 ND 范围。这些抽象使同一个内核能够处理元素数量超过物理算术单元数量的数组:硬件将逻辑工作划分为若干子集,调度到可用的执行资源上。
主要的执行分组方式通常用单指令多数据(SIMD)和单指令多线程(SIMT)来描述。SIMD 强调一条指令作用于多个数据通道。SIMT 则在编程模型中呈现独立的逻辑线程,同时将它们分组执行。NVIDIA 将这样的分组称为线程束(warp),传统上每个线程束包含 32 个线程;AMD 则使用波前(wavefront),其支持的宽度取决于架构和执行模式。这些分组向并行执行通道发射指令,并通过掩码决定哪些通道参与某项操作。
条件分支凸显了逻辑线程与物理执行之间的重要区别。如果同一分组内的不同通道走向不同的分支路径,硬件可能会使用不同的活动掩码来分别执行这些路径。这种分支发散可能降低有效吞吐量,因为在执行部分工作时,有些通道处于非活动状态。因此,条件语句本身并不一定开销很大:其影响取决于相邻线程是否作出相似的判断、每条路径包含多少工作,以及硬件的调度机制。更灵活的线程调度并不能消除在共享执行资源上执行不同指令所固有的开销。
GPU 通过维持大量驻留的执行分组来隐藏指令延迟和内存访问延迟。当一个分组因内存操作或其他依赖关系而等待时,调度器可以从另一个已就绪的分组中发射指令。驻留线程或执行分组的数量占硬件所支持容量的比例,通常称为占用率。占用率取决于线程块大小、寄存器分配、局部存储需求以及架构限制。高占用率本身并不保证高性能。具有较高指令级并行度的内核,即使占用率较低,也可能表现良好;反之,为了最大化占用率而减少寄存器使用,可能导致数据溢出到内存,带来高昂的开销。
通信与协调按层次组织。线程块内的线程可以通过片上存储交换数值,并使用块级屏障;子组操作则可以在线程束或波前内部交换或合并数值。整个网格范围内的同步受到更多限制,通常通过分次启动内核或使用显式支持的协作机制来实现。这种组织方式鼓励采用由独立线程块、局部协作和分阶段全局操作构成的算法。它也解释了为什么只有当数据依赖关系和协调开销适合硬件特性时,将串行循环转换为数千个线程才能取得成功。
存储层次结构与数据移动
GPU 的存储层次结构是影响 GPGPU 性能的关键,因为算术单元消耗数据的速度可能超过组织不当的内存访问所能提供数据的速度。独立 GPU 通常拥有自己的设备内存,并通过宽位宽内存接口与之连接。视具体产品而定,设备内存可能采用面向图形处理的 DRAM,也可能采用高带宽内存(HBM)。片上资源包括寄存器、缓存,以及由一组线程共享、需要显式管理的存储空间。这些组件在容量、访问延迟、带宽以及对其他线程的可见性方面各不相同。
寄存器保存各线程频繁使用的值。寄存器速度快,但数量有限,因此寄存器需求可能限制一个执行单元上能够同时驻留的线程数量。如果编译器无法将某个值保留在寄存器中,就可能将其放入以设备内存为后备存储的线程私有内存。尽管某些编程系统将这种存储空间称为“局部内存”等,但它在物理位置上并不一定靠近算术单元。相比之下,CUDA 的共享内存和 OpenCL 的局部内存,指的都是供相互协作的线程使用、需要显式管理的片上存储空间。因此,必须结合相应的编程模型来理解这些术语。
内存访问合并会将相邻执行通道发出的访问合并为较少的内存事务。当连续线程读取连续且对齐恰当的元素时,硬件通常能够高效地处理这些访问。分散的访问则可能需要许多内存事务,才能取得相对少量的有效数据。因此,数据布局十分重要:如果某个内核需要处理多条记录中的同一字段,那么将该字段的所有值存放在一起可能更合适;而将各条完整记录依次存放,对于这种访问模式而言可能效率较低。最佳布局取决于所执行的操作,并不存在普遍适用的首选表示方式。
显式管理的片上内存支持分块处理。例如,在矩阵乘法中,一个线程块会载入输入矩阵的一小部分,在多次算术运算中重复使用这些数据,然后继续处理下一部分。这样可以减少对设备内存的重复访问。不过,片上存储通常划分为多个存储体,某些访问模式会引发存储体冲突,导致请求串行处理。高效的分块处理必须兼顾容量、布局、同步以及驻留线程块的数量。对于某些访问模式,缓存也可以自动实现类似的数据复用,但其行为与程序员管理的存储空间并不相同。
CPU 与 GPU 内存之间的数据移动还会带来另一层开销。在采用独立 GPU 的系统中,通过主机与设备之间的互连传输数据,其带宽通常低于访问 GPU 自身内存的带宽。集成 GPU 可能与 CPU 共享物理内存,但共享物理内存并不意味着访问成本相同,也不能消除缓存一致性问题。统一虚拟寻址和托管内存系统可以简化指针的使用,并自动迁移数据,但缺页处理和数据迁移仍可能产生高昂开销。因此,应用程序通常会将中间数据保留在设备上,并在硬件条件和依赖关系允许的情况下,让数据传输与计算重叠进行。
编程模型、语言与软件生态系统
大多数GPGPU应用采用异构编程模型,由主机程序控制一个或多个加速器。主机负责分配资源、准备输入、启动内核并取回结果。设备代码则执行计算中具有大规模并行性的部分。这种划分是概念性的,并非绝对界限:现代平台支持在设备端创建任务,在某些配置下支持内存一致性,并具备日益复杂的命令执行能力。不过,主机与设备之间的协调仍是理解应用程序行为的关键。
CUDA提供了与NVIDIA硬件紧密关联的编程环境,包括语言扩展、编译器、运行时功能和优化库。OpenCL定义了一套面向GPU和CPU等多种设备的应用程序编程接口及执行模型。两者的概念有所重叠,但在源代码兼容性、可用功能和性能特征方面存在差异。AMD的HIP提供了基于C++的GPU编程接口,以及用于适配大量CUDA风格代码的工具。SYCL采取了另一种方式,利用现代C++抽象支持异构执行,并通过具体实现支持不同的设备后端。
基于指令的系统允许程序员在现有代码中标记需要交由加速器执行的区域。OpenMP的target构造和OpenACC指令可以描述循环并行性、数据放置和计算卸载,而不必将每项计算都编写为显式内核。这对用C、C++或Fortran编程语言编写的既有科学软件尤为重要。使用指令并不意味着无需理解依赖关系和数据移动。一个循环即使在语法上适合卸载,仍可能因启动的工作量过少、传输的数据过多或内存访问不规则而表现不佳。
在应用开发中,优化库往往比手写内核更为重要。GPU库实现了稠密与稀疏线性代数、傅里叶变换、随机数生成、图操作和神经网络原语。因此,程序可以通过库调用利用GPU加速,而只需包含少量设备专用源代码。PyTorch和TensorFlow等框架将自动微分、张量操作与库集成结合起来,让机器学习开发者能够便捷地使用GPU执行计算。由库或框架决定如何将高层操作映射为内核,以及何时将临时结果实际生成并存储。
编译与运行时系统将这些层次衔接起来。编译器将设备代码转换为中间表示或机器指令,管理寄存器,并执行指令调度和向量化等变换。即时编译和内核特化可以使代码适应不同的数据形状、数据类型或特定设备。基于图的执行方式可以记录内核与数据传输之间的依赖关系,减少主机端反复提交任务的开销。这些机制可能显著影响性能,但并不意味着所有平台都可以相互替换:所支持的语言特性、内存语义、调试功能和二进制格式,仍是各生态系统之间的重要差异。
算法、映射策略与性能模型
GPU 加速的起点是识别算法中可并行执行的工作,而不只是选择编程接口。逐元素运算比较直接,因为每个输出只依赖于一小组彼此独立的输入。矩阵乘法提供了更复杂但有规律的并行性,以及大量数据复用机会。归约、扫描、排序和图遍历则需要更精细的协调。即使一个算法包含许多独立操作,如果每个操作的内存访问难以预测,或者实际完成的有效工作很少,其性能仍可能不佳。
归约可以说明串行与并行计算方式的区别。对 个值进行串行求和,需要依次执行 次相互依赖的加法。树形归约可以在每一层提供许多独立的加法运算,将依赖深度降至 量级,同时将总工作量保持在 量级。在 GPU 上,典型实现会先在线程内部合并数值,再在执行组和线程块内部合并,最后在线程块之间合并。最快的实现方式需要在每个线程的工作量、内存流量、同步开销和额外内核启动的成本之间取得平衡,而不是一味缩短依赖深度。
屋顶线模型通过算术强度将计算吞吐量与内存带宽联系起来。算术强度是指在指定存储层级上,每传输一个字节所执行的算术运算次数。该模型给出的基本上界为
其中, 是实际达到的算术运算吞吐量, 是相应运算类型的峰值吞吐量, 是内存带宽, 是算术强度。向量加法的算术强度通常较低,因为它需要读取多个值并写入一个结果,却只进行少量算术运算。采用良好分块策略的矩阵乘法则可以通过数据复用达到高得多的算术强度。该模型提供的是性能上界框架,而非完整的性能预测:数据依赖、指令组合、缓存行为和启动开销都可能带来额外限制。
整个应用程序的加速比受到未加速部分的制约。阿姆达尔定律将这一关系表示为
其中, 是得到加速的部分在原始执行时间中所占的比例, 是该部分的加速比。如果一个程序中占原执行时间 90% 的部分加速至原来的 20 倍,那么总加速比约为 ,而不是 20。端到端测量还必须计入数据传输、预处理、同步以及 CPU 行为变化的影响。随着问题规模增大,可并行部分所占的比例可能发生变化,因此,固定工作负载与扩展工作负载下的结果回答的是不同的问题。
常见的优化策略包括分块、批处理、内核融合和改变数据布局。内核融合将多个阶段合并,以避免写入中间数组后又将其读回,但这可能增大寄存器压力,降低调度灵活性。批处理可以分摊启动开销,并提供更多可并行执行的工作,但代价可能是更高的延迟和内存消耗。可信的性能比较应明确说明硬件、精度、输入规模、软件版本,以及是否计入数据传输和初始化的开销。仅凭每秒浮点运算次数这一醒目指标,无法判断应用程序的运行速度或效率。
数值格式、精度与可复现性
GPGPU的数值运算行为取决于算术格式、指令语义以及运算的执行顺序。GPU支持整数运算和多种浮点格式的组合,常见的浮点格式包括binary32和binary64。不同产品对这些格式的支持和运算吞吐量差异很大:主要面向图形处理或推理的GPU,其双精度运算吞吐量可能远低于面向科学计算的GPU。符合IEEE 754浮点运算标准的部分要求,并不意味着所有设备上的每一种运算、编译器模式或数学库函数都具有完全相同的行为。
浮点运算不满足结合律。在有限精度下,可能与不同,因为中间结果会经过舍入。并行归约会改变运算的分组方式,因此,即使并行实现和串行实现都符合各自规定的算术规则,两者也可能得出不同的结果。融合乘加运算将一次乘法和一次加法合并计算,仅在最后进行一次舍入,这通常能提高精度,但也可能使结果与使用独立指令时有所不同。次正规数的处理方式、超越函数的近似计算以及编译器变换,也可能影响输出结果。
混合精度计算在计算的不同阶段使用不同的数值格式。例如,矩阵乘法可以将低精度操作数相乘,再以更高精度的格式累加结果。专用矩阵运算单元能使这类运算格外高效。binary16和Bfloat16浮点格式等格式各有取舍:binary16的小数位更多,但指数范围更窄;bfloat16的指数字段宽度与binary32相同,但小数位更少。降低精度既能减少存储需求和数据传输量,也有可能提高算术运算吞吐量。
数值方法可以利用低精度运算的速度优势,而不必直接接受低精度的答案。在线性方程组的迭代改进法中,可以先通过低精度矩阵分解计算近似解,再以更高精度计算残差,求解修正方程,并更新解。收敛与否取决于多种因素,包括的条件性、所用的算术运算以及近似求解的质量。在神经网络训练中,损失缩放有助于防止较小的梯度在数值范围有限的格式中发生下溢,不过具体做法取决于所选的数值表示和优化器。
可复现性有多个层次。在软件固定的情况下,在同一设备上重复计算,可能比跨架构、跨编译器版本或使用不同数量的GPU复现结果更容易。原子更新以及受调度影响的归约顺序,可能导致不同次运行之间出现差异。确定性算法、固定的归约结构和更高精度的累加可以减少这些差异,但可能需要额外的时间或存储空间。因此,数值验证既要区分逐位相等与在有合理依据的误差容限内一致,也要将普通的舍入差异与竞态条件、无效内存访问等真正的缺陷区分开来。
科学计算、数据分析与人工智能应用
稠密线性代数尤其适合GPU,因为其中许多运算既具有规则的内存访问模式,又能大量复用数据。矩阵乘法、矩阵分解及相关计算内核是仿真、优化、信号处理和机器学习的基础。快速傅里叶变换同样受益于并行执行,但其分阶段的通信模式需要精心组织内存布局。稀疏计算则没有那么规则:稀疏矩阵只存储部分元素,减少了不必要的算术运算和存储开销,但不规则的索引访问可能限制带宽利用率,并导致线程之间的工作量不均衡。
在科学计算中,GPU可加速粒子相互作用、基于网格的微分方程求解、蒙特卡洛方法以及许多其他工作负载。分子动力学就是一个典型例子。原子之间的作用力可以并行计算,并利用邻居列表缩小需要计算的短程相互作用粒子对的范围。长程静电计算方法可能将粒子计算与网格运算、傅里叶变换结合起来。应用程序必须平衡这些阶段的工作量,更新空间数据结构,并协调设备之间的通信。GROMACS、NAMD和LAMMPS等程序已开发出支持GPU的执行路径,但所支持的功能和加速程度因版本与配置而异。
图像处理和计算机视觉很适合映射到数据并行硬件上,因为图像由大量排列成网格的相关采样点构成。卷积、几何变换、特征提取和光流计算都可以同时处理许多像素。然而,并非每个阶段都同样规则:连通分量分析和基于图的方法涉及依赖关系与不规则访问。因此,GPU实现既包括简单的逐像素内核,也包括围绕局部邻域、分层处理或稀疏工作队列重新组织问题的多阶段算法。
人工智能工作负载已成为推动GPU架构和软件发展的主要动力。训练人工神经网络时,需要反复执行前向计算,通过反向传播计算梯度,并更新参数。大规模矩阵乘法和卷积提供了大量可并行执行的工作,而专用矩阵指令则能加速其支持的数据格式。Transformer架构模型在这些运算之外,还引入了注意力运算、归一化和数据重排。FlashAttention展示了如何从算法层面应对内存约束:它重新组织注意力计算,减少高带宽内存与片上存储之间的数据传输,而不只是提高算术运算吞吐量。
神经网络推理需要以不同的方式权衡延迟、吞吐量、内存容量和请求差异等目标。大批量处理可以高效利用硬件,而小规模的交互式请求可能使设备的部分资源得不到充分利用。在人工智能之外,GPU还可加速数据库的扫描、筛选、聚合和部分连接操作,以及密码搜索和密码散列函数计算等工作负载。是否适合使用GPU取决于算法结构:反复执行彼此独立的散列计算可提供很高的并行度,而内存困难构造则刻意使内存容量和数据访问成为主要成本。在这些领域中,加速效果取决于完整的处理流水线,而不仅仅取决于其中并行度最高的阶段。
多GPU系统与分布式执行
单个GPU受限于其内存容量、算术运算吞吐量和功耗预算。规模更大的应用会使用一台计算机内的多个设备,或通过网络连接的多台计算机上的多个设备。这使GPGPU扩展到分布式计算领域,通信模式和任务划分由此变得与单个内核的执行效率同样重要。2018年投入运行、采用IBM POWER9处理器和NVIDIA V100 GPU的Summit等超级计算机,展示了通用CPU、大量加速器与高性能互连相结合的架构。
数据并行将输入数据的不同分区分配给不同设备,同时保持各设备的计算状态等价。在神经网络训练中,每个设备可以处理一个批次中的部分数据,计算局部梯度,再参与集合操作,将这些梯度合并。模型并行则将模型的参数或运算划分到多个设备上。张量并行拆分单个张量运算,流水线并行则将前后相继的若干组网络层分配给不同设备。这些策略分别解决不同的容量与吞吐量问题,也可以在同一个训练系统中组合使用。
集合通信包括广播、收集、归约、全归约和全到全交换。例如,全归约会合并所有参与者提供的数值,并将结果分发回每个参与者。基于环的实现将数据分块,并分多个步骤完成通信;基于树的方法则提供不同的延迟与带宽权衡。哪种策略最有效,取决于消息大小、设备数量和网络拓扑。支持GPU的消息传递接口实现可以接受设备缓冲区,而专用的集合通信库则针对常见的加速器通信模式进行优化。
物理拓扑会制约这些操作。设备之间可能通过主机互连、专用GPU链路、交换机或网络适配器进行通信。点对点传输,以及网络接口与设备内存之间的直接数据传输,可以减少经由主机暂存数据的需要,但是否支持这些功能取决于硬件、驱动程序和系统配置。标称的聚合带宽并不意味着每一对设备都能同时以该速率通信。相互通信的任务如何放置、资源争用情况,以及本地链路与远程链路之间的关系,都会影响性能。
规模扩展还会带来内存和协调开销。采用区域分解的模拟会在相邻分区之间交换边界数据,也称“晕区”数据,而图算法则可能需要传递不规则的更新。当每个设备上的局部问题规模缩小时,通信和同步所占的运行时间比例可能不断上升。只有在计算与数据传输确实相互独立,且硬件能够让两者并发推进时,将独立计算与传输重叠执行才会有所帮助。随着设备数量增加,故障恢复、检查点保存和负载均衡变得更加重要,尤其是在工作量分配不均,或长时间运行的计算无法简单地从头重启时。
实际限制、正确性与可移植性
GPGPU 的局限源于赋予其优势的那些架构选择。小型任务可能没有足够多的并行工作来摊薄启动和数据传输的开销。对于较长的依赖链,仅仅增加执行通道并不能使其加速。大量使用指针的数据结构、难以预测的分支以及不规则的内存访问,都可能使算术运算资源得不到充分利用。CPU 在控制密集型处理、低延迟任务和协调工作中仍然十分重要。异构设计通常会根据各阶段的特点,将其分配给最适合的处理器,而不是试图把整个应用程序都迁移到 GPU 上。
大规模并发使正确性更难保证。当相互冲突的访问没有得到适当的顺序约束,导致结果取决于执行时序时,就会发生竞态条件。屏障和原子操作可以满足特定的协调需求,但各自都有明确的作用域和内存顺序规则。线程块级屏障通常无法同步彼此独立的线程块,而对一个变量进行原子更新,也不会自动为其他数据建立所有必要的顺序关系。错误的假设可能在某种工作负载下始终没有暴露,却在调度方式、启动配置或编译器行为发生变化时引发故障。
GPU 软件还受到操作系统和部署条件的约束。设备驱动程序负责管理资源、命令提交、内存映射和硬件访问。在连接显示器的系统上,长时间运行的内核可能受到执行时间限制。共享加速器需要对不同工作负载进行调度和隔离,在云计算环境中尤其如此。支持硬件分区的产品可以将设备资源划分为若干子集并分别分配,但所能提供的隔离能力和支持的功能各不相同。这些运行层面的因素不仅影响内核的执行速度,也决定了计算能否可靠运行。
可靠性既涉及软件错误,也涉及硬件故障。面向科学计算的加速器可能配备采用纠错码的内存,以及用于报告特定故障或限制其影响范围的机制。这些机制并不能检测计算过程中所有可能出现的错误。应用程序还可以根据自身需求,采用残差检查、守恒定律校验、冗余计算或定期设置检查点等方法。能耗和温度限制同样重要:持续运行时的性能可能与短时测量结果不同,而资源利用率也会影响完成每项任务所需的能量。对于适合的工作负载,GPU 加速可以提高能效,但仅凭设备的峰值功耗,既无法证明也无法否定这种提升。
可移植性有多种含义:代码可能能够在多个平台上编译,可能产生等价的结果,也可能在各个平台上都达到有竞争力的性能。这些是不同层面的目标。针对某种执行组宽度、寄存器分配方式、缓存布局或矩阵指令调优的内核,在其他平台上的表现可能有所不同。高层编程系统和标准化接口可以降低部分适配成本,而面向特定架构的库通常能为特定操作提供更深入的优化。持续存在的技术挑战在于:既要保留有用的抽象,又不能掩盖决定 GPU 行为的数据移动、同步、数值计算假设和资源约束。