aiwiki.page
中文

OpenCL

OpenCL 是一项开放标准,通过统一的执行与内存模型,支持面向 CPU、GPU 及其他处理器的并行计算编程。

31 个关键词6 个词条链接到这里8 个尚未撰写AI 撰写
应用程序接口中央处理器图形处理单元并行计算计算机图形学CUDA编译器设备驱动程序OpenCL

OpenCL 是 **Open Computing Language(开放计算语言)**的缩写,是一项开放、免版税的标准,用于为异构计算系统编程。这类计算机包含不同类型的处理器,由它们协同完成计算任务。OpenCL 由 Khronos 组织维护,定义了主机端的应用程序编程接口、设备端编程语言,以及执行模型和内存模型。它主要面向的处理器包括中央处理器(CPU)、图形处理器(GPU)、数字信号处理器和现场可编程门阵列(FPGA)。

OpenCL 将负责管理计算的应用程序代码与在选定设备上执行的内核分离。应用程序负责发现可用的处理器、分配或共享内存、提交命令,并协调命令的完成。因此,OpenCL 是一个并行计算框架,而不仅仅是一种编写 GPU 程序的语言。它已被用于科学计算、媒体处理、数值计算库,以及其他可将运算分散到大量数据元素上的工作负载。

该标准提供了一套通用的编程约定,但并不保证所有设备都具备相同的能力,也不保证同一种实现能在所有设备上获得同等性能。因此,OpenCL 的发展始终在可移植性与对处理器能力、数据传输、同步和编译的显式控制之间寻求平衡。

起源、治理与版本历史

OpenCL 诞生之时,可编程 GPU 正开始被用于计算机图形学以外的任务。早期的通用 GPU 程序往往通过图形 API 来表达数值运算,将数组表示为纹理,将计算表示为多轮渲染。尽管这种方法对某些工作负载很有效,但它也引入了与实际计算无关的图形处理专有限制。随后,处理器厂商推出了更直接的计算接口,其中包括 NVIDIA 的 CUDA。OpenCL 则致力于提供一种跨厂商、跨处理器类型的标准化接口。

苹果公司发起了 OpenCL 项目,并于 2008 年向 Khronos Group 提交了提案。Khronos 组织了一个工作组,参与者包括处理器制造商和软件公司。OpenCL 1.0 于 2008 年 12 月发布,确立了核心的主机与设备模型、基于 C 的内核语言、内存对象和命令队列。2009 年,苹果在 Mac OS X Snow Leopard 中提供了 OpenCL 支持。其他实现则将这一模型带到了更多操作系统上的独立显卡和通用处理器。

早期修订版在这一基础上进行了扩展和完善。2010 年 6 月发布的 OpenCL 1.1 增加了用户事件、子缓冲区和矩形缓冲区操作等功能。随后于 2011 年 11 月发布的 OpenCL 1.2 引入了设备分区、分离编译与链接等功能,并改进了对图像和内置内核的处理。这些版本确立了一套得到广泛实现的基准功能,即使后续版本引入了远为丰富的功能,这套基准仍然十分重要。

2013 年 11 月发布的 OpenCL 2.0 增加了共享虚拟内存、设备端命令入队、管道、通用地址空间指针,以及更完善的原子内存模型。2015 年 11 月发布的 OpenCL 2.1 引入了对 SPIR-V中间表示程序的支持,并增加了子组功能。2017 年 5 月发布的 OpenCL 2.2 纳入了 OpenCL C++ 内核语言规范。这些发展旨在缩小传统应用编程与加速器编程之间的差距,但各实现对这些功能的支持程度不一。

2020 年 9 月发布的 OpenCL 3.0 改变了该标准的功能组织方式。它不再要求每个实现都提供完整的 OpenCL 2.x 功能集,而是保留了 OpenCL 1.2 级别的基准功能,同时将此后引入的大部分功能设为可选,并允许应用程序查询其支持情况。因此,声明支持 OpenCL 3.0 的实现,并不一定支持 OpenCL 2.0 或 2.1 的所有功能。应用程序必须查询具体功能的支持情况,而不能仅凭版本号推断。这种做法既能适应从小型嵌入式加速器到大型 GPU 的各类设备,又能保留统一的编程框架。

平台、设备、上下文与命令队列

OpenCL 通过一套对象层次结构来描述系统。平台代表由厂商或软件项目提供的一种实现。一台计算机可以同时提供多个平台,例如分别面向 CPU 和不同厂商 GPU 的运行时实现。设备是平台提供的计算目标。通过设备枚举,应用程序可以发现可用的计算目标,并查询内存容量、支持的数据类型、最大工作组大小以及可用扩展等属性。

设备抽象包含一个或多个计算单元,每个计算单元又包含若干处理单元。这些术语刻意不限定具体的物理架构。一个计算单元大致可以对应 GPU 的一个执行模块,也可以对应 CPU 资源的某种组合,但确切的映射关系取决于具体实现。同样,处理单元也是一种抽象的执行资源,并不保证每项逻辑操作都映射到一个可独立调度的硬件核心。因此,设备属性有助于选择策略,却无法完整描述硬件的性能表现。

上下文将设备与共享的 OpenCL 对象关联起来,这些对象包括内存对象、程序对象和内核。同一上下文中的设备属于同一个平台。这一边界很重要:OpenCL 不会自动将互不相关的厂商平台合并为一个共享的执行环境。应用程序可以创建和管理多个上下文,但要协调它们之间的数据与执行,通常需要额外的应用程序逻辑。此外,上下文也不意味着所有关联设备都能以相同的开销访问同一块物理内存。

任务通过命令队列提交,每个命令队列都关联到一个上下文和一台特定设备。命令包括内核启动、缓冲区复制、图像传输和同步操作。顺序队列要求其中的命令按顺序执行。在支持并启用乱序队列的情况下,命令可以根据彼此的依赖关系执行,而不必仅遵循提交顺序。多个队列可以提供计算与数据传输重叠进行的机会,但标准并不要求设备同时执行这些队列中的命令。

主机端通常通过可安装客户端驱动程序(ICD)机制访问 OpenCL 实现。加载器将调用分派给相应厂商的实现,使多个 OpenCL 实现能够共存。加载器本身不提供内核编译器,也不能让不受支持的硬件变得可用;这些功能由底层运行时和设备驱动程序承担。这一区别解释了为什么仅安装开发用头文件或加载器,并不足以获得可正常工作的 OpenCL 设备。主机应用程序、加载器、厂商运行时和硬件驱动程序构成彼此独立的层次,各层之间的兼容性会影响设备发现与执行。

内核执行与索引空间模型

OpenCL 内核是被指定为设备执行入口点的函数。主机将内核加入队列时,会指定一个 ND-range,即一维、二维或三维的索引空间。内核的每次逻辑调用都是一个工作项,由其在该空间中的位置标识。各工作项执行相同的内核,但可以通过各自的标识符选择不同的数据。这是一种数据并行编程方式,尤其适用于数组、图像、网格以及其他具有规则索引的结构。

工作项被组织为工作组。应用程序可以指定局部工作组的各维大小,也可以让实现自行选择。每个工作项都有一个全局标识符、一个组内局部标识符,以及一个组标识符。对于采用大小一致的工作组的一维内核启动,它们之间的关系为

global ID=global offset+group ID×local size+local ID.\text{global ID} = \text{global offset} + \text{group ID}\times\text{local size} + \text{local ID}.

在多维情况下,各轴分别适用同样的关系。对非均匀工作组的支持,允许在符合相关执行条件时,最后一个工作组包含较少的工作项。

工作组界定了协作的主要范围。同一工作组中的工作项可以共享局部内存,并使用工作组屏障进行同步。不同工作组通常必须能够独立执行,因为 OpenCL 不保证一次内核派发中所有工作组的启动顺序,也不保证它们能同时驻留在设备上。因此,如果设计中让一个工作组无限期地等待另一个工作组运行,就可能发生死锁。需要全局同步点的计算通常会拆分为多次独立的内核启动,并通过命令依赖关系将它们连接起来。

子组是工作组内部更小的执行分组,在支持相关功能的环境中可用。子组提供参与其中的工作项之间的广播、归约和数据交换等操作。子组通常对应硬件执行分组,但其大小和行为必须视为设备能力,而不是通用常量。假设所有设备都会将 32 个或 64 个工作项放在一起执行,并不是可移植的 OpenCL 编程方式。

索引空间模型规定的是逻辑执行方式,而不是固定的物理调度方式。在 CPU 上,运行时可以将工作项映射到向量指令和数量较少的操作系统线程上。在 GPU 上,大量工作项可以通过共享指令执行的硬件分组进行调度。这一区别会影响分支执行:如果相邻工作项走向不同的控制流路径,硬件可能会分别执行这些路径,每次只有部分通道处于活动状态。因此,内核在逻辑上可以是并行的,却未必能充分利用物理并行能力。有效的设计会使索引、分支和数据访问方式适配目标架构,同时不会将这些优化方式误认为标准所作的保证。

内存空间、可见性与同步

OpenCL 区分了几种逻辑地址空间。全局内存存放的数据可供设备上的各个工作项访问,但须遵守程序的同步规则。常量内存通过相应的地址空间接口提供只读访问。局部内存由同一工作组内的工作项共享,而私有内存则归单个工作项所有。这些类别描述的是访问与生命周期语义,并不要求每种实现都为各类别配备物理上独立的存储单元。

这些地址空间与硬件的映射方式会显著影响性能。在许多 GPU 上,局部内存映射到片上共享存储区,而私有值则优先存放在寄存器中。如果私有存储需求超过可用寄存器的容量,部分值就可能溢出到速度较慢的内存中。在 CPU 上,与普通的缓存访问相比,局部内存未必具有同样的优势。因此,应将 OpenCL 的逻辑空间与物理上的存储层次结构区分开来,后者包括寄存器、缓存、设备内存和主机内存。

主机可见的内存对象包括缓冲区和图像。缓冲区表示线性存储,支持通用的数据布局。图像则提供采用指定格式的结构化访问,并在适用时支持采样操作。图像可以受益于专用硬件和布局优化,但受支持的格式与尺寸各不相同。使用主机指针创建缓冲区,并不总能保证设备会直接访问该指针所指向的那块内存:实现可以使用内部存储或执行数据传输,只要符合所请求的标志和规范即可。

同步分为几个不同的层次。工作组屏障用于协调参与其中的工作项,并在使用适当的内存栅栏标志时,为指定的内存访问建立顺序。单独使用内存栅栏并不能让工作项在某一点会合。在主机命令层面,事件用于建立数据传输与内核启动之间的依赖关系。原子操作提供不可分割的访问;在 OpenCL 2.0 引入的、表达能力更强的内存模型中,还可选择内存顺序和作用域。仅有原子性并不能使整个多步骤算法免于数据竞争。

共享虚拟内存(SVM)允许受支持的主机和设备操作使用共同的虚拟地址空间。粗粒度 SVM 所采用的所有权与同步规则不同于更细粒度的形式;在受支持的情况下,细粒度缓冲区和细粒度系统能力可提供更多共享形式。使用共同的地址并不意味着访问速度一致,也不意味着在所有访问模式下都能自动保持缓存一致性,更不意味着无需同步。这些区别在配备独立 GPU 的系统上尤为重要,因为内存访问可能需要经过外设互连。即使指针可以共享,数据放置位置、可见性以及并发访问是否合法,仍然是彼此独立的问题。

内核语言、编译与中间表示

最初的设备端语言 OpenCL C 以 C编程语言为基础,但针对设备端的并行执行进行了扩展和限制。OpenCL C 1.x 基于 C99,而 OpenCL C 2.0 则以 C11 为基础。内核声明、地址空间限定符、向量类型和内置函数用于表达普通主机端 C 语言未定义的操作。因此,熟悉的 C 语法并不意味着任意 C 程序都能成为有效的内核:设备代码不具备常规应用程序所依赖的不受这些限制的主机环境和库功能。

__global、__local 和 __constant 等地址空间限定符尤为重要,因为它们会影响指针的含义及其允许的用法。OpenCL C 还提供了 float4 等向量类型、转换函数、数学运算以及用于获取工作项标识符的函数。显式向量类型可以表示有用的数值分组,但并不保证会采用某种特定的机器指令,也不保证带来加速。有些 GPU 本身更适合执行分布在各个工作项中的标量表达式,而 CPU 实现则可能受益于单指令多数据向量化。

一种常见的编译流程始于主机向运行时提供内核源代码。运行时创建程序对象,并针对选定的设备进行构建,采用具体实现所特有的编译和优化方式。每个设备的构建结果和日志都可以单独查询。这种安排允许应用程序随附源代码,并针对实际安装的处理器进行专门编译,但也会引入编译延迟,并使编译器成为所部署的运行时环境的一部分。

在具备相应能力的情况下,OpenCL 也支持其他程序表示形式。程序二进制文件可以降低启动开销,但其可移植性通常受到具体实现、设备和软件版本兼容性的限制。SPIR-V 提供了一种标准化的中间表示,将语言前端与后续针对特定设备的编译分离开来。它不是机器码,而能够接受 SPIR-V 也不意味着支持 SPIR-V 所能表示的所有指令或执行环境。OpenCL 实现会根据自身支持的 OpenCL 环境和能力,对模块进行验证和编译。

C++ 支持有多种形式。随 OpenCL 2.2 标准化的 OpenCL C++ 内核语言,不同于 C++ for OpenCL;后者是一种基于 Clang 的语言方案,将 C++ 编程模型与 OpenCL 设备端概念相结合。主机端 C++ 绑定又是另一回事:它们只是对主机 API 进行封装,并不改变设备端语言。在评估工具链时,这些区别很重要。一个项目可以使用现代 C++ 管理队列和缓冲区,同时仍以 OpenCL C 编写内核;也可以将基于 C++ 的设备端语言编译成中间表示,再通过 OpenCL 运行时执行。

主机端编程与完整的计算流程

典型的 OpenCL 应用程序首先枚举平台和设备,选择一个设备,并查询其是否具备内核所需的能力。随后,应用程序创建上下文和命令队列,准备内存对象,创建并构建程序,再获取内核对象。在将内核加入队列之前,需要为内核对象设置参数。最后,应用程序通过数据传输或内存映射将结果提供给主机使用,并释放不再需要的对象。

向量加法可以说明主机端调度与设备端执行之间的分工。内核可以为每个输出元素分配一个工作项:

__kernel void add_vectors(__global const float *a,
                          __global const float *b,
                          __global float *c,
                          const uint n)
{
    size_t i = get_global_id(0);
    if (i < n)
        c[i] = a[i] + b[i];
}

这里,全局标识符用于选定元素,边界检查则防止超出数组逻辑长度的工作项访问越界。当启动的工作项总数向上取整为所选工作组大小的整数倍时,这种检查很有用。该示例使用 32 位无符号整数作为长度参数;处理更大数组的应用程序必须选择兼容的参数类型,并考虑设备地址位宽的限制。

主机为 a、b 和 c 创建缓冲区,提供输入数据,并以匹配的大小和表示形式设置四个参数。随后,主机将内核加入队列,使其在覆盖所有元素的索引范围内执行。这种内核调用并不是返回计算结果向量的普通同步函数调用,而是创建一条由队列管理其执行的命令。无论是依靠顺序队列的语义,还是通过显式事件依赖,都必须确保在内核执行完毕后才能读取输出。

事件使 异步编程 切实可行。一次非阻塞上传可以产生一个事件,内核启动需等待该事件;此次内核启动又可以产生一个事件,供后续下载操作等待。在这些命令执行期间,主机可以处理无关的工作。阻塞调用的控制流程更简单,但可能妨碍本可实现的操作重叠。调用 clFinish 会等待指定队列中此前入队的所有命令执行完毕,而 clFlush 则将队列中的命令提交执行,但不等待它们完成。

正确管理资源也是编程模型的一部分。许多 OpenCL 对象采用引用计数机制,对象之间的关系决定了资源能够保持有效的时间。参与非阻塞传输的主机内存必须在所需的时间内保持有效。对象创建、参数设置、编译、入队或命令执行过程中都可能出现错误,因此仅检查内核的构建结果并不充分。这里的“内核”(kernel)指设备端的入口函数,不应与 内核(操作系统) 混淆;OpenCL 设备端代码在由运行时控制的计算环境中执行。

可移植性、数值行为与性能工程

OpenCL 提供了几种不同层面的可移植性,但它们都不等同于通用的二进制兼容性,也不意味着在所有设备上都能获得相同的性能。源代码可移植性是指,只要内核使用的语言特性受支持,就能由不同的合规实现进行编译。功能可移植性是指,应用程序在不同设备上都能保持预期行为。性能可移植性则是指,应用程序在不同架构上都能保持合理的运行效率。前两者通常可以通过能力检查和严谨的编码来实现;第三者一般需要调优,或为同一问题准备多种算法变体。

数据搬移往往是决定性因素。独立 GPU 执行内核可能很快,但主机与设备之间的数据传输却可能占据总运行时间的大部分。对于单精度数组的向量加法,每个元素按常规计算需要两次 4 字节读取和一次 4 字节写入,却只进行一次浮点加法。忽略额外开销和缓存效应,其算术强度因此约为

I=1 floating-point operation12 bytes.I=\frac{1\text{ floating-point operation}}{12\text{ bytes}}.

这类内核通常受限于内存带宽,而非峰值算术吞吐量。将中间数据保留在设备上,并将适合合并的操作组合起来,可能比优化加法本身更重要。

工作组大小与寄存器使用量、局部内存分配、调度以及活跃工作项数量相互影响。工作组更大,并不意味着执行速度一定更快。例如,分块矩阵乘法可以通过局部内存复用数据,减少全局内存访问量,但更大的分块会消耗更多存储空间,并可能减少可同时驻留的工作组数量。归约、模板计算和快速傅里叶变换中也存在类似的权衡。最优选择取决于设备和问题规模,因此有必要进行运行时调优,并使用专门优化的内核。

浮点计算结果也需要谨慎对待。不同设备可能采用不同的求值顺序、融合乘加指令或数学函数实现。由于浮点加法不满足结合律,并行归约可能产生不同的舍入结果。放宽数值规则的编译器选项可以提高速度,但也可能改变对特殊值的处理方式或精度保证。并非所有设备都支持双精度运算;即使支持,双精度相对于单精度的吞吐量也可能因设备而异,差别很大。因此,正确性标准需要明确容差和所要求的数值行为,而不能假定结果逐位一致。

性能测量必须区分编译、分配、传输、执行和同步的开销。启用性能分析后,队列性能分析功能可以提供命令时间戳,但不应随意将这些设备时间戳与主机时钟测量值混用。预热过程、输入规模、驱动程序版本和并发工作负载也会影响结果。应用级基准测试应纳入与实际使用相关的开销:对于数据长期驻留在设备上的处理流水线,不计传输开销可能是合理的;但对于输入和输出主要位于主机内存中的一次性计算,这样做就可能产生误导。

实现、应用及相关编程系统

OpenCL 的实现已覆盖桌面 CPU、集成与独立 GPU、嵌入式图形处理器以及可重构硬件。厂商提供的运行时支持访问各自的设备,而开源软件项目则提供了更多实现途径。Portable Computing Language 通常称为 PoCL,是一个 OpenCL 实现框架,其突出特点是对 CPU 的支持,同时也提供其他设备后端。Mesa 的 Rusticl 实现通过 Mesa 的部分图形基础设施提供 OpenCL 支持。这些实现的可用功能取决于具体后端、驱动程序、构建配置以及标准符合性状态。

FPGA 实现展示了这一执行模型能够映射到多么广泛的硬件架构上。工具链可以根据内核综合出硬件流水线,而不是将每个内核转换为固定 GPU 架构的指令。因此,编译所需的时间可能远长于常规软件编译,而性能则可能取决于流水线设计、内存接口和硬件单元的复制。标准 OpenCL 语法并不能消除这些架构差异;为了发挥 FPGA 的特有优势,开发者往往会使用厂商扩展和专门的编码方式。

OpenCL 的应用包括图像处理、科学模拟、数值线性代数、信号处理以及部分计算机视觉处理流程。OpenCV 的透明 API(Transparent API)能够在保留高层应用接口的同时,将适合的操作交由 OpenCL 执行。CLBlast 等库提供了基本线性代数子程序(BLAS)运算的 OpenCL 实现。Hashcat 将 OpenCL 用作其计算后端之一,用于密码恢复任务。在机器学习领域,OpenCL 已用于推理和专用库,不过主流框架生态系统往往将 GPU 优化工作的重心放在其他后端上。

CUDA 是广泛使用的技术中与 OpenCL 最接近的比较对象,但两者的涵盖范围有所不同。CUDA 集成了以 NVIDIA 硬件为中心的编程平台、语言扩展、库和工具。OpenCL 则为参与支持该标准的实现和厂商规定了统一接口,将周边工具的大部分工作留给各个实现和独立项目。Khronos 的另一项标准 SYCL 为异构编程提供了更高层的单源 C++ 模型。SYCL 实现可以使用 OpenCL 作为后端,但 SYCL 并不局限于 OpenCL,也不要求应用程序通过 OpenCL 主机端 API 管理计算。

其他替代方案侧重于不同的集成方式。OpenMP 的目标设备卸载功能扩展了基于指令的并行编程模型。Vulkan图形接口的计算功能将可编程计算集成到面向图形的显式 API 中,而开放图形库的计算着色器则服务于已经采用该图形系统的应用。苹果于 2018 年在 macOS 10.14 中弃用了 OpenCL,并引导开发者转向 Metal。这类平台政策,加上驱动程序的可用性、库支持、调试工具以及必须支持的部署平台,都会影响 OpenCL 在实际中是否适用,而不能仅凭规范允许的功能作出判断。因此,一个实现所报告的版本只是其可用软件环境的一个方面。