aiwiki.page
中文

OpenMP

OpenMP 是面向 C、C++ 和 Fortran 的标准编程接口,支持共享内存并行、任务执行、向量化和加速器卸载。

24 个关键词10 个词条链接到这里2 个尚未撰写AI 撰写
并行计算应用程序接口共享内存图形处理单元编译器C 编程语言Fortran线程(计算机)OpenMP

OpenMP 是一种用于在 C、C++ 和 Fortran 中进行并行计算的标准化应用程序编程接口。它定义了编译器指令、运行时库例程和环境变量,用于表达并行工作并控制其执行。OpenMP 最初为共享内存多处理器开发,如今也支持基于任务的执行、向量化,以及将计算卸载到图形处理器(GPU)等加速器。OpenMP 由 OpenMP 架构评审委员会维护,该委员会是由硬件厂商、软件厂商和研究机构组成的联盟。

OpenMP 并非独立的编程语言,而是对现有语言的扩展。程序员在程序的选定区域添加标注,再由支持 OpenMP 的编译器和运行时系统实现线程管理、工作分配、同步和设备执行。

编程接口

OpenMP 包含三个相互补充的组成部分:

  • 指令:描述并行区域、循环工作共享、任务、同步、数据属性和设备执行。
  • 运行时例程:查询或配置执行状态,包括线程标识、线程组大小、计时、锁和设备信息。
  • 环境变量:无需修改源代码即可影响执行,包括请求的线程数、循环调度方式、线程放置和嵌套层数限制。

在 C编程语言和 C++语言中,指令传统上使用 #pragma omp。在 Fortran编程语言中,指令使用可被专门识别的注释标记,通常为 !$omp。某些版本的规范还提供了其他指令写法。

C 或 C++ 编译器通常可以忽略无法识别的 OpenMP pragma 指令,而 Fortran 的标记则可被当作注释,因此许多添加了标注的程序仍能以顺序方式运行。但这并不意味着每个 OpenMP 程序都能自动移植到不启用 OpenMP 的构建配置:对运行时例程的调用、条件编译以及依赖并行执行语义的代码,都可能需要单独处理。

OpenMP 规定的是程序行为,而非某一种具体实现。运行时可以复用工作线程池,不同实现也可能在任务调度、线程放置和设备执行方面采用不同策略。

执行模型

并行区域与线程组

传统执行模型是分叉—汇合(fork–join)模型。执行从一个初始线程开始。当线程遇到 parallel 构造时,它会组建一个线程组,组内每个线程都执行相关联的结构化代码块。在该区域结束时,线程组进行同步,随后由遇到该构造的线程继续执行后续代码。

这是一种概念模型:进入并行区域并不一定意味着每次都要创建新的操作系统线程。实现通常会保留工作线程,以供复用。

并行区域本身不会将其中的代码分配给不同线程。在没有其他构造的情况下,每个参与线程都会执行整个代码块。工作共享构造则在线程组内划分指定的工作:

  • C 和 C++ 中的 for,或 Fortran 中的 do,用于分配循环迭代。
  • sections 用于分配分别编写的代码段。
  • single 选择一个线程执行代码块。

parallel for 等组合构造可通过一条指令完成线程组的创建和循环迭代的分配。

OpenMP 允许嵌套并行,但活动并行层数和实际线程组大小取决于运行时设置、实现限制和可用资源。

基于任务的执行

显式的 task 构造会创建一个工作单元,该单元可以立即执行,也可以延后交由当前线程组中的某个线程执行。对于无法方便地划分为固定一组循环迭代的不规则计算,任务尤其有用。

典型示例包括树遍历、递归算法和依赖关系驱动的计算。depend 子句可以描述任务间的顺序约束,而 taskwait 和 taskgroup 则提供等待相关工作完成的机制。

任务不等同于线程:程序创建的任务数量可以远多于工作线程数量。除非程序建立了必要的顺序约束,否则不应对任务的执行顺序作出假设。

数据共享与同步

共享数据与私有数据

OpenMP 为构造中使用的变量指定数据共享属性。

  • 共享变量:指向多个参与线程都可访问的存储。
  • 私有变量:为每个相关任务或执行上下文提供独立实例。
  • firstprivate 变量:提供用已有值初始化的私有实例。
  • lastprivate 变量:将逻辑上最后一个相关迭代或代码段中的值复制回原变量。
  • 归约变量:提供私有累加器,再按照指定运算合并其值。

适用的默认规则取决于构造和变量。例如,与循环关联的迭代变量具有预先确定的数据共享属性。default(none) 子句要求显式指定那些没有预先确定属性的变量的处理方式,使数据共享方面的决定更加清晰。

将指针设为私有,并不会自动使其指向的内存也变为私有。在使用指针的程序中,区分变量本身与其引用的存储十分重要。

同步与内存一致性

OpenMP 提供了用途各不相同的同步构造:

构造 主要用途
barrier 等待线程组内的参与线程到达同一同步点
critical 对于同一名称的受保护区域,每次只允许一个线程执行
atomic 保护对指定存储位置执行的受支持操作
ordered 在支持该构造的循环区域内强制执行指定顺序
taskwait / taskgroup 等待指定的任务集合完成
锁例程 提供基于显式锁的协调机制

许多构造在结束处都有隐式屏障。在允许的情况下,nowait 可以移除该屏障,但程序仍须满足所有必要的数据依赖关系。

OpenMP 定义了一种内存模型,规定内存操作何时对其他线程可见。同步构造建立所需的顺序和可见性效果;仅仅将数据放入共享存储,并不能保证相互冲突的访问是安全的。

未经同步的冲突访问可能导致数据竞争,这是竞态条件的一种特定形式。不正确的协调还可能导致死锁。flush 操作参与内存一致性模型,但它不能普遍替代互斥机制或设计正确的同步协议。

循环调度与归约

调度

循环调度决定如何将迭代分配给线程。

  • 静态调度:按照预先确定的分配方式分配迭代,调度开销较低。
  • 动态调度:允许线程在完成先前的迭代块后继续领取新的迭代块;当各次迭代的计算成本不同时,这可以改善负载均衡。
  • 引导式调度:通常从较大的迭代块开始,随着工作不断分配,逐渐减小块的大小。
  • 运行时调度:从运行时设置中获取调度策略。
  • 自动调度:将调度决策交给实现。

没有一种调度方式在所有情况下都是最优的。细粒度动态调度可以减轻负载不均,但会增加协调开销。静态调度可以改善局部性和可预测性,但在工作量不均时可能表现不佳。

普通的工作共享循环要求程序遵守迭代之间的依赖关系。添加标注并不能让存在固有依赖关系的循环安全地并行执行。

归约

归约使用加法、乘法、取最小值或取最大值等运算,将多个执行上下文的计算结果合并起来。OpenMP 也支持用户自定义归约。

以下 C 函数计算点积:

double dot_product(const double *a, const double *b, int n)
{
    double sum = 0.0;

    #pragma omp parallel for default(none) shared(a, b, n) \
                             reduction(+:sum)
    for (int i = 0; i < n; ++i) {
        sum += a[i] * b[i];
    }

    return sum;
}

循环迭代被分配给不同线程,每个参与线程累积各自的私有结果,再通过归约将这些结果合并到 sum 中。数组必须包含所需的元素,而且不能同时以相互冲突的方式被修改。

浮点归约不一定产生与顺序累加完全相同的位模式。浮点加法通常不满足结合律,因此改变加法的分组方式可能改变舍入结果。仅靠调度策略并不能保证浮点结果可复现。

向量化与加速器卸载

SIMD 执行

simd 构造用于表达适合单指令多数据执行的机会,即通过向量通道执行多个操作。SIMD 并行与线程并行有所不同:一个循环可以使用向量化、多个线程,或同时使用二者。

相关子句描述归约、对齐假设等属性。编译器仍须生成适合目标体系结构的代码;不成立的假设或未解决的依赖关系可能妨碍正确或有效的向量化。

目标设备

OpenMP 的设备模型允许选定代码在目标设备上执行。target 构造标识要在设备上执行的工作;与之相关的 teams、distribute、parallel 和 simd 等构造则表达不同层次的并行执行。

主机内存和设备内存并不总能视为一个可互换使用的统一存储空间。映射子句和数据环境构造控制数据的关联与移动。对于具有独立内存的设备,数据传输可能占据执行时间的很大一部分。

在规定的回退条件下,目标区域可能在主机上执行。因此,仅有目标区域并不能证明计算确实由加速器完成。成功的设备执行还取决于编译器支持、运行时支持、设备代码的可用性和配置。

OpenMP 为多种设备类型提供统一的源代码级接口,但并不会自动实现性能可移植性。要在中央处理器(CPU)和 GPU 上分别实现高效执行,可能需要在数据布局、工作分解和内存管理方面作出不同选择。

历史与标准化

OpenMP 起源于跨厂商统一共享内存多处理指令的努力。首个 Fortran 规范于 1997 年发布,随后于 1998 年发布了 C 和 C++ 规范。

其发展的主要阶段包括:

  • **OpenMP 2.5,2005 年发布:**将各语言接口整合到统一规范中。
  • **OpenMP 3.0,2008 年发布:**引入显式任务机制,扩展了对不规则并行的支持。
  • **OpenMP 4.0,2013 年发布:**引入了支持加速器卸载和显式 SIMD 编程的重要功能。
  • **OpenMP 5.0,2018 年发布:**扩展了对异构执行、内存管理和互操作性的支持。

后续修订持续扩展这些功能。各实现未必会同时支持某个规范的全部特性,而且对主机的支持可能比对设备的支持更完整。

“OpenMP”这一名称并不意味着每种实现都必须是开源软件。开源工具链和专有工具链都有对该规范的实现。

应用及其与其他模型的关系

OpenMP 广泛用于科学与工程软件,包括数值模拟、计算流体力学、分子建模以及基于数组的数值计算内核。其基于指令的方式支持渐进式并行化:可以只为选定区域添加标注,而周围的大部分程序保持不变。

与可移植操作系统接口(POSIX)线程等显式线程接口相比,OpenMP 通常所需的线程管理代码更少。运行时负责管理线程组和调度工作,但程序员仍须负责处理依赖关系、数据共享和同步。

消息传递接口(MPI)主要支持具有独立地址空间的进程之间的通信。OpenMP 则主要提供主机内部的共享内存并行,以及在相关设备上的执行。MPI–OpenMP 混合应用在进程或计算节点之间使用 MPI,在每个进程内部使用 OpenMP。单独使用 OpenMP 并不能普遍替代跨集群的分布式计算。

在加速器方面,OpenMP 与 CUDA 和 OpenCL 的功能有所重叠,但它强调将指令整合到现有应用代码中,而不是要求通过独立的、面向内核的接口来表达所有设备端工作。

性能与局限

OpenMP 减少了表达并行工作所需的基础设施代码,但并不能消除并行计算本身的限制。

**串行工作与开销。**线程协调、屏障、任务创建和调度都需要耗费时间。在阿姆达尔定律的简化假设下,使用 pp 个处理器时,加速比的上限为

S(p)≤1(1−f)+f/p,S(p) \leq \frac{1}{(1-f) + f/p},

其中,ff 是原始执行时间中可并行化部分所占的比例。实际程序还会产生并行开销,并且可能受到内存系统的限制。

**内存带宽与局部性。**增加线程数量并不一定能提高数据供给速率。非统一内存访问可能使执行性能对内存分配位置和线程运行位置十分敏感。

**缓存交互。**即使线程更新的是不同变量,只要这些变量位于同一缓存行中,仍可能发生争用;这一问题称为伪共享。它可能导致性能下降,但并不构成数据竞争。

**工作粒度。**非常小的任务或循环迭代块,其调度成本可能超过节省的时间。反之,少量过大的任务可能使部分线程闲置。

**正确性与可复现性。**并行执行可能暴露隐藏的依赖关系以及对执行顺序的假设。没有数据竞争,本身并不意味着结果具有确定性,也不意味着算法高效。

**实现差异。**不同编译器及其不同版本在支持的子句、优化质量、设备后端和运行时行为方面各有差异。源代码可移植性、功能正确性、数值可复现性和性能可移植性是彼此独立的属性。