**消息传递接口(Message Passing Interface,MPI)**是一项标准,规定了并行程序中进程间通信用的应用程序编程接口。它定义了消息交换、数据分发、执行协调、远程内存访问以及并行输入输出等操作的行为。MPI 是一种规范,而非某个特定的软件包、网络协议或编程语言;其实现通过提供库,让应用程序能够使用这些操作。
MPI 是集群和超级计算机上开展并行计算的重要基础。它的重要性在于,既能显式控制数据传输,又能在从单台工作站到包含数以万计计算节点的系统之间保持可移植性。程序可以用相同的方式表达通信模式,而底层实现则可采用共享内存传输、常规网络或专用高性能互连技术。
该接口起源于 20 世纪 90 年代初,旨在以统一标准取代彼此不兼容的消息传递系统。其核心模型始终是独立执行的进程之间的通信,但后续修订陆续加入了集合文件访问、单边通信、动态进程管理、非阻塞集合操作以及更灵活的初始化方式。因此,要理解 MPI,就需要区分其抽象的通信规则与实现这些规则所用的算法、硬件和运行时系统。
起源与标准化
在 MPI 出现之前,消息传递程序通常依赖厂商专用库,或 PVM、p4 和 PARMACS 等研究系统。这些系统表明,相互协作的进程能够在分布式内存计算机上解决大规模问题,但消息格式、进程标识、通信操作和执行环境方面的差异阻碍了程序的可移植性。将应用程序从一台计算机迁移到另一台计算机,可能需要大幅修改其通信代码。
制定通用接口的工作始于 1992 年。同年 4 月,在美国弗吉尼亚州威廉斯堡举行的一场关于分布式内存环境中消息传递标准的研讨会,推动了这项工作的启动。随后成立的 MPI 论坛汇聚了研究人员、应用程序开发者以及软硬件厂商。其目标并不是规定一种统一的实现,而是定义足够精确的语义,使多种实现都能支持相同的应用程序。
MPI 1.0 于 1994 年 6 月发布,确立了通信器、进程秩、带类型的消息、点对点通信和集合通信等核心概念,并提供了 C编程语言和 Fortran编程语言的语言绑定。1995 年发布的 MPI 1.1 对最初的规范作了澄清。1997 年发布的 MPI-2 大幅扩展了接口,加入了动态进程管理、并行文件操作和远程内存访问。这些新增功能使 MPI 不再局限于通过显式配对的发送与接收操作来交换消息。
后续修订兼顾了易用性和不断变化的计算机体系结构。2012 年发布的 MPI 3.0 引入了非阻塞集合通信、邻域集合通信操作,并对单边通信作了重大扩展。MPI 3.1 随后于 2015 年发布。2021 年发布的 MPI 4.0 增加了会话、分区通信、持久集合操作,以及一系列支持大计数值的接口。2023 年发布的 MPI 4.1 进一步完善了规范。这些版本号表明某个实现所面向的标准版本,并不意味着每个已安装的库都同样完整地支持该版本的所有功能。
MPI 论坛通过技术工作组、提案、讨论和投票来制定规范。规范定义了可观察的行为,而通常不限定内部算法和传输机制。这种分离是 MPI 能够长期沿用的关键:硬件厂商可以针对特定的互连技术进行优化,而不必要求应用程序改用另一套通信 API。不过,源代码可移植并不自动意味着二进制兼容。在不同安装环境之间迁移已编译的程序时,仍需考虑应用二进制接口、运行时启动器以及兼容性方面的安排。
进程、秩与通信上下文
MPI 的基本参与单位是进程,每个进程都有自己的执行状态和地址空间。在常见的分布式内存模型中,一个进程无法直接解引用另一个进程的普通变量。其他进程所需的数据必须通过通信传递,或通过专门定义的内存访问机制开放访问。这种模型适合分布式计算,但 MPI 并不要求进程在物理上分布于不同机器:多个 MPI 进程可以运行在同一台机器上,由实现使用本地传输机制完成通信。
应用程序经常采用单程序多数据模式,即各进程执行同一个可执行文件,但分别处理问题的不同部分。例如,流体模拟可以为每个进程分配三维网格中的一个子区域。各进程也可以执行不同的程序,或承担不同的角色。MPI 规定的是通信语义,并不强制采用某一种应用划分方式。
通信器用于标识一个通信上下文及参与其中的一个或多个进程组。在一个进程组内,每个进程都有一个整数秩。在包含 个进程的通信器中,秩的取值从 到 。秩并不是固定不变的机器标识符:同一个进程在不同通信器中可以具有不同的秩。组内通信器支持同一进程组内部的通信,而组间通信器则连接两个进程组。
通信上下文可以防止彼此无关的消息相互干扰。两个库即使使用相同的消息标签,只要各自通过独立的通信器进行通信,就不会意外接收到对方的消息。应用程序可以使用 MPI_Comm_dup 等操作创建这些相互隔离的上下文,也可以使用 MPI_Comm_split 将一个通信器划分为多个子组。当模拟程序整合多个独立开发的数值计算库时,这一功能尤为重要。
在传统的初始化模型中,各进程调用 MPI_Init 或 MPI_Init_thread,通常使用初始通信器 MPI_COMM_WORLD,最后调用 MPI_Finalize。mpiexec 等启动器会与机器的运行时环境及资源管理环境配合,启动作业。节点分配、可执行文件部署和进程绑定等细节,并非仅由 MPI 通信标准决定。
MPI 也可以与进程内部的多个线程共存。MPI_Init_thread 用于请求某一级别的线程支持:MPI_THREAD_SINGLE、MPI_THREAD_FUNNELED、MPI_THREAD_SERIALIZED 或 MPI_THREAD_MULTIPLE。这些级别分别表示单线程执行、仅由主线程调用 MPI、允许多个线程调用 MPI 但不得并发调用,以及允许多个线程并发调用 MPI。返回的实际支持级别至关重要:请求完整的多线程支持,并不意味着实现确实提供了这种支持。
点对点通信与完成
点对点通信在发送进程与接收进程之间传输数据。消息通过其通信器上下文、源、目的和标签进行匹配。接收方指定缓冲区、数据类型和容量;它可以指定特定的源和标签,也可以使用 MPI_ANY_SOURCE 和 MPI_ANY_TAG 等通配值。返回的状态对象提供实际发送方和标签等信息。消息的数据表示还必须满足 MPI 的数据类型匹配规则。
看起来最简单的操作是 MPI_Send 和 MPI_Recv,但需要仔细理解它们的完成规则。阻塞接收在接收到的数据已可在接收缓冲区中使用时返回。阻塞的标准模式发送在发送缓冲区可被重用时返回。发送操作返回,并不一定意味着接收方已完成接收,甚至不意味着接收方已开始执行接收操作。MPI 实现可能会将数据复制到临时存储区,也可能等待接收方配合。
MPI 提供多种发送模式。同步发送 MPI_Ssend 只有在匹配的接收操作已发起并开始接收消息后才会完成。缓冲发送 MPI_Bsend 在需要缓冲时,使用应用程序提供并附加的缓冲区。就绪发送 MPI_Rsend 要求匹配的接收操作已经提交;未满足此前提就使用该操作是错误的。标准模式则允许 MPI 实现自行选择采用缓冲,还是采用依赖接收方配合的传输方式。
这种区别解释了一种常见的死锁。如果两个进程都先执行阻塞发送,再提交各自匹配的接收操作,那么在没有可用缓冲的情况下,两者都可能无限等待。程序处理小消息时可能看似正确,处理较大消息时却会失败,因为 MPI 实现会在消息大小达到某个阈值时切换协议。使用 MPI_Sendrecv、合理安排收发顺序,或采用非阻塞操作,都可以在不依赖隐式缓冲的情况下实现这种通信。
MPI_Isend 和 MPI_Irecv 等非阻塞操作会返回请求对象。随后,通过 MPI_Wait、MPI_Test 等函数或其处理多个请求的变体来确认操作完成。在完成之前,应用程序不得修改仍在使用中的发送缓冲区,也不得以该操作所禁止的方式访问仍在使用中的接收缓冲区。“非阻塞”描述的是操作发起时的行为,并不保证通信无需运行时系统的进一步活动就能完成。
MPI 还定义了顺序与进展方面的性质。其不可超越规则约束单个线程按顺序发出且符合匹配条件的消息,但并不为所有通信规定全局顺序。来自不同线程的并发操作,以及使用通配值的接收操作,都可能导致不确定的匹配结果。MPI 的进展规则支持通信在规定条件下完成,但通常不保证公平性,也不保证在 MPI 之外执行任意计算期间,后台传输仍能持续高速进行。
数据类型与内存描述
从概念上说,MPI 消息由一系列带类型的值组成,而不只是没有结构的字节串。预定义数据类型包括与编程语言中常见的整数类型和浮点类型相对应的类型。例如,发送指定数量的 MPI_DOUBLE 类型的值,就是传递一系列双精度值。带类型的通信使实现能够处理其所支持的机器数据表示差异;将所有内容都作为 MPI_BYTE 传递,并不能提供同等的数值转换语义。
派生数据类型用于描述更复杂的内存布局。应用程序可以指定按固定步长分布的数据块、通过索引指定的位置,或包含多种基本类型的结构。MPI_Type_vector 可以表示按行优先顺序存储的数组中的一个矩阵列,而 MPI_Type_create_struct 可以描述 C 结构体中的选定字段。数据类型通常需要先用 MPI_Type_commit 提交,才能用于通信。
理解这些描述需要区分两个概念。类型签名是基本类型的有序序列,而类型映射还记录了这些类型对应的内存位移。因此,发送方和接收方可以使用不同的内存布局,同时传递相互兼容的值序列。例如,一个矩阵中的一列可以被接收到连续数组中,无需应用程序显式编写打包循环。接收容量可以大于实际消息长度,但不能小到不足以容纳到达的消息。
当操作指定的数量大于一时,数据类型的跨度决定了相邻实例之间的间距。跨度不一定等于所传输字段的大小之和。填充、显式边界和空洞都可能使这两个量不同。MPI_Type_create_resized 可以改变有效边界和跨度,而不改变底层数据项序列。在需要精确控制重复记录的布局时,这一功能很有用。
数据类型将通信的逻辑内容与其物理存储分离,但并不保证零拷贝传输。实现可能会将不连续的数据打包到临时缓冲区中,使用硬件的分散/聚集功能,或结合多种技术。派生数据类型与应用程序显式打包的相对性能取决于布局、消息大小、传输机制和具体实现。复用已提交的数据类型可以分摊准备工作的开销。
对于需要显式序列化的应用程序,MPI 也提供了打包和解包操作。此外,MPI-4 为许多例程引入了支持大计数的版本;在 C 中,这些版本通常以后缀 _c 区分,并在适当的位置使用 MPI_Count。它们解决了以普通整数表示计数的接口所存在的限制。消息总量很大与内存位移复杂是两个不同的问题:地址计算、计数、跨度和内存分配上限都必须得到正确表示。
集合通信与虚拟拓扑
集合操作让通信器中的成员共同参与某项操作。MPI_Bcast 从根进程广播数据,MPI_Scatter 将根进程持有的数据集分块分发,MPI_Gather 则将各部分数据汇集到根进程。MPI_Allgather 将汇集后的结果分发给所有参与进程。MPI_Alltoall 在每对进程之间交换各自对应的数据块,这种通信模式在分布式转置和某些多维变换中十分重要。
归约操作用于合并数值。MPI_Reduce 将结果存放在根进程,而 MPI_Allreduce 则让所有参与进程都获得结果。预定义的操作包括对兼容数据类型执行的求和、取最小值、取最大值和逻辑运算。应用程序也可以自行定义归约操作,但必须满足标准规定的要求,尤其是结合律。MPI_Scan 和 MPI_Exscan 分别计算包含当前进程值和不包含当前进程值的前缀归约。
与一系列单独的发送和接收操作相比,集合操作能在更高层次上表达应用程序的意图。这使 MPI 实现可以选择树形、环形、递归倍增或分层算法。例如,广播小消息时可以采用树形结构,广播大消息时则采用另一种分发策略。最优选择可能取决于进程数量、拓扑、消息大小,以及是否有多个秩共享同一节点。
集合操作并不天然具有屏障同步作用。MPI_Barrier 显式提供了同步操作:只有在所有成员都进入屏障之后,参与进程才能从该调用返回。其他集合操作各自有其数据与完成条件,但不能因为某个调用已经返回,就认定所有参与进程都已到达程序中的同一位置。此外,同一通信器上的集合操作必须按一致的顺序发起。违反这一顺序可能导致操作不匹配或死锁。
MPI_Iallreduce 等非阻塞集合操作将发起与完成分离。在集合操作尚未完成时,应用程序可以执行不依赖于该操作的其他工作,但须遵守缓冲区访问限制,同时还受到具体实现的通信推进方式的影响。MPI-4 引入的持久集合操作允许对参数固定的操作只初始化一次,随后反复激活。当每个仿真时间步都采用相同的通信模式时,这种机制可以为优化创造机会。
虚拟拓扑提供了另一种表达结构的方式。笛卡尔通信器为各个秩关联一个逻辑网格,而图通信器和分布式图通信器则描述更一般的邻居关系。邻域集合操作仅与这些拓扑中记录的邻居交换数据,而不是与通信器中的所有成员交换。这非常适合模板计算,因为在这类计算中,每个子域只与相邻子域通信。拓扑描述的是逻辑连接关系,并不保证进程在物理网络中的具体放置位置,不过 MPI 实现可以在映射进程时利用这些信息。
单边通信与共享内存窗口
MPI 的远程内存访问机制通常称为单边通信,允许一个进程向另一个进程公开的内存传输数据,或从中读取数据,而不必为每次传输安排相匹配的发送或接收操作。基本操作包括向远程内存写入数据的 MPI_Put,以及从远程内存读取数据的 MPI_Get。累积操作则将传输的值与目标位置的值进行合并运算。
为这些操作公开的内存属于一个 MPI 窗口。进程可以通过 MPI_Win_create 在现有存储区域上创建窗口,通过 MPI_Win_allocate 分配窗口存储空间,也可以使用动态窗口来附加和分离内存区域。操作通过目标进程的秩及其公开窗口内的位置来指定访问目标。这是一种受控访问机制,并不意味着可以解引用另一个进程中的任意指针。
窗口访问按同步时期组织。在主动目标同步中,参与进程通过 MPI_Win_fence 或 post-start-complete-wait 同步等操作进行协调。在被动目标同步中,发起进程使用 lock/unlock 或 lock-all/unlock-all 操作来建立访问时期。目标进程不必为每次传输发起相应的接收操作,但目标进程、运行时系统和内存系统仍然参与其中,使操作得以完成。
在这种场景中,“完成”有多种含义。发起进程可能需要知道何时可以复用本地缓冲区、更新何时已到达目标,或者目标端的普通内存访问何时能够安全地观察到该更新。MPI_Win_flush 和 MPI_Win_flush_local 等操作区分了远程完成与本地完成。混淆这些条件可能导致程序读到旧值,或过早复用存储空间。
MPI 规定了分离式和统一式两种窗口内存模型。分离式模型区分通过远程操作访问的公共窗口内存,以及普通加载和存储操作使用的私有视图。统一式模型使这两种视图之间具有更强的一致性,但仍不能免除适当同步和排序的必要性。MPI_Win_sync 用于使普通内存访问与窗口更新保持一致,但不能替代所有形式的进程间协调。
MPI-3 还引入了供能够共享内存的进程直接访问的窗口。MPI_Win_allocate_shared 及相关查询操作允许本地进程获取共享窗口各内存段的地址。这支持在节点内使用共享内存、在节点间使用网络通信的混合设计。此类程序仍须遵守内存可见性规则,并防止竞态条件。MPI_Fetch_and_op 和 MPI_Compare_and_swap 等原子读—改—写操作支持某些协调模式,但并不能将任意访问序列变成原子事务。
并行 I/O 与不断演进的执行模型
MPI 包含一套集合式文件接口,通常称为 MPI-IO,专为并行访问大型数据集而设计。各进程使用 MPI_File_open 共同打开文件,随后执行独立或集合式读写。与将所有数据汇集到单个进程处理的方式不同,MPI-IO 允许应用程序直接表达分布式访问模式。
其中一个核心抽象是文件视图。每个进程都可以描述自己要访问的逻辑元素及其在文件中的布局,并使用数据类型来表示不连续的区域。例如,存储全局三维场的模拟程序可以为每个进程分配一个与其局部子体积对应的视图。文件中的布局不必与进程内存中的布局一致。
MPI_File_write_all 等集合式 I/O 操作为实现提供了重新组织访问的机会。一种常见技术称为两阶段 I/O:各进程先将数据重新分配给选定的聚合进程,再由这些聚合进程执行规模更大的文件操作。这可以降低对并行文件系统进行大量细碎、交错访问的开销。MPI 标准规定的是操作的语义,并不要求所有实现都采用这一特定技术。
MPI-2 还引入了动态进程创建与连接机制,包括 MPI_Comm_spawn、MPI_Comm_connect 和 MPI_Comm_accept。这些机制支持的执行模式不再局限于作业启动时一同启动的固定进程组。但这并不意味着批处理调度系统分配的资源可以自动扩容:资源可用性、启动器支持以及计算站点的管理策略仍然是外部约束。因此,许多大型科学应用程序仍然采用固定数量的进程。
MPI-4 的会话模型通过 MPI_Session_init 提供了独立的初始化机制。它允许软件使用可用的进程集合并构建通信对象,而不必完全依赖传统世界模型的初始化流程。这对于独立组合而成、需要更明确地控制自身 MPI 资源使用的软件组件尤为重要。会话机制是对 MPI_Init 的补充,而非简单地将其改名。
MPI-4 还引入了分区点对点通信,以适应另一种执行模式。一次持久传输可以划分为多个分区,应用程序在各分区的数据可用时将其标记为就绪。不同线程可以生成同一条消息的不同部分,而无须等待整个缓冲区准备完毕,就能让 MPI 开始处理已就绪的部分。接收方可以检测各个分区是否已经到达。当通信数据由多线程计算或基于任务的计算产生时,这一抽象尤其适用,不过其性能取决于具体实现如何将分区就绪状态映射为实际传输。
实现、传输与性能
广泛使用的 MPI 实现系列包括 MPICH 和 Open MPI,此外还有厂商提供的实现及其衍生版本。MPI 实现提供语言绑定、请求与通信器管理、集合通信算法、数据类型处理以及传输机制集成。MPI 本身不限定采用哪一种网络技术。MPI 库可以在节点内部使用本地内存复制机制,在常规网络上使用传输控制协议,也可以使用专用互连设施。
许多实现会区分小消息协议和大消息协议。急切(eager)协议无需先等待匹配的接收操作就绪,就会传输消息,因此会消耗缓冲资源。会合(rendezvous)协议则先交换控制信息,再传输主体数据。会合协议可以减少对意外到达消息的缓冲需求,并支持将数据直接传入接收缓冲区。这些名称描述的是常见的实现技术,而不是 MPI 接口所保证的发送模式。
通信开销的一种实用的一阶近似为
其中, 是启动延迟, 是传输的字节数, 是有效带宽。实际表现还取决于内存复制、消息匹配、网络争用、内存注册开销、协议切换阈值以及进程放置方式。发送大量微小消息时,启动开销可能占主导;而传输大块数据时,瓶颈可能在于网络带宽或内存带宽。
应用程序的扩展能力取决于通信量如何随问题规模变化。对于三维最近邻区域分解,线性尺寸为 、形状近似立方体的局部子域包含 的计算工作量,但需要交换的边界数据量与 成正比。在强扩展中,固定规模的全局问题被划分给更多进程,使每个进程的局部工作量减少,通信的相对影响随之增大。在弱扩展中,局部问题规模保持大致不变,而总问题规模不断增大。
让通信与计算重叠执行是一项主要优化目标,但仅使用非阻塞调用并不能保证实现这种重叠。通信的推进可能依赖后续的 MPI 调用、进展线程、网络卸载或其他特定于实现的机制。可独立执行的计算还必须避免访问尚未完成的通信所涉及的缓冲区。因此,即使应用程序正确使用了非阻塞操作,在某些系统上也可能几乎无法实现通信与计算的重叠。
进程放置与资源共享同样重要。不同秩的进程可能争用内存带宽、共享 CPU 缓存,或者跨非统一内存访问域访问内存。进程绑定、线程放置,以及逻辑通信图与物理机器的匹配方式,都可能显著影响性能。MPI 提供了描述通信的机制,但性能工程的大量工作都涉及这种通信描述与机器资源层次结构之间的相互作用。
科学计算应用与混合编程
对于能够将大型数值问题划分为多个相互作用部分的应用,MPI 尤为有效。在计算流体力学中,每个进程可以更新空间网格的一部分,并与相邻部分交换边界值。在分子模拟中,各进程可以负责不同的空间区域或粒子子集。在分布式线性代数中,矩阵被划分到不同进程上,通过通信来支持矩阵分解、矩阵乘法和迭代求解。
模板求解器展示了这一基本模式。每个进程存储内部网格点,以及额外的晕区(halo)单元或幽灵(ghost)单元,其中保存相邻进程所拥有的值。在每次迭代中,进程交换边界层数据、计算更新值,并定期评估全局收敛判据。相邻进程间的数据交换很适合用点对点操作或邻域集合操作来表达;全局残差范数的计算通常需要全归约操作。
其他工作负载的通信局部性则较弱。分布式多维变换往往需要大规模的数据重分布,其中包括全对全通信模式。稀疏算法的邻居集合可能不规则,而且会发生变化。网格细化可能随着分辨率的变化重新分配工作。这些差异意味着,仅凭进程数量很难预测 MPI 的性能:通信结构和负载均衡可能同样重要。
MPI 经常与 OpenMP 或其他线程系统结合使用。在 MPI 加线程的设计中,MPI 在节点或核心组之间分配工作,而线程则在各个进程内部协作。这可以减少 MPI 秩的数量,以及各进程数据的重复存储,但也可能带来新的开销,包括线程同步、内存争用,以及可用的 MPI 线程支持级别所施加的限制。
基于加速器的应用又增加了一个层次。一个进程可以控制一个或多个图形处理器,同时由 MPI 在进程之间交换数据。一些实现支持对驻留在加速器上的缓冲区进行操作,并利用平台提供的机制,避免每次传输都通过主机内存中转。这种能力通常称为 GPU 感知 MPI,但是否支持取决于具体实现和平台。常规的 MPI 完成规则本身并未规定与各种加速器执行流或编程系统交互时的全部行为。
MPI 也与机器学习有所交集,尤其是在训练需要通过集合通信交换梯度或参数的场景中。不过,许多训练系统使用面向加速器的集合通信库来替代 MPI,或将两者结合使用。二者的区别在于架构,而非类别上的截然划分:MPI 提供广泛的进程通信模型,而专用库可能专注于范围较窄、针对特定设备优化的集合操作。科学计算应用同样经常通过求解器库、网格框架或更高级语言的绑定间接使用 MPI,而不是自行编写每一项通信操作。
正确性、数值行为与容错能力
MPI 的正确性既涉及一般程序的正确性,也包含通信特有的要求。每个接收操作都必须有适当的消息与之匹配;集合调用必须以相容的顺序发生;数据类型与缓冲区容量必须一致;存储空间必须在操作所要求的整个生命周期内保持有效。错误的程序可能会挂起、破坏内存,也可能在某一进程数量下看似运行成功,换一个进程数量却发生故障。
有些错误对时序或实现方式十分敏感。先发送后接收的交换模式可能无意中依赖了急切缓冲机制。使用 MPI_ANY_SOURCE 的接收操作可能在不同次执行中匹配到不同的发送方。计算过程可能在非阻塞接收完成之前就访问了缓冲区。这些并不只是性能缺陷,而是违反了必要的顺序约束或所有权假设。在线程化程序中,并发通信还会带来另一种潜在的非确定性来源。
MPI 提供了错误报告机制。操作通常会返回错误码,通信器、文件、窗口及其他相关对象也可以关联错误处理程序。标准为无效的进程秩、标签、计数以及消息截断等情况定义了错误类别。不过,返回错误通常并不意味着应用程序在任何错误发生后都能安全地继续运行。有些违规操作会破坏内部状态,而实现无法可靠地重建这些状态。
数值结果的可重复性是另一个问题。由于中间结果会被舍入,浮点加法并不满足严格数学意义上的结合律:
对于某些浮点数值,上述不等式成立。归约操作的实现可能根据进程数量、消息大小或运行时调优改变求值树。因此,两次正确的 MPI 执行也可能得到略有不同的浮点数求和结果。要保证结果可重复,可能需要固定求值顺序、采用补偿技术或专门设计的累加方法,而这些方法通常会带来额外开销。
进程故障凸显了消息传递语义与容错分布式服务之间的区别。传统 MPI 应用程序通常会在进程或节点发生故障后终止整个作业。应用级的检查点与重启机制则会保存足以恢复计算的状态,通常使用 MPI-IO 或更高层的存储库。检查点的设置频率需要在保存状态的开销与故障后可能损失的计算量之间取得平衡。
包括用户级故障缓解(User-Level Failure Mitigation)在内的研究与实现扩展,正在探索故障后的通信器撤销、达成一致和重建机制。不能仅因程序使用了 MPI,就假定这些功能可用。它们是否受到支持,以及能提供何种恢复保证,都取决于具体实现和扩展接口。同样,MPI 通信本身并不是经过身份认证或加密的安全通道。
正确性检查工具可以拦截 MPI 调用,以检测集合操作不匹配、数据类型不一致、请求误用以及潜在死锁。MPI 的性能分析接口 PMPI 提供了一种标准化的拦截机制,许多跟踪和性能工具都采用了这一机制。更专门的方法则将模型检验和形式验证应用于通信行为。难点在于,执行顺序、通配符匹配、进程数量和线程机制可能共同形成庞大的可能执行空间,而一次成功的测试只能覆盖其中一部分。