远程内存访问(remote memory access,RMA)是一种访问另一处理器、进程或计算节点所属内存的方法。在并行计算和分布式计算中,该术语通常指对另一进程内存中的指定区域进行读取、写入或原子更新的操作,而不要求该进程为每次传输执行相匹配的接收操作。RMA 可以由编程库、语言运行时系统或硬件提供。其确切含义取决于具体系统:共享内存计算机内部的远程访问,与通过网络连接的计算机之间的显式传输有所不同。
范围与相关概念
“远程”描述的是发起方与所访问内存之间的关系,并不一定意味着计算机在地理位置上相距遥远。这些内存可能位于同一台计算机的另一个处理器插槽上,也可能位于计算集群的另一个节点上。
以下三个相关概念需要加以区分:
- 远程内存访问是一种访问机制或编程抽象,规定了如何对另一执行上下文所属的内存进行操作。
- **远程直接内存访问(RDMA)**是一种通信能力,网络硬件可借此在指定内存区域之间传输数据,而远端处理器几乎不参与或完全不参与传输过程本身。它可以用于实现 RMA 操作,但 RMA 并不要求具备 RDMA 硬件。
- 非统一内存访问(NUMA)中的远程访问是指处理器访问连接到另一个 NUMA 节点的内存。这通常使用共享地址空间中的普通加载和存储指令,而不是显式的网络通信接口。
这些概念存在交集,但不能互换使用。RMA 库可以通过软件消息实现传输,而 RDMA 传输机制也可以支持 RMA 编程模型以外的通信接口。
编程模型
单边通信
RMA 通常被称为单边通信。在传统的消息传递中,发送方与接收方通过相匹配的通信操作进行协调。而在 RMA 中,发起进程指定远程内存位置,并请求对其执行操作。
发起操作的进程通常称为发起方,内存被访问的进程则称为目标方。典型操作包括:
| 操作 | 效果 |
|---|---|
| Put | 将数据从发起方内存复制到目标内存区域 |
| Get | 将数据从目标内存区域复制到发起方内存 |
| Accumulate | 使用指定运算,将提供的值与目标位置上的值进行合并 |
| 原子更新 | 执行受支持的不可分割操作,例如比较并交换或取值并加 |
并非所有接口都提供全部这些操作,而且各接口对这些操作所作的保证也不相同。
“单边”并不意味着目标方无需承担任何职责。目标方通常需要参与建立可访问的内存区域、交换寻址信息,并遵守同步规则。有些实现还依赖目标方的软件推进机制或单独的推进线程。
暴露的内存与寻址
进程通常不会将整个地址空间开放给其他进程访问,而是通过应用程序编程接口暴露选定的内存区域。一个远程位置可以由进程序号、区域标识符以及区域内偏移量共同标识。
本地指针通常不足以标识远程数据。不同进程可以具有不同的虚拟内存映射,同一个数值地址可能指向彼此无关的对象。
内存区域必须在所需的整个时间段内保持有效。远程操作尚未完成时就释放或重用内存,即使发起进程已经从发出该操作的调用中返回,也可能导致错误访问。
同步与内存语义
RMA 将数据移动与协调分离。省去相匹配的接收操作,并不意味着不再需要同步(计算机科学)。
发起与完成
以下几个事件可能彼此不同:
- **发起:**操作已提交。
- **本地完成:**发起方可以根据操作类型,安全地重用操作的源缓冲区,或读取其目标缓冲区。
- **远程完成:**按照接口规则,操作已在目标方完成。
- **目标方计算可观测:**目标方代码可以安全地观察并使用操作结果。
具体如何区分,取决于操作和接口。例如,put 操作可能在数据到达目标方之前就已在本地完成。反过来,网络适配器上的完成,本身也不能确立并发执行的目标程序所需的全部顺序或可见性保证。
顺序与一致性
RMA 的内存模型定义了远程操作彼此之间,以及远程操作与普通处理器加载、存储操作之间如何相互作用。它涉及的问题包括:
- 来自同一发起方的两次写入是否按发出顺序变为可见。
- 发往不同目标方的操作之间是否存在顺序关系。
- 目标方何时可以安全地读取远程写入的数据。
- 普通本地存储操作如何与远程读取或更新相互作用。
仅有可靠的数据交付并不意味着具备这些保证。缓存一致性、通信顺序和应用程序同步是相互关联但彼此不同的属性。
一种常见模式是先写入数据块,再更新一个标志,表明该数据块已准备就绪。只有当接口保证了必要的顺序、完成状态和可见性时,这种做法才是正确的。没有这些保证,目标方可能在能够安全使用数据之前就观察到该标志。
原子性
原子操作可以在某一次更新期间防止特定类型的干扰,但不会自动使包含多个操作的更大序列也具有原子性。
例如,原子计数器递增可以支持分布式工作分配,但更新计数器和另一条独立记录,并不会因此成为一个数据库事务。程序还必须遵守将普通加载、存储与远程原子操作混合使用时的限制。即使各项操作本身都受支持,违反这些规则仍可能引入竞态条件。
主要接口
MPI 远程内存访问
消息传递接口(MPI)在 MPI-2 中将单边通信标准化,并在 MPI-3 中大幅扩展了其 RMA 功能。
MPI 通过窗口暴露内存。窗口是一种对象,用于描述关联进程组中的其他进程可以访问的内存。MPI_Put、MPI_Get 和 MPI_Accumulate 等操作引用的都是目标方窗口内的位置。
MPI 通过**访问时期(epoch)**组织访问,即由特定同步规则管理的时间区间:
- 主动目标同步要求发起方和目标方进程显式参与。栅栏同步和 post–start–complete–wait 同步提供了不同的协调模式。
- 被动目标同步使用窗口加锁和解锁操作,允许发起方启动访问,而不要求目标方在每个访问时期都执行相匹配的同步调用。
被动目标同步并不一定意味着实现可以不依赖目标处理器而独立推进。
MPI 还区分统一和分离两种窗口内存模型。分离模型区分通过 RMA 访问的窗口公共状态与通过普通本地操作访问的私有状态。统一模型在这两种视图之间提供了更强的一致性,但并未消除冲突访问所需的同步。
OpenSHMEM 与分区全局地址空间
OpenSHMEM 提供了围绕处理单元和对称数据对象组织的单边通信接口。其操作包括远程 put、get、原子更新以及同步功能。
分区全局地址空间(PGAS)语言和库将内存呈现为逻辑上共享的内存,同时保留每个部分归哪个进程或局部性域所有的信息。远程访问可能表现为语言表达式,而非显式的通信调用。
PGAS 抽象可以简化分布式数据结构,但不会使远程访问与本地访问的成本相同。一个看似简单的表达式也可能发起网络通信。
实现
硬件辅助传输
RDMA 实现通常会建立已注册的内存区域,并设置网络适配器能够执行检查的访问权限。设置完成后,适配器便可执行传输,而不要求远程应用程序将每条传入消息复制到其最终目的地。
注册过程会建立映射和保护信息。根据平台的不同,这可能涉及固定内存页、按需分页支持,或与操作系统的其他集成机制。
避免中间复制并减少中央处理器的参与,可以提高吞吐量并降低单次传输的开销。这些优势并不意味着没有设置成本,也不意味着操作的整个生命周期都无需处理器参与,更不意味着会自动完成应用层同步。
软件实现与操作推进
如果没有合适的硬件,运行时系统可以通过交换内部消息来实现 RMA。例如,远程 get 可以转化为一条请求消息,以及随后一条包含所请求数据的响应消息。
即使内部传输使用双边通信,这样的实现仍然保留了编程接口的单边特性。
操作推进可以由网络硬件、后台线程、对通信库的调用,或这些机制的组合来驱动。推进机制的行为会影响计算与通信能否真正重叠,也会影响目标方在执行无关工作时,操作能否完成。
性能与应用
当直接访问分布式数据能够避免反复进行请求—响应交换,或省去不必要的目标方处理时,RMA 就很有用。其应用包括分布式数组、不规则图处理、分布式工作队列、科学模拟,以及数据中心中以内存为核心的服务。
一个简单的传输成本近似模型为
其中, 是传输的数据量, 是有效启动延迟, 是有效传输带宽。该模型忽略了注册、同步、拥塞、争用和软件开销,但说明了为什么大量微小操作的成本可能高于较少次数的聚合传输。
重要的性能考量包括:
- **局部性:**反复进行本地访问的成本通常低于反复进行远程访问。
- **并发性:**在硬件和运行时系统允许的范围内,多个尚未完成的操作可以掩蔽延迟。
- **争用:**多个发起方更新同一目标位置,可能使执行串行化。
- **同步频率:**每次操作后都执行刷新或同步,可能使这些开销超过传输本身的成本。
- **访问模式:**连续传输通常比零散的小规模访问更能有效利用可用带宽。
- **资源限制:**已注册内存、通信队列和完成事件处理能力都是有限的。
因此,RMA 并非天然比消息传递更快。组织良好的批量消息交换可能优于细粒度远程访问,尤其是在通信可以聚合,或无论如何都需要目标方进行计算的情况下。
保护与故障处理
远程访问需要显式的访问控制。实现可以使用内存区域权限、远程访问密钥、进程隔离和硬件地址转换机制,限制哪些对等进程可以访问哪些内存。
内存访问密钥并不一定等同于身份认证或加密。防止未经授权的内存操作,与保护传输中的流量,是两个不同的问题。
故障处理也与普通本地内存访问不同。目标进程可能终止,连接可能失效,操作也可能在已产生部分效果后中断。应用程序必须谨慎理解有关完成状态和错误的保证:如果原操作的结果不确定,重试递增之类的非幂等操作可能会使其效果重复发生。
传输完成也不意味着应用层已接受数据,或数据已被持久化存储。需要可恢复更新的系统,还必须采用额外协议来确认、记录或重建这些更新。