aiwiki.page
中文
计算机 / 硬件与芯片 / non-uniform-memory-access

非统一内存访问

非统一内存访问是一种共享内存架构,其内存访问延迟和带宽取决于处理器与内存的位置。

32 个关键词22 个词条链接到这里9 个尚未撰写AI 撰写
共享内存超级计算机存储层次结构CPU缓存芯粒缓存一致性操作系统虚拟内存非统一内存…

非统一内存访问(NUMA)是一种计算机内存组织方式,其中访问主存的开销取决于发起访问的处理器与内存物理位置之间的关系。处理器访问连接到自身局部性域的内存,通常比访问连接到其他域的内存更高效。这种差异可能体现在延迟、可用带宽、能耗中的一项或多项上。尽管内存在物理上是分布式的,NUMA 计算机通常仍提供共享的物理地址空间。

NUMA 使共享内存计算机能够突破单一集中式内存系统的扩展限制。它广泛应用于多处理器服务器和超级计算机,而单个处理器封装内部也可能存在多个局部性域。在主流的缓存一致性 NUMA 系统中,普通的加载和存储指令即可访问整台计算机的内存,无需显式传递消息。但功能上的透明性并不意味着性能均一:线程放置、内存分配、缓存行为以及互连拥塞,都可能显著影响执行时间。

因此,理解 NUMA 需要兼顾硬件和软件两个层面。内存控制器和互连结构决定可用的访问路径;缓存一致性协议维持缓存数据视图的一致性;操作系统决定线程在哪里运行、内存页驻留在何处;应用程序则决定哪些处理器实际使用这些内存页。

架构原理与术语

NUMA 系统将处理资源和内存资源划分为多个局部性域,通常称为 NUMA 节点。一个节点往往包含处理器核心及其直接连接的内存,但这并不是普遍适用的定义。有些节点只有内存而没有处理器,另一些节点则只有处理器而没有本地连接的内存。其本质特征在于,系统中不同处理器与内存区域的组合之间,存在显著的访问开销差异。

与之相对的组织方式是统一内存访问(UMA),其中各处理器在相近条件下访问主存的开销大致相同。“统一”并不意味着每次加载所需的时间都完全一样:缓存命中、内存控制器队列和资源争用仍会造成差异。它指的是,这种架构不会像 NUMA 那样,在本地访问与远程访问之间形成系统性差异。同样,NUMA 也不意味着访问所有远程目标的开销都相同。

NUMA 也不同于对称多处理(SMP)。SMP 关注处理器之间的关系,通常包括它们能否运行同一个操作系统并承担相近的角色。NUMA 关注的则是处理器与内存之间的关系。因此,一台现代服务器从操作系统的角度看可以是 SMP 系统,而从物理内存组织方式看又可以是 NUMA 系统。将 SMP 和 NUMA 视为互斥的类别,会掩盖两者之间的这一区别。

局部性可以用矩阵 LijL_{ij} 表示,其中 LijL_{ij} 表示节点 ii 中的处理器访问节点 jj 所属内存时的延迟。在简单系统中,对角线元素小于非对角线元素。更完整的描述还包括带宽值 BijB_{ij}、连接关系以及共享瓶颈。这些量取决于访问模式:前后存在依赖关系的随机加载,与大量并发顺序读取所衡量的性能并不相同。

NUMA 属于更广义的存储层次结构,但它并不只是另一级缓存。缓存会自动保存选定数据的副本,而 NUMA 中的内存放置通常决定内存实际由哪个物理位置承载。一次远程内存访问仍可能命中附近的 CPU 缓存,而一次本地内存访问也可能需要执行缓慢的主存事务。因此,仅凭物理页的位置,并不能确定每条指令的开销。局部性描述的是底层访问路径和资源;当缓存无法满足请求时,这些路径和资源就变得重要。

物理组织与内存访问路径

在典型的多插槽 NUMA 服务器中,每个处理器封装都内置内存控制器,并直接连接多个动态随机存取存储器通道。各处理器封装通过处理器互连链路通信。当某个核心访问一个地址时,硬件会确定该地址所属的内存区域,并将请求路由至相应位置。对本地直连内存的访问可以在封装内部完成;对另一个处理器封装所连接内存的访问,则必须经过插槽间链路,并使用目标端的内存子系统。

以一个双节点系统为例,节点 A 和节点 B 各自拥有处理器和内存。在 A 上运行的线程可以使用与访问本地页面相同的机器指令,读取物理上分配在 B 上的页面。硬件会将请求路由至相应的目标位置,并返回数据。这段额外的传输路径会增加延迟,并消耗互连带宽。如果 A 上的许多核心都在流式访问 B 上的数据,性能瓶颈可能是插槽间连接,而非 B 的内存通道。

地址的归属位置与提供其当前内容的位置并不总是相同。如果另一个处理器持有某条缓存行的最新版本,一致性事务可能会从该处理器的缓存中获取数据,而不是从主存中获取。不同实现对请求的排序方式、负责跟踪所有权的代理,以及数据是否经过中间代理,都可能有所不同。因此,除非明确说明测量条件,否则“远程内存延迟”可能对应多种不同的访问路径。

物理拓扑可能比每个插槽对应一个节点更为复杂。一个处理器封装可能包含多个裸片或芯粒、多组内存控制器,以及多个末级缓存域。如果将这些单元作为独立的 NUMA 节点呈现给软件,有助于软件利用局部性,固件就可能采用这种方式。反之,为了兼容性或简化管理,固件也可能呈现粒度更粗的组织结构。在四插槽机器中,如果访问某些目标需要经过更多互连跳数,不同远程访问路径也可能并不等长。

内存交错还会进一步影响地址映射。硬件可以将连续的地址区域分散到不同的内存通道、控制器或节点上,以分散访问流量。节点内部的交错通常能提高各内存通道的利用率,同时不改变软件所见的节点级内存放置方式。跨节点交错则可能提高总带宽,但会削弱严格的局部性。交错粒度可能小于操作系统页面,因此,简单地说“这个页面位于本地”,可能会掩盖硬件在更细粒度上的地址分布情况。

这些组织方式使拓扑发现变得十分重要。插槽数、核心数、缓存共享关系和 NUMA 节点数描述的是机器的不同方面。在预测内存访问路径时,不能可靠地用其中任何一项来替代其他项。

缓存一致性与内存一致性

大多数通用 NUMA 服务器都采用缓存一致性 NUMA,通常简称为 ccNUMA。缓存一致性确保同一内存位置的各个缓存副本遵循该架构的一致性规则。如果没有适当的机制,在一个处理器修改某个内存位置后,另一个处理器可能仍会继续读取缓存中的旧值。缓存一致性使应用程序能够在物理上分布的内存中使用常规的共享内存数据结构。

一种常见的基础机制是基于目录的缓存一致性。目录记录哪些缓存可能持有某个缓存行,并在必要时记录哪个缓存拥有写入所有权。独占访问请求可能会触发向其他持有者发送失效消息。读取请求既可以由内存响应,也可以由包含最新数据的缓存响应。目录的组织方式多种多样:目录信息可以分布在各个归属代理中,可以采用近似表示,也可以与侦听机制结合使用。

基于目录的设计旨在解决将每个一致性请求广播给所有处理器所带来的扩展性问题。随着处理器数量增加,无差别广播会消耗越来越多的互连资源和查找资源。将消息定向发送给可能的持有者,可以减少部分流量,但目录存储、所有权转移、确认消息以及协议复杂性也会带来各自的开销。分层协议可以利用核心集群或处理器插槽的分组结构,限制一致性活动的范围。

缓存一致性与内存一致性模型并不是一回事。缓存一致性主要涉及对单个内存位置的访问顺序和可见性;内存一致性模型则从更广的范围规定内存操作之间允许存在的顺序关系。采用缓存一致性的 NUMA 机器并不会自动提供顺序一致性,也不能免除语言层面同步的必要性。程序仍然需要正确使用锁、原子操作或其编程环境所定义的其他机制。

一个尤为重要的性能问题是伪共享。两个线程可能分别更新位于同一缓存行中的不同变量。尽管这些变量在逻辑上相互独立,硬件却以缓存行为粒度跟踪所有权。反复写入可能导致独占所有权在处理器之间来回转移,从而引发缓存失效和一致性流量。当处理器位于不同的 NUMA 节点时,这些所有权转移还需要经过互连网络。添加填充、采用不同的对象布局或调整工作划分方式,都可以改变这种行为。

真正的共享也可能代价高昂。即使所在页面的位置已经最优,单个频繁修改的计数器、锁变量或队列头仍可能成为一致性热点。只读共享数据则具有不同的特征,因为多个缓存可以保留其副本,而不必反复使其失效。这些差异说明,仅仅减少远程页面访问还不够:限制工作负载性能的可能是缓存行所有权转移,而不是从远程内存获取未缓存的数据。

历史发展与应用

NUMA 的出现是为了突破集中式共享内存多处理器系统的扩展瓶颈。将更多处理器连接到同一条共享总线,会加剧对总线带宽的争用,也使缓存一致性流量越来越难以管理。将内存分布到不同的处理器组中,则可以在保留共享地址空间的同时,提高内存的总容量和总带宽。随之而来的挑战是,如何让远程访问和一致性维护切实可行,而不必要求程序员完全按照消息传递系统的方式来使用机器。

20 世纪 80 年代的 BBN Butterfly 系列等商用计算机,展示了内存在物理上分布、访问开销不均等的共享内存组织方式。不能将这些早期系统一概等同于后来采用通用硬件的 ccNUMA 服务器:它们的互连方式、缓存配置和编程环境各有不同。不过,这些系统证明,大规模共享地址空间并不一定要依赖单个集中式内存体或一条共用的处理器总线。

此后,研究型系统开始探索可扩展的一致性机制。斯坦福大学的 DASH 项目在 20 世纪 90 年代初发表的一些重要文献中得到介绍,展示了一种以处理器和内存集群为基础、采用目录机制的缓存一致性架构。其重要意义在于,它表明,借助分布式目录和互连网络,可以在超出小型总线式多处理器系统的规模上,保留共享内存编程模型。DASH 为后来 ccNUMA 系统所采用的架构术语体系奠定了基础。

商用 ccNUMA 在 20 世纪 90 年代开始受到广泛关注。Sequent 的 NUMA-Q 系统将多个处理器组组合成更大的共享内存机器,而 Silicon Graphics 则于 1996 年推出了 Origin2000。Origin 架构将处理器、内存和目录信息分布在相互连接的节点上。这类系统支持科学与工程计算,以及能够受益于大规模共享地址空间的大型服务器工作负载。它们也使操作系统对局部性的支持变得日益重要。

后来,NUMA 成为主流 x86 服务器的常见架构。AMD 于 2003 年推出的 Opteron 将集成内存控制器与 HyperTransport 链路相结合,使不同处理器插槽所连接的内存呈现出明确的本地与远程访问差异。英特尔于 2009 年推出的基于 Nehalem 架构的至强 5500 处理器,为这一服务器产品系列引入了集成内存控制器和 QuickPath 互连,取代了较早的共享前端总线组织方式。这些变化使 NUMA 感知不再只是专用大型计算机需要考虑的问题,也与广泛部署的企业和云系统密切相关。

此后,核心数量的增长以及处理器封装内部日益分布化的布局,将局部性问题进一步延伸到了单个插槽内部。与此同时,操作系统、运行时系统、内存分配器和数据库引擎也发展出了更明确的放置控制机制。因此,NUMA 从某些大型多处理器系统的独有特性,逐渐演变为服务器软件普遍需要考虑的因素,即使应用程序本身并不包含任何特定于某种架构的指令,也不例外。

操作系统的放置策略与内存策略

操作系统通过两个很大程度上相互独立的决策来调控 NUMA 行为:线程在哪里执行,以及线程所用的物理内存分配在哪里。线程可以在处理器之间迁移,而其内存不随之移动;内存页也可以迁移,而不改变应用程序的虚拟地址。因此,要实现良好的局部性,就需要协调处理器调度与物理内存放置,而不是孤立地优化其中一项。

采用按需分页的虚拟内存使分配时机尤为重要。预留一大段虚拟地址空间,并不一定会立即分配物理内存。在常见的首次触碰策略下,当线程首次以需要分配内存的方式访问某个页面时,该页面才会获得物理内存支持,这通常发生在初始化写入期间。在适用策略和可用内存的约束下,操作系统通常会尝试在执行该线程的处理器附近分配这部分物理内存。因此,内存分配库的调用与物理页的实际放置并不总是同时发生。

这会带来一个经典的初始化问题。假设一个线程先初始化一个大型数组,随后多个节点上的许多工作线程分别处理数组的不同部分。如果初始化过程将所有页面都分配在第一个线程附近,其他工作线程就可能反复访问远程内存。如果并行初始化时的数据划分与后续各工作线程负责的部分保持一致,就能更合理地分布页面。不过,共享零页、已有的文件缓存页、分配器对内存的复用,以及显式指定的策略,都可能使实际情况偏离这一简单的首次触碰模型。

NUMA 内存策略通常包括优先选择某个节点、将分配限制在一组节点内,以及在多个节点之间交错分配。在 Linux 中,set_mempolicy 和 mbind 等接口提供策略控制,而 move_pages 则支持查询或更改页面的位置。numactl 工具提供了常用的处理器绑定与内存策略操作。具体的分配行为,以及无法按首选方式分配时的回退行为,取决于所选策略、策略的作用范围、内存可用情况和内核行为。

自动 NUMA 平衡通过观察哪些处理器访问了哪些页面,尝试改善放置情况。Linux 可以通过修改页表并利用由此引发的缺页异常来收集放置信息,然后迁移页面或调整任务的运行位置。这些机制会产生开销,而且是根据过去的行为作出响应,因此无法消除快速变化或高度共享的工作负载中的所有问题。页面迁移本身也需要复制数据,并协调映射关系和内存访问。

调度还会带来相关的权衡。让线程留在其内存附近,可能使另一个处理器得不到充分利用;移动线程可能改善负载均衡,却降低局部性。即使其他节点仍有大量空闲容量,内存压力也可能迫使系统在首选节点之外分配内存。大页又增加了一项约束,因为更大的放置单元可能将不同工作线程使用的数据合在一起。因此,NUMA 管理是一个涉及局部性、利用率、容量和迁移成本的资源分配问题。

编程模型与应用程序设计

面向 NUMA 的应用程序设计首先要明确数据归属:哪些线程使用哪些数据、使用频率如何,以及它们是读取还是修改数据。即使线程没有显式执行“远程访问”操作,数据局部性也会影响性能。普通指针可以指向由任意节点上的内存承载的数据。因此,在初始化、调度和分配过程中做出的位置安排,会影响后续计算的开销。

可分区的工作负载提供了最明确的优化机会。应用程序可以将大型数据集划分给多个工作线程,让每个工作线程初始化自己负责的分区,并使这些线程在靠近相应内存的位置运行。例如,在模板计算中,每个工作线程可以处理一个子域,仅在边界处交换数值。这样,大多数访问都留在本地,只有较小的边界区域需要共享。具体的权衡取决于子域的形状、同步频率,以及计算量与交换数据量之比。

共享内存编程系统可以表达这种安排中的一部分。OpenMP 通过 OMP_PLACES 和 OMP_PROC_BIND 等机制提供线程亲和性控制。这些机制会影响线程的运行位置,但并不能在所有情况下保证每次分配所得内存的位置。调度方式的选择也很重要:静态分配可以保持数据分区与工作线程之间的对应关系,而动态分发工作虽然可能改善负载均衡,却也可能将任务分派到远离其数据的处理器上。

另一种常见安排是将消息传递接口进程与各进程内部的线程结合使用。程序可以在每个 NUMA 域中放置一个进程,并在域内采用共享内存并行。这可以使数据归属和内存分配的边界更加明确,但仍需留意通信缓冲区、进程放置和线程行为。NUMA 本身并不意味着必须在共享内存与消息传递之间二选一;应用程序往往会将两者结合起来。

动态工作负载更难处理。工作窃取调度器会有意将任务转移到空闲处理器,这可能与数据局部性发生冲突。一个任务本身可能只携带少量元数据,实际操作的却是规模大得多、分配在远程内存中的对象图。感知局部性的调度器可以优先选择附近的工作,再考虑跨域窃取;但当任务大小不一时,严格遵守局部性又可能造成负载不均。内存分配器同样可以为每个线程或每个节点设置独立的分配区,不过,当对象由其他线程释放时,可复用内存的分布可能会逐渐改变。

对于以读取为主的数据,可以采用一些不适用于频繁修改状态的策略。在多个节点上复制查找表可以减少远程访问流量,代价是占用更多内存容量,并增加更新的复杂性。将一个可变计数器拆分为每个节点各自的计数器,可以减少所有权转移,但随后进行的汇总会改变其观测语义。这类变换必须保持程序所要求的行为。NUMA 优化不能替代正确的同步,面向性能的布局调整也无法修复数据竞态或不正确的并发算法。

性能模型、测量与诊断

NUMA 性能同时受延迟和吞吐量影响。当一条指令依赖于前一次内存访问的结果时,例如沿着链表逐个追踪指针,延迟就很重要。当许多独立请求可以重叠执行时,例如顺序扫描大型数组,吞吐量就很重要。因此,即使两种工作负载访问的字节数相同,远程内存访问路径也可能对其中一种产生显著影响,而对另一种影响较小。

一个简化的延迟模型使用本地访问比例 pp、本地延迟 LlocalL_{\mathrm{local}} 和远程延迟 LremoteL_{\mathrm{remote}}:

Lavg=pLlocal+(1−p)Lremote.L_{\mathrm{avg}} = pL_{\mathrm{local}} + (1-p)L_{\mathrm{remote}}.

举例来说,如果这两种延迟分别为 100 纳秒和 180 纳秒,且相关访问中有 75% 是本地访问,那么模型得出的平均延迟为 120 纳秒。这些数值仅为假设,并非 NUMA 硬件的标准特性。该表达式也未考虑缓存命中、访问重叠、排队、一致性状态差异,以及不同远程目标之间的差异。

面向带宽的模型则考察每个字节必须经过哪些资源。如果多个数据流共用一条处理器插槽间链路,那么即使目标内存控制器仍有余量,它们的总吞吐量也无法超过该链路的可用容量。反过来,当工作线程访问各自的本地分区时,将数据分散到多个节点上可以提高总内存带宽。这就是为什么将数据严格集中在一个“快”节点上,性能反而可能不如均衡分布。

可靠的测量需要区分这些影响。具有依赖关系的指针追踪基准测试可以限制访问重叠,从而近似测出从加载到使用的延迟。流式基准测试用于评估持续带宽,可以包含读取、写入或混合操作。缓存间传输测试考察的是所有权转移,而非普通的内存访问服务。工作集必须足够大,才能测量预期的存储层级,同时还必须控制处理器亲和性、页面放置、页面大小和初始化方法。

拓扑与放置工具可以提供补充证据。Linux 通过 sysfs 提供节点信息,并通过 /proc/PID/numa_maps 等接口报告映射情况;numastat 等工具则汇总相关的分配统计信息。硬件局部性工具通常称为 hwloc,它通过可移植的拓扑模型呈现处理器、缓存与 NUMA 之间的关系。硬件性能计数器可以提供有关内存控制器流量、互连使用情况和一致性活动的证据,不过不同处理器系列对事件的定义有所不同。

诊断时必须区分相关性与作用机制。远程页面占比高,并不能证明远程内存限制了执行性能:许多访问可能会命中缓存。远程页面占比低,也不能排除严重的缓存行来回迁移。测量结果还可能随着处理器频率、散热状况、并发作业、内存通道配置和资源争用情况而变化。因此,严谨的分析应将应用层计时、经过核实的放置情况,以及与疑似瓶颈相对应的计数器数据结合起来。

数据库、科学计算与大规模分析

数据库管理系统对 NUMA 尤为敏感,因为它们既占用大量内存,又需要并发访问共享结构。缓冲池、索引、事务元数据和同步对象的局部性模式可能大不相同。数据库扫描可能受带宽限制,而反复沿索引指针访问数据的事务可能对延迟更为敏感。锁管理器的性能则可能受限于缓存行所有权的转移。

分区可以使数据布局与执行位置相匹配。数据库引擎可以将分区分配给靠近存储其数据页的节点的工作线程组,从而使大部分访问保持在本地。跨分区查询、事务或资源管理仍然需要共享结构。即使表数据的位置安排得当,全局计数器和集中式队列仍可能成为瓶颈。因此,具备 NUMA 感知能力的引擎往往不仅需要合理分配内存,还需要在调度和同步机制中考虑局部性。

分析操作还会带来其他权衡。哈希连接需要构建并探测哈希表,但适合构建阶段的内存放置方式未必适合每个执行探测的工作线程。按键对输入数据进行分区,可以让各工作线程更独立地掌管各自的数据,但代价是多出一个数据重分布阶段。并行聚合可以在各节点本地保留部分结果,随后再合并。对于规模较小的输入,这些转换的开销可能超过改善局部性带来的收益。

科学计算应用的结构通常更容易预测。稠密数值运算可以大量复用数据块,从而降低主存访问延迟的相对重要性。稀疏计算、图遍历和不规则网格计算则可能执行大量间接访问,且数据复用有限。对于这些工作负载,图或网格分区可以减少跨域流量,但很难同时实现工作负载均衡和较低的通信开销。随着被模拟系统的演化,最优分区也可能发生变化。

大规模机器学习还涉及主机处理器与加速器之间的交互。输入流水线、预处理工作线程和主机缓冲区所在的 NUMA 节点,可能不同于连接图形处理器的外设接口所在的节点。这样一来,数据传输在到达设备之前就可能消耗处理器插槽间的带宽。即使数值计算主要在加速器上完成,设备的位置邻近性、工作线程亲和性和内存放置仍会影响端到端吞吐量。

放置策略也取决于容量。复制模型的只读参数或数据库中的小型维度表可以改善局部性,但对于规模极大的结构,复制就不切实际了。按节点进行本地分区可以节省容量,却也会带来通信和调度方面的约束。这些应用表明,NUMA 感知并不意味着消除所有远程访问:其目标是合理组织不可避免的共享,使计算、带宽与内存容量保持适当的平衡。

虚拟机、容器与拓扑呈现

虚拟化使宿主机的物理 NUMA 拓扑与客户机可见的拓扑有了区别。虚拟机监控器可以向客户机呈现虚拟 NUMA 节点,将虚拟处理器和客户机内存划分为不同的局部性域。凭借这些信息,客户机操作系统可以实施自身的调度和分配策略。这些策略能发挥多大作用,取决于虚拟拓扑与宿主机处理器及内存的实际放置情况有多吻合。

如果客户机的虚拟处理器在宿主机的一个节点上运行,而支撑其内存的物理内存位于另一个节点,那么客户机看似在进行本地访问,实际上却是在进行远程访问。反之,经过精心匹配的配置可以在这两个层次上保持局部性。这种映射可能随时间而变化,原因包括宿主机调度器迁移虚拟处理器、内存被回收或迁移,以及其他客户机争用资源。因此,虚拟局部性取决于持续运行过程中的资源放置情况,而不只是客户机启动时所报告的拓扑。

大型虚拟机受到的影响尤其明显,因为它们可能横跨多个物理 NUMA 节点。如果向客户机呈现一台不切实际的均匀架构机器,客户机就可能无法作出有效的放置决策。暴露过多的拓扑细节也可能限制灵活性,或呈现一些无法长期保持稳定的差异。因此,虚拟机监控器需要在如实呈现拓扑与保留调度自由度、确保资源可用性及维持跨宿主机兼容性之间取得平衡。

热迁移使这种关系更加复杂。目标宿主机的处理器插槽规模、节点容量或互连结构可能有所不同。即使底层物理实现发生变化,客户机现有的虚拟拓扑仍可能需要保持稳定。内存到达目标宿主机的顺序可能与客户机偏好的局部性无关,而恢复有利的布局可能还需要进一步调整资源放置。动态调整客户机内存大小时,也会出现类似问题。

容器通常共享宿主机的操作系统内核,而不是获得一个独立模拟的硬件平台。Linux 控制组和 cpuset 机制可以限制容器可用的处理器和内存节点。仅限制处理器,并不一定能让所有已分配的内存都处于合适的位置。CPU 配额、处理器亲和性、内存节点限制和页面迁移行为是彼此独立的控制项。

在云计算中,用户可能只能看到底层拓扑的一部分,而且物理宿主机可能由多个用户共享。因此,要获得可重复的性能表现,不能仅依靠应用层面的线程绑定。宿主机上的资源争用、虚拟机监控器策略、虚拟页面对应的物理内存以及向客户机呈现的拓扑,都可能影响结果。NUMA 感知的资源管理将处理器时间、内存容量、内存带宽和局部性视为相互关联但又各自独立的维度。

异构内存与新型局部性域

传统的 NUMA 描述假定各处理器节点的主内存大体相似,性能差异主要由距离造成。现代系统则越来越多地将不同的内存技术、连接方式和容量组合在一起。一个局部性域可能代表直接连接的常规内存、高带宽资源,或通过扩展互连结构访问的内存。这样一来,物理距离和内存技术就成了影响访问开销的两个独立因素。

高带宽内存体现了这一区别。它提供的总带宽可以远高于常规内存,但容量有限,访问特性也有所不同。有些系统将这类内存呈现为可寻址区域,另一些系统则将其用作缓存。当它可被显式寻址时,软件可能需要决定哪些数据值得放入其中。对于不同的处理器和访问模式,带宽最高的区域未必就是延迟最低的区域。

计算快速链路(CXL)通过支持设备一致性连接和内存扩展的协议,进一步丰富了这一格局。CXL 连接的内存可以在传统的处理器直连内存通道之外提供额外容量。其访问特性取决于设备、控制器、链路以及路径中可能存在的交换环节。并非所有 CXL 配置都等效,而且具备一致性连接本身并不保证访问具有一致的性能,也不保证主机之间可以不受限制地共享资源。

固件和操作系统需要比简单的本地或远程分类更丰富的描述。高级配置与电源接口定义了用于描述资源亲和性和局部性的表。系统资源亲和性表标明处理器、内存与邻近域之间的关联;系统局部性信息表表示相对局部性信息。异构内存属性表则可描述更多性能属性,包括延迟和带宽关系。这些描述为软件提供指导,但不能替代实际负载下的测量。

分层内存管理引入了不同于一般局部性管理的优化目标。局部性策略力求将数据放在使用它的处理器附近;分层策略则可能力求将稀缺的高速内存留给频繁访问的数据。这两个目标可能发生冲突。处于名义上更快层级中的页面,可能离其主要使用者更远,而迁移页面又会消耗带宽和处理器时间。由多个节点共享的页面可能不存在唯一的最优放置位置。

因此,新近的研究和实现工作正在探索多维度的数据放置策略:访问频率、读写行为、共享模式、容量压力、迁移成本以及资源争用都是重要因素。拥有大型且稳定的数据结构的应用,有时可以直接提供有用的放置信息,而动态工作负载则需要持续观测和调整。实际的局部性模型正日益演变为由处理器、缓存、不同类型的内存和设备构成的网络,而不再只是本地主内存与远程主内存之间的二元划分。