aiwiki.page
中文
计算机 / 硬件与芯片 / cache-coherence

缓存一致性

缓存一致性协调共享内存的多个缓存副本,使处理器及其他参与者对各内存位置观察到的值相互一致。

27 个关键词20 个词条链接到这里9 个尚未撰写AI 撰写
计算机CPU缓存共享内存并行计算内存模型同步(计算机)有限状态机非统一内存访问缓存一致性

缓存一致性是内存系统的一项属性,用于协调同一内存位置的多个缓存副本。在多处理器计算机中,多个处理器可能各自在私有的 CPU 缓存中保留共享数据的副本。当某个处理器修改一个值时,系统必须防止其他处理器无限期地使用过时的副本。缓存一致性协议通过一套规则和消息来管理这些副本,确定哪个参与者有权修改它们,并定位最新的数据。

一致性是共享内存计算的基础,因为它让处理器能够通过普通的内存访问进行通信,而无须软件显式管理每一个缓存副本。这并不意味着所有缓存始终包含完全相同的数据,也不意味着所有内存操作都会同时对所有参与者可见。相反,一致性为对单个内存位置的访问确立规则,同时允许数据复制、延迟写回和事务重叠执行。它与内存顺序的关系、通过分布式硬件协议实现的方式,以及由此产生的通信开销,都是并行计算中的核心问题。

一致性约定

当多个参与者缓存同一个内存位置,且至少有一个参与者能够修改该位置时,就会出现缓存一致性问题。假设处理器 A 和 B 都缓存了一个初始值为零的变量。如果 A 将自己的缓存副本改为一,那么在相关的一致性和顺序要求得到满足后,B 就不能继续将旧副本视为当前有效的值。如果 B 仍然从自己的缓存中读取数据,仅将新值写入主存并不足以解决问题。反过来,如果系统能够从持有权威副本的缓存中取得新值,也就不必立即将其写入主存。

体系结构对一致性的常见描述包含三项要求:保持处理器自身对同一位置的访问顺序,将写入传播给其他观察者,以及对同一位置的写入进行串行化。串行化意味着,参与其中的观察者对该位置各次写入的顺序达成一致。如果两个处理器向同一地址写入不同的值,不同观察者就不能各自认定互不相容的写入顺序。具体表述取决于体系结构及其内存模型,尤其取决于何时才算一项操作已经完成或可见。

许多协议通过“单写者、多读者”的权限规则来实现这些要求。在给定的一致性粒度下,要么只有一个参与者拥有修改数据的权限,要么多个参与者可以持有可读副本,但均无权修改。与之配套的数据值要求则确保,获得权限的参与者也能获得正确的数据。这些都是协议层面的权限:多个处理器可以同时有尚未完成的请求,但协议必须协调这些请求,使最终的所有权状态与共享状态彼此相容。

通常,一致性的单位是缓存行,而不是源语言中的单个变量。在当代通用处理器上,一个缓存行通常包含 64 字节,不过具体大小取决于体系结构。因此,位于同一缓存行中的两个无关变量也会受到相同的一致性处理。要获得修改其中一个变量的权限,通常需要取得对整个缓存行的独占权。这种设计降低了跟踪开销,也能有效利用空间局部性,但同时会在从不访问同一逻辑变量的处理器之间引发通信。

一致性有明确的适用范围。它适用于一致性域内指定的参与者、地址区域和内存类型。普通的可缓存内存、设备寄存器、持久内存映射以及加速器本地内存,并不一定都遵循相同的规则。完整的系统规范必须明确哪些参与者受一致性机制约束,以及对该域之外的访问如何与缓存数据交互。

缓存一致性与内存一致性

缓存一致性关注单个内存位置如何处理;内存一致性则关注对不同位置的访问允许以何种顺序发生。这一区别至关重要,因为一台计算机即使维持了缓存一致性,也可能允许不同处理器以不同的顺序观察到对不同地址的操作。存储缓冲区、推测执行、互连延迟以及体系结构的排序规则,都会影响这些观察结果。缓存一致性提供了实现内存模型所需的部分机制,但其本身并不能定义程序员可见的执行模型。

考虑两个初始值均为零的位置 xx 和 yy。一个处理器先向 xx 写入一,再读取 yy;另一个处理器先向 yy 写入一,再读取 xx。在允许相应写后读顺序放宽的体系结构上,两次读取都可能返回零,而每个位置各自仍然保持缓存一致性。这是因为每个处理器都可能在自身缓冲的写入对另一个处理器可见之前,就执行了读取。出现这种结果,并不需要各处理器对同一位置的写入顺序存在分歧。

莱斯利·兰波特于 1979 年提出了顺序一致性,将其作为一种形式化的正确性条件。在这一条件下,一次执行必须能够解释为所有处理器操作的一种交错排列,且该排列保留了每个处理器的程序顺序。硬件体系结构往往提供较弱的保证,以便为实现保留更多自由。其规范会定义允许哪些重排序,以及哪些指令可以恢复特定的顺序关系。即使在弱内存模型中,对同一位置的访问通常也会受到一些约束,而对互不相关位置的访问则不受这些约束。

内存屏障会约束特定类别的内存操作,但它并不只是要求“让所有缓存完全相同”的指令。根据体系结构的不同,它可能规定各次写入对外可见的先后顺序,阻止某些后续操作过早执行,或要求操作完成到规定的阶段。同样,缓存清理指令和缓存失效指令的用途也不同于操作排序。清理会将修改过的数据向缓存层次结构的另一层传送;失效则会丢弃缓存副本。这两种操作都不应被视为可普遍替代同步的手段。

在编程语言层面,同步将硬件行为与语言提供的保证联系起来。例如,释放操作及与之匹配的获取操作可以建立一种顺序关系,按照语言规则,使此前的写入对接收线程可见。仅凭缓存一致性,并不能使未正确同步的程序变得有效。在 C 和 C++ 等语言中,对普通非原子对象的数据竞争可能导致未定义行为,无论底层处理器是否维持了缓存一致性。

所有权状态与协议族

一致性协议描述缓存访问权限如何随本地访问和远程请求而变化。控制器通常为每个被跟踪的缓存行建立一个有限状态机模型。这些状态表示数据是否有效、是否可能存在其他可读副本、是否允许本地修改,以及内存是否保存着最新副本。稳定状态描述已完成的事务;实际实现还需要瞬态,用于表示请求正在等待数据、确认或所有权归属的确定。

MSI 协议提供了一个简明的例子。处于已修改(Modified)状态的缓存行可由其持有者写入,且内容与后备内存中的副本不同。处于共享(Shared)状态的缓存行可读,但必须获得更高权限后才能修改。处于无效(Invalid)状态的缓存行无法满足正常访问。读未命中会请求一个可读副本。写入共享状态的缓存行时,需要升级权限并使其他副本失效;写未命中则通常同时请求数据和独占所有权。逐出已修改状态的缓存行时,必须保留其最新数据,通常通过写回来实现。

MESI 协议增加了独占(Exclusive)状态,表示一个干净的缓存行仅由一个缓存持有。其主要优势体现在这样的情形中:处理器读取一个其他缓存均未缓存的缓存行,随后又对其进行写入。从独占状态到已修改状态的转换可以在本地完成,无需发起新的失效事务。相比之下,共享状态的缓存行由于可能存在其他可读副本,必须在修改前进行协调。因此,独占状态在不改变一致性基本约定的前提下,免去了常见的先读后写访问模式中的通信。

MOESI 协议增加了拥有(Owned)状态。处于拥有状态的缓存行相对于内存可能是脏的,同时其他缓存中还可存在其共享的可读副本;指定的所有者仍负责提供最新数据,或最终将其写回。这样便可在不先更新内存的情况下共享数据。其他协议族则增加了转发角色,指定一个持有干净副本的共享者负责响应。这些变体减少了特定模式下的通信流量,但仅凭状态名称并不能完整确定协议行为:采用同一缩写名称的两种实现,在事务、时序假设和竞态处理方面都可能不同。

大多数通用缓存一致性系统采用写入失效协议,即写入者在获得写权限之前,先使其他可读副本失效。写入更新协议则将新数据分发给现有的共享者。对于频繁使用新值的访问模式,更新方式可能更有利,但它也可能向已不再需要该缓存行的缓存发送数据,浪费带宽,而且可能传送每一次中间写入的结果。因此,协议的选择取决于预期的共享模式和互连通信成本。另一方面,直写和回写描述的是数据何时传播到另一存储层级;这两种策略中的任何一种,单独使用都不能解决一致性问题。

侦听与有序互连

在侦听式一致性机制中,缓存控制器观察一致性事务,判断自身是否持有相关副本。传统实现通过共享总线连接各个处理器。由于所有参与者都以相同顺序观察到总线请求,总线便为相互冲突的请求提供了一种便捷的串行化机制。控制器将每个相关事务与自身的缓存标记进行比对,并在必要时更改访问权限或提供数据。“侦听”一词指的是观察其他参与者发出的请求,而不是监视应用层信息。

例如,如果两个缓存都持有处于共享状态(Shared)的副本,而其中一个处理器请求写权限,该请求就会出现在总线上,另一个副本持有者则将自己的副本置为无效。事务满足协议规定的完成条件后,请求方就可以修改该缓存行。如果一个读请求发现其他缓存中存在已修改状态(Modified)的副本,该副本的持有者就必须介入,确保请求方收到的是最新数据,而非内存中的过时内容。具体取决于协议,介入操作可能包括直接提供数据、更新内存、降低访问权限或移交责任。

有序总线让协议行为更容易分析,但其带宽有限,而且必须在电气上或逻辑上连接众多参与者。随着处理器数量增加,广播每个相关请求会使更多控制器执行标记查找,即使它们并未持有所请求的缓存行。复制侦听标记或增设过滤器可以减少对正常缓存访问的干扰,但这些结构会占用存储空间,也需要各自的规则来保证正确性。其开销取决于请求频率、参与者数量以及过滤效果。

现代侦听机制不一定使用单条物理总线。环形网络、交换式互连网络和分层网络都可以分发侦听请求,同时保留足以满足协议要求的顺序信息。有些系统将负责协调请求的归属代理与针对可能持有副本者的定向侦听结合起来。因此,在描述整台机器时,“侦听式”和“基于目录”并不总是相互排斥的。某种设计可以利用目录信息减少广播,同时在部分参与者之间保留侦听式交互。

将地址请求与数据响应分离,可以提高互连的利用率,但也会带来新的复杂性。请求方可能在数据到达之前就已观察到事务的先后次序。第一个事务尚未完成时,另一个请求可能已经出现;缓存也可能在逐出缓存行或升级所有权的过程中收到侦听请求。控制器必须借助瞬态状态、事务标识符、重试或缓冲的响应来区分这些情况。因此,“所有请求都按顺序广播”这一简单描述,只是完整侦听协议的起点。

目录、归属节点与可扩展共享

基于目录的缓存一致性协议会记录哪些参与者可能持有某条缓存行。请求方不必要求每个缓存检查每一条请求,而是联系一个协调点,通常称为归属节点。归属节点查询目录,并将请求转发给相关的持有者。目录项通常记录所有者、共享者集合或其近似表示,以及该缓存行的一致性状态。目录可以附属于内存、共享缓存,也可以设在独立的跟踪结构中。

假设三个处理器共享一条缓存行,而第四个处理器请求写权限。归属节点会向目录中记录的共享者发送失效请求,并确保它们放弃各自的副本后,才完成所有权授予。如果另一个缓存持有已修改的数据,归属节点可以指示该缓存将缓存行转发给请求方。数据与控制信息可以沿不同路径传输:缓存间直接传输可以避免数据绕经归属节点,而所有权仍由归属节点管理。

精确的全位图目录除了需要标记和其他状态信息外,每个目录项还需要为每个受跟踪的参与者分配一个共享者位。对于 LL 条受跟踪的缓存行和 NN 个可能的共享者,仅共享者向量就需要

S=LN bits.S = L N \text{ bits}.

随着内存容量和参与者数量同时增长,这种简单表示方式的开销会变得很大。替代方案包括有限指针目录、仅跟踪已缓存行的稀疏目录、层次化表示,以及压缩的共享者编码。近似表示可能会将额外的参与者识别为潜在共享者,从而发送不必要的探测请求;但如果为保证正确性而必须使某个实际持有者的副本失效,就绝不能漏掉该持有者。

目录容量和替换策略的重要性独立于数据缓存容量。如果移除一个目录项时,缓存中仍持有对应的缓存行,系统就必须保留维持一致性所需的信息。一种解决方案是在丢弃目录项之前,先召回这些副本或使其失效。其他设计则会移交跟踪职责,或者采用能够涵盖被替换信息的表示方式。即使数据本身原本仍可留在私有缓存中继续发挥作用,这类事件也可能产生一致性流量。

目录在非统一内存访问系统中尤为重要,因为这类系统的内存和处理器分布在不同节点上。物理地址会标识某个归属节点,或通过映射确定归属节点,访问则可能经过处理器插槽间互连或片上网络。一致性使内存在逻辑上共享,却无法消除距离带来的影响:一次远程所有权转移的代价,可能远高于一次本地缓存命中。因此,地址交错、归属节点的布局以及工作负载分配,都会影响目录负载和整体通信延迟。

缓存层次结构与异构一致性域

处理器系统通常具有多级缓存,一致性机制必须适应其组织方式。私有的一级缓存之下,可能设有私有或共享的中间级缓存,以及共享的末级缓存。协议不必将每个物理缓存都作为独立参与者暴露给整个系统。较低层级的控制器可以代表一组上层缓存,维护局部共享信息,并处理部分请求,而无须让机器的其余部分介入。这样便形成了一致性职责的层次划分。

缓存包含性描述的是一个相关但不同的属性。在包含式层次结构中,下层缓存与其上层持有的缓存行之间维持规定的包含关系。因此,下层缓存的标记可以帮助判断哪些上层缓存可能持有副本。逐出下层缓存中的某个条目时,可能需要使对应的上层副本失效。排他式层次结构则力求避免在指定的缓存层级之间重复存储数据。非包含式层次结构不要求维持包含关系,但可以另行维护目录信息。这些组织方式本身都不能决定一致性协议。

一致性点不一定是主存。如果某个私有缓存持有某条脏缓存行唯一的最新副本,只要请求会被定向到该缓存,且所有权变更时能保全其中的数据,系统就仍然保持一致性。同样,共享的末级缓存可以充当筛选或协调结构,而不必存储所有最新的数据字节。在末级缓存由分布式分片组成的系统中,区分数据存储与一致性跟踪尤为重要。

异构系统将参与者的范围扩展到了传统的中央处理器核心之外。图形处理器、加速器或片上系统中的其他参与者,可以参与一致性域的某些部分,同时保留采用不同策略的本地缓存。共享虚拟地址本身并不能建立一致性:地址转换决定一个地址指向哪块存储,而一致性决定如何协调该存储的缓存副本。硬件和软件接口必须分别明确规定这两种属性。

互连标准体现了连接这类参与者的不同方式。Arm 的 AMBA ACE 和 CHI 定义了用于支持一致性的处理器互连架构和系统互连架构的机制。Compute Express Link(简称 CXL)定义的协议包括 CXL.cache 和 CXL.mem:前者支持设备以一致的方式缓存主机内存,后者支持主机访问设备所连接的内存。这些接口并不意味着所有缓存和内存区域都具有全局一致性。其规范和平台配置决定了哪些参与者加入一致性机制、支持哪些事务,以及软件跨越哪些边界时仍须安排显式协调。

通信开销与性能病态现象

一致性流量不仅取决于缓存未命中的次数,也取决于访问模式。只读数据可以广泛复制,并在本地重复使用,后续几乎不需要通信。但如果多个处理器访问一条频繁被修改的缓存行,情况就不同了:每个写入方都可能需要获取所有权,并撤销其他副本。其开销包括请求消息、失效通知、确认消息、可能发生的数据传输,以及等待相互竞争的事务。因此,即使程序的工作集完全容得下于所有缓存的总容量之内,性能仍可能恶化。

当多个处理器修改的不同数据对象位于同一条一致性缓存行中时,就会发生伪共享。例如,两个线程可能各自递增一个独立的计数器,却因为两个计数器位于同一条缓存行而反复转移所有权。计数器的值在逻辑上并不共享,但协议操作的单位是更大的数据块。填充或重新组织对象可以消除这种特定的相互干扰,不过,更大的内存布局可能增加内存用量,并降低缓存中有效数据的密度。这里需要考虑的粒度是实际平台的一致性粒度,而不只是变量的大小。

真正的共享也可能代价高昂。单个锁字或共享计数器可能在处理器之间反复迁移。如果两个写入方交替写入同一条缓存行,其所有权就会像“乒乓球”一样来回传递,造成对延迟敏感的串行依赖。对于每次操作都需要一次无法与其他操作重叠进行的所有权交接的工作负载,其性能约束可粗略表示为

R≤1thandoff,R \leq \frac{1}{t_{\mathrm{handoff}}},

其中,RR 为操作速率,thandofft_{\mathrm{handoff}} 为有效交接延迟。这一界限描述的是存在依赖关系的传输链,而不是机器并行处理相互独立的缓存行时的总吞吐量。

共享模式也会影响读取流量。写入方修改一条被广泛共享的缓存行时,可能触发大量失效通知;之后的读取方必须重新获取该缓存行。生产者—消费者工作负载可以受益于缓存到缓存的直接转发,但仍须付出同步和传输的代价。不必要的推测性获取或目标选择不当的预取,可能增加共享者的数量,或消耗互连资源。相反,对私有数据的流式访问可能产生大量内存流量,却只产生相对较少的所有权争用流量。

性能分析会区分一致性未命中与冷启动未命中、容量未命中和冲突未命中,尽管硬件计数器并不总能与这些类别一一对应。可用的事件可能记录所有权请求、侦听响应、缓存间传输、失效操作或远程节点访问。如何解读这些事件取决于具体的处理器。仅凭较高的缓存命中率,并不能证明一致性的开销很低:工作负载可能花费大量时间等待访问权限、争用归属代理,或传输仍驻留在缓存层次结构某处的缓存行。

软件接口、原子操作与非一致性设备

对于一致性域内普通的可缓存共享内存,软件通常不必在每次存储后显式执行缓存维护操作。硬件会在体系结构承诺的范围内,使缓存副本的存在对软件透明。软件仍须采用有效的同步方式,并遵守所用编程语言的并发规则。操作系统还负责管理页面属性、映射和设备接口,这些因素决定了特定访问是否按普通一致性内存的方式处理。

原子操作提供的保证不只是让缓存中的值保持最新。原子读—修改—写操作必须以不可分割的方式完成规定的更新,使相关的竞争访问无法介入。实现时通常会取得对某个缓存行的独占控制权,但体系结构所保证的是操作本身的性质,而非某种特定的缓存状态。原子访问还可能具有获取或释放等内存序语义。因此,一致性是许多原子操作的支撑机制,而不是原子性或同步的同义词。

互斥锁可以说明这些机制如何相互配合。在锁字保持不变时,多个处理器可以读取它,但获取锁需要进行原子状态转换。释放锁时则必须提供必要的内存序保证,使受保护的更新对其他处理器可见。协议分别跟踪锁所在的缓存行和受保护数据所在的缓存行;正确性取决于将这些访问联系起来的同步规则。反复发出争用写请求的锁实现,所产生的一致性流量可能远高于允许等待中的处理器轮询可读副本的实现。

当设备不参与 CPU 的一致性域时,直接内存访问会带来额外要求。否则,设备读取内存时,可能读到后备内存中的旧副本,而较新的数据仍以脏数据的形式留在 CPU 缓存中。设备写入缓冲区后,CPU 在读取该缓冲区时,也可能仍持有过时的缓存副本。平台专用的 DMA 接口负责安排适当的映射、缓存维护和所有权移交。一致性设备与非一致性设备所需的操作不同,因此,设备驱动程序通常不能用普通的指针访问来替代平台的 DMA 接口。

缓存维护、地址转换和内存排序仍是彼此独立的问题。输入输出内存管理单元控制设备地址转换和访问权限;仅仅配有这一单元,并不能使数据缓存保持一致。同样,使地址转换条目失效与使数据缓存行失效也不是一回事。设备寄存器所使用的特殊内存类型可能限制缓存或写合并,其访问规则也可能不同于普通 RAM。因此,软件要正确地与这些对象交互,就必须遵循体系结构和操作系统规定的完整约定,而不能假设所有类似内存的对象都具有相同的行为。

协议正确性与验证

缓存一致性控制器是一个分布式并发系统。即便每次稳态转换看起来都很简单,消息也可能在传输途中交错,响应可能延迟,而远程事务尚未完成时,本地事件也可能发生。一个处理器可能正在逐出某个缓存行,另一个处理器却同时请求该行;两个请求方也可能几乎同时争取所有权。正确性要求所有此类交互都能维持访问权限和数据的正确性,而不只是让不存在争用的示例正常运行。

区分安全性与进展性很有帮助。安全性属性要求被禁止的事件永不发生:两个参与者不得同时持有互不相容的写权限,读取也不得得到与协议排序规则不一致的值。进展性属性则关注:在关于消息传递、调度和资源可用性的既定假设下,事务是否最终能够完成。一个系统即使保全了所有数据值,只要它可能让某个请求永久停滞,就不能算是合格的实现。

瞬态是复杂性的主要来源。发出读请求后等待数据的缓存,与升级所有权后等待失效确认的缓存,所处的状态并不相同。在这两种状态下,缓存可能需要以不同方式响应传入的探测请求。目录控制器同样面临待处理请求与响应的各种组合。缓冲区分配和网络路由又增加了一层复杂性:如果消息占用着资源,同时形成循环等待、各自等待其他消息所占用的资源,协议就可能发生死锁。使用独立的虚拟通道、预留响应容量,或限制依赖关系,都有助于保证系统能够持续推进。

形式验证可以将协议表示为相互交互的状态机,并检查其可达状态是否满足不变式。模型检测尤其适合发现由不常见的消息顺序引发的简短反例轨迹。然而,随着缓存、缓存行、缓冲区和未完成事务的数量增加,可能的状态数会迅速增长。验证通常会结合使用有限模型、对称性约简、抽象,以及证明局部实现细节是更抽象规范的精化。针对简化模型的证明,只有在模型假设及其精化关系得到充分论证的范围内,才适用于实际硬件。

除证明之外,仿真与测试仍然十分重要。定向测试用于检验特定的竞态情形;随机流量用于制造相互重叠的请求;体系结构试金石测试则用于探查允许出现的内存结果。内存模型验证不能止步于缓存一致性,因为协议即使能够正确地对每个内存位置的访问进行串行化,处理器仍可能错误地实现跨位置的访问顺序。反过来,通过应用基准测试也不能证明协议正确:涉及替换、重试、异常或网络反压的罕见交互,可能根本不会在常规执行中出现。因此,验证需要覆盖缓存控制器、互连网络、内存排序机制及其接口。

历史发展与架构演进

随着多处理器系统将共享内存与本地高速缓存结合使用,一致性问题变得日益重要。缓存降低了处理器的访存延迟和内存带宽需求,却也引入了可能过时的状态副本。由软件管理的方案可以限制缓存的使用,或要求显式维护缓存;硬件方案则力求保留更为透明的共享内存接口。此后一致性技术的发展历程,反映了处理器速度、内存延迟、互连带宽与参与处理器数量之间不断变化的平衡。

基于目录的思想很早就已确立。Lucien Censier 和 Paul Feautrier 在 1978 年的研究中,提出了一种基于目录的多处理器系统缓存一致性解决方案。其核心思想是跟踪缓存副本,并将一致性操作定向发送给持有这些副本的缓存,而不是要求每个缓存都监视每次访问。后续的目录研究探索了不同的表示方式、替换行为和分布式组织形式。对于处理器和内存分布在众多节点上的机器,这些问题尤为重要。

20 世纪 80 年代,基于总线的微处理器多处理器系统使监听协议受到广泛关注。James R. Goodman 于 1983 年开展的减少处理器与内存之间流量的研究,推动确立了颇具影响力的写一次一致性思想。Mark S. Papamarcos 和 Janak H. Patel 于 1984 年描述了与伊利诺伊一致性方案相关的协议;在通常以 MESI 状态为线索梳理的协议发展脉络中,这是一个重要进展。共享总线提供了一个实用的公共定序点,使规模相对较小的多处理器系统能够在硬件复杂度可控的情况下,维持各私有缓存之间的一致性。

更大规模的共享内存机器需要可扩展性更强的通信方式。斯坦福大学的 DASH 项目在 1992 年发表的主要论文中,展示了面向可扩展共享内存架构的分布式目录一致性机制。这类系统推动了缓存一致性非均匀内存访问架构成为一种切实可行的设计方案。它们也清楚地表明,共享地址空间并不意味着性能均匀:访问远程缓存行、获取其所有权以及与远端目录交互,其开销可能与本地访问有显著差异。

多核处理器的发展将许多一致性交互转移到了单个芯片内部,而多插槽服务器仍然需要额外的片外协调。较新的系统将共享缓存分片和归属代理分布在片上网络中,并有选择地将一致性机制扩展至加速器和外接设备。芯粒封装再次改变了物理边界,使一些在逻辑上集成的参与单元需要跨封装级链路互连。这些设计仍然需要协调访问权限和最新数据,但改变了广播、目录查询、转发和所有权转移的开销。