CPU缓存是一种容量相对较小、速度较快的存储器,供中央处理器保存指令和数据的副本,否则这些指令和数据就必须从速度较慢的存储器中获取。它是计算机存储层次结构的一部分,位于处理器寄存器与主存之间。大多数现代处理器都设有多级缓存,其中容量最小、速度最快的缓存最靠近执行单元,而容量更大的缓存则逐级为更多的处理器核心提供服务。
缓存之所以重要,是因为处理器执行速度与主存访问速度的提升并不同步。处理器可能在每个时钟周期内执行多条指令,但一次需要访问外部存储器的操作却可能让它等待数百个周期。缓存利用程序访存行为的规律性,使大部分访存需求能够以低得多的延迟得到满足,并减少与主存之间的数据传输。缓存的效果不仅取决于容量,还取决于组织方式、替换策略、访问模式以及处理器之间的协调。
大多数CPU缓存的运作都在普通程序指令层面之下自动进行。尽管如此,缓存的行为仍会显著影响软件性能、能耗、多处理器通信和安全性。因此,要理解缓存,既需要考察其内部硬件,也需要考虑它与地址转换、操作系统、编译器及并发程序之间的关系。
历史发展与硬件基础
缓存的构想早于现代单芯片处理器。随着电子计算速度不断提高,不同存储技术在成本与速度之间的差距始终存在。将少量昂贵的高速存储器与容量大得多、速度较慢的存储器结合起来,可以在两者之间取得实用的折中。莫里斯·威尔克斯在1965年一篇关于“从属存储器”的论文中描述了这种方法,较早阐述了由系统自动管理、保存较大存储器中内容副本的高速存储器。
IBM公司于1968年发布的System/360 Model 85,是早期采用缓存且具有重要影响的商用计算机。它的设计表明,高速缓冲存储器能够缩短有效内存访问时间,而无需应用程序显式地在各级存储器之间搬移每一项内容。后来的系统使用处理器板上的独立存储芯片来实现缓存。随着集成电路技术的进步,缓存先是被集成到处理器封装内,随后又与执行电路一起集成到同一块硅片上。1989年推出的Intel 80486内置了8 KiB的片上统一缓存;1993年推出的初代Pentium则分别配备了8 KiB的指令缓存和数据缓存。
大多数常规片上缓存采用静态随机存取存储器(SRAM)。常见的SRAM存储单元使用六个晶体管来保存一个二进制值,其电路结构可在持续供电时维持所存储的状态。与动态随机存取存储器(DRAM)不同,SRAM无需定期刷新即可保留内容。它非常适合低延迟访问,但由于存储单元占用的面积较大,存储密度明显低于DRAM。因此,主存通常采用DRAM,而缓存在更快的访问速度足以抵偿面积和能耗代价的场合采用SRAM。
缓存中存储的不只是数据本身,还包括用于标识当前存有哪些内存块的地址标签、有效性和修改状态等状态信息,以及通常配备的检错位或纠错位。比较器负责判断请求地址是否与某个缓存项匹配。控制电路则管理缓存填充、逐出、并发请求以及与其他缓存的通信。因此,标称具有某一数据容量的缓存,实际占用的物理存储空间要大于该数字所表示的容量。
CPU缓存应与处理器寄存器以及显式管理的局部存储器加以区分。寄存器由指令直接或间接指定,并由硬件或编译器分配。缓存通常会从大得多的地址空间中自动选择要保存的内容。由软件管理的暂存存储器可能采用类似的存储电路,但需要显式决定将哪些数据放入其中。这些不同的管理方式会影响系统的可预测性、编程工作量以及硬件复杂度。
局部性、缓存行与地址映射
缓存之所以有效,是因为程序通常具有访问局部性。时间局部性是指,最近使用过的指令或数据项很可能再次被使用。空间局部性是指,相邻地址很可能在相近的时间内被访问。循环反复执行相同的指令,体现了时间局部性;顺序遍历数组,则体现了空间局部性。这两种性质都并非必然存在,对于需要大量不规则内存访问的工作负载,缓存的效果可能不佳。
数据通常以固定大小的块在各级缓存之间传输,这种块称为缓存行。在当代桌面和服务器处理器中,64 字节的缓存行很常见,但也存在其他大小。如果程序从尚未缓存的地址加载一个八字节的值,硬件通常会取回包含该值的整个缓存行。随后对相邻值的访问便可能命中缓存。较大的缓存行能够利用空间局部性,并摊薄传输开销,但也会取回可能用不到的字节、消耗带宽,还会使一致性操作波及更多无关数据。
从概念上说,内存地址可分为行内偏移量、组索引和标记。偏移量用于选定缓存行内的某个字节;索引用于确定一组可能存放该数据的缓存位置;标记则用于区分映射到同一组的不同内存块。对于数据容量为 、缓存行大小为 、相联度为 的缓存,其组数为
例如,一个容量为 32 KiB、缓存行大小为 64 字节的八路缓存共有 64 组。在各项大小均为 2 的幂的简单组织方式中,六个地址位用于选择缓存行内的字节,另外六个地址位用于选择组。
缓存相联度决定了一个块可以存放在多少个位置。直接映射缓存为每个索引对应的组提供一个位置。组相联缓存在每组中提供多路位置,并比较相关标记。全相联缓存允许一个块存放在任意缓存条目中,但定位该块需要成本更高的查找。提高相联度可以减少块之间的冲突,但也会增加比较器的工作量和选择逻辑的复杂度,而且往往会增加访问能耗。
即使程序使用的数据总量能够装入缓存,映射细节仍可能产生影响。两个数组的地址如果反复选中相同的组,就可能相互逐出对方的数据;采用不同对齐方式的数组则可能不会出现这种情况。实际处理器可能采用哈希索引、存储体选择或依赖地址的缓存切片选择,而非简单的连续索引字段,大型共享缓存尤其如此。因此,教科书中的地址划分方式能够解释基本机制,却无法完整描述所有实现。
多级组织与专用缓存
现代处理器通常将缓存组织成多个层级,惯称为 L1、L2 和 L3。一级缓存优先追求低延迟和高访问带宽,通常由单个核心独享,并分为指令缓存和数据缓存。L2 的容量通常更大、速度更慢,可以服务于一个核心或一小组核心。末级缓存通常是 L3,可能由多个核心共享。这些组织方式各不相同:仅凭层级编号,无法确定缓存的归属、容量或是否共享。
在 L1 中将指令与数据分开,可以让取指和数据访问同时进行,而不必争用相同的端口。这与哈佛结构的某些特点相似,不过大多数通用系统对外仍呈现统一的内存地址空间。较低层级的缓存通常采用统一结构,其容量既可用于存放代码,也可用于存放数据。有些处理器还包含已解码指令缓存或微操作缓存,保存的是指令解码的结果,而不是普通的内存字节。地址转换缓存则是另一种用途不同的专用结构。
延迟与容量之间的权衡,解释了处理器为何不直接配备一个容量极大的一级缓存。更大的存储阵列需要更长的连线、更多的译码操作,或额外的流水线级。多端口访问还会进一步增加复杂性。较小的 L1 可以快速提供经常需要的操作数,而容量更大的低层级缓存则可承接一级缓存未命中的访问。仅作概略说明,而非通用规格:L1 数据缓存命中可能需要约三到五个周期,L2 命中约需十到二十个周期,末级缓存命中则需数十个周期。实际数值取决于处理器设计、运行频率、资源争用情况和访问类型。
各缓存层级之间的包含关系也有所不同。包含式低层级缓存会保留指定高层级缓存中所有缓存行的对应内容,从而简化某些一致性跟踪工作。因此,逐出包含式缓存中的某个缓存行时,可能需要使高层级缓存中的对应副本失效。互斥式层次结构力求在不同层级存放不同的数据,以增加有效总容量,但也使层级之间的数据迁移更加复杂。非包含式层次结构不要求满足上述任何一种关系;一个数据块可以同时出现在多个层级,也可以只存在于某一个层级。
共享缓存允许动态利用容量:运行大型工作负载的核心,可以利用其他核心不需要的空间。同时,共享缓存也会带来资源争用和延迟波动。大型末级缓存通常划分为多个分片,通过片上网络连接,因此访问时间可能取决于发出请求的核心,以及目标地址所在的缓存分片。在多插槽系统中,这种访问开销的差异进一步延伸到非统一内存访问:访问连接到另一个处理器插槽的内存,通常比访问本地内存的开销更大。
替换、写入与预取
当缓存未命中、需要调入一个缓存行,而所有可用条目都已被占用时,缓存就必须选出一个要淘汰的条目。缓存替换策略力求丢弃未来利用价值较低的数据。最近最少使用替换策略(LRU)会淘汰最久未被使用的缓存行。随着相联度提高,精确实现 LRU 的开销也会增大,因此实际处理器通常采用近似算法,例如基于树的伪 LRU,或根据每个缓存行中少量的状态信息预测其是否会被再次使用的策略。随机替换更为简单,也能避开某些会导致性能恶化的访问模式。
最近是否使用过,并不总能可靠地反映数据未来的利用价值。顺序扫描远大于缓存容量的数据集时,可能会挤掉规模较小、却经常被重复使用的工作集。现代替换策略可以在插入部分新缓存行时,将其置于容易被快速淘汰的位置,除非它们再次被使用,以此应对这一问题。重引用间隔预测是一类估计缓存行距离下一次被使用还有多久的技术。对于按需加载、推测性请求和预取数据,替换行为也可能有所不同。
写入处理还涉及其他选择。直写式缓存在更新自身副本的同时,也会将写入传向下一级存储层次。回写式缓存则先在本地记录修改,并将该缓存行标记为脏行;当缓存行被淘汰或发生其他需要传输的事件时,再将其传至下一级。回写式缓存可以将多次修改合并为最终的一次传输,从而减少流量。不过,脏行不能直接丢弃:系统必须保留其最新内容,通常会借助回写缓冲区,使缓存在传输过程中仍能继续工作。
发生写未命中时,写分配策略会先取入缓存行,再对其进行修改;非写分配策略则会将写入继续向下传递,而不将该缓存行装入当前缓存。回写与写分配是常见的组合,但两者属于独立的设计选择。需要修改共享数据时,处理器可能还必须通过一致性机制取得独占所有权。因此,即使只对缓存行中的一小部分执行存储操作,也可能同时产生获取数据和获取所有权的流量。
硬件预取力求在程序实际需要缓存行之前将其取入。预取器可以识别顺序访问、固定步长访问,或前后请求之间的关联。软件有时也可以发出预取指令作为提示。成功的预取能隐藏访问延迟;不准确的预取则会浪费带宽和缓存容量。时机同样重要:请求发出得太晚,收益就很有限;发出得太早,取入的数据又可能在使用前就被淘汰。因此,预取会与替换策略、可用内存带宽,以及处理器能够同时维持的未完成请求数量相互影响。
未命中、延迟与性能模型
当请求的缓存行存在,且处于可满足请求的适当状态时,就会发生缓存命中。如果满足请求还需要执行其他操作,通常涉及访问另一级缓存或内存,就会发生未命中。一个基本模型将平均内存访问时间表示为
其中, 为命中时间, 为未命中率, 为未命中带来的额外开销。如果命中时间为 2 纳秒,未命中率为 5%,未命中的额外开销为 60 纳秒,那么模型算出的平均访问时间就是 5 纳秒。这一计算说明,即使代价高昂的未命中只占很小比例,也可能产生很大的影响。
在多级存储层次中,需要注意区分局部未命中率和全局未命中率。L2 的局部未命中率衡量的是到达 L2 的请求中未命中的比例;L2 的全局未命中率则衡量这些未命中占原始请求流的比例。对于简单的串行层次结构,平均时间可以写为
其中, 为查询 L2 所需的额外时间, 为其局部未命中率, 为进一步访问内存的开销。更复杂的层次结构需要加入更多项,其运行方式也未必是纯粹的串行链。
传统上,未命中分为三类。强制性未命中发生在首次访问某个块时。容量未命中是由于工作集超出了可用存储容量,即使采用全相联结构也会发生。冲突未命中则是由于映射限制迫使多个块争用特定的组。在多处理器系统中,失效操作和所有权变更还会引发额外的一致性相关未命中。这种分类有助于分析,但要为每一次观测到的未命中确定唯一类别,可能需要与理想化的参考缓存进行比较。
平均访问时间并不等同于处理器停顿时间。乱序执行可以在未命中请求尚未完成时执行与其无依赖关系的指令。非阻塞缓存使用通常称为未命中状态保持寄存器(MSHR)的结构来跟踪多个请求。针对同一缺失缓存行的多次加载可以合并为一笔事务。相反,在存在依赖关系的指针加载链中,每次未命中的延迟可能几乎都无法被掩盖,因为只有前一次加载完成后,才能获得下一个地址。
即使单次访问延迟不变,带宽和排队也可能成为影响性能的主导因素。以流式方式处理数据的处理器可以同时保持大量未完成请求,使传输速率接近内存系统的上限。一旦达到这一上限,后续请求就需要排队等待。缓存端口、存储体、缓存行填充缓冲区、互连和内存控制器都可能成为瓶颈。因此,低未命中率并不保证高性能,减少未命中也不一定能带来成比例的加速。
缓存一致性、所有权与内存顺序
在具有多个处理器核心的系统中,多个缓存可能保存着同一内存位置的副本。缓存一致性负责协调这些副本,避免写入操作导致各处理器长期使用互不一致的值。缓存一致性通常以缓存行为粒度,而不是以编程语言中的单个变量为粒度。它规定了一个内存位置的缓存副本如何获取、失效、更新,以及如何在所有者之间转移。
一个常见例子是 MESI 协议族,其基本状态为已修改(Modified)、独占(Exclusive)、共享(Shared)和无效(Invalid)。处于已修改状态的缓存行包含比后备内存更新的数据,并具有独占写权限。处于独占状态的缓存行是干净的,且仅由一个缓存持有。处于共享状态的缓存行可能在其他缓存中也有副本,必须先转换所有权才能修改。处于无效状态的缓存项无法满足普通访问请求。不同实现会以不同方式扩展这些概念;例如,拥有(Owned)状态允许指定的缓存在其他缓存持有共享副本的同时,继续负责维护脏数据。
小型系统可以采用侦听机制,让各缓存观察共享通信介质或等效逻辑机制上的一致性事务。较大的系统通常采用目录机制,跟踪所有者或共享者,并发送定向消息。如果一个核心请求某个共享缓存行的写入所有权,就可能需要使其他副本失效,并收集确认消息。如果另一个核心持有已修改的数据,则其缓存可以直接提供最新内容,而不必先将数据写回主存。
缓存一致性不同于内存一致性模型。缓存一致性主要解决对单个内存位置的访问如何保持一致的问题;内存一致性模型则规定跨不同内存位置的操作所允许的顺序及其可见性。存储缓冲区、推测性加载和乱序执行可能使观察到的行为不同于简单的逐条指令执行模型。原子操作和内存顺序指令在体系结构层面提供了实现同步的机制。仅有一致的缓存系统,并不能保证未经同步的并发程序正确,编程语言层面的数据竞争规则仍然需要遵守。
当不同核心修改位于同一缓存行中的独立变量时,就会发生伪共享。尽管这些数据在程序逻辑上彼此独立,但它们所在缓存行的所有权会在核心之间反复转移。例如,相邻存放的各线程专用计数器,即使没有任何线程读取其他线程的计数器,也可能产生大量失效通信。通过填充或重新组织数据,可以将这些变量分隔到不同的缓存行中,但这会增加内存占用。相比之下,真共享是通过同一份数据进行实际通信。两者都可能限制并行计算的可扩展性,但其成因和可行的解决方法不同。
地址转换、操作系统与设备访问
程序通常使用虚拟内存地址,而物理内存和一致性机制最终针对的是物理位置。转换后备缓冲器(TLB)会缓存近期的地址转换结果。它并不是数据缓存:TLB 命中时提供的是地址映射和访问权限,而不是程序所请求的值。TLB 未命中时可能需要遍历页表,这一过程本身也会产生内存访问,而普通缓存可以加速这些访问。
缓存可以使用虚拟地址或物理地址信息进行索引和标记。物理索引、物理标记的设计在这两个操作中均使用转换后的地址,从而避免若干地址别名问题,但也可能将地址转换置于访问的关键路径上。虚拟索引、物理标记的设计则可以在地址转换进行的同时开始选择缓存组,前提是索引方式能够保证这样做是安全的。对于仅使用地址转换前后保持不变的页内偏移位作为组索引的常规设计,每一路的容量不得超过相应的页大小:
因此,一个容量为 32 KiB 的八路组相联缓存,每路容量为 4 KiB,恰好与 4 KiB 页的偏移范围相匹配。其他设计可以通过增加处理地址别名的机制来突破这一限制。
虚拟寻址会引入两种重要情况。同义地址是映射到同一物理位置的不同虚拟地址;同名地址则是在不同地址空间中映射到不同物理位置的相同虚拟地址。根据缓存的组织方式,可能需要采用物理标记、地址空间标识符、失效操作或操作系统层面的约束来处理这些情况。操作系统还负责控制内存属性,例如某个区域是否可缓存,或是否适合写合并。设备寄存器通常需要特殊属性,因为普通缓存和推测访问无法保持其预期行为。
直接内存访问(DMA)允许设备传输数据,而无须 CPU 逐一执行每次加载或存储操作。在支持一致性的平台上,硬件会协调相关设备的数据传输与 CPU 缓存。在不支持一致性的平台上,软件可能必须执行缓存维护操作,并遵守平台规定的所有权规则。例如,在设备读取缓冲区之前,可能需要将 CPU 缓存中的脏数据写回;而在设备写入缓冲区之后,可能需要使 CPU 缓存中的过时副本失效。具体操作取决于体系结构、内存属性和设备接口。
当软件修改可执行代码时,指令缓存会带来一个相关问题。写入数据缓存并不总能保证取指操作立即看到新的字节内容。体系结构可能要求执行缓存清理、失效和指令同步操作。JIT 编译器、操作系统内核和可执行文件加载器都需要遵循规定的操作顺序。普通应用程序代码通常通过平台 API 处理这些细节,而不是直接执行缓存维护指令。
软件组织与性能测量
缓存的表现在很大程度上取决于程序如何组织和遍历数据。在按行优先存储的二维数组中,同一行内相邻的元素占据相邻的地址。逐行遍历通常比每行只访问一个元素具有更好的空间局部性,尤其是在行跨度较大时。链式结构中相继的节点可能相距很远,导致频繁的缓存未命中;而且,下一个节点的地址存储在当前节点中,这也限制了预取。这些影响可能使渐近复杂度相近的两种实现表现出截然不同的性能。
分块也称为平铺,是围绕能够驻留在目标缓存中的数据子集重新组织计算。矩阵乘法是一个经典示例:与反复遍历完整的行和列相比,反复使用小数据块可以减少数据传输。选择分块大小时,需要考虑所有同时处于活跃状态的数组、缓存行大小、相联度以及其他活动,而不能只看标称缓存容量。缓存无关算法则以递归方式组织计算,在多个层级上利用局部性,无须为每个层级显式选择不同的分块大小。
数据布局同样重要。结构体数组将一个对象的所有字段存储在一起,而数组结构体则将多个对象的同一字段连续存储。前者有利于使用每个对象大部分字段的代码;后者有利于只处理特定字段的循环,也便于向量化执行。紧凑的表示形式通常能提高缓存的有效容量,但解码开销或对齐限制可能抵消这一收益。因此,评估数据结构时,必须结合其实际访问模式。
硬件性能计数器可以测量缓存访问次数、特定的未命中事件、停顿周期数和内存流量等指标。Linux 及其他操作系统上的工具提供了读取这些计数器的途径,但不同处理器对事件的定义有所不同。名为“缓存未命中”的计数器可能只针对某个层级或某类请求,而非所有缓存活动。每千条指令的未命中次数通常缩写为 MPKI,有助于比较不同工作负载,但它并不直接反映未命中延迟有多少被其他指令的执行所掩盖。
受控测量应区分缓存已预热时的表现与冷启动时的表现,固定或记录线程在哪些处理器核心上运行,并考虑争用资源的其他工作负载。基于具有依赖关系的指针追踪的延迟测试,与包含大量独立访问的带宽测试,测量的是不同的特性。反复执行可能同时预热指令缓存、数据缓存、地址转换缓存和分支预测器。可靠的分析应将计数器观测结果与实际耗时、工作负载规模、访问依赖关系和内存带宽联系起来,而不是把单一的命中率数值当作完整解释。
时序信息泄露与推测执行
缓存的设计使执行时间随近期的内存访问活动而变化。这一特性也可能形成侧信道:一个计算过程的信息,可能通过另一个计算过程观测到的时序或资源争用情况被推断出来。观察者不必直接读取受保护的数据;缓存行是否存在于缓存中,以及位于何处,就可能暴露受保护的计算访问过哪些地址。
有一类技术通过观察共享的缓存组来获取信息。观察进程先用自己的数据填满选定的缓存组,让其他代码执行一段时间,再测量哪些条目被替换。另一类技术则依赖进程间共享的内存:观察者将某个共享缓存行从缓存中移除后,可以测量后续访问所需的时间,以推断其他参与者是否访问过该缓存行。这些方法对共享内存、可用指令、调度方式和缓存组织方式的假设各不相同。因此,必须依据明确的威胁模型评估其实际能力。
密码软件一直是缓存时序研究的重要对象。如果依赖秘密值的查表操作会选中不同的缓存行,访问时间就可能与秘密值产生关联。这不同于破解密码算法本身的数学机制。密码学实现可以采用经过专门设计、不随秘密值变化的指令序列和内存访问模式,其中也包括使用合适的处理器专用指令。不过,“常数时间”是实现在特定软硬件环境中具备的属性,并非仅凭源代码的表面形式就能获得的保证。
2018 年披露的 Spectre 和 Meltdown 漏洞,使推测执行与微架构状态之间的相互作用受到关注。处理器可以丢弃瞬态指令在体系结构层面的执行结果,同时保留这些指令对缓存或其他内部结构的部分影响。在满足特定漏洞所需条件的情况下,这些残留影响可能携带信息,并通过后续的时序测量暴露出来。因此,缓存行为往往是观测信息的机制,而非唯一的根本缺陷。
缓解措施涉及硬件、操作系统、编译器和应用代码多个层面,例如调整推测执行控制机制、隔离特定地址映射、避免依赖秘密值的访问,以及限制共享或资源分配。缓存分区可以减少某些形式的争用,却无法消除所有微架构侧信道。清空缓存同样不能构成通用的安全边界:其有效性取决于清空了哪些内容、何时执行清空操作,以及还存在哪些其他共享结构。这些局限意味着,缓存安全是一个系统层面的问题,而不只是选择某一种缓存策略的问题。
物理规模扩展、可靠性与设计权衡
在许多处理器中,缓存占据了相当大比例的硅片面积。增大容量可以降低未命中率,但也会增加漏电功耗、布线长度、查找复杂度和制造成本。相联度和访问带宽还会带来额外开销。若缓存需要在每个周期内支持多次加载和存储,就可能需要采用分组存储、状态复制或多端口设计,而这些方案对面积和时序的影响各不相同。因此,设计者追求的并非仅仅是最大容量,而是根据工作负载,在延迟、吞吐量、功耗和成本之间取得平衡。
可靠性同样重要,因为缓存中的位错误可能破坏指令或数据。处理器可以使用奇偶校验或纠错码来检测或纠正故障。干净缓存行出错后,有时可以将其丢弃并重新获取;而脏缓存行可能保存着唯一的最新副本,因此需要更强的保护或明确规定的恢复措施。标签和一致性元数据也至关重要:这些信息一旦损坏,就可能导致选中错误的数据,或丢失有效数据。保护强度和恢复机制因缓存层级和处理器类别而异。
物理集成技术拓宽了可行的设计选择。大容量缓存可以利用封装内的额外裸片构建,而不必全部占用处理器主裸片的面积。三维堆叠可以将缓存存储器置于逻辑电路的上方或下方,提供大量短距离连接,但也会带来散热、供电、制造和良率方面的限制。一些处理器还采用嵌入式 DRAM 构建大容量缓存层级,在密度、延迟和刷新特性方面与 SRAM 作出不同的取舍。但这些技术都无法取代执行单元附近容量较小、速度较快的存储结构。
基于小芯片的处理器和异构处理器使拓扑结构变得愈发重要。缓存可能只在某个计算裸片内部共享,而不在整个封装范围内共享;也可能同时服务于 CPU 核心、图形处理器或其他加速器。在这些组件之间维持缓存一致性可以简化共享内存编程,但所有权转移和互连通信仍然会产生实际开销。物理规模较大的缓存,对所有请求方而言并不一定具有同样的访问速度;当线程迁移时,软件调度也会影响其局部性能够保留多少。
不同工作负载的需求也存在冲突。服务器应用可能受益于大容量缓存,因为它能减少不规则的内存访问流量;流式计算则可能获益较少,因为这类计算很少重复使用数据;实时系统可能更看重访问行为具有确定的界限,而非最高的平均命中率。一些处理器提供缓存分配或监控功能,以管理工作负载之间的干扰。另一些则侧重于分区的本地存储或可预测的访问路径。因此,CPU 缓存设计始终需要在统计意义上的性能、物理实现、共享方式以及处理器上运行的软件需求之间作出一系列权衡。