存储层次结构是将计算机的存储资源组织为多个层级,各层在容量、访问时间、带宽、成本和持久性方面各有不同。在典型系统中,处理器寄存器最靠近执行单元,其后依次是多级高速缓存、主存和持久化存储。规模更大的系统还会将这一结构扩展到远程内存、联网存储和归档介质。各层并非只是彼此独立的容器:数据会根据硬件机制、软件策略和应用程序的行为,在层级之间移动或复制。
这种层次结构旨在应对一项根本性的工程制约:没有哪一种存储技术能够同时实现最低延迟、最高带宽、最大容量、最低成本和持久保存数据。其效果在很大程度上取决于局部性,即程序倾向于重复使用近期访问过的信息,并访问相邻位置。分层系统将程序正在使用的数据保存在容量相对较小、速度较快的层级中,从而既能获得接近高速存储器的性能,又能拥有慢速存储的大部分容量。
存储层次结构影响着处理器体系结构、操作系统、算法以及大规模计算,也在很大程度上决定了能耗、性能可预测性、数据持久性和安全性。因此,现代系统将数据在存储层级间的移动和放置视为核心计算问题,而不只是执行指令时附带产生的结果。
物理组织与技术权衡
传统存储层次结构的最顶层由处理器寄存器组成,用于在中央处理器内部保存指令操作数、地址和中间结果。寄存器由机器指令显式指定,或由处理器在内部管理。软件可见的体系结构寄存器,与许多乱序执行处理器所使用的规模更大的物理寄存器堆并不相同。寄存器的容量虽小,但由于靠近执行单元且访问带宽高,执行单元无需经过缓存层次结构就能取得操作数。
大多数处理器缓存使用静态随机存取存储器(SRAM)。传统的 SRAM 存储单元采用双稳态晶体管电路,通常由六个晶体管组成,只要持续供电就能保持一个比特的信息。主存通常使用动态随机存取存储器(DRAM),其传统存储单元将电荷保存在由晶体管控制的电容器中。DRAM 的存储密度更高,但必须刷新电荷,而且访问一行存储单元时,需要检测并恢复微弱的电信号。这些差异有助于解释为什么 SRAM 适合容量相对较小的缓存,而 DRAM 适合容量更大的主存。
持久性存储面临不同的物理限制。闪存以存储电荷的方式保存信息,能够实现高密度、非易失性存储,但其编程和擦除操作比读取更慢,受到的限制也更多。固态硬盘将闪存芯片与控制器、映射表、纠错机制和内部缓冲相结合。硬盘驱动器以磁性方式将数据记录在旋转的盘片上;由于需要机械定位,其随机访问速度远低于电子存储器。磁带则提供了另一种成本与容量之间的权衡,尤其适合能够接受顺序访问的归档场景。
一些典型的访问时间可以说明各层之间的量级差异。一级缓存命中通常只需几个处理器周期,更低层级的缓存则需要更多周期。无负载条件下,本地 DRAM 的一次访问通常需要几十到约一百纳秒,具体取决于平台以及测量的起止位置。闪存存储的端到端随机读取通常需要几十到几百微秒,而磁盘访问通常需要几毫秒。这些只是粗略的数量级,而非通用规格:排队、电源状态、地址转换、控制器和软件都可能显著改变实际观测到的延迟。
容量和带宽的排列顺序并不与延迟完全一致。即使单次访问的延迟较高,位宽大、并行度高的存储器接口仍能提供很高的总带宽。封装、连线长度、引脚数量、散热和控制器复杂度同样重要。因此,实际的存储层次结构往往是一个分支网络,而非单一的阶梯:独立的指令缓存和数据缓存、本地与远程 DRAM、加速器存储器以及多个存储设备可能同时存在,并通过不同的路径访问。
局部性、工作集与性能模型
层次结构之所以有效,主要原因在于访问局部性。时间局部性是指最近访问过的位置很可能再次被访问,例如循环计数器或频繁使用的查找表。空间局部性是指相邻位置往往会一起被访问,例如程序遍历连续数组时的情况。顺序取指体现了空间局部性,而反复执行循环则体现了时间局部性。这两种性质都不是必然存在的:沿指针访问随机分布的对象时,空间局部性可能很弱;而单次扫描则可能几乎没有时间上的复用。
程序的工作集是指在某个指定时间区间内被活跃使用的存储位置的集合。时间区间的选择很重要:程序在一个循环内的工作集可能很小,但在处理整个请求期间的工作集却可能大得多。彼得·丹宁于 1968 年提出的工作集模型,将近期访问与存储需求之间的关系形式化。如果相关工作集能够容纳在某个快速层级中,且没有被其他竞争活动挤出,那么大多数访问都能得到快速响应。当工作集超过某个容量阈值时,性能可能会骤然变化,而不是平缓下降。
一个基本的两级模型将平均存储访问时间表示为
其中, 是检查上层所花费的时间, 是该层的未命中率, 是未命中后所需的额外时间。如果命中时间为 1 纳秒,未命中率为 5%,未命中的额外开销为 80 纳秒,那么该模型给出的平均每次访问时间为 5 纳秒。因此,命中率高本身并不意味着未命中的代价低。
对于按顺序逐级查询的多个层级,该模型可以扩展为:
这里,每个 都是以访问到达该层为条件的局部未命中率,而每个 都表示在该模型假设下的增量服务时间。全局未命中率则以进入整个层次结构的访问次数为基准,衡量未命中的比例。混淆局部未命中率与全局未命中率,可能导致对下层访问流量的估算出现很大误差。
应用程序的运行速度并不只取决于平均延迟。彼此独立的未命中访问可以通过存储级并行性重叠处理,而相互依赖的访问往往必须彼此等待。当大量请求争用同一组通道时,带宽限制就变得十分重要。如果某个工作负载必须通过一个可持续带宽为 的接口传输 字节的数据,那么其传输时间就不可能小于 。接近饱和时,排队可能使延迟急剧增加,因此,必须结合局部性、依赖关系、并发性和访问流量来理解存储层次结构。
缓存组织与数据移动
CPU 缓存以称为缓存行的固定大小块,保存选定内存区域的副本。许多现代处理器使用 64 字节的缓存行,但也存在其他大小。缓存中的每一行都带有用于标识其对应内存区域的标记,以及有效性、内容是否已被修改等状态信息。一次取回整行可以摊薄传输开销,并利用空间局部性,但也可能传输程序从未使用的字节。
放置规则决定一个内存块可以存放在缓存中的哪些位置。直接映射缓存只提供一个可能的位置,而全相联缓存允许将其放在任意位置。组相联缓存将存储空间划分为多个组,允许一个块占用其映射到的组内若干路中的任意一路。例如,八路组相联缓存的每个组可以容纳八个不同的缓存行。提高相联度可以减少一部分放置冲突,但也会使标记比较、布线、访问能耗和替换决策变得更加复杂。
缓存未命中通常分为强制未命中、容量未命中和冲突未命中。强制未命中发生在所考察的访问历史中首次访问某个块时。容量未命中是指即使不限制块的放置位置,缓存仍无法保留所需的活跃块。冲突未命中则是由于相互竞争的块映射到了相同的受限位置。这种分类有助于分析,但实际系统还会受到一致性失效、预取效应及其他因素的影响,因此需要额外的类别。替换策略试图选出移除后对未来性能影响最小的缓存行;精确跟踪最近最少使用情况的做法,往往会被开销更低的近似方法取代。
写入还需要作出其他选择。直写缓存会将更新传递到下一层,通常借助缓冲机制。回写缓存会将已修改的缓存行标记为脏行,之后再将其传出,通常是在该行被逐出时。发生写未命中时,写分配策略会将该行载入缓存;非写分配策略则直接将写入传递到下一层,而不在当前层装入该行。这些决策会相互影响:分配缓存行可能有利于反复更新,但对于不会被复用的大规模数据流,则可能浪费带宽。
预取试图在实际访问需要数据之前,提前将其取回。硬件预取器通常能够识别顺序数据流或固定步长的访问模式;当未来的地址可以预测时,软件也可以发出预取指令。成功的预取可以隐藏延迟;失败的预取则会消耗带宽、挤出有用的缓存行,并消耗能量。各级缓存之间还可能存在包含式、排他式或非包含式关系。包含式末级缓存保存指定上层缓存中各缓存行的副本;排他式设计则力求避免这种重复。这些策略影响的是可用容量、逐出行为和一致性跟踪,而不只是决定哪个缓存“更快”。
虚拟地址与操作系统内存管理
虚拟内存为每个进程提供一个地址空间,其组织方式不必与物理内存一致。地址转换将虚拟页映射到物理页框,并检查访问权限。这既能实现隔离和灵活布局,也允许将部分内容保存在辅助存储器上。因此,不应将虚拟内存仅仅等同于以磁盘承接内存溢出的机制:系统可以广泛使用地址转换,而不主动将匿名内存换出到磁盘。
地址转换本身也形成了一套层次结构。转换后备缓冲器(TLB)缓存最近使用过的地址转换结果。TLB 未命中时,硬件或操作系统软件会查询页表,而页表项本身也可能缓存在常规的处理器缓存中。采用多级页表时,一次地址转换未命中可能需要先进行多次相互依赖的内存访问,才能访问所请求的数据。专用的页表遍历缓存和多级 TLB 可以降低这一开销。在地址索引规则允许的情况下,许多处理器会让缓存查找的部分步骤与地址转换重叠进行。
页大小既影响地址转换的覆盖范围,也影响内存分配的灵活性。使用 4 KiB 的页时,如果每个缓存项映射一页,512 个缓存的地址转换项就只能覆盖 2 MiB 的内存。更大的页可以显著扩大这一覆盖范围,并减少页表开销。但大页也可能增加内部碎片,使分配更复杂,并提高迁移成本。某些体系结构支持同时使用多种页大小,从而可以对大块连续区域和小块不规则分配采用不同的处理方式。
操作系统管理物理页框,并利用分页机制建立映射和回收内存。当一次访问需要操作系统介入时,就会发生缺页异常,例如页面不在内存中,或涉及受保护的操作而需要处理时。并非每次缺页异常都需要从存储设备读入数据:按需分配零填充页和写时复制都可以在不从磁盘读取页面的情况下完成处理。如果确实需要访问存储设备,其代价可能比普通 DRAM 访问高出数个数量级。
在持续的内存压力下,不当的页面置换决策可能导致抖动:系统反复逐出很快又会用到的页面。文件后备页、匿名页、共享映射和固定缓冲区的回收限制各不相同,因此,实际采用的策略比单一置换队列复杂得多。例如,Linux 内核维护着多种内存管理结构,用于区分可回收页面的类别并跟踪访问活动。因此,地址转换、保护、分配和置换共同构成了叠加在硬件缓存之上、由软件管理的层次结构,而不只是块大小更大的又一级缓存。
多核缓存一致性与非统一内存访问
在多核处理器中,多个私有缓存可能持有同一物理内存行的副本。缓存一致性负责协调这些副本,使针对同一内存位置的读写操作遵循规定的关系。一类常见协议会为每个缓存行赋予已修改、独占、共享、无效等状态。核心在修改一个共享缓存行之前,通常需要先获得写入权限,并使其他副本失效或以其他方式得到更新。具体的状态转换取决于所用协议和互连结构。
缓存一致性不同于内存模型,后者规定了不同内存位置、不同处理器上的内存操作所允许的执行顺序和可见性。具备缓存一致性的机器,不一定会让所有操作都表现为按程序顺序执行。因此,使用共享内存的程序仍需依赖适当的原子操作、内存屏障以及编程语言层面的同步机制。硬件缓存一致性提供了部分底层实现,但它既不能消除数据竞争,也不能自动保证未经同步的通信正确无误。
缓存一致性的管理单位通常是缓存行,而非单个变量。当不同线程反复修改位于同一缓存行中的不同变量时,就会产生伪共享。虽然这些线程在逻辑上并不共享这些变量,但该缓存行的所有权可能会在核心之间反复转移。例如,由不同工作线程更新的相邻计数器,即使每个线程只访问自己的计数器,也可能产生一致性通信流量。通过填充和调整数据布局,可以将这些计数器分隔开来,但代价是占用更多空间,并可能降低其他数据访问的局部性。
规模更大的机器往往采用非统一内存访问(NUMA)。处理器可以访问连接到其他处理器插槽或局部性域的内存,但访问路径可能需要经过额外的互连链路,所能提供的带宽也可能不同。因此,即使所有内存都属于同一个地址空间,数据的物理放置位置仍然很重要。首次触及分配、线程亲和性、页迁移和显式放置策略,都旨在让活跃数据尽量靠近使用它们的处理器。当数据被大量共享,或访问模式快速变化时,这些机制的效果就会减弱。
可扩展性还取决于缓存一致性信息的表示方式。广播侦听可以在有限范围内高效运行,而基于目录的协议则会跟踪共享者,更有针对性地发送消息。两者都无法消除通信成本:无论缓存容量有多大,一个频繁更新的共享变量都可能成为串行化瓶颈。在跨独立机器开展的并行计算中,也存在类似的数据放置问题,但分布式内存通常依赖显式通信,而不是常规的硬件缓存一致性。因此,存储层次结构的设计不仅涉及存储设备的容量和速度,还包括数据的拓扑布局与所有权。
持久化存储、缓冲与持久性
在主存以下,存储层次结构越来越多地受到块接口、持久性保证和设备特定行为的支配。文件系统通常使用 DRAM 中的页缓存来保留最近访问过的文件内容。因此,应用程序的读取可以在不访问底层设备的情况下完成,而缓冲写入最初可能只修改内存。这种安排使应用程序收到操作完成通知的时间与信息真正持久保存的时间分离;理解这一区别,对于正确解读性能和判断正确性都至关重要。
数据库管理系统可能维护自己的缓冲池,根据事务和查询的需要保留数据库页。视其输入/输出配置而定,这些页也可能同时存在于操作系统的页缓存中。这种双重缓冲并非总是有害,但可能使容量规划和页面置换变得更复杂。直接输入/输出机制允许某些应用程序绕过页缓存路径中的部分环节,但层次结构中的其他位置仍然存在控制器缓存和设备内部缓冲区。
持久性需要写入顺序和持久保存方面的保证,而不只是存储指令或写入调用成功返回。预写日志要求先将相关日志信息持久保存,之后才允许将对应的数据库页更新持久写入。文件系统和数据库使用同步操作、刷写命令、屏障和恢复协议来表达这些依赖关系。这些机制是否有效,取决于操作系统、控制器、设备以及断电保护机制实际提供的保证。如果易失性缓存在确认写入后,无法确保数据在断电时得以保留,就会改变系统在故障时的行为。
闪存设备在逻辑块接口背后还隐藏着内部层次结构。读取和编程操作以相对较小的单元进行,而擦除则以更大的块为单位。控制器将逻辑地址映射到物理位置,执行垃圾回收,并均衡各处的磨损。因此,更新数据可能触发额外的内部复制,产生写放大:设备实际写入的物理数据量大于主机请求写入的数据量。即使主机所见的字节数完全相同,顺序访问负载和随机覆盖写入的开销也可能不同。
复制和数据备份将存储组织扩展到不同的故障域,但它们不能与普通缓存等同。缓存通常保存的是一份可以丢弃的副本,其权威版本保存在别处;备份则按照保留策略保存可用于恢复的历史信息。数据库复制可以提高可用性和读取的局部性,但复制延迟和确认规则会影响哪些数据能在故障后保留下来。网络存储和云计算存储又引入了额外的延迟和一致性边界。在这些层级,层次结构设计不仅要考虑访问性能,还必须明确决定以哪份数据为准、如何恢复,以及能够容忍哪些故障。
算法、数据布局与通信复杂度
算术运算次数更少的算法,如果需要传输的数据多得多,也未必运行得更快。传统的时间复杂度分析通常将所有内存访问视为成本相同的操作,这种抽象可能掩盖存储层次结构的影响。外存模型则以包含 个数据项的块为单位,计算容量为 的高速存储器与较慢存储器之间的传输次数。输入/输出复杂度明确地将这种数据移动纳入考量,对于数据库、图处理以及无法完全放入主存的大型数据集尤其有用。
顺序扫描 个连续存放的数据项,需要的块传输次数为 量级。如果相继访问的对象位于互不相关的块中,基于指针的遍历就可能需要多得多的传输。这有助于解释为什么连续存放的数组可能比链表更快,即使两者访问元素的次数都是线性的。数组的访问地址易于硬件预取器预测,而且能高效利用取入的缓存行;链式结构则会引入地址依赖,并可能取入大量用不到的数据。
分块通过重新组织计算,让一部分有用的数据驻留在高速存储器中,并在此期间对其执行多次运算。两个稠密 矩阵相乘时,经典算法的算术运算次数为 ,但数据传输量会因循环顺序和分块组织方式而有很大差异。将矩阵划分成小块,可使载入的数值在被逐出之前参与多次乘加运算。实际实现往往采用多层嵌套分块,分别针对寄存器、私有缓存、共享缓存,有时还包括独立的加速器存储器。
数据表示方式也会改变局部性。数组结构布局(structure of arrays)将多条记录中的同一字段集中存放,而结构数组布局(array of structures)则将每条记录的各个字段相邻存放。前者有利于针对一个或少数字段的向量化操作;后者有利于需要使用单条记录中大部分字段的操作。编译器可以变换循环并生成向量指令,但指针别名、依赖关系、语言规则以及不可预测的控制流都会限制自动重组。数据库系统在列式存储和向量化查询执行中也运用了类似的原理。
缓存无关算法力求在不把特定缓存容量或块大小写入算法的情况下,仍能获得良好的数据传输表现。递归分解可以产生逐渐缩小的子问题,使其最终能够适配多个存储层级。其理论保证依赖于理想替换策略、 与 之间满足适当关系等假设;实际性能还取决于相联度、预取、分支行为以及实现开销。因此,缓存感知方法与缓存无关方法是互补的策略。两者都体现了同一个核心认识:合理安排数据复用、减少通信,与减少名义上的计算步骤数同样重要。
加速器、显式管理的存储器与新兴互连技术
图形处理器采用适合大量线程并发运行的存储层次结构,通常包括寄存器、片上缓存、由一组线程共享并显式管理的局部存储区,以及整个设备可访问的内存。不同编程系统使用的术语有所不同:在 CUDA 中,“共享内存”指线程块内部共享的一块片上存储区,而“局部内存”则指每个线程独立寻址的存储空间,它可能位于设备内存中,并可通过缓存访问。不应将这些名称简单理解为表示物理距离远近的标签。
显式管理的暂存存储器与传统缓存不同:数据的放置和搬移由软件或生成的代码控制,而非完全依赖自动的缓存行替换机制。采用分块计算的矩阵内核可以将数据块从设备内存加载到共享内存中,同步参与计算的线程,再在多次运算中复用这些数据块。此时,计算的正确性不仅取决于索引是否正确,也取决于同步是否正确。GPU 的性能还取决于访存合并:当相邻线程访问的地址落在合适的内存区域内时,这些访问就能高效地合并。不规则访问则可能需要更多次内存事务。
高带宽内存(HBM)采用堆叠式 DRAM 和超宽接口,在紧凑的封装内提供很高的总带宽。它的主要优势并非每次随机访问的延迟都能按比例降低,而是能够并行进行大量数据传输。封装和容量限制仍然意味着需要作出权衡。因此,系统可能将 HBM 与容量更大的内存层结合使用,这就要求数据放置策略区分带宽密集型数据与主要需要大容量空间的数据。
主机内存与加速器内存可以通过显式传输、共享虚拟寻址或托管内存机制连接起来。统一的地址空间并不一定意味着相同的物理访问成本。视平台而定,一次访问可能到达设备本地内存,也可能经由互连访问主机内存,或者触发页面迁移。允许分配的内存超出加速器内存容量可能很方便,但也可能导致反复迁移。在机器学习中,模型参数、中间激活值、优化器状态和键值缓存对容量与带宽的需求各不相同,因此它们的存放位置会显著影响吞吐量以及能够处理的问题规模。
计算快速链路(CXL)在基于 PCI Express 技术构建的互连上,引入了标准化的、支持一致性的设备通信与内存相关通信。基于 CXL 的内存扩展可以在直连 DRAM 之外增加内存容量,而内存池化方案则能支持更灵活的内存资源分配。这类内存仍然受到链路带宽、额外延迟、拓扑结构和管理开销的制约,并不能天然等同于本地 DRAM。近存计算与存内计算设计则采用另一种思路,将选定的计算任务移到更靠近数据存储位置的地方,在减少数据搬移的收益与可编程性、一致性、制造工艺及所支持操作等方面的限制之间作出权衡。
测量、瓶颈诊断与安全
对存储系统进行测量时,必须区分延迟、带宽、命中率以及应用程序实际推进工作的速度。具有访问依赖关系的指针追踪基准测试限制了访存操作的重叠,适合估算不同工作集大小下从发起加载到能够使用数据的延迟。包含大量独立访问的流式基准测试则更适合测量可持续带宽。单凭其中任何一种测试,都无法预测整个应用程序的表现:应用程序的访问依赖关系、读写操作、线程数、内存页放置位置,以及与其他工作负载的相互影响,共同决定了哪些测量结果具有参考意义。
实验条件可能显著改变结果。热缓存测试测量的是数据已经载入高速存储后的行为,而冷缓存测试则试图将首次访问所必需的数据传输纳入测量。分配策略、缺页异常、处理器频率变化、温度限制和后台活动也会带来额外影响。大页可能改变地址转换开销;线程迁移则可能同时改变缓存中的数据驻留情况和 NUMA 内存放置。因此,仅报告设备标称的峰值带宽或孤立测得的缓存命中延迟,会使测量中的重要条件仍不明确。
硬件性能计数器可以提供已退役指令、缓存事件、地址转换未命中、内存流量,以及等待特定资源所耗周期数等信息。计数器的定义因体系结构而异,名为“缓存未命中”的事件,统计的可能是请求、推测执行活动、缓存行填充,或其他实现层面的事件。派生指标必须与这些定义相符。如果多个未命中可以重叠处理,较高的未命中次数可能并无大碍;反之,少量具有依赖关系的未命中就可能主导指针密集型工作负载的执行时间。计数器复用和采样也会引入不确定性,在解读微小差异时必须加以考虑。
屋顶线模型将可达到的计算性能与算术强度联系起来;算术强度是指跨越指定存储边界传输的每字节数据所对应的运算次数。其基本形式为:
其中, 为峰值计算吞吐量, 为可持续带宽, 为算术强度。必须明确所指的边界:相对于 DRAM 的算术强度,可能与相对于某级缓存或主机—加速器链路的算术强度有很大差异。该模型有助于区分带宽限制与计算能力限制,但它本身并不能涵盖所有延迟、依赖关系或同步瓶颈。
共享的存储层次状态也会带来安全问题。侧信道攻击可以利用缓存命中、未命中或资源争用造成的时序差异来推断信息。这类观测可能跨越原本由体系结构权限机制保护的边界。推测执行还可能进一步复杂化体系结构可见结果与残留微体系结构状态之间的关系。因此,硬件隔离、软件组织方式和时序行为都会影响存储层次结构的安全特性。另一方面,纠错码和内存错误报告可以提高可靠性,但其覆盖范围取决于错误发生的位置,以及存储和传输路径中哪些部分受到保护。
历史发展与体系结构意义
存储层次结构从最早的实用计算机时期就已出现,因为当时可用的存储介质在速度、容量和成本上已有很大差异。阿瑟·伯克斯、赫尔曼·戈尔德斯坦和约翰·冯·诺依曼于1946年撰写的报告《电子计算装置逻辑设计初步讨论》,探讨了存储组织以及结合不同存储特性的必要性。早期计算机将电子存储器、延迟线、静电存储器、磁鼓以及后来出现的磁芯存储器组合使用。现代存储层次结构正是在这些实际约束下逐步发展起来的,而非源于某一项单独的发明。
曼彻斯特大学于1962年启用的 Atlas 计算机,是自动存储管理发展中的一个重要里程碑。它的“单级存储”通过按需分页机制,将主存与磁鼓存储结合起来,为程序提供了一个可寻址的抽象存储空间,其容量大于当时可直接使用的高速存储器。这一发展确立了一项沿用至今的区分:程序可见的地址空间,与其内容在物理存储中的实际位置并不是一回事。后来的系统进一步完善了页面置换、保护、共享和地址转换硬件。
高速缓存在20世纪60年代开始广泛应用于商用计算机。1968年发布的 IBM System/360 Model 85 在处理器与主存之间设置了高速缓冲存储器。同样是在1968年,丹宁的工作集研究系统地阐述了程序的局部性和内存需求。此后,集成技术的进步使得在处理器芯片上设置高速缓存在经济上变得可行:起初规模相对较小,后来则发展为多级结构。随着处理器吞吐量不断提高,指令与数据分离的高速缓存、共享末级缓存以及日益复杂的预取器,逐渐成为常见的应对手段。
W. A. 沃尔夫和萨莉·A. 麦基在1995年的论文《撞上内存墙:显而易见之事的影响》中,着重指出了处理器性能与主存访问能力之间日益扩大的差距。内存墙描述的是处理能力的提升快于内存访问能力的提升时所形成的制约。增大高速缓存可以缓解部分影响,却无法消除带宽有限、依赖链过长或工作负载局部性差等问题。多核处理器让更多发出内存请求的核心共用内存接口,进一步加剧了这一问题。
后续的发展更多是在增加层级,而非取代已有层级。闪存降低了许多二级存储访问的延迟,但与 DRAM 之间仍存在巨大差距。集成式内存控制器和非一致内存访问(NUMA)组织,使软件能够更清楚地感知数据的物理位置。GPU 和其他加速器引入了高带宽设备存储器,以及不同处理域之间显式的数据搬移。当代的小芯粒、堆叠式存储器和支持缓存一致性的扩展链路延续了这一模式:体系结构的进步,往往来自对数据存放位置、传输方式以及由哪个组件控制数据移动的调整。