虚拟内存是一种内存管理抽象机制,将程序使用的地址与其指令和数据实际存储的位置分离。操作系统与处理器硬件协同工作,将虚拟地址转换为物理地址,并控制各个程序可以访问哪些内存。由此形成的地址空间即使在内容分散存放于不同物理位置的情况下,也可以呈现为连续的空间,其中某些部分还可以等到实际使用时才分配物理存储。
虚拟内存将灵活分配、内存保护和受控共享结合起来,因此是现代通用计算的基础。它使独立开发的程序无需协调各自的内存位置便可运行,支持高效的文件访问,并允许将暂不使用的数据移出物理内存。尽管虚拟内存常被描述为利用磁盘空间扩展内存,但它实际上是一种涵盖范围更广的机制:系统无需交换文件也能使用虚拟内存,而庞大的虚拟地址空间也不意味着有同等容量的可用物理内存。
历史起源与发展
虚拟内存的出现,源于日益庞大的程序难以装入容量小且价格昂贵的主存这一难题。在早期计算机上,程序员经常采用覆盖技术来组织应用程序:在执行的不同阶段,将不同的代码段或数据段显式加载到同一块内存区域。这要求程序员详细了解程序的行为和存储容量。应用程序一旦发生变化,就可能需要大幅修改其覆盖结构。自动管理有望将其中的大部分负担从程序员转交给计算机系统。
早期一项具有重要影响的实现是 Atlas 计算机,由曼彻斯特大学、费兰蒂公司及合作方共同研制,于 1962 年投入使用。它的“单级存储”通过统一的寻址模型呈现主存和磁鼓存储。硬件与管理软件根据程序执行的需要,安排存储块在不同存储层级之间移动。汤姆·基尔伯恩及其同事在该项目中发挥了核心作用。Atlas 证明,即使程序可寻址的内容并非全部同时驻留在高速内存中,程序仍然可以执行,使自动存储管理从概念变成了切实可行的技术。
另一条重要的发展路线,是将地址转换与保护机制及有组织的共享相结合。1961 年推出的 Burroughs B5000 采用了与分段存储相关的、基于描述符的组织方式。从 20 世纪 60 年代中期开始开发的 Multics 则将分段与分页结合起来,并把受控共享作为核心设计目标。这些系统各自侧重于问题的不同方面:分页将存储空间划分为固定大小的单元,而分段则表示过程或数据集合等大小可变的逻辑实体。后来的系统往往采用分页机制,同时向应用程序提供基本平坦的地址空间。
虚拟内存的商业应用是逐步推进的,并非一开始就得到普遍采用。1964 年发布的首批 IBM公司 System/360 系列计算机通常不提供请求分页式虚拟内存。System/360 Model 67 增加了动态地址转换功能,并支持包括 CP-67 在内的一些颇具影响力的分时系统。随后,在 20 世纪 70 年代初,IBM 的 System/370 系列将虚拟存储功能置于其操作系统产品的核心位置。这些发展推动地址转换成为大型多用户系统的标准功能。
个人计算机领域则遵循了不同的发展时间表。早期微型计算机往往缺少实现受保护虚拟内存所需的硬件和存储资源。1985 年推出的英特尔 80386 提供了分页功能,后来成为主流个人计算机操作系统的重要基础。如今,Linux、微软 Windows 以及许多其他系统的设计都广泛依赖虚拟内存。一些嵌入式系统和实时系统仍采用较为简单的方案,因为从其工作负载、成本限制或时序要求来看,固定映射和严格控制的物理存储更为合适。
地址空间、页与物理存储
虚拟地址的含义取决于其所处的寻址上下文,而不是指向一个通用且固定的物理位置。两个进程可以使用数值相同的地址,却访问完全不同的数据。反过来,不同的虚拟地址也可以指向同一块物理内存。这种间接寻址机制使操作系统能够重新安排物理存储位置、共享选定的区域,或让未使用的地址范围保持未映射状态,而不必改变应用程序可见的地址。因此,进程的地址空间是一组有组织的映射及其访问权限,而不只是已安装内存的一份私有副本。
大多数现代系统通过分页来组织地址转换。虚拟内存被划分为大小固定的页,物理内存则被划分为大小相同的页框。一个虚拟页可以映射到任何合适的物理页框。对于页大小为 字节的系统,虚拟地址 可分解为虚拟页号和页内偏移量:
如果地址转换将该虚拟页映射到编号为 的物理页框,则对应的物理地址为
偏移量保持不变,只有页号部分需要转换。
常见的基本页大小为 4 KiB,但系统支持哪些页大小,取决于处理器架构和操作系统。使用 4 KiB 页时,地址的最低 12 位表示页内偏移量。分页消除了进程必须占用一块连续物理内存的要求,但也引入了内部碎片:一次分配的最后一页可能有部分空间未被使用。大页可以减少映射一个区域所需的映射项数量,却也降低了分配和细粒度共享的灵活性。因此,粒度的选择是一种权衡,并不存在普遍最优的固定值。
地址空间大小必须与物理内存容量区分开来。寄存器为 64 位的处理器不一定实现全部 个可能的虚拟地址,其支持的物理地址位宽也可能与虚拟地址位宽不同。操作系统还会保留一些地址范围供自身使用,并对映射和分配施加限制。稀疏地址空间允许预留非常大的区域,同时仅为其中的一小部分提供物理页作为支撑。仅仅预留这样一个区域,并不一定会消耗与其标称大小成比例的物理内存。
通常被统称为“内存使用量”的几个指标,实际衡量的是不同的事物。虚拟内存大小包括已映射或已预留的地址范围;驻留内存大小统计当前位于物理内存中的页;已提交内存则反映操作系统对其必须保障的存储资源所做的记账。共享页使内存用量的归属更为复杂,因为同一个页框可能出现在多个进程的驻留集中。随机存取存储器提供通常使用的物理工作存储空间,但虚拟映射也可以表示文件、设备内存或不可访问的保护区域。无论是解读进程监控工具的数据,还是将程序表面上的内存大小与机器的实际容量进行比较,都必须理解这些区别。
地址转换硬件、页表与地址转换缓存
内存管理单元在中央处理器执行指令时转换地址,并实施访问控制。映射关系由操作系统建立,但普通的内存访问通常无须调用操作系统。硬件会查询与当前地址空间关联的地址转换结构。页表记录虚拟页与物理页框之间的对应关系,以及有效性、访问权限、页面是否被访问或修改等依体系结构而定的信息。
随着地址空间扩大,为每个可能的虚拟页都保留一个表项的简单页表会变得过于庞大,难以实际使用。例如,对于采用 4 KiB 页面、48 位虚拟地址的地址空间,完整的页表将包含 个表项。若每个表项占八字节,仅页表就需要 512 GiB 空间。多级页表可以避免为大片未使用区域分配表项。虚拟页号被拆分为多个索引,依次用于选择各级页表中的表项;只有需要映射的区域才会建立下级页表。其他体系结构也曾采用散列或反向页表结构,以降低不同类型的开销。
由于每次加载和存储都查询多级页表的代价很高,处理器会将近期使用的地址转换结果缓存在转换后备缓冲器(TLB)中。TLB 命中时,无须完整遍历页表即可得到转换结果。TLB 未命中并不等于缺页:页面可能已经驻留在内存中,只是其地址转换结果不在缓存中。许多体系结构在未命中后由硬件遍历页表;另一些则采用由软件管理的地址转换缓存。处理器还可能缓存页表遍历过程中的中间信息,以加快对邻近地址范围的重复遍历。
更改映射时,必须协调处理缓存中的地址转换结果。如果操作系统撤销写权限或重新分配物理页框,就不能让旧的 TLB 表项继续生效。在多核机器上,其他处理器可能仍保留着同一地址空间的转换结果,因此需要协调各处理器使相关表项失效,这通常称为 TLB shootdown。在频繁更改映射的工作负载中,这可能带来显著开销。地址空间标识符用于区分属于不同上下文的缓存转换结果,可以减少上下文切换时不必要的失效操作;支持此功能的 x86 处理器所使用的进程上下文标识符就是其中一例。
地址转换还会与 CPU 缓存和处理器执行流水线相互影响。缓存的组织方式必须适应虚拟地址与物理地址之间的关系,包括多个虚拟地址映射到同一个物理页的情况。缓存的地址转换结果所覆盖的内存总量称为 TLB 覆盖范围:一个具有 512 个表项的 TLB,如果所有表项都对应 4 KiB 页面,就能覆盖 2 MiB 内存。使用更大的页面可以在不增加表项数量的情况下扩大覆盖范围。因此,地址转换性能不仅取决于处理器缓存能容纳多少数据,还取决于这些数据在各个虚拟页上的分布情况。
请求分页、缺页异常与后备存储
请求分页将页面的提供推迟到访问实际需要该页面时。当指令引用某个地址,而该地址当前的映射无法满足访问要求时,处理器就会触发缺页异常,并将控制权交给操作系统的处理程序。处理程序会检查地址、所请求的操作以及映射元数据。异常可能意味着对尚未驻留内存的页面提出了合法请求,也可能是首次写入受到特殊保护的页面,或是发生了非法访问。因此,缺页异常是一种通用的控制机制,并不专门表示需要从磁盘读取数据。
对于合法但尚未驻留内存的页面,操作系统会确定如何提供其内容。以文件为后备的页面可以从文件中的相应偏移处读取。新分配的匿名页通常需要填零后的存储空间,以防先前使用者留下的数据泄露。先前被逐出内存的匿名页则可能需要从交换存储中恢复。一旦有合适的物理页框可用,且页面内容已准备就绪,操作系统便会建立或更新映射,并恢复执行。在支持精确且可重新执行的异常的体系结构上,触发异常的指令随后即可完成。
操作系统通常会区分次缺页异常与主缺页异常:前者无须从存储设备读取数据即可解决,后者则需要进行这种读取。次缺页异常可以通过建立到已缓存文件页的映射,或分配一个新的填零页来解决。主缺页异常可能需要等待存储设备,因此耗时可能远超普通的内存访问。具体分类方式和计数指标因系统而异。仅凭缺页异常次数较多,还不足以判定存在性能问题:大量开销很小的首次访问缺页,与反复读取已被逐出的数据,二者有很大区别。
后备存储的选择取决于页面类型。未经修改的可执行文件页面通常可以直接丢弃,之后再从对应的可执行文件中重新读取。经过修改的私有数据页无法以这种方式重建,因此在逐出前,需要用其他方式保存其内容。交换分区或交换文件为匿名内存提供了这样的存储空间。一些系统还会在物理内存中压缩页面,以处理器时间换取内存占用的减少。以文件为后备的页面、匿名页、压缩内存和交换存储是不同的机制,即使它们可能共同参与同一套内存回收系统。
分配策略还带来了另一层区别。预留地址范围并不一定会分配物理页框,也不保证将来每一次写入都能得到满足。一些操作系统允许内存超量承诺,即允许潜在的私有内存分配总量超过在最坏情况下所有需求同时出现时所能提供的后备容量。另一些系统则采用更严格的内存承诺记账机制,或提供多种可选策略。如果需求最终超出可用资源,内存分配或缺页异常处理就可能失败,操作系统也可能终止选定的进程。虚拟内存提高了灵活性,并提供了更多存储选择;它并不会创造无限容量,也不保证每一个预留字节最终都能存放独立的数据。
置换策略、局部性与内存压力
当物理内存不足时,操作系统必须决定保留哪些驻留页、回收哪些驻留页。这一决策由页面置换算法支配,通常还会与文件缓存、回写和进程资源控制等更广泛的策略相结合。对于以文件为后备的干净页,由于其内容仍保存在文件中,丢弃它的开销很小。对于脏页,则可能需要先将其写回,才能复用其页框。因此,回收成本既取决于页面再次被使用的可能性,也取决于保存页面内容所需的工作量。
理论上的最优策略会淘汰下一次使用时间距离当前最远的页面。它可以作为比较基准,但由于无法预知未来的访存行为,通常无法实现。最近最少使用置换策略依据近期历史来估计未来行为,但为每次内存访问维护精确的访问顺序,代价十分高昂。实际系统会采用近似方法,通常结合硬件维护的访问位、定期采样、多队列或页面分代等机制。时钟类算法通过扫描页面,为近期访问过的页面再提供一次保留机会,从而避免维护精确顺序的开销。
这些策略利用了局部性。时间局部性是指近期使用过的数据很可能再次被使用;空间局部性是指相邻地址往往会被一起访问。彼得·丹宁于1968年提出的工作集模型,将程序在最近一段执行时间内访问过的页面集合,作为描述程序当前内存需求的一种有效方式。随着程序进入不同执行阶段,工作集也会发生变化。例如,编译器在语法分析、优化和代码生成阶段,可能会使用不同的活跃数据。良好的分配和回收策略应当适应这些变化,而不是假定所有已分配页面都具有同等价值。
如果活跃工作负载所需的驻留内存总量超过系统所能提供的容量,反复淘汰和重新加载页面就可能导致抖动。此时,程序执行会花费过多时间等待页面,而不是进行有效计算,因而推进速度变慢。在这种情况下,增加活跃进程的数量可能反而降低吞吐量,而非提高资源利用率。系统会综合运用内存回收、回写、资源限制、调度决策和内存不足处理等手段来应对。局部置换将竞争更严格地限制在某个进程或资源组内部;全局置换则允许更大范围地共享空闲容量,但也可能使一个工作负载的增长干扰另一个工作负载。
一个简化计算可以说明,为什么即使代价高昂的缺页很少发生,也会产生显著影响。如果一次普通访问耗时为 ,一次缺页平均额外耗时为 ,每次访问发生缺页的概率为 ,那么
举例来说,若内存访问耗时为100纳秒,缺页处理耗时为1毫秒,那么 的缺页概率就会使每次访问的平均耗时额外增加100纳秒。实际执行还涉及缓存、并发、操作重叠以及差异很大的缺页开销,因此这并不是一个完整的性能模型。不过,它仍然说明:以存储设备为后备的分页机制,无法让对过大工作集的持续访问达到与访问驻留内存相同的性能。
进程创建、共享映射与文件访问
虚拟内存将地址范围的所有权与其物理存储的独占所有权分离。操作系统可以将同一个物理页映射到多个地址空间,并为各个映射赋予不同的权限。因此,可执行文件或共享库中的只读机器码可以仅占用一组物理页框,同时出现在多个进程中。各个进程仍然可以拥有私有的可写数据。共享减少了重复存储,但要求系统跟踪各个映射,并维持共享修改与私有修改之间应有的区别。
写时复制将复制操作推迟到某个共享方修改共享数据时才执行。在使用 fork 创建进程的传统 Unix操作系统中,子进程最初获得的地址空间,其内容与父进程的地址空间相同。操作系统不必立即复制所有可写页,而是可以将父子进程的映射都设为只读,并让它们引用相同的物理页框。后续的写操作会触发异常。异常处理程序会判断是否需要单独的副本,必要时分配一个页并复制其内容,然后为执行写操作的进程恢复写权限。如果只剩下一个相关的所有者,就可能无需复制。
这一机制提高了先调用 fork、再调用 exec 这一常见模式的效率:不必先复制页面,随后又在子进程替换其程序映像时将其丢弃。写时复制还支持私有文件映射和某些形式的快照。它只是推迟了开销,而非消除了开销。如果某项工作负载会修改几乎所有共享页,最终仍可能需要进行大量复制,并承担相应的异常处理和内存分配开销。因此,资源核算必须区分最初的共享状态,以及后续写入可能产生的、占用空间更大的私有状态。
内存映射文件将文件的一部分与一个虚拟地址范围关联起来,使普通的加载和存储指令能够访问文件内容。在共享映射中,修改可能通过其他映射变得可见,也可以被写回文件。在私有映射中,修改通过写时复制加以隔离,不会经由该映射更新底层文件。文件系统与虚拟内存子系统通常通过页缓存协同工作,使已经因一种访问方式而驻留在内存中的文件数据,也能供另一种访问方式使用,而不必另外保存一份副本。
映射访问并不能免除同步、错误处理或持久性控制的需要。共享可写内存的进程必须协调并发修改,而一次存储操作的结果在内存中变得可见,并不一定意味着它已写入持久存储。文件截断或存储错误也可能影响映射区域,具体方式因系统而异。数据库会采用映射文件、显式输入/输出和私有缓冲区管理的不同组合,因为每种方式对置换、调度和故障行为所提供的控制各不相同。内存映射是访问文件内容的一种接口,既不是事务协议,也不自动保证持久性。
保护、隔离与安全边界
虚拟内存是进程之间,以及应用程序与操作系统内核(操作系统)之间的一道主要边界。页表权限决定当前特权模式下是否允许某次访问,以及是否允许读取、写入或执行指令。通常,应用程序无法仅通过选择相同的数值地址来获取另一进程的数据:在它自己的地址空间中,该地址值要么映射到不同的位置,要么不可访问。内核控制映射的变更,因此页表的完整性也是系统可信计算基的一部分。
权限机制支持多种不同的防护措施。仅限监管模式访问的映射将访问权限定于特权软件。不可执行的数据页可防止处理器直接执行放置在普通栈或堆等区域中的指令。只读映射可保护代码和常量,防止意外或未经授权的修改。保护页则有意让某个区域不可访问,使部分越界访问触发故障。这些机制有助于检测或限制错误,但其保护粒度是页:如果越界访问仍然落在可访问的页内,就可能继续进行,而不触发硬件异常。
地址空间布局随机化通过改变程序中选定区域的放置位置,使攻击者更难预测可利用的代码和数据位于何处。它是对访问权限和内存安全编程技术的补充,而不是替代。地址泄露可能削弱其效果,而可用的随机化程度则取决于体系结构、地址空间大小和加载器策略。同样,不可执行内存也无法阻止所有控制流攻击,因为攻击者可能尝试复用已有的可执行指令。虚拟内存保护确立了重要的限制,却不能证明程序会安全地使用其获准访问的内存。
内存隔离还依赖于正确处理页面复用,以及经由处理器常规加载—存储路径之外的途径进行的访问。新近提供给进程的匿名页不得泄露无关进程留下的残余内容。具备直接内存访问能力的设备可以绕过 CPU 的页权限,因此系统可以采用输入输出内存管理单元来限制设备可见的地址。在将硬件分配给虚拟机,或处理行为无法完全信任的设备时,设备隔离尤为重要。CPU 映射与设备映射是相互关联但又各自独立的保护机制。
推测执行攻击揭示了体系结构层面权限机制的更多局限。2018 年 1 月公开披露的 Meltdown 攻击表明,受影响的处理器可能通过微体系结构副作用,短暂泄露特权映射中的信息,即使该访问并未作为体系结构所允许的操作完成。内核页表隔离通过将大部分内核映射与用户态页表分离,降低了信息暴露的风险。这类防御措施表明,必须综合考虑地址转换、权限、推测执行和缓存行为。缺页异常或访问被拒绝可以维持体系结构层面的正确性,但仍需采取额外措施,防止信息通过时序及其他侧信道泄露。
虚拟化、大容量内存与异构系统
在硬件辅助的虚拟化中,内存地址转换通常分为两个阶段。客户机操作系统将客户机虚拟地址转换为客户机物理地址,虚拟化硬件再将其转换为宿主机物理地址。英特尔的扩展页表和 AMD 的嵌套分页为第二阶段提供了相应机制。客户机可以管理它所看到的物理内存,而不直接控制宿主机的实际页框。因此,虚拟机增加了一层地址解释机制,而不只是获得宿主机虚拟地址空间中一个固定的部分。
嵌套地址转换会增加地址转换缓存未命中时可能需要完成的工作量,因为读取客户机页表项这一操作本身,可能也需要通过宿主机的映射结构进行地址转换。硬件缓存和合并的地址转换条目可以降低这一开销。早期的虚拟化系统普遍采用影子页表:虚拟机监控器一边跟踪客户机页表的变化,一边维护可供硬件直接使用的映射。现代系统在迁移虚拟机、回收客户机内存或跟踪已修改页面时,仍然面临相关的协调问题。例如,脏页跟踪有助于识别在热迁移过程中必须再次传输的内存。
大页解决了另一类规模扩展问题。在常见的 x86-64 配置中,映射可以使用 4 KiB 页面、2 MiB 页面,或者在支持的情况下使用 1 GiB 页面。对于规模较大的连续工作区域,更大的映射可以减少页表占用的内存、页表遍历次数以及 TLB 未命中次数。但它们也有代价:连续的物理内存更难获得,少量有用数据可能占用一大块分配空间,而细粒度保护或写时复制可能要求拆分大页映射。透明大页机制力求在不要求每个应用程序显式管理页面大小的情况下,获得这些收益。
物理内存并不总是均一的。在非统一内存访问系统中,处理器访问某些内存位置时,延迟比访问其他位置更低,或可获得的带宽更高。虚拟地址向普通应用程序代码隐藏了物理位置,但并未消除这些性能差异。操作系统可以采用首次触碰分配、放置策略或页面迁移,使数据尽量靠近使用它的处理器。页面可以在迁移到另一个物理位置的同时保留其虚拟地址,不过迁移需要协调修改映射,并妥善处理设备或其他子系统持有的引用。
图形处理器和其他加速器进一步增加了系统的多样性。共享虚拟地址模型可以让 CPU 和设备代码使用相对应的指针值,而托管内存系统则可以迁移数据或处理设备端缺页异常。共享地址并不意味着物理存储相同、访问速度一致,也不意味着每个平台都能自动保证一致性。独立的加速器内存、系统内存以及较新的内存扩展技术,可以在相互关联的寻址接口背后形成多个物理层级。在这些系统中,核心挑战已越来越不只是页面是否驻留在内存中,还包括它驻留在何处、哪些访问主体可以访问它,以及一次访问完成之前需要进行哪些数据迁移或同步操作。