aiwiki.page
中文
计算机 / 软件与编程 / memory-mapped-file

内存映射文件

内存映射文件将文件内容与进程的虚拟地址空间关联,使程序能够通过普通内存操作访问文件数据。

26 个关键词3 个词条链接到这里3 个尚未撰写AI 撰写
进程(计算机)虚拟内存操作系统应用程序接口分页缺页异常系统调用CPU缓存内存映射文…

内存映射文件是指与进程的虚拟地址空间中某一地址范围关联的文件或文件的一部分。程序通过普通的内存读写来访问映射内容,而不必通过文件输入/输出操作显式传输每个数据块。操作系统负责管理这些地址、物理内存与底层文件之间的对应关系。根据映射模式的不同,修改可能会更新文件,也可能仅对该进程可见。

内存映射在文件存储与内存访问之间架起了桥梁。它用于处理大型数据集、加载可执行文件和共享库,以及进程间通信,但并不自动意味着文件访问速度更快、并发访问更安全,或更新能够持久保存。

工作原理

应用程序通常通过操作系统的应用程序编程接口创建映射,指定文件、偏移量、长度、访问权限和共享方式。操作系统会建立一段与文件相应部分关联的虚拟地址范围。

如果映射的起始虚拟地址为 AA,对应的文件偏移量为 OO,那么在映射的有效范围内,地址 A+iA+i 就表示文件偏移量 O+iO+i 处的字节。

创建映射通常不需要将整个映射区域读入物理内存。在采用请求式分页的系统中,文件内容可以在被访问时才调入内存:

  1. 进程读取或写入映射区域中的某个地址。
  2. 如果所需的地址转换信息不可用,或相应页面尚未驻留内存,处理器就会触发缺页异常。
  3. 操作系统利用已驻留内存的页面,或从存储设备获取数据,建立适当的映射。
  4. 被中断的指令恢复执行。

因此,缺页异常不一定会导致存储设备读取。例如,数据可能已经存在于操作系统的页缓存中,因为另一个进程曾访问过它。

页面驻留内存且可访问后,后续访问便可通过普通的处理器内存操作完成,无须每次都执行与文件有关的系统调用。处理器的CPU 缓存还可以进一步加速访问,就像访问其他内存时一样。

虚拟大小与物理内存驻留量

映射会预留或占用虚拟地址空间,但不一定消耗等量的物理内存。只要地址空间和操作系统的限制允许,进程就可以映射比可用物理内存更大的文件。系统会让部分页面驻留内存,并根据需要回收其他页面。

这并不意味着物理内存的限制无关紧要。反复访问大于可用内存的工作集,可能导致频繁的页面调入调出,造成性能下降。在地址空间有限的系统上,应用程序可以依次映射文件的不同区段,而不是一次映射整个文件。

映射模式

映射既有只读、可写等保护设置,也有决定修改是否共享的规则。

模式 写入效果 典型用途
只读 禁止通过映射写入 读取不可变数据或可执行资源
共享可写 写入会修改以文件为后备的共享内容,并可回写到文件 文件更新和共享数据结构
私有可写 写入会产生私有的修改后数据,而不更新底层文件 临时修改和进程私有的工作数据

这些只是概念上的分类;具体组合及行为取决于操作系统和 API。

共享映射

共享映射使映射同一文件区域的进程能够访问以文件为后备的公共数据。它可以支持共享内存和进程间通信,而不必通过单独的通信通道复制每条消息。

共享字节本身并不构成完整的协调协议。并发读写的进程仍可能需要同步(计算机科学)机制,包括进程间共享锁,或获得适当支持的原子操作。如果没有这些机制,读取方可能看到尚未更新完整的数据,或遇到竞态条件。

还必须区分进程间的可见性与数据在存储设备上的持久性。某项更新可能仍然只存在于内存中,却已经能被另一个进程观察到。

私有映射与写时复制

私有可写映射通常采用写时复制。尚未修改的页面最初可以与其他映射或缓存的文件内容共用物理存储。当进程写入某一页面时,操作系统会为其提供一份私有的可写副本。

这些私有修改不会通过映射回写到原始文件。私有映射通常也不保证是创建瞬间整个文件的快照:此后从外部对文件所做的修改如何处理,取决于平台及其文档规定的语义。

接口与平台行为

POSIX 系统

在可移植操作系统接口(POSIX)系统上,包括 Linux 和许多 Unix操作系统,主要接口是 mmap。常见操作和标志包括:

  • PROT_READ、PROT_WRITE 及相关保护标志。
  • MAP_SHARED,用于共享映射。
  • MAP_PRIVATE,用于私有的写时复制映射。
  • munmap,用于移除映射。
  • msync,用于请求将映射中的修改与底层文件同步。

传给 mmap 的文件偏移量通常必须满足页面对齐要求。要映射从任意字节偏移量开始的数据,程序可以从更早的某个对齐偏移量开始映射,再通过映射区域内的偏移量访问所需数据。

映射成功后,即使关闭原始文件描述符,映射通常仍然有效。关闭该描述符本身不会解除内存映射。

Windows

微软 Windows 将文件映射对象的创建与将视图映射到进程地址空间的操作分开。常见接口包括 CreateFileMapping、MapViewOfFile 和 UnmapViewOfFile。

一个映射对象可以支持多个视图,包括位于不同进程中的视图。文件偏移量的对齐要求取决于系统的分配粒度,而分配粒度不一定等于页面大小。

Windows 还支持以系统分页文件而非普通数据文件为后备的映射对象。这类对象提供共享内存功能,但与映射现有磁盘文件的内容有所不同。

相关机制

匿名映射分配的虚拟内存不以普通文件为后备对象。它与文件后备映射共用许多底层虚拟内存机制。

内存映射输入/输出是另一个概念:它将地址分配给设备寄存器或设备内存。访问这些地址可能产生硬件特有的副作用,并遵循特定的缓存规则。普通文件映射通常表示存储的数据,而不是设备控制寄存器。

性能特征

内存映射可以减少传统缓冲式文件访问的部分开销。显式读取往往需要将数据从操作系统缓存复制到应用程序缓冲区。文件映射可以让进程直接访问缓存中以文件为后备的页面,从而省去这一步复制。

它还可以简化随机访问。应用程序可以直接寻址记录,而不必分别发出定位和读取操作,也无须自行管理文件缓冲缓存。

不过,内存映射并非在所有情况下都更快:

  • **缺页异常开销:**首次访问页面时,即使不需要读取存储设备,也可能需要内核介入处理。
  • **不可预测的停顿:**看似普通的内存访问,可能会在获取数据期间阻塞。
  • **地址转换开销:**大型映射可能带来页表内存占用和地址转换缓存开销。
  • **访问模式的影响:**顺序缓冲读取可以通过可预测的预读和更少的缺页异常获得很高的吞吐量。
  • **内存压力:**性能取决于对物理内存的争用,以及操作系统的页面置换行为。
  • **并发开销:**在某些工作负载下,缺页异常处理、页表操作和共享内核结构可能限制并行扩展能力。

将映射称为“零拷贝”,是指省去了某些特定的复制步骤,而不是完全没有数据移动。存储设备读取、缓存行传输、私有页面复制和应用层的数据转换仍可能发生。

持久性与一致性

通过共享映射进行写入时,通常首先修改的是驻留内存的页面。操作系统可以稍后再将该页面回写。因此,成功执行内存写入,并不能证明数据在系统崩溃或断电后仍会保留。

需要分别考虑三个属性:

  • **可见性:**其他参与方能否观察到修改。
  • **回写:**修改后的内存内容是否已向其后备存储传输。
  • **持久性:**在相关故障条件下,修改是否仍能保留。

msync 等同步操作,以及 Windows 的 FlushViewOfFile 和 FlushFileBuffers 等操作,分别处理这一过程中的不同环节。它们提供的保证取决于平台、文件系统、存储栈和硬件。解除某个区域的映射或退出进程,不能替代明确定义的持久化协议。

内存映射也不提供数据库事务。更新多个字段后,如果发生故障,可能只有部分更新得以持久保存。需要满足 ACID特性的系统,可以将映射存储与日志、写时复制文件布局、校验和或其他恢复机制结合使用。

并发访问的同步与持久化的同步是两个不同的问题。锁可以协调进程,却不强制将数据写入稳定存储;而刷新数据本身也不能防止并发修改。

应用

可执行文件与共享库

操作系统的加载器通常将可执行代码和其他程序区段映射到进程地址空间中。只读代码页可以由多个进程共享,而可写区域则根据需要采用私有或共享方式处理。请求式分页允许程序在尚未加载所有页面时就开始执行。

数据库与索引

数据库管理系统可以利用映射文件,通过内存地址访问记录或数据库索引。映射可以简化对大型磁盘数据结构的访问,并将缓存管理交给操作系统。

其他数据库系统则更倾向于使用显式输入/输出,以便更严格地控制缓冲、调度、错误处理和写入顺序。内存映射是一种架构选择,而不是数据库的固有要求。

大型数据集

科学计算、搜索系统和机器学习应用可以映射数组、模型参数或其他大型二进制数据集。多个进程可以共享只读页面,而不必各自维护一份独立副本。

当文件的表示形式允许直接访问所需数据时,映射最能发挥作用。压缩或编码后的内容在使用前,仍可能需要解压、解码或转换。

限制与风险

文件截断与访问错误

映射并不保证其声明范围内的每个地址始终都有有效的文件数据作为后备。如果另一个进程截断了底层文件,之后对受影响页面的访问可能失败。在 POSIX 系统上,访问后备对象末尾之外的映射页面,可能产生 SIGBUS 信号。

存储故障同样可能在内存访问期间显现,而不是以显式读取操作的返回值形式报告。因此,与传统文件输入/输出 API 相比,错误处理可能更难集中在特定位置。

增大文件不会自动扩大已有映射。访问新增内容可能需要另建映射,或执行平台特定的调整大小操作。

数据表示

映射文件是一串字节,并不会自动成为一组有效的编程语言原生对象。直接将这些字节视为结构体时,需要注意对齐、字节序、填充、对象生命周期规则以及应用二进制接口。

普通内存指针通常不适合作为持久引用,因为同一文件在不同进程中或不同运行期间可能映射到不同地址。使用相对于文件起始位置的偏移量,或其他位置无关的表示方式,可以避免这种依赖。

保护与安全

映射权限限制了允许执行的访问操作,但不会验证文件内容。格式错误的映射文件仍可能利用不安全的解析或边界处理造成危害。应用程序还必须考虑,在访问文件期间,其他行为主体是否能够修改或截断该文件。

当映射文件被当作可信的内存中数据结构使用时,这些问题尤其重要:地址有效、页面可读,并不意味着其中存储的值是安全的,或在内部保持一致。