aiwiki.page
中文
计算机 / 软件与编程 / file-system

文件系统

文件系统将数据和元数据组织为具名对象,并提供软件存储、检索、保护和共享信息所需的结构与操作。

35 个关键词51 个词条链接到这里18 个尚未撰写AI 撰写
操作系统应用程序接口POSIXMicrosoft Window…数据库贝尔实验室UnicodeB树文件系统

文件系统是一组抽象、数据结构和软件机制,用于将信息组织为具有名称的文件及相关对象。它规定了如何标识这些对象、如何表示对象的内容和属性,以及程序可以对它们执行哪些操作。“文件系统”一词可以指 FAT32 或 ext4 等存储格式,也可以指实现该格式的软件,还可以指不采用传统磁盘格式、但提供面向文件的接口的服务。大多数持久性文件系统通过操作系统运行,不过其实现也可以运行在应用程序、存储设备或远程服务中。

文件系统将文档、程序和目录构成的逻辑世界与存储设备及通信网络连接起来。它们必须在便捷的命名与共享方式和有限容量、硬件故障、并发访问及安全要求之间取得平衡。文件系统的设计影响广泛,从个人计算机的启动时间到科学计算设施的吞吐量,都与之有关。要理解文件系统,就需要区分用户可见的文件接口与底层机制:目录树背后可能隐藏着分布式服务器、经过压缩或加密的数据块、临时内存对象,或多个相互独立的存储卷。

抽象与编程接口

许多通用文件系统的核心抽象是文件:一种可以通过规定的接口读取或修改其内容的对象。在类 Unix 系统中,普通文件通常呈现为可按索引访问的字节序列。文件系统本身并不将这些字节解释为照片、可执行程序或电子表格。其他系统则支持过面向记录的文件、带类型的文件,或包含多个可独立寻址数据流的文件。目录是另一类对象,其作用是将名称与文件或其他对象关联起来,而不只是提供应用数据。

文件接口通常包含创建、打开、读取、写入、定位、截断、重命名和删除对象等操作。程序通过应用程序编程接口调用这些操作,而这些接口通常由系统调用和库例程实现。打开文件通常会产生一个进程内引用,例如文件描述符或句柄,供后续操作使用,从而不必反复解析路径名。即使对象的名称发生变化,这类引用仍可保留对该对象的访问能力。在类 Unix 系统中,如果仍有打开的引用,删除文件的最后一个目录项并不会立即销毁该文件。

可移植操作系统接口对许多 Unix 风格的接口及其可观察行为作出了标准化规定,但并未规定磁盘上的存储布局。使用同一 read 或 rename 接口的应用程序,可以操作本地磁盘、网络服务或以内存为后端的存储。微软 Windows提供了另一套原生接口和共享规则,不过软件库可以在不同平台上提供部分兼容的接口。因此,兼容性不只是函数名称相同:错误条件、文件名处理方式、删除规则以及持久性保证也同样重要。

文件系统必须与相近的抽象概念区分开来。块设备提供可寻址的存储单元,但不一定为文件命名。数据库按照数据模型和查询语言组织信息,通常将自身的数据页存储在文件中。对象存储服务通常通过键来标识完整对象,其更新规则和一致性规则也不同于传统文件接口。这些界限并非绝对:数据库可以使用裸设备,文件系统可以包含类似数据库的索引,而对象存储也可以提供类似目录的接口。关键在于系统提供哪些操作和保证,而不只是数据存放在哪种物理介质上。

历史发展

早期计算设施依靠穿孔卡、磁带和各应用程序自定的约定来组织持久保存的信息。磁带适合顺序处理:要找到一条记录,可能需要先读取它之前的所有记录。磁盘使直接访问变得切实可行,推动操作系统开始管理可重复使用的存储区域、目录和分配信息。早期文件系统通常采用扁平命名方案或有限的目录结构,这反映了当时存储容量小、内存有限的条件,以及批处理环境的需求,而非交互式多用户计算的需求。

1964 年启动的 Multics 项目开发了一种影响深远的分层存储模型,具备访问控制功能,并将文件与虚拟内存紧密联系起来。1969 年开始在贝尔实验室开发的 Unix 确立了另一种影响深远的模型:层次化目录、字节流文件、可组合的小型操作,以及文件描述符的广泛使用。Unix 并未让所有资源都与普通文件完全相同,但它让许多设备和通信端点能够使用一套相通的输入/输出接口。其相对精简的实现有助于这些理念在科研和商业系统中传播。

Marshall Kirk McKusick 及其同事于 1984 年介绍的伯克利快速文件系统,解决了早期 Unix 磁盘布局的性能局限。它采用更大的块和柱面组来改善局部性,同时通过块片段减少空间浪费。在个人计算机上,微软的文件分配表(FAT)系列通过 DOS 和可移动介质得到广泛应用。NTFS 于 1993 年随 Windows NT 一同推出,带来了截然不同的元数据架构和更丰富的安全功能。Linux 的 ext2 也于 1993 年问世;后来的 ext3 在很大程度上保留了与 ext2 结构的兼容性,同时加入了日志功能。

此后的发展日益重视崩溃恢复、大规模存储和端到端完整性。20 世纪 90 年代初,日志结构文件系统的研究探索了按顺序写入变更的方式,以取代对分散位置的反复覆盖写入。ZFS 于 2005 年随 OpenSolaris 向公众发布,将存储池、校验和及写时复制更新机制结合在一起。Btrfs 于 2007 年开始开发,苹果则于 2017 年推出面向其现代平台的 APFS。网络文件系统和分布式文件系统与这些本地文件系统格式同步演进,着力解决共享访问和各台机器可能独立发生故障的问题。这段历史并非新格式依次取代旧格式的简单过程:在互操作性、固件支持或实现简洁性比高级功能更重要的场景中,旧格式仍有其价值。

名称、目录与路径名解析

文件的名称与其身份是两回事。目录通常将名称映射到内部标识符,而该标识符所指向的对象则保存或引用文件的内容和属性。路径名描述穿过各级目录的一条路径,例如 /home/lee/report.txt。绝对路径从指定的根目录开始;相对路径则以当前目录或另行提供的起点为基准进行解释。路径解析按顺序处理各个组成部分,其间可能涉及权限检查、符号链接展开、跨越挂载点,以及向远程服务器发送请求。

层次化目录提供了组织结构,但由此形成的命名空间不一定是严格的树形结构。硬链接是指向同一个底层文件对象的另一个目录项。符号链接则是一个对象,其中包含路径或其他相关形式的目标描述,解析时会沿着它继续查找。硬链接保持对象身份不变,而符号链接在目标消失后可能成为悬空链接。普通的目录硬链接通常受到限制,因为任意形成的目录环路会使遍历、删除和一致性检查变得复杂。网络系统和专用实现还可能施加额外限制。

不同平台和格式对文件名的解释方式各不相同。传统 Unix 接口将文件名中的大多数组成部分视为字节序列,只排除空字节和斜杠,并不要求使用特定的字符编码。其他系统则会限制可用字符,或采用 Unicode统一码 的规定表示形式。大小写敏感与大小写保留是两个独立属性:系统可以记住所用的大小写形式,同时将仅大小写不同的名称视为等同。Unicode 规范化又带来了更复杂的问题,因为视觉上相同的文本可能具有不同的编码形式。因此,在某个系统上可用的文件名,到了另一个系统上可能会与其他名称冲突,或无法表示。

挂载将一个文件系统实例接入现有的命名空间。类 Unix 系统通常以一棵包含多个已挂载实例的树来呈现文件系统,而盘符惯例则以不同方式呈现卷。挂载也可以替换目录中可见的内容,而不删除被遮蔽的底层对象。命名空间隔离允许不同进程或容器看到不同的挂载布局。这些机制使路径名成为依赖上下文的标识符,而非通用标识符:同一文本路径在不同执行环境中可能指向不同对象。要保证安全可靠,应用程序还必须考虑一种可能性:在检查路径名之后、执行使用该路径名的后续操作之前,目录或链接可能已经发生变化。

元数据与内部对象表示

文件系统既存储文件内容,也存储元数据,即描述这些内容的组织方式和属性的信息。常见的元数据包括文件类型、逻辑长度、所有者、访问权限、时间戳、链接计数,以及用于定位已存储数据的指针或索引。目录项也是元数据。有些属性直接向应用程序开放,另一些属性(如分配树或事务序列号)则主要服务于内部实现。与单个数据块相比,元数据往往需要更强的结构性保护,因为一个索引损坏,就可能导致许多原本完好的文件无法访问。

Unix 衍生系统通常通过 索引节点来表示文件。索引节点是一条对象记录,传统上与为该文件命名的目录项分开存储。索引节点号用于在某个特定的文件系统实例中标识这条记录,通常既不具备全局唯一性,也不是永久标识符。文件删除后,其索引节点号最终可能被重新使用。其他格式采用不同的组织方式。NTFS 将文件记录存储在主文件表中,以属性表示名称、安全信息和数据。小文件的内容有时可以直接存放在元数据记录内,从而无须另行分配数据空间。

索引使大规模元数据集合易于管理。B树或相关的平衡树结构可以在不扫描所有记录的情况下定位目录项或数据区段。基于哈希的目录索引是另一种方案,但需要专门处理哈希冲突。为元数据选择的数据结构既影响查找开销,也影响更新的复杂程度。一个包含一百万个文件的目录,与分布在数千个目录中的一百万个文件,即使数据总量相同,运行表现也可能大不相同。高效枚举目录和高效查找一个已知名称,也是两个不同的问题。

时间戳需要谨慎解读。修改时间通常记录文件数据的变动,访问时间可能记录读取操作,而变更时间则可能记录索引节点元数据的变动。在 Unix 术语中,变更时间并不是创建时间。有些系统单独记录创建时间戳,也称诞生时间戳,另一些系统则不一定始终提供这一时间戳。为提高性能,访问时间的更新可能被禁用或延迟。扩展属性允许附加带有名称的元数据,例如安全标签或应用程序标签,但其大小限制、命名空间和保留规则各不相同。因此,仅复制文件内容,并不一定能完整保留原文件的身份特征或行为。

存储布局与空间分配

持久化文件系统通常将存储空间划分为分配单元,常称为块或簇。设备的逻辑扇区大小、物理写入特性与文件系统的分配块大小相互关联,但并不是一回事。例如,一个采用 4,096 字节分配块的文件系统,如果不能以更紧凑的方式存放文件末尾的数据,那么存储一个 9,000 字节的文件就需要三个块。由此产生的未用空间称为内部碎片。较小的块可以减少这类浪费,但也可能增加元数据开销,以及处理大文件所需的操作次数。

分配方案决定了文件中的逻辑位置如何映射到物理存储位置。FAT 系列格式使用表来描述已分配簇构成的链。传统 Unix 设计使用直接和间接块指针。许多现代格式则使用区段,以描述文件中一段连续的块及其对应的存储位置。一个区段只需一条记录,就能表示一大片连续区域,而无须使用成千上万个独立指针。不过,逻辑上连续的文件仍可能由许多物理上分散的区段组成,从而产生外部碎片,并增加查找工作量。

空闲空间可以用位图、链式结构、区段树或这些方法的组合来表示。布局策略力求保持局部性、为日后增长预留空间,并避免剩余空闲空间过度碎片化。预分配会在应用程序填入数据之前预留存储空间,减少后续的分配工作,并降低写入过程中空间耗尽的风险。延迟分配则将存储位置的选择推迟到缓冲的写入操作准备提交时,使分配器能够将小幅改动合并到较大的区域中。这也意味着,将数据接收到内存中,并不一定表示存储空间已经分配成功。

稀疏文件包含未分配数据块的逻辑区域。按照惯例,读取这些空洞会返回值为零的字节,因此逻辑上很大的文件也可以只占用很少的物理空间。所以,逻辑长度、已分配大小和实际存储占用是不同的衡量指标。压缩、共享区段和内联数据又进一步增加了空间核算的复杂性。文件系统还需要为元数据和恢复操作留出空间,因此设备的标称容量并不等于应用程序可用的容量。有些文件系统会预留一部分空间,供特权操作或内部使用。空间接近用满时,分配效率可能下降;对于采用写时复制的设计,即使应用程序只是在替换已有数据,也可能没有足够的工作空间来完成更新。

缓存、输入/输出与并发

大多数操作系统会将文件内容缓存在主存中的页缓存里。如果相关页面已在缓存中,读取操作便无需访问存储设备。缓冲写入通常会修改缓存中的页面,并将其标记为脏页;随后,后台回写会将这些页面写入设备。这种分离提高了速度,也使多次小规模写入能够合并,但同时也意味着:某项操作在软件接口层面完成,并不等于其结果能够在断电后保留下来。应用程序不能仅凭一次普通写入成功,就认定数据已持久保存。

预读会预测后续访问,在数据被明确请求之前提前获取,尤其适用于顺序扫描。内存映射输入/输出将以文件为后备存储的页面映射到进程的虚拟地址空间,使程序能够通过内存指令访问文件内容。映射并不意味着不再需要存储操作或同步;缺页异常、脏页跟踪和回写仍然会发生。在支持直接输入/输出的系统上,这种方式可以绕过常规数据缓存,但往往受到对齐方式和大小的限制。它对某些数据库和存储工作负载很有用,但并非总能提升性能,也不会自动保证数据持久保存。

并发访问会带来可见性、顺序性和不可分割性方面的问题。两个进程可能写入相互重叠的字节范围,也可能在一个进程打开文件时由另一个进程重命名该文件,或在元数据更新期间读取元数据。文件锁可以协调相互配合的应用程序,但建议锁通常无法阻止不遵守锁协议的进程访问同一文件。强制锁和 Windows 共享模式则各有不同的规则。原子性也取决于具体操作:重命名可以实现不可分割的命名空间变更,却不一定能让应用程序对多个文件的更新具备事务性。本地实现与远程协议的追加行为也可能有所不同。

操作系统必须协调缓存与文件系统内部的锁和事务机制。锁定范围过大会限制并行计算,而细粒度锁又会增加实现复杂度和死锁风险。共享的文件偏移量、目录修改以及内存映射写入还会引入更多相互影响。网络文件系统还必须协调不同机器上的缓存,而通信延迟使即时一致性的实现代价高昂。因此,要有意义地描述文件系统的一致性,就必须明确涉及哪些操作、访问发生在本地还是远程、已经进行了哪些同步,以及考虑的是哪些故障。

崩溃一致性与持久化更新

一次文件系统更新往往会修改多个存储位置。创建文件可能需要分配对象记录、更新空闲空间信息、插入目录项以及写入数据。如果中途断电,可能只有部分更改写入了持久化存储。由此产生的状态可能违反结构不变式:某个块可能仍被引用,却被标记为空闲;也可能已经分配,却没有任何可达的所属对象。崩溃一致性关注的是系统中断后留下的状态,而不只是系统运行期间各项操作是否表现正确。

日志文件系统会在日志中记录有关待执行更改的足够信息,以支持恢复。在常见的预写日志设计中,日志记录会先持久化,然后才更新相应的正式元数据。崩溃后,恢复过程可以重放已提交的事务,并忽略未完成的事务。日志模式各不相同:有些只保护元数据,有些还会将文件数据写入日志。元数据日志可以恢复结构一致性,却不一定能保留应用程序最近写入的内容。Ext3 和 ext4 表明,即使是密切相关的文件系统格式,数据写入顺序和日志策略也可能导致恢复行为出现实质性差异。

写时复制设计会保留现有块,将修改后的版本写入其他位置,然后使一组新的一致引用生效。日志结构化方法同样避免了许多原地覆写操作,不过其空间分配和清理策略有所不同。这两种方法都不能消除顺序问题。新块必须先完成持久化,持久化的根或提交记录才能引用它们;旧块也不能过早回收。因此,设备缓存、控制器行为以及物理写入的原子性都是正确性模型的一部分,而不只是文件系统底层的实现细节。

应用程序使用 fsync 等同步操作来请求持久化,但正确用法取决于平台和操作顺序。一种常见的 Unix 风格文件替换模式是:先写入临时文件,同步其内容,再通过重命名替换目标文件,并在需要时同步其所在目录。仅同步文件,可能无法使新的目录项持久化。即使持久化请求本身正确,也仍然依赖存储栈遵守缓存刷新和顺序要求。fsck 等恢复工具可以检查并修复结构不一致,但无法重建尚未写入的数据,也无法可靠地推断每个应用程序原本打算执行的事务。结构恢复和应用层恢复仍然是两项独立的职责。

完整性、冗余、快照与备份

数据完整性不仅涉及从中断的更新中恢复。介质劣化、内存故障、控制器错误、固件缺陷或写入位置错误,都可能导致存储设备返回错误的字节。校验和使系统能够将读取的数据与先前记录的摘要进行比对。其有效性取决于校验所覆盖的内容,以及预期校验值的存放位置。对于某些故障,如果校验和内嵌在同一个已损坏的单元中,其保护能力可能不如通过单独验证的元数据层次结构维护的校验和。此外,检测出错误本身并不能提供正确的替代数据。

一些文件系统将校验和与冗余副本相结合,以便重建损坏的数据块,或从其他位置读取正确的数据块。ZFS 和 Btrfs 支持能够检测数据损坏的配置,并且在具备适当冗余的情况下,可以利用经过验证的副本修复损坏。存储巡检会主动读取已分配的数据和元数据,以便在常规工作负载遇到潜在故障之前将其发现。RAID 可以提高可用性或容忍设备故障,但具体能提供哪些保护,取决于其布局和实现方式。仅靠镜像,并不一定能够在两个副本不一致时判断哪个副本是正确的。

快照保留文件系统或数据集在某个逻辑时点的视图。写时复制和写时重定向机制可以加快快照的创建,因为未更改的数据块仍可共享。后续修改需要保留仍被引用的旧版本,因此,随着当前数据的变化,快照会占用额外空间。快照在文件系统层面上可能是一致的,但其中的应用程序仍可能需要重放日志或执行恢复。如果希望得到一个干净的应用程序检查点,就可能需要协调应用程序、将相关状态刷写到存储设备,或采用能够感知应用程序状态的快照流程。

快照、复制和备份解决的是相互关联但又不同的问题。本地快照可能会随着其所在存储池的丢失而一同丢失。同步复制可能会立即将意外删除或数据损坏传播到副本。备份通常提供独立保留的恢复副本,往往包含历史版本,并处于不同的故障域或管理域。共享区段的克隆同样可以加快复制,但并不一定能提供独立的保护。能否可靠恢复,取决于是否具备可用的元数据、所需的加密密钥、兼容的软件,以及足够完整的数据。因此,应将文件系统的完整性功能视为恢复架构的组成部分,而不应把它们看作可以相互替代、能够防范一切形式数据丢失的保障。

权限、加密与安全边界

文件系统的访问控制决定谁可以查看、更改、创建或删除对象。传统 Unix 权限为每个对象关联一个所有者、一个所属组,以及读、写和执行权限位。目录权限有特殊含义:读权限通常允许列出目录中的名称,执行权限允许查找或遍历目录项,写权限允许修改目录内容,但仍受其他规则约束。删除文件主要是对其所在目录的操作,而不是对文件数据的写入。共享临时目录等场景使用的粘滞位规则,会进一步限制删除和重命名操作。

访问控制列表可以为多个具名用户或组指定权限,有时还包含继承规则。POSIX 风格的 ACL 与 Windows ACL 的语义并不完全相同,因此在二者之间转换时可能会丢失信息。安全标签和强制访问控制系统独立于常规的所有权及权限位,施加额外的策略。身份认证用于确认身份,而授权则决定该身份可以执行哪些操作。在网络文件服务中,客户端的凭据以及服务器对这些凭据的解释都会影响访问。如果信任不可信客户端提供的标识符,即使本地权限设置十分严谨,也可能被绕过。

文件系统加密使用密钥保护存储的内容,但保护范围因实现而异。整设备加密可以在卷处于锁定状态时隐藏其内容,但解锁后,获授权的软件便可访问其中的普通文件。逐文件加密则可以为不同对象采用不同的密钥或策略。根据具体设计,文件名、大小、目录结构、时间戳或访问模式仍可能暴露。加密也不同于经过认证的完整性保护:仅有机密性并不一定能检测出篡改。因此,密钥管理和恢复机制与加密算法同样重要。

路径名处理构成了另一道安全边界。如果程序先检查某个路径,稍后再将其打开,而另一个进程在这两次操作之间更改了目录项或符号链接,那么程序最终访问的可能是另一个对象。相对于文件描述符执行的操作,以及可限制路径解析行为的接口,可以减少这类检查时与使用时不一致的竞态条件。不可信的归档文件可能包含路径穿越条目、链接或元数据;若处理不慎,解压操作就可能越出预定目录。文件系统权限也无法防止所有特权组件访问数据,或阻止以足够用户权限运行的勒索软件破坏数据。存储隔离、进程限制和文件级控制分别应对整体安全模型中的不同方面。

主要的本地文件系统家族

本地文件系统围绕由单台主机直接管理的存储而设计,不过其中一些也能用于共享存储配置。FAT 家族采用相对简单的空间分配和目录结构,在操作系统、相机、嵌入式设备和固件中获得了广泛支持。FAT32 的普通文件大小上限为 232−12^{32}-1 字节,略小于 4 GiB。这一限制针对单个文件,不应与卷大小限制混淆;后者取决于格式参数和具体实现的限制。exFAT 专为更大的文件和现代可移动存储而设计,其功能特性以及兼容性方面需要考虑的问题也有所不同。

在 Linux 上,ext4 是一种广泛部署的通用文件系统格式,采用区段、日志记录以及针对现代工作负载开发的空间分配技术。它由 ext2 和 ext3 演进而来,但并非只是换了个名称:启用了哪些特性,决定了哪些旧版工具和驱动程序能够安全地读取或修改它。XFS 最初由 Silicon Graphics 开发,于 1994 年首次发布,注重可扩展的空间分配和元数据结构,在 Linux 上应用广泛。两者都能支持大型存储系统,但实际限制和性能取决于块大小、特性设置、内核支持以及工作负载。

NTFS 是许多 Windows 安装环境采用的主要文件系统格式。其特性包括元数据日志记录、安全描述符、备用数据流、稀疏文件和重解析点。重解析点允许对对象进行特殊处理,包括实现多种链接和重定向,但具体行为取决于关联的机制。ReFS 随 Windows Server 2012 推出,着重于故障恢复能力和特定的大规模存储应用场景;其支持的特性和预期部署场景因 Windows 版本而异。即使共享操作系统接口,NTFS 和 ReFS 也并非在所有用途上都能相互替代。

ZFS 将文件系统管理与存储池管理融为一体,从池化设备中为数据集分配空间,而不要求每个文件系统都对应一个传统分区。Btrfs 在自身架构内支持子卷、快照、校验和及共享区段。APFS 提供的特性包括容器内各卷之间的空间共享、快照、克隆和加密支持。即使某些特性名称相同,这些系统在故障处理、管理模型、工具和支持的配置方面仍有差异。因此,选择文件系统格式不能简化为比较特性数量:启动要求、实现的成熟度、恢复流程、可移植性以及特定工作负载下的表现,都会影响其适用性。

网络文件系统与分布式文件系统

网络文件系统允许一台计算机访问另一台计算机提供的文件。NFS 最初由 Sun Microsystems 于 20 世纪 80 年代开发,SMB 则广泛用于以 Windows 为主的环境,两者都是重要的协议族。远程访问使应用程序眼中看似本地的操作涉及延迟、局部故障、身份验证和缓存协调等问题。客户端失去连接时,服务器可能仍然可用;即使响应丢失,请求也可能已经生效。因此,重试请求时必须注意重复执行问题,并确保能够识别同一操作。

缓存一致性是设计中的核心问题。如果两个客户端缓存了同一个文件,其中一个客户端的写入最终必须反映到另一个客户端所见的内容中。有些系统依赖于打开和关闭文件时的检查;另一些系统则使用租约、回调或委托来协调缓存。这些机制并不等同于始终保持一致的共享内存。协议版本和服务器配置也很重要:例如,NFSv3 和 NFSv4 在状态与锁的处理方式上存在显著差异。远程数据的持久性还取决于服务器是否已将数据提交到稳定存储,而不只是接收到内存中。

分布式文件系统将职责分散到多台计算机上,通常将元数据管理与数据存储分离。它们可以将文件划分为数据块或对象,放置在不同的存储节点上,并对这些单元进行复制或纠删编码。Google 在 2003 年对 Google File System 的介绍中,重点强调了大文件、流式访问,以及其基础设施内部常见的工作负载。HDFS 在 Hadoop 生态系统中采用了类似的大块、分布式存储方案。CephFS 和 Lustre 则代表了其他架构,在元数据服务、数据放置策略、接口和运维侧重点上各有不同。因此,“分布式”描述的是一个广泛的设计空间,而非某一种一致性模型。

分布式计算带来的一些约束,很容易被基于本地文件操作形成的直觉所掩盖。网络分区可能使各节点无法就归属权或最新元数据达成一致,迫使系统拒绝某些操作、延迟执行,或接受较弱的一致性。分布式共识协议可以保障关键元数据决策的一致性,而大规模数据则采用另一条复制路径。大规模部署还面临元数据瓶颈、恢复风暴,以及热门文件访问负载不均等问题。对象存储常被用作这些系统的底层存储,或与之配合使用;但要在对象之上添加文件接口,就必须实现目录操作、局部写入、锁定和恢复语义,而底层对象服务未必直接提供这些功能。

虚拟、内存支持及专用文件系统

并非所有文件系统都会将普通文件存储在持久性介质上。虚拟文件系统通常指操作系统中的一个抽象层,负责将操作分派给不同的文件系统实现。这个术语也可以指合成的命名空间,其中的对象表示实时系统信息,而非已存储的文档。Linux 的 procfs 提供进程和内核信息,sysfs 则呈现设备模型的各个方面。读取这类文件时,内容可能是按需生成的;写入时,则可能是在请求更改配置。因此,这类文件所报告的大小或其文件定位行为,可能与普通磁盘文件不同。

以内存为存储后端的文件系统提供具有文件语义的临时存储。在 Linux 上,tmpfs 将内容存储在虚拟内存中,并且可以使用交换空间,因此,将其简单地描述为固定大小的 RAM 磁盘会产生误导。ramfs 则采用不同的内存分配和回收模型。临时文件系统支持运行时状态存储、进程间数据交换以及系统启动早期阶段等工作负载。在许多 Linux 启动配置中,初始内存文件系统会在最终的根文件系统可用之前,提供早期用户空间环境。持久性并不是文件抽象的固有要求。

用户空间文件系统通常简称为 FUSE,它允许用户空间进程通过由操作系统居间协调的接口来实现文件系统。这降低了构建实验性格式、远程访问适配器、加密视图和应用专用命名空间的门槛。同时,它也带来了涉及上下文切换、数据复制、缓存、权限处理,以及提供服务的进程退出时如何处理故障等方面的设计取舍。采用用户空间实现,本身并不意味着某种特定的性能水平或信任模型;这些取决于接口、工作负载和具体实现。

专用格式针对特定存储介质或部署模式进行优化。ISO 9660 和 UDF 支持光盘介质的使用场景。SquashFS 提供压缩的只读映像,其他一些只读格式则面向操作系统映像和嵌入式设备。JFFS2 和 UBIFS 等面向原始闪存的文件系统会直接管理闪存的擦除块特性,而普通块设备文件系统通常将这类工作交给设备控制器。叠加文件系统将下层和上层目录组合起来,常用于支持容器映像,在共享的只读内容之上提供一个可写层。它们向上层复制文件的规则、删除标记以及元数据行为,都可能不同于普通的单层目录树。

性能、可扩展性与评估

文件系统的性能既取决于工作负载,也取决于其格式。大规模顺序传输看重持续带宽,而小规模随机请求则更看重延迟和每秒操作次数。编译源代码树、解压归档文件或扫描数百万个小文件等元数据密集型工作负载,在名称解析和目录更新上花费的时间可能比传输文件数据还多。仅报告每秒传输多少兆字节的基准测试,无法充分反映这些情形。读写比例、请求大小、并发度、文件在目录中的分布以及同步频率,都是不可或缺的背景信息。

存储介质会改变各项操作的相对开销。旋转磁盘存在机械寻道和旋转延迟,因此数据局部性尤为重要。固态硬盘消除了这些机械延迟,但也引入了闪存地址转换、垃圾回收、擦除限制和耐久性方面的考量。文件系统的日志机制或写时复制可能与设备自身的重映射和复制操作相互作用,产生写放大:实际写入的物理数据量超过应用程序请求写入的数据量。弃用命令可以告知设备哪些逻辑块已不再需要,但命令的执行时机和实现方式会影响性能,以及有关数据残留的假设。

容量扩展与操作规模扩展并不相同。某种格式可能支持寻址极大的卷,却会在许多进程同时修改同一个目录或从共享结构中分配资源时遇到争用。并行分配组、每处理器独立的数据结构、批处理和异步输入/输出可以提高吞吐量,但也会增加协调与恢复的复杂性。压缩可以增加有效容量;当节省的输入/输出开销超过额外的处理器开销时,有时还能提高吞吐量。重复数据删除可以节省重复内容占用的空间,但需要索引和额外检查。对于已经压缩或大部分内容都不重复的数据,这两种功能都不保证能带来收益。

严谨的评估应区分冷缓存与热缓存下的行为,并区分缓冲写入完成与持久化写入完成。如果写入基准测试在回写完成之前就结束,测得的可能主要是内存速度。测试时长应充分考虑设备缓存、垃圾回收、后台维护和稳态行为。报告的结果还取决于软件版本、挂载选项、存储冗余、加密和可用剩余空间。可靠性则需要另一类测试:受控中断、故障注入、数据损坏检测和恢复验证。形式验证已表明,对文件系统行为进行精确推理是可行的,2015 年发表的 FSCQ 等研究型系统就是突出例证;但对一个明确定义的软件模型完成证明,并不意味着自动确立了与之交互的每个设备、驱动程序和应用程序的正确性。