io_uring 是 Linux 的一种应用程序编程接口,用于向内核提交操作并异步接收结果。它于 2019 年随 Linux 5.1 引入,利用应用程序与内核共享的队列,实现高效的请求提交、批处理和完成处理。io_uring 最初围绕存储输入/输出开发,如今也支持网络、定时器、轮询等操作。它的核心特征是面向完成结果的接口:应用程序提交请求后,稍后再获取结果,而不必每次都等待操作完成后才能继续执行。
背景与目的
传统的同步 I/O 往往每次操作都需要一次系统调用,调用线程可能会被阻塞,直到操作完成。应用程序可以使用非阻塞操作、就绪通知或工作线程,让 I/O 与其他工作重叠进行,但这些方式也各有协调成本。
在 io_uring 出现之前,Linux 就已提供通常称为原生 AIO 的异步 I/O 接口。该接口存在一些限制,因而不太适合作为通用的异步机制,尤其是在直接存储 I/O 以外的场景中。epoll 等就绪通知接口则有不同的用途:它们报告某项操作可能无需阻塞即可执行,随后由应用程序自行执行该操作。
io_uring 的设计目标是提供更通用的、基于完成结果的接口,同时减少用户空间与内核之间反复的控制权切换。其初期开发由 Jens Axboe 主导。自首次发布以来,它支持的操作和执行模式已有大幅扩展。
“异步”描述的是接口向应用程序提供的行为约定,并不保证每个底层操作都由专门的异步硬件执行。请求可能立即完成,也可能通过内核的异步路径执行,或交由内核工作线程处理。
共享环形队列架构
一个 io_uring 实例提供一个提交队列(SQ)、一个完成队列(CQ),以及用于存放提交队列条目的内存。应用程序将这些结构映射到自己的地址空间,通过共享内存进行通信,而不必为每次操作都通过系统调用传递独立的请求结构。
提交
提交队列条目(SQE)用于描述请求。根据操作类型,它可以包含:
- 操作码,例如读取、写入、接受连接或超时。
- 文件描述符或已注册文件的引用。
- 缓冲区地址和长度。
- 文件偏移量或特定操作的参数。
- 控制执行方式和依赖关系的标志。
- 应用程序定义的
user_data值。
在传统布局中,提交环形队列存放索引,用于标识独立数组中的 SQE。较新的配置可以改变这种布局的某些方面,因此应用程序必须遵循初始化时协商确定的接口,而不能假定所有情况都采用同一种表示形式。
应用程序准备好条目后,通过推进提交队列的尾指针将其发布。内核消费已提交的条目,并推进队列的头指针。
完成
完成队列条目(CQE)报告操作的结果。其标准字段包括:
user_data,让应用程序能够将完成结果与相应请求关联起来。res,含义取决于具体操作的结果值。- 提供额外完成信息的标志。
对于许多 I/O 操作,非负的 res 表示字节数或其他成功结果,负值则表示取负后的错误编号。这与传统库封装函数返回 -1 并设置 errno 的方式不同。
内核发布完成条目,应用程序则消费这些条目。完成顺序不一定与提交顺序一致。因此,应用程序通常通过 user_data 标识请求,而不是依据其在完成结果序列中的位置。
内存顺序
共享队列需要显式的同步。应用程序发布新的尾指针值之前,必须确保请求内容已经可见;而完成条目的内容,则必须在观察到其已发布之后才能读取。正确使用原子操作和内存顺序规则,可以防止任意一方看到尚未完全初始化的条目。
应用程序的多个线程共享一个环形队列时,也需要进行协调。共享内存设计并不意味着任意并发访问都会自动变得安全。
系统调用与用户空间库
最初的核心接口由三个系统调用组成:
| 系统调用 | 主要用途 |
|---|---|
io_uring_setup |
创建实例,并返回配置其共享映射所需的信息。 |
io_uring_enter |
根据标志提交请求、等待完成,或执行相关协调操作。 |
io_uring_register |
注册资源或配置受支持的环形队列功能。 |
应用程序通常使用 liburing,这是一个用户空间库,提供初始化函数、队列管理辅助函数和操作准备例程。它负责处理许多底层细节,但不会取代内核的执行机制。
该接口与 C编程语言关系密切,但其他语言的库和异步运行时也可以通过其他编程接口提供对它的访问。
执行与资源管理特性
批处理与轮询
多个 SQE 可以一起提交,多个 CQE 也可以一起消费,从而将协调成本分摊到多次操作上。
提交队列轮询通过 IORING_SETUP_SQPOLL 启用,由一个内核线程轮询新发布的提交条目。该线程处于活动状态时,应用程序通常无需发起提交系统调用即可提交任务。如果该线程进入休眠,则可能需要通过系统调用将其唤醒。
I/O 轮询与 IORING_SETUP_IOPOLL 相关,是另一种独立机制,用于轮询受支持的存储操作是否完成。它受到设备、文件系统和操作类型的限制,并不是适用于所有 io_uring 请求的通用轮询模式。
这两种机制都可能以增加中央处理器消耗为代价,换取更低的通知延迟。
已注册资源
应用程序可以注册文件引用和内存缓冲区,以便重复使用。在受支持的执行路径上,这可以减少重复处理文件引用或管理内存的工作。已注册资源具有明确的生命周期,并会消耗内核资源;注册并不意味着每项操作都会变成零拷贝操作。
缓冲区选择功能允许内核在执行受支持的操作时,从应用程序提供的一组缓冲区中选择一个。当无法预先知道传入数据的大小或到达时间时,这些功能很有用。
链接请求与顺序
请求可以链接起来,以表达执行依赖关系。例如,可以让后一个操作依赖于前一个操作的完成。链接标志决定某个请求失败后会如何影响后续请求。
链接并不是数据库事务:它不提供针对整个操作序列的通用回滚或原子性保证。已经产生外部影响的操作,不会仅仅因为后续某个链接操作失败就被撤销。
多次完成操作与取消
某些操作支持**多次完成(multishot)**模式,即一次提交可以产生多个完成结果。例如,多次完成模式的接受连接操作可以报告多个传入连接。完成标志会指示后续是否还可能有更多结果。
取消本身也是一种操作,其语义需要考虑竞态条件。请求可能在取消生效之前就已完成,而且即使收到了取消操作的结果,仍然需要妥善处理目标请求的完成结果。
这些特性意味着,“一次提交恰好产生一个完成结果”并不是普遍适用的规则。多次完成请求、通知类完成条目,以及可选的不报告成功完成的功能,都要求应用程序更仔细地跟踪状态。
网络与异步编程
io_uring 支持涉及套接字的操作,包括建立连接、接受连接、发送和接收,具体支持情况取决于内核版本。这使得事件循环能够通过统一的完成机制处理存储和网络操作。
采用就绪通知时,应用程序通常先等待套接字可读,再调用接收函数。使用 io_uring 时,应用程序可以直接提交接收请求,并在收到完成条目后处理结果。io_uring 也提供就绪轮询操作,因此这两种方式可以共存。
该接口可以作为 future 和协程等异步编程抽象的底层基础。运行时实现仍然需要管理请求的所有权、取消、调度以及缓冲区的生命周期。
部分网络操作提供零拷贝发送功能。这类功能有特定的限制和完成语义:通知数据已被接受发送,并不一定意味着应用程序可以重新使用原来的内存。不应将 io_uring 整体描述为天然具备零拷贝特性。
性能与限制
io_uring 尤其适用于有大量未完成操作的应用程序,包括存储服务、网络服务器和数据库管理系统。它的潜在优势包括减少系统调用、高效批处理,以及统一处理完成结果。
性能取决于工作负载。重要因素包括队列深度、请求大小、批处理策略、存储特性、工作线程调度,以及是否启用轮询。共享队列本身也可能引入 CPU 缓存流量和争用。
并发度较低的应用程序可能难以从该接口中获益。操作在内部仍可能发生阻塞,需要由工作线程处理;对于特定工作负载,缓冲区注册也可能只增加开销而没有收益。更高的吞吐量也不一定意味着更低的尾延迟。
要保证正确性,还必须满足一些额外要求:
- 缓冲区及与请求关联的状态,必须在操作所要求的期间内始终保持有效。
- 读写操作可能只完成一部分。
- 必须处理队列容量限制和完成队列溢出行为。
- 不能将提交成功与操作成功完成混为一谈。
- 处理依赖关系和取消时,必须考虑已经在途的操作。
内核接口一直在快速演进。应用程序通常会在运行时探测受支持的操作和特性标志;仅凭内核版本可能无法判断全部能力,因为发行版可能会将较新版本的改动向后移植。
安全与部署
io_uring 暴露了相当广泛的内核接口,也曾出现过需要修复的安全漏洞。一些部署环境会限制或禁用它,以缩小内核攻击面,另一些则依赖其功能和性能。
其异步执行方式也会影响沙箱设计。过滤用于创建和操作环形队列的系统调用,并不等同于检查之后通过共享内存提交的每项操作。安全设计必须考虑环形队列能够执行哪些操作、能够访问哪些资源,以及内核支持的各种环形队列限制措施。
内核配置、系统策略、资源限制和所处的运行时环境,都可能影响 io_uring 的可用性。因此,需要在各种 Linux 环境中运行的软件,可能会提供其他 I/O 后端作为替代。