进程间通信(IPC)是独立进程之间交换信息、协调活动所使用的各类机制的总称。进程是正在执行的程序及其执行状态和资源,通常拥有受保护的地址空间,其他进程无法随意访问。IPC 提供了以受控方式跨越这种隔离的途径:进程可以发送消息、读写共享存储、发出事件通知,或调用彼此提供的服务。这些交互可以发生在同一台计算机内;按更广义的用法,也可以发生在不同计算机上的进程之间。
IPC 是操作系统组织架构的基础,也是由相互协作的组件构成的应用程序的基础。命令行解释器通过管道连接程序;数据库通过共享内存和同步原语协调工作进程;浏览器则将渲染、网络通信和特权服务分配到彼此通信的不同进程中。网络服务将类似的思路扩展到多台机器之间,不过远程通信会给延迟和故障带来更多不确定性。IPC 机制的选择不仅影响速度,还会影响隔离性、资源归属、故障恢复,以及如何界定一次操作是否成功。
进程、保护边界与通信语义
一个进程通常拥有自己的虚拟地址空间、已打开的资源、身份凭据,以及一个或多个执行线程。两个进程使用的地址数值可能相同,但指向的物理内存却不同。因此,一个进程中的普通指针在另一个进程中通常没有意义。这一点使进程间通信区别于同一进程内线程之间的通信:同一进程内的线程通常共享地址空间,可以通过普通数据结构交换信息。线程之间仍然需要协调,但不一定需要借助操作系统机制来建立共享访问。
进程间通信大体可分为两种模型:消息传递和共享状态。在消息传递模型中,发送方通过端点、通道、队列或服务接口提交数据,接收方则通过相应的操作获取数据。在共享状态模型中,参与方访问同一个公共对象,例如映射的内存区域或文件。这两种模型并不互斥。系统可以将大型数据对象放入共享内存,同时用消息通知其他参与方数据已可用,并移交所有权。反过来,消息队列也可能在内部使用共享内存,尽管其对外接口只提供发送和接收操作。
通信具有多个彼此独立的语义维度。一种机制可以是单向的或双向的、面向连接的或无连接的,其通信目标可以是特定的对端,也可以是具名服务。它可以保留各条消息的边界,也可以提供连续的字节流。顺序保证可能适用于单个发送方、单条连接,也可能适用于范围更广的一组参与方;这些是不同的承诺。一个能够保持单个生产者消息顺序的队列,并不一定能为多个并发生产者的消息确立统一的全局顺序。
阻塞行为是另一个独立属性。阻塞式接收可以暂停执行,直到数据到达;非阻塞式接收则会在没有可用数据时立即返回。异步操作则可以稍后通过回调、完成队列或其他通知方式报告完成情况。术语的用法并不统一:“同步通信”有时指发送方与接收方会合,有时仅指调用会等待操作在本地完成。发送成功可能只意味着字节已进入本地缓冲区,而不意味着接收方已经处理了这些字节。
因此,进程间通信不仅仅是传输字节。其约定必须明确:谁有权通信、如何查找端点、数据何时变得可见、完成意味着什么,以及参与方终止时会发生什么。这些细节使进程间通信与并发计算直接相关;当通信跨越机器边界时,也与分布式计算直接相关。
历史发展与操作系统设计
早期的多道程序系统需要让独立调度的活动相互协作,同时又不能允许它们不受限制地访问彼此的内存。在批处理、分时和实时系统中,共享存储、访管调用、事件通知和消息机制以不同形式逐步发展起来。进程间通信并非由某一项发明一举奠定,其历史反映的是几个相互关联的问题:连接程序、保护服务、共享昂贵的资源,以及协调多个处理器上的计算。
Unix操作系统使可组合的字节流通信产生了尤为深远的影响。受道格拉斯·麦克罗伊相关构想的启发,Unix 于 1973 年加入了管道,管道随后成为 shell 管线的标志性机制。像 sort input | uniq 这样的命令,会将一个进程的输出连接到另一个进程的输入,而无须任何一方了解对方的实现。这种安排的关键在于统一的流接口:许多程序都能参与其中,因为它们只需读写文件描述符,而不必为每一种可能的协作对象实现专门的协议。
此后,Unix 系统逐步形成了几套不同的进程间通信机制。System V 提供了消息队列、信号量集和共享内存段,通过标识符和各自的管理接口进行访问。POSIX 则为管道、消息队列、共享内存对象和信号量等设施制定了标准接口,不过各系统的实现及其对可选特性的支持有所不同。1983 年随 4.2BSD 引入的伯克利套接字提供了一种通用通信接口,同时支持网络协议和本地通信域。这些机制之所以并存,是因为它们的语义和历史兼容性要求各不相同。
另一条发展路线则将通信置于操作系统结构的核心。在微内核设计中,文件系统或设备管理等服务可以在具有特权的内核之外运行,并通过进程间通信交互。卡内基梅隆大学自 20 世纪 80 年代中期开始开发的 Mach,将通过端口传递消息作为组织系统的一项主要抽象。QNX 同样将同步消息交换置于其架构的核心。这类设计使进程间通信的开销尤为重要,因为在其他系统中通过内部调用完成的操作,在这里可能需要跨保护域通信。
当代系统仍然保留着这种多样性。微软 Windows 提供命名管道、共享文件映射、同步对象以及本地过程调用机制,其中包括用于本地通信的 ALPC。Linux 将传统 Unix 设施与 futex、事件文件描述符和 Unix 域套接字等机制结合起来。Android 的 Binder 提供进程之间的结构化调用,并将通信与身份标识和对象引用整合在一起。这些系统表明,进程间通信并非单一的传输机制,而是一个由兼容性、安全性、调度和应用需求共同塑造的架构层。
管道、文件与事件通知
管道是一种通道,常用于在进程之间传输有序的字节流。在 POSIX 系统上,pipe() 会创建一个读取端和一个写入端,两者均由文件描述符表示。父进程可以在启动子进程之前创建管道,并安排子进程继承指定的端点。因此,匿名管道特别适合有亲缘关系的进程使用,不过,文件描述符也可以通过其他机制传递。命名管道在类 Unix 系统上称为 FIFO,它在文件系统中提供一个名称,使原本没有亲缘关系的进程也能建立通信。
管道通常不是一种消息传输机制。如果生产者写入两条记录,消费者可能一次读出这两条记录,也可能分成更小的片段读取。因此,如果记录边界很重要,应用程序就必须自行定义分帧方式。不过,POSIX 保证,向同一管道写入不超过 PIPE_BUF 字节的数据时,这些数据不会与其他写入者写入的数据交错。这种原子性保证并不意味着一次读取会恰好返回一次写入的数据,而且 PIPE_BUF 也不等于管道的总容量。较大的写入是否会发生交错,取决于具体操作和实现。
端点的生命周期能够提供有用的控制信息。当所有写入端都已关闭,且缓冲区中的字节已被全部读出后,读取操作就会返回文件结束标志。如果所有读取端都已关闭,向 POSIX 管道写入可能会产生 SIGPIPE 信号;如果该信号没有终止进程,写入操作就会报告 EPIPE 等错误。意外未关闭的继承文件描述符可能导致进程无法按预期检测到文件结束。因此,管道的行为取决于所有尚未释放的引用,而不仅仅取决于应用程序在逻辑上视为生产者和消费者的那些进程。
普通文件也可用于通信,但其持久性和访问语义使其有别于通道。进程可以先将结果写入文件,再通过重命名将文件放到目标位置来发布结果,也可以使用文件锁协调更新,或将文件内容映射到内存中。文件系统可以提供持久的命名和存储,但并发访问本身并不意味着通信协议就是正确的。原子替换、崩溃后的持久性以及其他读取者能否看到修改,是彼此独立的问题;例如,原子重命名本身并不能保证修改后的数据已经写入持久存储。
信号和事件通知对象主要用于告知某件事已经发生,而不是承载大量数据。传统 Unix 信号在等待处理期间,同类信号可能会合并,而 POSIX 实时信号支持排队,但受一定限制。信号处理函数的执行受到一些限制,因此不能安全地任意调用库函数。相比之下,Linux 的 eventfd 通过文件描述符提供对内核维护的计数器的访问,并可纳入就绪状态轮询。这类机制通常用于唤醒消费者,随后消费者再从单独的队列或共享区域中获取实际需要处理的任务。
消息队列与套接字
消息队列保留一条条独立的消息,而不是将数据呈现为不加区分的流。其接口通常包括将记录加入队列和接收记录的操作,并对消息大小、队列长度或总存储量加以限制。不同的队列系统采用不同的消息选择和排序规则。System V 队列为每条消息附加一个正整数类型标记,并允许接收方按照与类型相关的规则选择消息。POSIX 消息队列支持消息优先级:优先取出高优先级消息,同等优先级的消息则按到达顺序排列。
队列容量是通信约定的一部分。当存储空间耗尽时,发送操作可能阻塞、立即失败,或在超时后被拒绝。这些行为实现了不同形式的背压,即将拥塞向生产者方向传递。应用层的无界队列之所以能避免立即拒绝消息,只是因为它把容量限制转移到了可用内存或存储空间上。消息队列在持久性方面也存在差异:操作系统中的队列可以在使用它的进程结束后继续存在,但这并不一定意味着队列内容在机器重启后仍能保留。
套接字是一种端点抽象,支持多种通信族和传输方式。Unix 域套接字无需通过互联网路由即可提供本地通信。根据所支持的套接字类型,它们可以提供字节流、数据报或有序分组。流式套接字不保留应用层的消息边界,而数据报和有序分组接口则会保留。本地套接字还可以携带辅助信息,包括对端凭据或对已打开资源的引用,因此适用于特权服务与权限较低的客户端之间的协作。
在类 Unix 系统上,通过 Unix 域套接字传递文件描述符,传递的是对底层已打开资源的一个新引用,而不是简单地复制发送方的整数描述符值。接收方获得的描述符在其自身的描述符表中有效。对于普通的打开文件描述(open file description),这可能意味着双方共享当前文件偏移量等属性。描述符传递使代理程序能够打开受限资源并授予接收方访问权,而不必赋予接收方任意打开此类资源的通用权限。
网络套接字将通信范围扩展到不同主机之间。传输控制协议(TCP)提供有序字节流,并负责连接内的重传,但不会告知远端应用程序是否已提交所请求的操作。数据报传输在丢失和顺序方面呈现出不同的行为。本地套接字与网络套接字可以具有相似的编程接口,但在身份验证、故障模式、延迟和资源传递方面存在显著差异。尤其是,传递本地内核资源引用的机制,在网络连接上并不存在自动对应的机制。
共享内存与数据布局
共享内存 IPC 将同一块底层内存映射到多个进程的地址空间中。映射建立后,各参与进程就可以通过加载和存储操作交换数据,而不必在每次传输时都进行系统调用。POSIX 共享内存通常使用 shm_open() 获取对象,再使用 mmap() 进行映射;System V 则通过 shmget() 和 shmat() 等操作提供另一套接口。文件也可以映射为共享可见的内存区域。这些映射不必在所有参与进程中占据相同的虚拟地址。
共享内存避免了反复复制,因此很适合大规模或频繁的数据传输,例如传输多媒体帧、数据库缓冲区和科学数据。不过,它并没有消除通信成本。缓存未命中、处理器缓存之间的所有权转移、缺页、内存带宽以及同步,都可能成为影响执行性能的主要因素。进程还可能需要借助消息通道或事件对象,才能得知有新的共享数据可用。共享内存消除了一类跨边界操作,却没有解决协调问题。
共享数据的表示方式必须能被每个参与进程正确理解。由于各进程中映射的基地址可能不同,绝对指针通常不能作为可移植的引用存储。常见的替代方案是使用相对于映射起始位置的偏移量。如果该区域的起始地址为 ,某个对象存储在偏移量 处,那么参与进程在检查偏移量和对象边界后,就可以将其本地地址计算为 。当参与进程使用不同的体系结构、编译器或应用二进制接口时,对齐方式、整数位宽、字节序和结构体填充都需要考虑。
环形缓冲区既体现了这种模型的高效,也展示了其实现难点。生产者向一个容量有限的数组写入数据,并推进发布索引;消费者读取已发布的条目,并推进消费索引。实现必须区分缓冲区已满和为空的状态,还要防止生产者覆盖尚未读取的条目。在单生产者、单消费者设计中,两个索引分别由各自一方独占更新,从而简化了协调。存在多个生产者或消费者时,则需要额外的仲裁机制,例如原子预留、序列号或锁。
内存所有权也决定了回收方式。如果一个进程移除了某个对象,而另一个进程仍持有对它的引用,那么仅仅将对应槽位标记为空闲,就可能导致通过失效引用访问数据或造成数据损坏。协议可以使用确认、引用计数、纪元机制或固定的所有权转移规则,来确定何时可以安全地复用内存。进程崩溃会让这些方案更难实现,因为参与进程可能在释放引用之前就已消失。与复制传递的消息不同,共享对象在发布后仍可能被修改和访问,因此必须明确处理其生命周期和信任问题。
同步、顺序与死锁
同步规定操作何时可以继续执行,以及哪些写入必须在其他操作之前变得可见。互斥用于保护临界区,防止相互冲突的并发访问。通知机制允许参与方等待某个条件发生变化。计数机制用于表示可用资源,屏障则用于协调工作的各个阶段。这些功能彼此相关,但各有不同:单靠唤醒未必能保护共享状态,而单靠锁也无法说明进程应当等待什么条件。
信号量维护一个计数,并通过相应操作来修改它:资源可用时可以递减计数,资源不可用时则等待。二元信号量可以控制独占访问,计数信号量则可以表示空闲槽位或可用条目的数量。互斥锁通常更直接地体现所有权:获取锁的线程负责释放它。条件变量将等待操作与互斥锁配合使用,使参与方在等待某个谓词成立时能够释放锁并进入休眠。正确的用法是在唤醒后重新检查谓词,因为被唤醒并不意味着所需条件仍然成立。
硬件内存顺序又增加了一个层面。如果生产者先写入有效载荷,再设置一个标志,就必须确保观察到该标志的消费者也能观察到有效载荷。对于适当的原子对象,生产者执行的释放操作与消费者具有获取语义的观察操作相配合,可以建立所需的顺序。仅靠缓存一致性不足以表达所有跨内存位置的顺序要求。跨进程使用语言层面的原子操作也需要谨慎:语言规则、具体实现以及对象的放置方式,都必须支持预期的进程间用法。
Linux 的 futex 机制将用户空间状态与内核辅助等待结合起来。在没有竞争时,通常可以通过原子内存操作获取锁,而无须进入内核。发生竞争时,如果共享内存字仍为预期值,futex 等待操作便可使线程进入休眠,而唤醒操作则可使等待线程变为可运行状态。这种有条件的等待有助于消除检查条件与进入休眠之间的竞态。跨进程共享使用需要适当的共享映射和标志;私有 futex 不能替代它。
当参与方之间的依赖关系形成环路时,进程间通信可能导致死锁。两个进程可能各自持有对方所需的锁,也可能都因向已满的通道发送数据而阻塞,却都不接收数据。同步请求—应答协议也可能因嵌套调用而发生死锁。规定锁的获取顺序、限制依赖图的规模以及合理设计协议,可以防止某些特定的依赖环路。健壮互斥锁解决的是一个更局限的问题:它会报告前一个所有者在持锁期间终止的情况,但不会自动修复该所有者当时正在修改的共享数据。
远程过程调用与结构化接口
远程过程调用(RPC)将通信表现为对另一个进程中某项操作的调用。客户端存根将操作标识符和参数编码后发送给服务器,再对返回结果进行解码。服务器将请求分派给相应的实现,并返回响应。“远程”进程既可以运行在同一台机器上,也可以运行在另一台主机上。这种抽象很有用,因为它使应用程序编程接口能够通过具名操作和带有类型的值来描述服务,而不是使用任意的字节序列。
序列化将数据转换为可传输的表示形式。其格式既包括 JSON 这样的文本编码,也包括 Protocol Buffers 这样基于模式的二进制系统。一种表示形式必须规定足够的细节,使通信各方能够就值、字段边界、可选数据和错误达成一致。原样传递内存中的结构可能会因填充字节、指针字段、体系结构差异或编译器的处理方式而失败。即使在同一台机器内,序列化也能提供直接共享内存所不具备的数据校验和版本隔离能力。
当客户端与服务器各自独立升级时,接口演进就变得十分重要。协议可以为字段分配稳定的数字标识符、允许出现未知字段,或者通过协商确定支持的版本。兼容性不仅涉及编码,也涉及含义:例如,将金额的单位从分改为元,即使字段仍然是整数,也可能导致服务无法正常工作。资源的所有权也应纳入接口约定。如果请求返回一个对象句柄,协议就必须规定其有效性、释放方式,以及它在连接结束后是否仍然有效。
RPC 通常无法复现普通本地函数调用在发生故障时的行为。超时可能意味着请求从未到达,也可能意味着服务器仍在处理,或者操作已经完成但回复丢失。因此,重试可能导致同一动作被重复执行。“至多执行一次”方案会在明确规定的范围内抑制重复请求,而“至少执行一次”方案则允许重复,以提高操作最终得以执行的概率。但仅凭这两种说法中的任何一种,都不能保证在所有可能的重启或存储故障之后,仍然具有持久的端到端执行语义。
这种不确定性促使系统采用请求标识符、重复检测记录,并将操作设计为具有幂等性,即重复执行某项操作与只执行一次具有相同的相关效果。要提供更强的保证,可能需要使用数据库事务,同时记录所执行的动作以及某个特定请求已被处理这一事实。安德鲁·比雷尔和布鲁斯·纳尔逊于 1984 年发表的论文《远程过程调用的实现》(Implementing Remote Procedure Calls),对 RPC 的设计作出了影响深远的阐述,其中包括绑定和调用语义。尽管现代 RPC 系统采用了更复杂的传输机制和接口工具,这些基础问题依然存在。
性能、缓冲与可扩展性
IPC 性能涉及多个维度。延迟衡量一次操作或交互完成所需的时间;吞吐量衡量单位时间内完成的工作量或传输的数据量。对于小型控制消息,固定开销往往占主导;而大规模传输则受数据复制以及内存带宽或传输带宽的制约。一个简化的传输模型为
其中, 为有效载荷大小, 为固定开销, 为有效带宽。该模型有助于解释批处理为何能提高吞吐量,但没有考虑排队、调度、资源争用以及与协议有关的影响。
一条本地消息的传递可能涉及系统调用、校验、缓冲区分配、一次或多次复制,以及唤醒操作。随后可能通过一次上下文切换将执行权交给接收任务,不过具体顺序取决于调度方式,以及两个任务是否已经在不同的核心上运行。地址空间之间的切换还可能影响地址转换缓存和工作集。这些开销并非固定常数:处理器架构、内核配置、安全缓解措施、消息大小和负载都会影响测量结果。
“零拷贝”指的是避免某些特定数据复制的若干技术,并不意味着完全没有数据移动。页面重映射、共享缓冲区和引用传递可以减少用户空间与内核空间存储区域之间的复制。接收方仍然需要访问内存,缓存之间也仍然需要交换数据。建立映射或固定内存页的成本,可能高于复制一条短消息的成本。因此,针对大型媒体缓冲区优化的实现,在处理微小的控制请求时,可能比采用复制方式的简单通道更慢。
共享内存的性能与 CPU 缓存层次结构密切相关。如果彼此独立的计数器位于同一缓存行,对它们的更新就可能导致该缓存行的所有权在不同核心之间反复转移,这种现象称为伪共享。同样,一个争用激烈的队列头也可能成为串行化瓶颈。对队列进行分区、将频繁写入的字段分开放置,或明确分配所有权,都可以减少数据传输。在采用非一致性内存访问架构的机器上,内存页相对于处理器的物理位置还会进一步造成访问成本的差异。
排队和批处理需要在吞吐量与响应时间之间作出权衡。在稳定条件下,利特尔定律给出
其中, 为系统内的平均项目数, 为平均到达率, 为项目在系统内的平均停留时间。该定律揭示了积压量与延迟之间的关系,但当到达率超过服务能力时,并不能保证系统稳定。因此,有意义的 IPC 基准测试会明确说明消息大小、并发度、CPU 布局、队列深度,以及测量的是单向传输、往返交互,还是已完成的应用工作量。仅有较高的批量传输速率,并不能说明争用条件下的尾部延迟表现。
安全、身份与资源权限委托
IPC 端点跨越保护边界,因此应纳入系统的威胁模型。接收进程不能仅仅因为数据没有经过网络,就认定本地提供的数据值得信任。另一个本地进程可能以不同账户运行,处于受限的应用环境中,或者怀有恶意。接收方需要依据自身拥有的权限,解读长度、偏移量、操作标识符和资源请求。特权服务若盲目遵从客户端的指令,就可能破坏原本希望通过独立进程实现的隔离。
身份认证用于确认通信对端的身份或凭据;授权则决定该对端可以执行哪些操作。本地机制可以使用操作系统提供的凭据,而不是应用自行声明的身份。Unix 域套接字可以通过平台特有的机制提供对端凭据,Windows 命名管道则与 Windows 安全机制集成。端点的所有权和访问权限同样重要。如果端点名称可预测,且位于攻击者控制的命名空间中,即使预期服务器具备严格的内部检查,客户端也可能连接到错误的服务器。
资源句柄支持另一种权限授予方式。在基于能力的安全模型中,持有不可伪造的引用,就意味着获得对某个对象的特定访问权限。传递一个已打开文件的描述符,可以委托比授予整个目录访问权更有限的权限。采用能力式通信时,也需要关注权限、引用复制、权限撤销和生命周期。关闭一个引用,并不一定会撤销所有收到其他引用的进程所拥有的访问权限。
共享内存会带来一种特殊的校验风险:发送方可能在接收方完成检查后修改数据。这是一种检查时与使用时之间的竞态条件。如果接收方校验了长度,随后又重新读取已被修改的长度,就可能访问预期缓冲区之外的内存。将元数据复制到私有内存、校验私有快照,或实施真正的所有权转移协议,可以应对这一问题的不同形式。仅仅要求不可信的发送方不要修改某个内存区域,并不能保证该区域不可变。
可用性也是一项安全属性。客户端可能耗尽队列容量、持有句柄不释放、提交开销高昂的请求,或停止读取响应。针对各对端的限额、有界的资源分配以及取消语义,都会影响单个参与者能够在多大程度上干扰其他参与者。应用沙箱通常将受限的 IPC 接口与资源控制相结合,使隔离进程能够请求必要的服务,而不必获得广泛的权限。加密可以保护通过暴露的传输通道进行的通信,但不能替代授权,也不能替代对收到的请求进行安全处理。
故障恢复与应用架构
进程可能在持有锁时、构造消息的中途,或在执行某项操作之后但尚未确认时发生故障。操作系统可以自动回收部分资源,例如终止进程持有的描述符引用,但其他对象可能继续存在。命名共享内存对象和队列对象可能需要显式删除,而共享区域中的应用数据可能仍处于不一致状态。因此,恢复并不只是检测到对端已经消失那么简单。
协议通常会区分资源生命周期与连接生命周期。服务可能在短暂断连后保留会话,也可能释放与已关闭通道相关联的所有对象。心跳和超时可以检测到通信或处理未取得进展,但在网络环境中,它们并不总能区分对端故障与通信延迟。取消操作也存在类似的歧义:客户端停止等待,并不一定意味着服务器已停止执行任务。如果调用方必须知道是否仍可能产生副作用,就需要明确定义取消确认的含义。
持久化消息传递还引入了存储问题。队列可以在将消息持久化之前或之后确认收到消息,消费者也可以在提交自身更改之前或之后确认处理完成。不同的先后顺序会形成不同的消息丢失或重复风险窗口。消息代理可以提供持久化、重新投递和路由功能,但仅凭它本身,无法保证外部业务操作恰好执行一次。要协调数据库更新与消息发布,可能需要先以事务方式记录待发送事件,再于稍后投递并处理重复消息。
应用架构决定了上述哪些成本与保证最为重要。网页浏览器利用进程间通信,将不受信任的渲染任务与具有特权的功能隔离开来。数据库管理系统可能在工作进程之间共享缓冲池,同时利用锁和通知来协调访问。集群上的科学计算应用通常使用消息传递接口(MPI),其实现可以在节点内部选择共享内存传输,在节点之间选择网络传输。媒体处理流水线则可能传递大型共享缓冲区,同时仅发送少量有关所有权和时序的消息。
同样的设计问题也反复出现在微服务和本地面向服务的系统中:哪个组件拥有状态、请求在哪里排队、过载如何传播,以及哪些故障需要重试或回滚。形式化模型可以将参与方和通道表示为相互通信的状态机,从而精确定义这些问题。随后,形式验证可以检验诸如不存在特定死锁、所有权得以保持,或在明确假设下最终能够获得响应等性质。这些性质取决于完整的协议——包括故障与恢复过程中的状态转换——而不只是单次发送或接收操作是否正确。