协程是一种可以挂起执行、随后从停止处恢复的计算过程,并会保留继续执行所需的状态。普通子程序被调用后,通常会一直运行,直到返回或抛出异常;与之不同,协程可以在尚未完成工作时交出控制权。它保留的状态可能包括局部变量、程序中的执行位置,以及一条尚未返回的函数调用链,具体取决于实现方式。
协程既是一种重要的通用控制流抽象,也是构建实用异步软件的基础。它可以表示逐个产出值的生产者、等待更多输入的解析器、暂停执行以等待预定事件的仿真实体,或在某项操作尚未完成时挂起的网络请求处理程序。这些用法都具有可恢复执行的特性,但在控制权如何转移、执行如何调度,以及挂起期间哪些资源仍被保留等方面有所不同。
“协程”涵盖了多种相关机制,并非指某一种标准化的功能。有些协程拥有独立的栈,另一些则被编译为状态机。有些协程会显式地恢复另一个协程的执行,另一些则在调度器的管理下运行。协程本身并不意味着独立的操作系统线程、同时执行或非阻塞输入输出。
起源与发展
协程概念源于人们对协作计算的描述需求:这类计算之间的关系无法用子程序调用的层级结构充分表达。在普通调用中,一个例程是调用方,另一个是被调用方;被调用方最终会返回调用方。而在协程模式下,两个计算过程可以处于对等地位,在对方运行时,各自保留尚未完成的计算。这种方式尤其适合描述生产者与消费者、翻译程序以及仿真过程。
通常认为,梅尔文·E. 康威于 1958 年提出了“协程”这一术语。他在 1963 年发表的论文《可分离状态转移图编译器的设计》中,结合编译器的组织方式介绍了协程。编译器就是一个很自然的例子:词法分析器产生词法单元,语法分析器则消费这些词法单元。无需将这两个组件强行纳入同一套控制结构,而是可以让各自独立组织的例程交替执行,以此表达二者的交互。这样便将词法单元的生成逻辑与语法识别逻辑分离开来。
仿真语言是另一个具有重要影响的应用领域。奥勒-约翰·达尔和克里斯滕·尼高在 20 世纪 60 年代开发的 Simula,将面向过程的仿真与挂起、重新激活计算的机制结合起来。仿真中的顾客、机器或车辆可以持续执行,直到需要等待时才交出控制权,让其他实体继续推进。这种执行方式并不要求各实体在物理处理器上同时运行。相关执行顺序由仿真时间和仿真系统的控制机制决定。
后来的语言设计发展了这一思想的不同方面。生成器功能侧重于逐步产生值;用户态线程库侧重于轻量级执行上下文;事件驱动系统则往往通过回调和保存的状态,手动表示挂起的工作。这些机制彼此相关,但提供的编程接口不同,施加的限制也各不相同。
网络服务和图形界面的应用程序不断发展,使人们重新关注以直观控制流程编写的异步代码。C# 5.0 于 2012 年引入了 async 和 await;Python 3.5 于 2015 年加入了原生协程语法;ECMAScript 2017 将异步函数纳入标准;C++20 则将语言层面的协程支持纳入标准。这些发展并未确立一种通用的协程模型,而是让可恢复计算得到广泛应用,同时将调度、所有权、取消以及与操作系统服务集成等重大设计选择留给了语言运行时和库。
执行模型与控制转移
调用协程会创建或激活一个执行上下文,其生命周期可以跨越多个执行时段。一种实用的抽象生命周期模型将其分为创建、运行、挂起和完成四个阶段。创建阶段建立初始状态;运行阶段推进计算;挂起阶段保留足以继续执行的信息;完成阶段产生最终结果。错误和取消可能引入其他状态,但如何处理这些状态取决于具体的语言和运行时。
挂起与返回的根本区别在于如何处理尚未完成的计算。正常返回会结束一次特定的调用,而挂起则使这次调用在逻辑上仍处于未完成状态。例如,协程处理完文件的前十条记录后,可以保留当前记录索引和中间结果并挂起,恢复时再从第十一条记录继续处理。相比之下,重新执行该函数会创建一次新的调用,除非程序显式重建先前保存的状态。
一个简化的状态转换模型如下:
其中, 是已保存的协程状态, 是恢复执行时提供的输入, 是转换后的状态, 是外部可见的结果。这一结果可以是让出的值、等待请求、最终返回值或异常。并非所有协程接口都支持双向传递输入和输出,但这个模型说明了为什么可恢复的计算比仅仅返回一个序列的函数更为通用。
协程与续延密切相关,续延表示一次计算中尚待完成的工作。不过,这两个概念并不相同。续延机制所允许的控制操作可能比协程支持的范围更广,包括捕获续延,并按照特定语言的规则调用它。实际应用中的大多数协程对象都有受限的生命周期:挂起的实例有一个确定的下一恢复执行位置,不能在自身仍在执行时被并发恢复,也不能在完成后重新开始;若要重新开始,必须创建另一个实例。
挂起也不同于阻塞。协程可以挂起,让执行它的线程去处理其他工作。相比之下,阻塞式系统调用可能使该线程停止执行,导致分配给它的所有协程都无法继续推进。这一区别体现在实际运行行为上,而不是语法上:在协程内部调用一个看似普通的函数,仍有可能阻塞线程;而与运行时良好集成的异步操作,则可以安排协程在外部事件发生后恢复执行。
对称协程、生成器与异步任务
一种重要的分类方式着眼于控制转移的目标。对称协程显式地将执行权转交给另一个协程。参与双方都不会固定充当调用者或被调用者。这种模型可以表达由相互协作的计算构成的网络,包括各阶段之间直接交换控制权的流水线。这种灵活性也意味着,要理解执行顺序,可能需要沿着控制转移图进行追踪,而不能只看嵌套的调用结构。
相比之下,非对称协程区分了恢复执行与让出执行权这两种操作。调用者恢复协程的执行,而协程则将执行权交还给恢复它的一方。这与函数调用类似,但会保留被调用者尚未完成的执行状态。Lua 的协程接口就是一个典型例子:coroutine.resume 推进协程的执行,而 coroutine.yield 则将其挂起并把值传回。这里的非对称性指的是控制转移,而不是数据能否双向流动。
生成器通常是一种受限的可恢复计算,用于逐个产生值。使用者请求下一个元素后,生成器会运行到让出执行权为止;再次请求元素时,迭代便会继续。生成器可以描述遍历过程,而无须事先构建完整的集合。例如,遍历目录树的生成器可以保留遍历状态,每次提供一个路径名。有些生成器接口还允许在恢复执行时传入值或注入异常,因此,生成器与更一般的协程之间的界限取决于具体语言。
异步协程通常会在等待某个操作或另一项计算时挂起。其对外可见的结果通常与一个 future 或 promise 相关联:这是一个表示将来可能可用的结果的对象。协程是可执行的计算,而 future 或 promise 则是观察其最终完成情况的一种手段。有些库会将这两种角色合并到同一种类型中,但在概念上加以区分仍然有用。任务通常指协程及其由调度器管理的执行与完成状态,不过具体术语的用法各不相同。
这些分类与实现方式无关。非对称协程可以拥有独立的栈,异步函数也可以编译成无栈形式的执行帧。同样,生成器不一定执行异步工作,异步协程也不一定逐个产出一系列值。异步生成器将两者结合起来:使用者通过异步等待来逐个获取元素,使生产过程和消费过程都能因等待外部操作而暂停。
相关术语纤程通常指一种采用协作式调度的轻量级执行上下文,而且往往拥有自己的栈。它并不是协程的、具有统一标准定义的同义词。因此,准确的比较应依据栈的归属、调度方式、挂起边界和控制转移规则等属性,而不能只看名称。
有栈与无栈实现
有栈协程保有独立的调用栈。协程挂起时,尚未返回的函数调用仍保留在该栈上。因此,只要实现允许这种控制权转移,嵌套很深的辅助函数也能挂起协程,而不必将调用链中间的每个函数都改造成支持协程的形式。恢复执行时,会还原执行上下文,包括栈指针以及调用约定所要求的处理器状态。
有栈实现必须为每个仍在使用的栈提供存储空间。分配固定大小的空间很简单,但可能浪费内存,也可能在嵌套深度超出容量时发生栈溢出。其他方案包括预留较大的虚拟地址范围并按需逐步提交内存、扩展或复制栈,以及使用分段栈。这些策略对指向栈存储空间的指针、调试信息、外部函数接口以及应用二进制接口的影响各不相同。因此,不能用统一的栈大小或切换开销数值来概括所有实现。
无栈协程通常将恢复执行所需的状态存储在专用对象中,而不是保留任意一连串普通函数调用。编译器会将函数转换为状态机。保存的状态标明执行应从何处继续,并保留生命周期跨越挂起点的参数、局部变量和临时值。挂起时已不再需要的变量不必继续保留在协程帧中。
对于有三个可能挂起点的协程,转换后的实现可能包含一个整数状态字段,以及一个用于进入相应后续执行代码块的分派操作。像 await read() 这样的表达式,可以被转换为先检查操作是否立即完成,再在必要时注册后续操作并返回调度器。之后恢复执行时,会运行相应的代码块,取回结果并继续原来的计算。涉及异常、循环、对象生命周期和嵌套表达式时,实际转换过程会更加复杂。
无栈并不意味着协程从不使用机器栈:当前正在执行的代码通常仍会使用机器栈。它也不意味着所有协程状态都存放在栈内存中。协程帧通常需要使用在发起调用返回后仍然有效的存储空间,不过,在生命周期和所有权已知的情况下,有时可以通过优化消除这类分配。
无栈协程的一个核心限制是:普通辅助函数通常无法穿过任意未经转换的调用帧,挂起外层的无栈协程。支持协程的辅助函数必须提供兼容的可恢复接口。这使得许多语言在实际使用中区分普通调用路径与异步调用路径。有栈实现可以让挂起能力在函数签名中不那么显眼,而无栈实现则提供了明确的挂起边界,以及优化协程帧大小的机会。
调度与异步输入/输出
协程机制规定执行如何暂停和恢复;调度器则决定何时为可运行的计算分配执行时间。在协作式调度中,正在运行的协程会持续执行,直到它挂起、完成或以其他方式主动让出执行权。这避免了在普通指令之间任意中断执行,但并不保证公平性。如果某个计算长时间执行循环而不让出执行权,就可能延误所有与它共用同一调度线程的其他协程。
事件循环通常负责协调异步协程。它维护可运行的任务,并等待外部事件,例如定时器到期或网络活动。当某项操作具备继续执行的条件时,循环就会调度相应的后续执行过程。因此,系统可以用远少于请求数量的执行线程,支持大量尚未完成的操作。这是并发计算的一种形式,并不一定是并行计算:即使每次只有一个任务在执行指令,也可以有多个任务处于进行之中。
协程与异步输入/输出的关系取决于操作系统接口。基于就绪的机制表示某项操作很可能可以在不阻塞的情况下继续执行;应用程序仍需尝试执行该操作,并处理部分传输等情况。基于完成的机制则报告已提交的操作已经完成。在 Linux 上,epoll 支持就绪通知,而 io_uring 为其支持的操作提供提交队列和完成队列。协程库可以隐藏其中的大部分机制,但无法消除这些机制本身的语义。
一次典型的网络读取可以说明这一过程。协程请求读取数据。如果数据已可立即获取,操作可能无需挂起就能完成。否则,运行时会记录正在等待的计算,注册或提交该操作,然后执行其他任务。一旦操作就绪或完成,协程就会进入可运行状态,并最终恢复执行。在此期间,缓冲区的所有权必须始终有效,运行时也必须处理错误、连接关闭和取消操作。
协程也可以跨多个线程调度。运行时可以将已挂起的任务从一个工作线程迁移到另一个工作线程,也可以因用户界面规则或线程局部状态的要求,将任务固定在某个线程上。迁移会改变程序代码可以依赖的前提:协程局部值随逻辑计算一同迁移,而线程局部值则属于当时恰好执行该计算的工作线程。
阻塞式库会使这种架构变得复杂。同步文件操作或数据库操作可能需要在工作线程池中运行,而不是在事件循环线程上运行。将操作转移到另一个线程可以维持响应能力,但不会使底层操作本身变成非阻塞 I/O。因此,基于协程的软件往往会结合使用事件通知、工作线程、定时器和显式调度策略。
语言与运行时设计
Python编程语言区分生成器、原生协程和由调度器管理的任务。PEP 342 在 Python 2.5 中扩展了与生成器交互的方式,PEP 380 则在 Python 3.3 中引入了 yield from。Python 3.5 通过 PEP 492 加入了 async def 和 await。调用普通的原生协程函数会创建一个协程对象,而不是立即将其执行至完成。asyncio 库提供事件循环、任务、同步原语以及网络功能集成。await 表达式可以使执行挂起,但如果所等待的操作已经完成,就不一定会挂起。
在 JavaScript 中,异步函数在被调用时便开始执行,并返回一个 Promise。await 表达式会安排后续计算通过 Promise 的反应处理机制继续执行,即使所等待的值已经可用也是如此。生成器是另一套独立的机制,使用 function* 声明,并通过 next 等方法推进执行。异步生成器则将 async function* 与异步迭代结合起来。语言本身规定了这些构造,而浏览器或服务器运行时等宿主环境则提供定时器和网络操作等功能。
C++20 通过 co_await、co_yield 和 co_return 提供协程机制,但并未规定通用的任务类型或调度器。协程的 promise 类型参与协程创建、结果处理、异常处理,以及初始挂起和最终挂起。这里的 promise 类型属于特定的协程协议,不一定与 std::promise 是同一种抽象。等待器的操作决定是否已就绪、如何挂起,以及恢复执行时产生的值。协程句柄的所有权和协程帧最终的销毁方式,都必须由外围的抽象机制来规定。
Rust 于 2019 年在 1.39 版本中将 async/await 纳入稳定特性。异步函数会生成一个实现了 Future 的值;只有在该 future 被轮询时,执行才会推进。尚未就绪的 future 会安排在可能取得进展时,通过唤醒器通知执行器。标准库定义了核心的 future 接口,但未规定统一的通用执行器。所有权、借用和固定机制会与生成的 future 状态相互作用,尤其是在挂起时保留了指向 future 自身存储空间的引用的情况下。
Kotlin 使用挂起函数和基于续体的编译方式,广泛使用的调度与任务管理功能则由 kotlinx.coroutines 提供。挂起函数本身并不指定专用线程。调度器决定执行上下文,库提供的作用域则负责组织任务的生命周期。相比之下,Lua编程语言通过一套精简的显式恢复接口,提供非对称的有栈协程。
Go 提供 goroutine,即由其运行时管理的轻量级执行上下文。它们同属轻量级并发计算这一更广泛的范畴,但不同于需要显式恢复的协程对象:Go 的调度器控制其执行,而且多个 goroutine 可以在多个操作系统线程上并行执行。这些例子表明,将一种语言中的协程设计移植到另一种语言,远不只是替换关键字。
生命周期、取消与结构化并发
挂起会延长未完成工作的生命周期,也常常会延长相关资源的生命周期。协程在等待期间可能仍持有套接字、锁、内存缓冲区、事务或对其他对象的引用。因此,正确性不仅取决于计算最终能否恢复执行,还取决于在不再需要结果时能否安全地处置这项计算。丢弃句柄并不等于底层操作已经完成。
取消通常以协作方式进行。取消请求会将任务标记为待取消,任务或运行时则在规定的时点检查到该请求。在某些系统中,取消会在等待操作处以异常的形式传递;另一些系统则要求显式检查令牌或状态值。一个紧密运行的计算循环可能要等到执行至检查点或挂起点,才会察觉取消请求。反过来,完成与取消也可能发生竞态,因此库必须规定最终对外呈现哪种结果,以及如何释放剩余资源。
等待外部操作的协程被取消后,该外部操作仍可能继续执行。例如,请求取消远程数据库操作,本身并不能证明服务器没有进行任何更改。同样,取消对工作线程的封装任务,可能只是停止等待其结果,而不会停止工作线程。这些差异表明,不再关注结果、取消本地执行和取消外部副作用是不同的事情。超时通常依赖取消或放弃等待的机制,因此也具有同样的局限。
结构化并发将并发任务组织起来,使其生命周期受父操作或词法作用域的约束。只要子任务仍在运行,作用域通常就不会结束。如果一个子任务失败,框架可以取消其他同级任务,并等待清理完成后再报告失败。这使并发工作更像普通函数调用那样遵循嵌套规则,而不是一组彼此独立启动的后台活动。Python 3.11 引入了 asyncio.TaskGroup;Kotlin 的协程作用域则是另一种广泛使用的实现。
清理方式仍取决于具体语言。异常展开、finally 块、上下文管理器和确定性对象销毁都可以参与清理。异步清理本身也可能需要挂起,例如为了正常关闭协议会话,因此可能需要采取特殊保护措施,防止清理被重复的取消请求打断。在 C++ 中,销毁一个已挂起的协程帧会销毁其中存储的对象;这并不意味着程序会继续执行协程体中所有剩余的语句。
引用环和垃圾回收又引入了另一层问题。自动回收不可达对象,并不一定能及时释放操作系统资源。因此,健壮的协程抽象会区分逻辑上的完成、对取消请求的确认、资源清理和内存回收,即使其公共接口只通过少量操作来呈现这些过程。
应用与组合模式
生成器使协程适用于增量式遍历和转换。树遍历可以在访问一个节点后挂起;词法分析器可以逐个产出词元;文件处理流水线可以逐条生成记录,而不必将全部输入完整载入内存。这可以将辅助存储需求从与全部输出规模成正比,降低到仅需保存当前遍历状态和有界缓冲区的程度。能否实现这种改进,取决于周边的数据结构:如果仍然保留对所有先前结果的引用,就无法节省这部分存储空间。
生产者—消费者流水线将多个可恢复执行的阶段连接起来。例如,网络接收器向解压器提供字节块,解压器再向解析器提供文本,最后由解析器产出应用程序所需的记录。每个阶段都可以在两次输入之间保留尚未完成的工作。协程语法使这些阶段能够保持内部的顺序结构,而不必通过回调手动编码每一种中间状态。不过,即使各阶段看起来是顺序执行的,要将它们组合起来,仍然需要明确规定如何处理流结束、错误、取消以及缓冲区的所有权。
背压用于控制生产者相对于消费者的推进速度。拉取式迭代提供了一种简单的背压机制:只有当消费者请求下一个值时,生产者才会继续推进。推送式系统则通常需要有界队列、需求计数器或流量控制消息。如果不设上限,即使每个协程本身都很轻量,快速的生产者仍然可能积压任意多的数据。因此,背压是通信设计的一项特性,并不是使用 await 就会自动获得的效果。
网络服务使用协程来表示许多并发进行的交互。处理程序可以按看似普通的顺序读取请求、等待数据库结果,然后写出响应。在它等待期间,调度器可以运行其他处理程序。这种模型尤其适合需要大量等待 I/O 的工作负载。压缩或图像处理等 CPU 密集型工作仍然会占用处理器时间,可能需要单独调度或并行执行,以免延误无关请求。
在离散事件仿真中,协程可以表示一个要到后续某个仿真时刻才执行下一步动作的实体。例如,机器可以挂起,直到加工完成;车辆可以挂起,直到抵达下一站。仿真调度器按照事件顺序恢复实体的执行,而不是依据现实中实际经过的时间。因此,协程不仅是一种执行技术,也可以作为一种建模表达方式。
游戏和交互式应用使用类似的模式来编排脚本行为:移动对象,等待动画播放,然后显示对话。这类“协程”有时是用每帧推进一次的生成器实现的,而不是通用的异步任务。它们的等待指令由游戏引擎解释执行。共同的抽象是在暂停期间保留状态;具体的时序规则和执行保证则由引擎提供。
性能、正确性与可观测性
协程的性能取决于它省去了多少工作,以及引入了多少额外开销。用户空间的上下文切换可以避免操作系统层面的调度切换,但仍需维护相关状态。无栈协程可能需要分配协程帧、构造等待器对象、注册续延,以及操作共享的引用计数。有栈协程则需要栈存储空间和上下文恢复。优化编译器可以消除部分开销,因此,只有明确指定语言、运行时、工作负载和比较对象,基准测试结果才有意义。
当大量操作处于挂起状态时,内存用量尤为重要。如果 个任务各自保留的协程状态平均占用 ,调度器元数据占用 ,相关缓冲区占用 ,则总内存用量近似为
这是一个核算模型,而不是适用于所有实现的通用公式。在实际服务器中,应用程序缓冲区、协议状态和排队消息消耗的内存可能比协程帧更多。因此,声称一个协程只占用很小的帧,并不能说明整个挂起请求的内存开销。
单线程执行并不能消除逻辑上的并发风险。设想两个任务读取同一个共享计数器,随后挂起,之后再写回递增后的值。两者可能读到相同的初始值,导致一次更新丢失。即使没有同时执行的机器指令,这仍然是任务执行顺序上的竞态条件。如果任务可以在不同线程上运行,还需考虑普通的共享内存数据竞争,这类问题受语言的内存模型和同步规则约束。
死锁也可能发生。一个任务可能持有某项资源,同时等待另一个也需要该资源的任务。如果阻塞式互斥锁阻塞了唯一能够运行锁持有者的线程,后果会尤其严重。异步锁可以避免在等待期间阻塞执行线程,但不能消除循环依赖。同样,当所有参与者都在等待其他阶段消费或生产数据时,有界通道也可能成为死锁的一环。
挂起边界是分析不变量时的关键。在一段不被打断的普通操作序列中,暂时将数据结构置于不一致状态可能是安全的;但如果在恢复不变量之前让出控制权,就可能不安全。反过来,与任意时刻发生的抢占相比,显式挂起点可以让交错执行更容易分析,前提是同时考虑回调、重入调用和线程迁移。
调试需要跨越挂起的协程帧重建逻辑执行过程。传统堆栈跟踪显示的是当前活动的调用,而协程中的因果关系还可能涉及等待关系、任务创建位置和调度器队列。因此,有用的可观测信息包括任务标识符、父子关系、取消状态,以及请求上下文的传播情况。确定性调度器和受控的事件顺序可以暴露常规执行中难以复现的缺陷;形式验证还可以分析任务交互和资源所有权的有界模型。