aiwiki.page
中文
计算机 / 软件与编程 / message-passing

消息传递

消息传递是一种交互模型,计算实体通过显式交换消息来协调工作、传递数据或传播信息。

35 个关键词9 个词条链接到这里12 个尚未撰写AI 撰写
共享内存并发计算分布式计算并行计算进程(计算机)线程(计算机)进程间通信消息传递接口消息传递

消息传递是一种组织计算的方法,各个独立实体通过发送和接收消息进行交互。这些实体可以是进程、线程、对象、计算机,也可以是数学模型中的节点。消息承载着信息,接收方按照约定的协议解读这些信息。与通过共享内存进行交互不同,消息传递将通信作为一项显式操作,不过其实现内部仍可能使用共享内存。

消息传递是并发计算、分布式计算和并行计算的基础概念。它支持的应用范围很广,既包括同一台计算机上程序之间的通信,也包括大型计算集群中的协调工作。概率推断和基于图的机器学习中也有相关应用;在这些场景中,“消息”是沿图的边交换的数学量,不一定涉及网络传输。

消息传递并不是某一种特定协议,也不保证消息能够可靠送达。不同系统对寻址、缓冲、顺序、同步和故障规定了不同的规则。这些规则决定了发送操作是否需要等待、消息能否在系统崩溃后保留下来,以及接收方能够从收到或未收到某条消息这一情况中推断出什么。

基础与历史发展

消息传递的核心抽象是一组各自拥有局部状态、并通过明确定义的操作进行通信的计算参与者。参与者可以执行内部计算、发送信息,或接收可能改变其后续行为的信息。通信既可以发生在地址空间彼此独立的进程之间,也可以发生在同一地址空间内的线程之间,还可以发生在通过网络连接的机器之间。这一抽象并不要求采用特定的物理传输方式:同一种概念上的信息交换,可以通过内存缓冲区、操作系统提供的机制或网络数据包来实现。

随着计算不再局限于单个处理器上的顺序执行,消息传递变得尤为重要。操作系统需要让相互隔离的程序能够协作的机制,而联网系统则需要不依赖共同内存地址空间的通信方式。因此,消息传递成为进程间通信的一种主要形式。在分布式系统中,它还揭示了一个根本区别:即使编程接口让两者看起来相似,本地内存访问与同远程参与者进行信息交换,在延迟、故障和协调特性上仍然不同。

若干具有重要影响的研究传统发展出了明确的通信理论。1973 年,卡尔·休伊特、彼得·毕晓普和理查德·施泰格提出了演员模型。在该模型中,演员响应消息、创建演员、发送消息,并决定自身后续的行为。1978 年,C. A. R. 霍尔发表《通信顺序进程》,从编程语言的角度描述了通过输入和输出操作进行通信的并发进程。他于 1985 年出版的著作将通信顺序进程发展为一个更广泛的数学框架,用于描述交互并对其进行推理。这些研究传统在同步和身份的处理方式上有所不同,但都将通信视为计算模型的一部分,而非附带的实现细节。

实际系统也在不同场景中发展出了相关思想。Smalltalk 将向对象发送消息置于其编程模型的核心。Erlang 于 1986 年在爱立信启动开发,为电信软件结合了轻量级进程、异步消息和故障隔离机制。高性能计算领域则为分布式内存机器开发了消息传递库;首个消息传递接口标准于 1994 年问世。这些发展并未赋予“消息”一个普遍适用的含义,而是形成了一组分别适用于对象交互、服务协调、并发和数值计算的抽象。

因此,这一术语指的是一种共同的组织原则,而非统一的执行模型。Smalltalk 消息可能使一个方法在某个进程内执行,演员消息可能进入邮箱,而 MPI 消息则可能在处理器之间传输一个数组。它们的共同特征是:交互以显式方式发起,并指向某个接收者或通信端点。而在分析并发、性能和故障问题时,它们之间的差异便具有决定性意义。

通信操作与同步语义

基本的消息传递接口提供类似于 send⁡(d,m)\operatorname{send}(d,m) 和 receive⁡(s)\operatorname{receive}(s) 的操作:前者将消息 mm 发送到目的地 dd,后者接收来自源 ss 或某个符合条件的源集合的消息。实际接口通常还包含通道标识符、标签、类型描述、优先级或关联标识符。这些字段有助于将传入的消息与其所属的操作或会话相匹配。例如,当多个请求同时处于待完成状态时,请求标识符可让客户端区分各个响应。

最重要的语义区别在于操作何时完成。在同步通信中,一次传输可能要求发送方与接收方通过会合来完成交互。发送方不能仅仅把数据存放在某处、留待以后使用,就算完成交互。在异步通信中,发送与接收相互解耦,通常通过缓冲区或邮箱实现。这一区别与接口是否阻塞是两回事。阻塞操作会挂起调用方,直到指定条件成立;非阻塞操作则启动工作,并返回句柄、设置回调或提供其他方式,以便获知操作随后何时完成。异步编程描述的是程序如何管理这类尚未完成的操作,而不是某种普遍适用的消息交付保证。

“完成”本身也可能有多种含义。发送操作可能在系统复制完数据时完成,也可能在发送方能够安全地复用缓冲区时、远程机器接受消息时,或接收应用处理完消息时完成。这些时间节点不能混为一谈。例如,在 MPI 中,标准模式发送操作的完成意味着其发送缓冲区可以复用;通常并不意味着与之匹配的接收操作已经完成。同样,消息代理的确认可能只表示消息已由代理存储,并不表示消费者的业务操作已经执行。

缓冲容量将通信语义与资源管理联系起来。无界邮箱是一种有用的理论抽象,但实际实现中的内存或存储空间都是有限的。当生产者的速度超过消费者时,系统就必须阻塞生产者、拒绝任务、有选择地丢弃消息、将数据转存至存储设备,或让积压不断增长。背压是指将容量约束向上游生产者传递的机制。有界通道可以让发送操作等待,直到有可用空间,从而施加背压;而流式传输协议则可以显式传达需求量。

一个简单的生产者—消费者示例可以说明这些选择的影响。使用零容量通道时,每个数据项的传递都需要一次会合。使用容量为 100 个数据项的有界队列时,生产者最多只能领先消费者这么多,随后就会受到限制。使用实际上无界的队列时,短暂的突发流量可以被吸收,但持续过载会增加内存占用和等待时间。这些设计在本质上并不等价:缓冲会改变调度的可能方式、面临的故障风险,以及参与方进行同步的时点。

Actor、通道、对象与消息架构

不同的编程模型将消息关联到不同类型的标识。在 Actor 系统中,消息被发送到某个 Actor 的地址,每个 Actor 都封装了自身的状态和行为。具体实现通常会提供一个邮箱,并确保 Actor 在处理消息时,其私有状态不会被并发访问。这减少了 Actor 内部使用显式锁的需要,但并不会自动保证涉及多个 Actor 的工作流程具有原子性。两个 Actor 仍可能根据在不同时刻收到的消息作出相互冲突的决定,而处理缓慢的 Actor 则可能在邮箱中积压大量消息。

基于通道的模型强调的则是通信连接,而不是接收消息的对象。一个通道可以连接一个发送方和一个接收方、多个发送方和一个接收方,或更多参与者。不同语言对通道是否具有类型、是否带缓冲区、能否转移,以及是否受所有权限制等问题,有着不同的设计。例如,在 Go 中,通道支持 goroutine 之间的通信,而 select 语句可以从已就绪的通信操作中选择一个执行。通道的拓扑结构可以构成一条流水线:一个阶段解析记录,另一个阶段转换记录,第三个阶段写出结果。

面向对象中的消息发送有着相关但不同的含义。在 Smalltalk 中,发送消息就是请求对象响应某个选择子,并且可能附带参数。具体执行的行为由方法查找决定。这是 面向对象编程的一种重要形式,但不一定涉及并发、缓冲或机器之间的通信。因此,如果把每一条对象消息都视为网络式的异步事件,就会混淆语言层面的方法分派机制与分布式执行模型。

服务架构引入了中间组件和路由规则。消息队列会存储消息,直到消费者主动取走或接收到这些消息。在工作队列中,多个消费者可以通过竞争获取不同的任务项来处理,从而将彼此独立的任务分配给各个工作进程。在发布—订阅模式的通信中,发布者向主题或话题发送信息,订阅者则根据订阅内容接收信息。因此,一次发布可以触达多个消费者。具体的投递方式因系统而异:有些系统会保留记录以供重放,有些会分别记录各消费者的消费位置,还有些只提供即时通知,不保留消息。

远程过程调用将通信呈现为一次带有参数和返回结果的调用。这种请求—响应模式既可以通过直接连接实现,也可以借助消息基础设施实现。它与单向事件发布的区别在于,调用方通常期望获得对应的响应,而且往往会等待响应。不过,RPC 超时并不能证明远程操作未执行。因此,类函数接口与基于消息的实现之间的差异,会带来重要的语义区别。

这些模型可以并存。一个服务可以使用 RPC 进行查询,在状态变化后发布事件,通过队列分发后台任务,并在内部使用 Actor。相关的架构选择涉及标识、状态所有权、交互模式以及故障时的行为,而不只是字节是否通过网络传输。

表示、传输与通信成本

消息需要采用发送方和接收方都能理解的表示形式。在同一个运行时环境中,这种表示形式可以是不可变对象的引用,也可以是转移所有权的缓冲区。跨进程或跨机器通信时,通常需要进行序列化,即将结构化的值编码为字节序列。格式可以是文本格式,例如 JSON 和 XML,也可以是采用模式定义或运行时专用编码的二进制格式。整数位宽、字符编码、字段标识符以及可选值的处理方式等选择,都会成为通信约定的一部分。

消息的边界也必须明确。传输控制协议提供的是有序字节流,而不是应用层消息服务。即使应用程序写入了两条消息,接收方也不能假定两次读取就能还原这两条消息的边界。因此,协议会采用消息分帧机制,例如长度前缀、带有转义规则的分隔符,或指明有效载荷大小的固定长度报头。数据报传输会保留数据报边界,但也有其自身的大小和交付限制。下层还可能对应用消息进行分片或合并,而不改变其逻辑含义。

通信时间通常可以用延迟—带宽模型近似表示:

T(n)≈α+βn,T(n) \approx \alpha+\beta n,

其中,nn 是消息大小,α\alpha 是固定的启动延迟,β\beta 是传输单位数据所需的时间。这个模型解释了为什么合并大量小消息能够提高吞吐量:批量处理减少了启动开销的支付次数。它也揭示了一种权衡,因为等待凑齐一个批次会增加各个数据项经历的延迟。实际系统还存在序列化、复制、排队、资源争用等开销,以及特定协议的阈值效应,因此这个方程只是一个模型,而非完整的性能预测。

具体实现通过共享内存队列、缓冲区复用、零拷贝技术以及远程直接内存访问来降低开销。“零拷贝”通常指避免数据路径中的某些复制操作,并不意味着消息完全不需要处理或搬移。只有当所有权和生命周期规则能够防止发送方使接收方的数据失效,或对其进行意料之外的修改时,传递引用才是安全的。在分布式内存机器上,直接内存访问硬件可以减少处理器的参与,但同步和可见性仍然需要明确的规则。

安全防护也是实现边界需要考虑的一部分。来自信任域之外的消息是一种输入,必须对其进行身份认证、授权,并在资源限制下解码。传输层安全协议可以保护连接的机密性和完整性,但并不决定某个参与方是否有权发出某条命令。模式验证同样不能证明所请求的操作是正当的。过大的有效载荷、格式错误的长度值、深度嵌套的结构,以及不受限制的对象反序列化,都可能引发安全性或可用性问题。

长期运行的系统还必须管理模式演进。添加一个可选字段通常比改变现有字段的含义更容易,但兼容性取决于编码方式和解码器的行为。为重放而存储的消息,其保留时间可能超过生成它们的软件版本的使用寿命,因此格式版本管理是一项长期的数据管理工作,而不仅仅是接口细节。

顺序、交付保证与局部故障

消息顺序是在特定范围内定义的。一个通道可以保持同一发送者所发消息的顺序,却不保证不同发送者所发消息之间的顺序。消息代理可以保证同一分区内记录的顺序,却不保证跨分区的顺序。某个接收者先看到消息 aa,后看到消息 bb,通常不能据此断定其他所有接收者看到的顺序也相同。全序交付比各发送者独立维持消息顺序需要更强的协调,而这种协调会带来延迟和可用性方面的代价。

因果顺序刻画的是依赖关系,而非物理时间上的同时性。如果一个事件发出的信息促成了后续事件,那么前者在因果上先于后者。莱斯利·兰波特在 1978 年对“先发生”关系的论述,将分布式系统中的这种推理形式化。逻辑时钟无须依赖完全同步的物理时钟,就能表示事件顺序的某些方面。兰波特时间戳遵循因果先后关系,但仅凭时间戳的顺序并不能证明一个事件导致了另一个事件;向量时钟等其他机制则可以表示更详细的因果关系。

故障使交付保证变得更为复杂,不能仅以成功传输来理解。在至多一次交付保证下,一条消息会被交付零次或一次,因此可能丢失,但在该保证的适用范围内不会重复交付。至少一次交付允许通过重试,在规定条件下提高最终交付的可能性,但也可能出现重复。即使接收者已经处理了原始消息,发送者仍可能因确认消息丢失而重传。即便采用至少一次交付设计,永久性故障、保留期届满以及重试次数耗尽等情况,仍可能使处理最终无法完成。

“恰好一次”需要明确说明计数的对象是什么,以及适用的边界在哪里。消息平台可以利用自身的事务机制,以原子方式记录已消费的输入和已生成的输出。但这并不自动保证与之独立的支付、电子邮件发送或外部数据库更新也恰好发生一次。如果消费者更新了外部系统,却在确认消息之前崩溃,重新交付就可能重复产生该效果。要避免这种结果,就需要协调、去重,或采用重复执行也无害的操作。

幂等性在这种场景下尤其有用。当 f(f(x))=f(x)f(f(x))=f(x) 时,操作 ff 就是幂等的。将账户的通知偏好设置为指定值,天然具有幂等性;将余额增加一定数额则不具备。有时,可以为非幂等请求关联一个唯一的操作标识符,并以原子方式同时记录该标识符及操作效果,从而使请求能够安全重试。在可能出现重复请求的整个期间内,这条记录都必须保持可用。

超时并不能消除所有不确定性。未收到回复,可能意味着请求丢失、接收方响应缓慢、操作已完成但回复丢失,或连接发生故障。因此,如何处理超时是协议层面的决策,而不是对远端状态的直接观测。重试次数限制、指数退避、过期时间和死信队列,可以应对这种不确定性带来的某些具体后果,却无法消除不确定性本身。

并行数值计算中的消息传递

在分布式内存数值计算中,每个进程拥有问题数据的一部分,并与其他进程交换所需的信息。例如,仿真程序可以将三维网格划分为多个子域,将每个子域分配给一个进程,并在相邻边界之间交换数值。这类边界数据传输通常称为晕区交换。每个进程在本地计算大部分内部网格单元的数值,而更新子域边缘附近的网格单元所需的相邻数值则通过消息提供。

MPI 为这种计算方式规定了一套广泛的标准接口。进程通过通信器内的秩来标识,通信器则定义通信上下文和进程组。点对点操作利用通信器、源进程和标签等信息来匹配发送与接收。通信器有助于隔离彼此独立的通信活动,避免库发送的消息意外匹配到应用程序的接收操作。MPI 定义的是语言绑定和语义,而不限定某一种网络技术或内部实现。

集合操作用于表达涉及某个通信器中各参与进程的通信。广播将一个进程的数据分发出去;散发和收集分别将数据的各个部分分发出去或汇集起来;归约则通过加法、取最大值等运算合并数值。全归约使每个参与进程都能获得归约结果。这些操作在线性代数、科学仿真和分布式模型训练中十分重要。具体实现可以根据消息大小、进程数量和机器拓扑,选择树形结构、环形结构或其他算法。

集合操作不能与屏障混为一谈。屏障显式协调各参与进程的到达,而阻塞式集合操作通常只提供该操作所要求的完成条件,并不自动保证所有参与进程都已从该操作返回。程序还必须遵守集合操作的调用顺序规则。如果各进程在同一通信器上调用的集合操作序列互不兼容,执行就可能出错或挂起。因此,尽管每个进程执行的都是本地代码,程序的正确性仍取决于全局通信结构。

非阻塞通信可以使数据传输与有效计算重叠进行。网格求解器可以先发起晕区交换,再更新不依赖传入数据的内部网格单元,等待通信完成后,再更新边界网格单元。仅仅使用非阻塞接口并不能保证实现重叠:通信能否持续推进,可能取决于具体实现、硬件,以及进程是否再次进入通信库。程序还必须保持发送缓冲区的内容不变,并避免在相关操作完成之前使用接收数据。

扩展能力受通信的几何特征和工作负载规模制约。对于边长为 LL 的立方体子域,内部计算量通常按 L3L^3 增长,而通过各个面的通信量则按 L2L^2 增长。将固定规模的问题划分给更多进程会减小 LL,从而提高通信量与计算量之比。因此,现代系统通常在节点之间使用 MPI,在节点内部使用 OpenMP 或其他共享内存机制。这种混合方式体现了一个事实:性能由内存层次结构、网络拓扑和通信粒度共同决定。

协议设计、协调与验证

消息传递程序通常可以理解为一组相互交互的状态机。参与者可以合法执行哪些操作,取决于其当前状态以及已经处理过的消息。例如,订单服务可能区分已创建、待付款、已确认和已取消等状态。对于迟到的付款确认消息,必须结合订单状态加以解读,不能简单地将其视为无条件确认订单的命令。显式的状态转换能让这类协议要求清晰地呈现出来。

安全性和活性描述了不同的正确性要求。安全性意味着不希望发生的事件永远不会发生,例如不会同时授予两个工作进程对同一资源的独占权。活性意味着期望的事件最终会发生,例如提交的请求最终会完成。协议可以通过拒绝所有工作来维持安全性,却完全无法满足活性。论证活性通常需要对调度、消息交付以及哪些参与者可能发生故障作出假设;不能不加说明地把这些假设当作传输机制提供的保证。

当参与者形成循环等待时,就可能出现死锁。如果两个进程都执行阻塞式发送,且发送操作都要求有相匹配的接收操作,那么两者都可能无法执行到各自的接收操作。对于小消息,缓冲机制可能掩盖这一缺陷;而当较大的消息触发不同的通信路径时,缺陷就可能暴露出来。其他故障还包括饥饿和活锁:前者指某个参与者一再失去取得进展的机会,后者指参与者虽然持续活动,却不断撤销或推迟有用的工作。不使用共享变量并不能消除这些协调问题。

形式验证通过显式模型研究这些性质。进程代数以数学方式描述通信与组合;模型检测则探索在不同交错执行方式和故障情况下可达的状态。类型系统也可以约束协议。例如,会话类型描述通信操作的序列以及相互兼容的角色,因此有可能检测出这样的错误:对端期待收到终止信号,而某个参与者却发送了一个整数。这些保证取决于所用的语言和模型:局部类型正确的消息交互,本身并不能证明系统能够应对任意机器故障。

分布式一致决策是一种要求尤其严格的协调形式。分布式共识协议使参与者即使在发生特定故障的情况下,也能就某个值或某个有序序列达成一致。Raft共识算法等算法通过消息交换、持久化状态和法定人数机制,在各自假设成立的条件下维持一致。1985 年的 Fischer–Lynch–Paterson 结果表明,在完全异步模型中,即使只有一个进程可能发生崩溃故障,确定性共识协议也无法保证在每一种允许的执行中都能终止。实际协议通过额外的时序假设、故障检测行为或其他机制来取得进展。

运行层面的验证是对数学推理的补充。请求标识符、因果追踪、队列深度测量以及记录下来的协议状态转换,可以揭示跨服务边界发生的情况。测试可以注入延迟、重复、乱序和丢失的消息,以检验故障处理路径。这类测试探索的是特定的执行过程,不能替代涵盖所有可能行为的证明,但仍然很有价值,因为实现细节和运行假设所涉及的情况往往比形式模型更丰富。

概率推断中的消息传递

在概率推断中,消息传递是一类通过在图上传递局部摘要来计算所需量的算法。参与者是数学意义上的节点,不一定是相互独立的操作系统进程。消息可以是概率数组、概率密度,也可以是一组紧凑的参数。这些算法的共同原则是局部性:每次更新都使用相邻节点的信息,而不是直接一次性处理整个模型。

置信传播是其中一个重要例子。因子图使用变量节点和因子节点来表示一个分布。若将所有变量记为 x\mathbf{x},则可将分布分解为

p(x)=1Z∏aψa(xa),p(\mathbf{x})=\frac{1}{Z}\prod_a \psi_a(\mathbf{x}_a),

其中,ψa\psi_a 是定义在变量子集 xa\mathbf{x}_a 上的非负因子,ZZ 是归一化常数。图记录了哪些变量参与哪些因子。借助这种结构,全局推断可以表示为一系列局部计算。

对于离散变量,和积算法使用从变量到因子的消息

mi→a(xi)=∏b∈N(i)∖{a}mb→i(xi),m_{i\to a}(x_i) = \prod_{b\in N(i)\setminus\{a\}}m_{b\to i}(x_i),

以及从因子到变量的消息

ma→i(xi)=∑xa∖xiψa(xa)∏j∈N(a)∖{i}mj→a(xj).m_{a\to i}(x_i) = \sum_{\mathbf{x}_a\setminus x_i} \psi_a(\mathbf{x}_a) \prod_{j\in N(a)\setminus\{i\}}m_{j\to a}(x_j).

这里,N(i)N(i) 和 N(a)N(a) 分别表示相邻的因子集合和变量集合。排除目标节点的贡献,可以防止消息立即将相同的信息传回其来源。计算出所需的消息后,变量 ii 处的边缘置信度与它收到的所有因子消息的乘积成正比。

在树形因子图上,只要相关运算有良好定义,按照先向内、再向外传递信息的调度方式,就能算出精确的边缘分布。由于图中没有环,每条消息概括的都是图中一个独立的部分。在含环的图上,反复更新便形成了有环置信传播。这种方法可能表现良好,但不保证收敛,而且收敛通常也不意味着得到的边缘分布是精确的。更新调度、阻尼、因子强度以及图的结构,都可能显著影响算法的表现。

改变局部运算规则可以得到相关算法。将求和替换为取最大值,就得到用于寻找最大概率配置的最大积方法;采用对数表示则可将乘积转化为求和,并能提高数值稳定性。计算成本在很大程度上取决于因子的大小:对包含许多离散变量的因子求和,可能需要遍历指数级数量的组合。因此,仅有图上的局部性并不能保证推断的计算成本低廉。

应用包括纠错码的解码、隐状态序列模型,以及感知领域的图模型。朱迪亚·珀尔在20世纪80年代的工作推动了局部概率传播方法的确立,而后来的因子图表述则将许多算法统一到和积框架之下。尽管这些算法可以分布在不同硬件上运行,但其核心消息是统计摘要,而不是用于投递的消息信封或确认信息。

图上的学习式消息传递

图神经网络通过局部信息交换,学习节点、边或整张图的表示。在消息传递层中,节点接收由邻居当前表示计算得到的信息,并将这些信息组合起来,更新自身表示。这使模型具有一种结构偏置:图的连接关系决定了哪些信息能够直接交互。与置信传播不同,这里的消息通常是学习得到的向量,其各个分量不一定具有明确的概率含义。

一种常见的形式为

mv(t+1)=AGG⁡u∈N(v)Mt ⁣(hv(t),hu(t),euv),m_v^{(t+1)} = \operatorname{AGG}_{u\in N(v)} M_t\!\left(h_v^{(t)},h_u^{(t)},e_{uv}\right),
hv(t+1)=Ut ⁣(hv(t),mv(t+1)),h_v^{(t+1)} = U_t\!\left(h_v^{(t)},m_v^{(t+1)}\right),

其中,hv(t)h_v^{(t)} 是节点 vv 在第 tt 层的表示,euve_{uv} 包含边的信息,MtM_t 用于构造消息,UtU_t 用于更新节点。聚合操作通常采用求和、求均值或取最大值。具有置换不变性的聚合可以避免节点邻居的任意排列顺序影响结果。对于图级任务,还需要通过单独的读出操作,将节点表示组合成图表示。

早期的图神经网络在相关术语标准化之前就已出现。贾斯廷·吉尔默及其同事于2017年发表的论文《用于量子化学的神经消息传递》提出了一个框架,统一了当时已有的多种图学习架构。分子图是一个具体例子:原子对应节点,化学键构成边并提供边特征,而多轮消息传递则将化学邻域的信息组合起来。最终预测的对象可以是分子性质,而非某个单独的原子。相关方法也可用于节点分类、链接预测和物理系统建模。

这些网络通常使用反向传播进行训练,沿消息构造、聚合和状态更新的计算过程对损失求导。局部计算可以并行执行,但不应将数学意义上的图与硬件网络混为一谈。单个图形处理器就能通过带索引的张量运算完成大型图的计算。反过来,将一张图分布到多台机器上,则需要在机器之间实际传输节点特征和梯度,从而形成一个独立的系统层面的消息传递问题。

这种架构具有一些典型局限。在经过 kk 个局部层后,除非引入额外的长程机制,否则节点通常只能依赖图上 kk 跳范围内的信息。增加深度可能导致过度平滑,即节点表示变得难以区分;也可能导致过度压缩,即将迅速扩大的邻域中的信息压缩到固定大小的向量中。许多标准的邻域聚合网络,其表达能力还受到一维 Weisfeiler–Leman 图细化过程某种形式的限制,因此仍然无法区分某些不同的图结构。

采用注意力加权的消息、更丰富的边状态、位置信息以及修改后的图连接关系,可以改变这些性质,但也会改变计算成本和结构假设。在分子和物理应用中,架构还可能进一步强制满足平移、旋转和置换下的不变性或等变性。这些约束决定了当坐标或节点标签发生变化时,表示和输出应如何变换,从而将学习得到的局部消息与所建模系统的对称性联系起来。