{
  "id": "message-passing",
  "title": "消息传递",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "消息传递是一种交互模型，计算实体通过显式交换消息来协调工作、传递数据或传播信息。",
  "category": "computer-science",
  "subcategory": "software",
  "type": "concept",
  "aliases": [
    "消息传送"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/message-passing/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/message-passing/",
      "json": "https://aiwiki.page/en/message-passing.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "消息传递是一种组织计算的方法，各个独立实体通过发送和接收消息进行交互。这些实体可以是进程、线程、对象、计算机，也可以是数学模型中的节点。消息承载着信息，接收方按照约定的协议解读这些信息。与通过共享内存进行交互不同，消息传递将通信作为一项显式操作，不过其实现内部仍可能使用共享内存。\n\n消息传递是并发计算、分布式计算和并行计算的基础概念。它支持的应用范围很广，既包括同一台计算机上程序之间的通信，也包括大型计算集群中的协调工作。概率推断和基于图的机器学习中也有相关应用；在这些场景中，“消息”是沿图的边交换的数学量，不一定涉及网络传输。\n\n消息传递并不是某一种特定协议，也不保证消息能够可靠送达。不同系统对寻址、缓冲、顺序、同步和故障规定了不同的规则。这些规则决定了发送操作是否需要等待、消息能否在系统崩溃后保留下来，以及接收方能够从收到或未收到某条消息这一情况中推断出什么。"
    },
    {
      "heading": "基础与历史发展",
      "text": "消息传递的核心抽象是一组各自拥有局部状态、并通过明确定义的操作进行通信的计算参与者。参与者可以执行内部计算、发送信息，或接收可能改变其后续行为的信息。通信既可以发生在地址空间彼此独立的进程之间，也可以发生在同一地址空间内的线程之间，还可以发生在通过网络连接的机器之间。这一抽象并不要求采用特定的物理传输方式：同一种概念上的信息交换，可以通过内存缓冲区、操作系统提供的机制或网络数据包来实现。\n\n随着计算不再局限于单个处理器上的顺序执行，消息传递变得尤为重要。操作系统需要让相互隔离的程序能够协作的机制，而联网系统则需要不依赖共同内存地址空间的通信方式。因此，消息传递成为进程间通信的一种主要形式。在分布式系统中，它还揭示了一个根本区别：即使编程接口让两者看起来相似，本地内存访问与同远程参与者进行信息交换，在延迟、故障和协调特性上仍然不同。\n\n若干具有重要影响的研究传统发展出了明确的通信理论。1973 年，卡尔·休伊特、彼得·毕晓普和理查德·施泰格提出了演员模型。在该模型中，演员响应消息、创建演员、发送消息，并决定自身后续的行为。1978 年，C. A. R. 霍尔发表《通信顺序进程》，从编程语言的角度描述了通过输入和输出操作进行通信的并发进程。他于 1985 年出版的著作将通信顺序进程发展为一个更广泛的数学框架，用于描述交互并对其进行推理。这些研究传统在同步和身份的处理方式上有所不同，但都将通信视为计算模型的一部分，而非附带的实现细节。\n\n实际系统也在不同场景中发展出了相关思想。Smalltalk 将向对象发送消息置于其编程模型的核心。Erlang 于 1986 年在爱立信启动开发，为电信软件结合了轻量级进程、异步消息和故障隔离机制。高性能计算领域则为分布式内存机器开发了消息传递库；首个消息传递接口标准于 1994 年问世。这些发展并未赋予“消息”一个普遍适用的含义，而是形成了一组分别适用于对象交互、服务协调、并发和数值计算的抽象。\n\n因此，这一术语指的是一种共同的组织原则，而非统一的执行模型。Smalltalk 消息可能使一个方法在某个进程内执行，演员消息可能进入邮箱，而 MPI 消息则可能在处理器之间传输一个数组。它们的共同特征是：交互以显式方式发起，并指向某个接收者或通信端点。而在分析并发、性能和故障问题时，它们之间的差异便具有决定性意义。"
    },
    {
      "heading": "通信操作与同步语义",
      "text": "基本的消息传递接口提供类似于 \\(\\operatorname{send}(d,m)\\) 和 \\(\\operatorname{receive}(s)\\) 的操作：前者将消息 \\(m\\) 发送到目的地 \\(d\\)，后者接收来自源 \\(s\\) 或某个符合条件的源集合的消息。实际接口通常还包含通道标识符、标签、类型描述、优先级或关联标识符。这些字段有助于将传入的消息与其所属的操作或会话相匹配。例如，当多个请求同时处于待完成状态时，请求标识符可让客户端区分各个响应。\n\n最重要的语义区别在于操作何时完成。在同步通信中，一次传输可能要求发送方与接收方通过会合来完成交互。发送方不能仅仅把数据存放在某处、留待以后使用，就算完成交互。在异步通信中，发送与接收相互解耦，通常通过缓冲区或邮箱实现。这一区别与接口是否阻塞是两回事。阻塞操作会挂起调用方，直到指定条件成立；非阻塞操作则启动工作，并返回句柄、设置回调或提供其他方式，以便获知操作随后何时完成。异步编程描述的是程序如何管理这类尚未完成的操作，而不是某种普遍适用的消息交付保证。\n\n“完成”本身也可能有多种含义。发送操作可能在系统复制完数据时完成，也可能在发送方能够安全地复用缓冲区时、远程机器接受消息时，或接收应用处理完消息时完成。这些时间节点不能混为一谈。例如，在 MPI 中，标准模式发送操作的完成意味着其发送缓冲区可以复用；通常并不意味着与之匹配的接收操作已经完成。同样，消息代理的确认可能只表示消息已由代理存储，并不表示消费者的业务操作已经执行。\n\n缓冲容量将通信语义与资源管理联系起来。无界邮箱是一种有用的理论抽象，但实际实现中的内存或存储空间都是有限的。当生产者的速度超过消费者时，系统就必须阻塞生产者、拒绝任务、有选择地丢弃消息、将数据转存至存储设备，或让积压不断增长。背压是指将容量约束向上游生产者传递的机制。有界通道可以让发送操作等待，直到有可用空间，从而施加背压；而流式传输协议则可以显式传达需求量。\n\n一个简单的生产者—消费者示例可以说明这些选择的影响。使用零容量通道时，每个数据项的传递都需要一次会合。使用容量为 100 个数据项的有界队列时，生产者最多只能领先消费者这么多，随后就会受到限制。使用实际上无界的队列时，短暂的突发流量可以被吸收，但持续过载会增加内存占用和等待时间。这些设计在本质上并不等价：缓冲会改变调度的可能方式、面临的故障风险，以及参与方进行同步的时点。"
    },
    {
      "heading": "Actor、通道、对象与消息架构",
      "text": "不同的编程模型将消息关联到不同类型的标识。在 Actor 系统中，消息被发送到某个 Actor 的地址，每个 Actor 都封装了自身的状态和行为。具体实现通常会提供一个邮箱，并确保 Actor 在处理消息时，其私有状态不会被并发访问。这减少了 Actor 内部使用显式锁的需要，但并不会自动保证涉及多个 Actor 的工作流程具有原子性。两个 Actor 仍可能根据在不同时刻收到的消息作出相互冲突的决定，而处理缓慢的 Actor 则可能在邮箱中积压大量消息。\n\n基于通道的模型强调的则是通信连接，而不是接收消息的对象。一个通道可以连接一个发送方和一个接收方、多个发送方和一个接收方，或更多参与者。不同语言对通道是否具有类型、是否带缓冲区、能否转移，以及是否受所有权限制等问题，有着不同的设计。例如，在 Go 中，通道支持 goroutine 之间的通信，而 select 语句可以从已就绪的通信操作中选择一个执行。通道的拓扑结构可以构成一条流水线：一个阶段解析记录，另一个阶段转换记录，第三个阶段写出结果。\n\n面向对象中的消息发送有着相关但不同的含义。在 Smalltalk 中，发送消息就是请求对象响应某个选择子，并且可能附带参数。具体执行的行为由方法查找决定。这是 面向对象编程的一种重要形式，但不一定涉及并发、缓冲或机器之间的通信。因此，如果把每一条对象消息都视为网络式的异步事件，就会混淆语言层面的方法分派机制与分布式执行模型。\n\n服务架构引入了中间组件和路由规则。消息队列会存储消息，直到消费者主动取走或接收到这些消息。在工作队列中，多个消费者可以通过竞争获取不同的任务项来处理，从而将彼此独立的任务分配给各个工作进程。在发布—订阅模式的通信中，发布者向主题或话题发送信息，订阅者则根据订阅内容接收信息。因此，一次发布可以触达多个消费者。具体的投递方式因系统而异：有些系统会保留记录以供重放，有些会分别记录各消费者的消费位置，还有些只提供即时通知，不保留消息。\n\n远程过程调用将通信呈现为一次带有参数和返回结果的调用。这种请求—响应模式既可以通过直接连接实现，也可以借助消息基础设施实现。它与单向事件发布的区别在于，调用方通常期望获得对应的响应，而且往往会等待响应。不过，RPC 超时并不能证明远程操作未执行。因此，类函数接口与基于消息的实现之间的差异，会带来重要的语义区别。\n\n这些模型可以并存。一个服务可以使用 RPC 进行查询，在状态变化后发布事件，通过队列分发后台任务，并在内部使用 Actor。相关的架构选择涉及标识、状态所有权、交互模式以及故障时的行为，而不只是字节是否通过网络传输。"
    },
    {
      "heading": "表示、传输与通信成本",
      "text": "消息需要采用发送方和接收方都能理解的表示形式。在同一个运行时环境中，这种表示形式可以是不可变对象的引用，也可以是转移所有权的缓冲区。跨进程或跨机器通信时，通常需要进行序列化，即将结构化的值编码为字节序列。格式可以是文本格式，例如 JSON 和 XML，也可以是采用模式定义或运行时专用编码的二进制格式。整数位宽、字符编码、字段标识符以及可选值的处理方式等选择，都会成为通信约定的一部分。\n\n消息的边界也必须明确。传输控制协议提供的是有序字节流，而不是应用层消息服务。即使应用程序写入了两条消息，接收方也不能假定两次读取就能还原这两条消息的边界。因此，协议会采用消息分帧机制，例如长度前缀、带有转义规则的分隔符，或指明有效载荷大小的固定长度报头。数据报传输会保留数据报边界，但也有其自身的大小和交付限制。下层还可能对应用消息进行分片或合并，而不改变其逻辑含义。\n\n通信时间通常可以用延迟—带宽模型近似表示：\n\n\\[T(n) \\approx \\alpha+\\beta n,\\]\n\n其中，\\(n\\) 是消息大小，\\(\\alpha\\) 是固定的启动延迟，\\(\\beta\\) 是传输单位数据所需的时间。这个模型解释了为什么合并大量小消息能够提高吞吐量：批量处理减少了启动开销的支付次数。它也揭示了一种权衡，因为等待凑齐一个批次会增加各个数据项经历的延迟。实际系统还存在序列化、复制、排队、资源争用等开销，以及特定协议的阈值效应，因此这个方程只是一个模型，而非完整的性能预测。\n\n具体实现通过共享内存队列、缓冲区复用、零拷贝技术以及远程直接内存访问来降低开销。“零拷贝”通常指避免数据路径中的某些复制操作，并不意味着消息完全不需要处理或搬移。只有当所有权和生命周期规则能够防止发送方使接收方的数据失效，或对其进行意料之外的修改时，传递引用才是安全的。在分布式内存机器上，直接内存访问硬件可以减少处理器的参与，但同步和可见性仍然需要明确的规则。\n\n安全防护也是实现边界需要考虑的一部分。来自信任域之外的消息是一种输入，必须对其进行身份认证、授权，并在资源限制下解码。传输层安全协议可以保护连接的机密性和完整性，但并不决定某个参与方是否有权发出某条命令。模式验证同样不能证明所请求的操作是正当的。过大的有效载荷、格式错误的长度值、深度嵌套的结构，以及不受限制的对象反序列化，都可能引发安全性或可用性问题。\n\n长期运行的系统还必须管理模式演进。添加一个可选字段通常比改变现有字段的含义更容易，但兼容性取决于编码方式和解码器的行为。为重放而存储的消息，其保留时间可能超过生成它们的软件版本的使用寿命，因此格式版本管理是一项长期的数据管理工作，而不仅仅是接口细节。"
    },
    {
      "heading": "顺序、交付保证与局部故障",
      "text": "消息顺序是在特定范围内定义的。一个通道可以保持同一发送者所发消息的顺序，却不保证不同发送者所发消息之间的顺序。消息代理可以保证同一分区内记录的顺序，却不保证跨分区的顺序。某个接收者先看到消息 \\(a\\)，后看到消息 \\(b\\)，通常不能据此断定其他所有接收者看到的顺序也相同。全序交付比各发送者独立维持消息顺序需要更强的协调，而这种协调会带来延迟和可用性方面的代价。\n\n因果顺序刻画的是依赖关系，而非物理时间上的同时性。如果一个事件发出的信息促成了后续事件，那么前者在因果上先于后者。莱斯利·兰波特在 1978 年对“先发生”关系的论述，将分布式系统中的这种推理形式化。逻辑时钟无须依赖完全同步的物理时钟，就能表示事件顺序的某些方面。兰波特时间戳遵循因果先后关系，但仅凭时间戳的顺序并不能证明一个事件导致了另一个事件；向量时钟等其他机制则可以表示更详细的因果关系。\n\n故障使交付保证变得更为复杂，不能仅以成功传输来理解。在至多一次交付保证下，一条消息会被交付零次或一次，因此可能丢失，但在该保证的适用范围内不会重复交付。至少一次交付允许通过重试，在规定条件下提高最终交付的可能性，但也可能出现重复。即使接收者已经处理了原始消息，发送者仍可能因确认消息丢失而重传。即便采用至少一次交付设计，永久性故障、保留期届满以及重试次数耗尽等情况，仍可能使处理最终无法完成。\n\n“恰好一次”需要明确说明计数的对象是什么，以及适用的边界在哪里。消息平台可以利用自身的事务机制，以原子方式记录已消费的输入和已生成的输出。但这并不自动保证与之独立的支付、电子邮件发送或外部数据库更新也恰好发生一次。如果消费者更新了外部系统，却在确认消息之前崩溃，重新交付就可能重复产生该效果。要避免这种结果，就需要协调、去重，或采用重复执行也无害的操作。\n\n幂等性在这种场景下尤其有用。当 \\(f(f(x))=f(x)\\) 时，操作 \\(f\\) 就是幂等的。将账户的通知偏好设置为指定值，天然具有幂等性；将余额增加一定数额则不具备。有时，可以为非幂等请求关联一个唯一的操作标识符，并以原子方式同时记录该标识符及操作效果，从而使请求能够安全重试。在可能出现重复请求的整个期间内，这条记录都必须保持可用。\n\n超时并不能消除所有不确定性。未收到回复，可能意味着请求丢失、接收方响应缓慢、操作已完成但回复丢失，或连接发生故障。因此，如何处理超时是协议层面的决策，而不是对远端状态的直接观测。重试次数限制、指数退避、过期时间和死信队列，可以应对这种不确定性带来的某些具体后果，却无法消除不确定性本身。"
    },
    {
      "heading": "并行数值计算中的消息传递",
      "text": "在分布式内存数值计算中，每个进程拥有问题数据的一部分，并与其他进程交换所需的信息。例如，仿真程序可以将三维网格划分为多个子域，将每个子域分配给一个进程，并在相邻边界之间交换数值。这类边界数据传输通常称为晕区交换。每个进程在本地计算大部分内部网格单元的数值，而更新子域边缘附近的网格单元所需的相邻数值则通过消息提供。\n\nMPI 为这种计算方式规定了一套广泛的标准接口。进程通过通信器内的秩来标识，通信器则定义通信上下文和进程组。点对点操作利用通信器、源进程和标签等信息来匹配发送与接收。通信器有助于隔离彼此独立的通信活动，避免库发送的消息意外匹配到应用程序的接收操作。MPI 定义的是语言绑定和语义，而不限定某一种网络技术或内部实现。\n\n集合操作用于表达涉及某个通信器中各参与进程的通信。广播将一个进程的数据分发出去；散发和收集分别将数据的各个部分分发出去或汇集起来；归约则通过加法、取最大值等运算合并数值。全归约使每个参与进程都能获得归约结果。这些操作在线性代数、科学仿真和分布式模型训练中十分重要。具体实现可以根据消息大小、进程数量和机器拓扑，选择树形结构、环形结构或其他算法。\n\n集合操作不能与屏障混为一谈。屏障显式协调各参与进程的到达，而阻塞式集合操作通常只提供该操作所要求的完成条件，并不自动保证所有参与进程都已从该操作返回。程序还必须遵守集合操作的调用顺序规则。如果各进程在同一通信器上调用的集合操作序列互不兼容，执行就可能出错或挂起。因此，尽管每个进程执行的都是本地代码，程序的正确性仍取决于全局通信结构。\n\n非阻塞通信可以使数据传输与有效计算重叠进行。网格求解器可以先发起晕区交换，再更新不依赖传入数据的内部网格单元，等待通信完成后，再更新边界网格单元。仅仅使用非阻塞接口并不能保证实现重叠：通信能否持续推进，可能取决于具体实现、硬件，以及进程是否再次进入通信库。程序还必须保持发送缓冲区的内容不变，并避免在相关操作完成之前使用接收数据。\n\n扩展能力受通信的几何特征和工作负载规模制约。对于边长为 \\(L\\) 的立方体子域，内部计算量通常按 \\(L^3\\) 增长，而通过各个面的通信量则按 \\(L^2\\) 增长。将固定规模的问题划分给更多进程会减小 \\(L\\)，从而提高通信量与计算量之比。因此，现代系统通常在节点之间使用 MPI，在节点内部使用 OpenMP 或其他共享内存机制。这种混合方式体现了一个事实：性能由内存层次结构、网络拓扑和通信粒度共同决定。"
    },
    {
      "heading": "协议设计、协调与验证",
      "text": "消息传递程序通常可以理解为一组相互交互的状态机。参与者可以合法执行哪些操作，取决于其当前状态以及已经处理过的消息。例如，订单服务可能区分已创建、待付款、已确认和已取消等状态。对于迟到的付款确认消息，必须结合订单状态加以解读，不能简单地将其视为无条件确认订单的命令。显式的状态转换能让这类协议要求清晰地呈现出来。\n\n安全性和活性描述了不同的正确性要求。安全性意味着不希望发生的事件永远不会发生，例如不会同时授予两个工作进程对同一资源的独占权。活性意味着期望的事件最终会发生，例如提交的请求最终会完成。协议可以通过拒绝所有工作来维持安全性，却完全无法满足活性。论证活性通常需要对调度、消息交付以及哪些参与者可能发生故障作出假设；不能不加说明地把这些假设当作传输机制提供的保证。\n\n当参与者形成循环等待时，就可能出现死锁。如果两个进程都执行阻塞式发送，且发送操作都要求有相匹配的接收操作，那么两者都可能无法执行到各自的接收操作。对于小消息，缓冲机制可能掩盖这一缺陷；而当较大的消息触发不同的通信路径时，缺陷就可能暴露出来。其他故障还包括饥饿和活锁：前者指某个参与者一再失去取得进展的机会，后者指参与者虽然持续活动，却不断撤销或推迟有用的工作。不使用共享变量并不能消除这些协调问题。\n\n形式验证通过显式模型研究这些性质。进程代数以数学方式描述通信与组合；模型检测则探索在不同交错执行方式和故障情况下可达的状态。类型系统也可以约束协议。例如，会话类型描述通信操作的序列以及相互兼容的角色，因此有可能检测出这样的错误：对端期待收到终止信号，而某个参与者却发送了一个整数。这些保证取决于所用的语言和模型：局部类型正确的消息交互，本身并不能证明系统能够应对任意机器故障。\n\n分布式一致决策是一种要求尤其严格的协调形式。分布式共识协议使参与者即使在发生特定故障的情况下，也能就某个值或某个有序序列达成一致。Raft共识算法等算法通过消息交换、持久化状态和法定人数机制，在各自假设成立的条件下维持一致。1985 年的 Fischer–Lynch–Paterson 结果表明，在完全异步模型中，即使只有一个进程可能发生崩溃故障，确定性共识协议也无法保证在每一种允许的执行中都能终止。实际协议通过额外的时序假设、故障检测行为或其他机制来取得进展。\n\n运行层面的验证是对数学推理的补充。请求标识符、因果追踪、队列深度测量以及记录下来的协议状态转换，可以揭示跨服务边界发生的情况。测试可以注入延迟、重复、乱序和丢失的消息，以检验故障处理路径。这类测试探索的是特定的执行过程，不能替代涵盖所有可能行为的证明，但仍然很有价值，因为实现细节和运行假设所涉及的情况往往比形式模型更丰富。"
    },
    {
      "heading": "概率推断中的消息传递",
      "text": "在概率推断中，消息传递是一类通过在图上传递局部摘要来计算所需量的算法。参与者是数学意义上的节点，不一定是相互独立的操作系统进程。消息可以是概率数组、概率密度，也可以是一组紧凑的参数。这些算法的共同原则是局部性：每次更新都使用相邻节点的信息，而不是直接一次性处理整个模型。\n\n置信传播是其中一个重要例子。因子图使用变量节点和因子节点来表示一个分布。若将所有变量记为 \\(\\mathbf{x}\\)，则可将分布分解为\n\n\\[p(\\mathbf{x})=\\frac{1}{Z}\\prod_a \\psi_a(\\mathbf{x}_a),\\]\n\n其中，\\(\\psi_a\\) 是定义在变量子集 \\(\\mathbf{x}_a\\) 上的非负因子，\\(Z\\) 是归一化常数。图记录了哪些变量参与哪些因子。借助这种结构，全局推断可以表示为一系列局部计算。\n\n对于离散变量，和积算法使用从变量到因子的消息\n\n\\[m_{i\\to a}(x_i) = \\prod_{b\\in N(i)\\setminus\\{a\\}}m_{b\\to i}(x_i),\\]\n\n以及从因子到变量的消息\n\n\\[m_{a\\to i}(x_i) = \\sum_{\\mathbf{x}_a\\setminus x_i} \\psi_a(\\mathbf{x}_a) \\prod_{j\\in N(a)\\setminus\\{i\\}}m_{j\\to a}(x_j).\\]\n\n这里，\\(N(i)\\) 和 \\(N(a)\\) 分别表示相邻的因子集合和变量集合。排除目标节点的贡献，可以防止消息立即将相同的信息传回其来源。计算出所需的消息后，变量 \\(i\\) 处的边缘置信度与它收到的所有因子消息的乘积成正比。\n\n在树形因子图上，只要相关运算有良好定义，按照先向内、再向外传递信息的调度方式，就能算出精确的边缘分布。由于图中没有环，每条消息概括的都是图中一个独立的部分。在含环的图上，反复更新便形成了有环置信传播。这种方法可能表现良好，但不保证收敛，而且收敛通常也不意味着得到的边缘分布是精确的。更新调度、阻尼、因子强度以及图的结构，都可能显著影响算法的表现。\n\n改变局部运算规则可以得到相关算法。将求和替换为取最大值，就得到用于寻找最大概率配置的最大积方法；采用对数表示则可将乘积转化为求和，并能提高数值稳定性。计算成本在很大程度上取决于因子的大小：对包含许多离散变量的因子求和，可能需要遍历指数级数量的组合。因此，仅有图上的局部性并不能保证推断的计算成本低廉。\n\n应用包括纠错码的解码、隐状态序列模型，以及感知领域的图模型。朱迪亚·珀尔在20世纪80年代的工作推动了局部概率传播方法的确立，而后来的因子图表述则将许多算法统一到和积框架之下。尽管这些算法可以分布在不同硬件上运行，但其核心消息是统计摘要，而不是用于投递的消息信封或确认信息。"
    },
    {
      "heading": "图上的学习式消息传递",
      "text": "图神经网络通过局部信息交换，学习节点、边或整张图的表示。在消息传递层中，节点接收由邻居当前表示计算得到的信息，并将这些信息组合起来，更新自身表示。这使模型具有一种结构偏置：图的连接关系决定了哪些信息能够直接交互。与置信传播不同，这里的消息通常是学习得到的向量，其各个分量不一定具有明确的概率含义。\n\n一种常见的形式为\n\n\\[m_v^{(t+1)} = \\operatorname{AGG}_{u\\in N(v)} M_t\\!\\left(h_v^{(t)},h_u^{(t)},e_{uv}\\right),\\]\n\n\\[h_v^{(t+1)} = U_t\\!\\left(h_v^{(t)},m_v^{(t+1)}\\right),\\]\n\n其中，\\(h_v^{(t)}\\) 是节点 \\(v\\) 在第 \\(t\\) 层的表示，\\(e_{uv}\\) 包含边的信息，\\(M_t\\) 用于构造消息，\\(U_t\\) 用于更新节点。聚合操作通常采用求和、求均值或取最大值。具有置换不变性的聚合可以避免节点邻居的任意排列顺序影响结果。对于图级任务，还需要通过单独的读出操作，将节点表示组合成图表示。\n\n早期的图神经网络在相关术语标准化之前就已出现。贾斯廷·吉尔默及其同事于2017年发表的论文《用于量子化学的神经消息传递》提出了一个框架，统一了当时已有的多种图学习架构。分子图是一个具体例子：原子对应节点，化学键构成边并提供边特征，而多轮消息传递则将化学邻域的信息组合起来。最终预测的对象可以是分子性质，而非某个单独的原子。相关方法也可用于节点分类、链接预测和物理系统建模。\n\n这些网络通常使用反向传播进行训练，沿消息构造、聚合和状态更新的计算过程对损失求导。局部计算可以并行执行，但不应将数学意义上的图与硬件网络混为一谈。单个图形处理器就能通过带索引的张量运算完成大型图的计算。反过来，将一张图分布到多台机器上，则需要在机器之间实际传输节点特征和梯度，从而形成一个独立的系统层面的消息传递问题。\n\n这种架构具有一些典型局限。在经过 \\(k\\) 个局部层后，除非引入额外的长程机制，否则节点通常只能依赖图上 \\(k\\) 跳范围内的信息。增加深度可能导致过度平滑，即节点表示变得难以区分；也可能导致过度压缩，即将迅速扩大的邻域中的信息压缩到固定大小的向量中。许多标准的邻域聚合网络，其表达能力还受到一维 Weisfeiler–Leman 图细化过程某种形式的限制，因此仍然无法区分某些不同的图结构。\n\n采用注意力加权的消息、更丰富的边状态、位置信息以及修改后的图连接关系，可以改变这些性质，但也会改变计算成本和结构假设。在分子和物理应用中，架构还可能进一步强制满足平移、旋转和置换下的不变性或等变性。这些约束决定了当坐标或节点标签发生变化时，表示和输出应如何变换，从而将学习得到的局部消息与所建模系统的对称性联系起来。"
    }
  ],
  "links": [
    "shared-memory",
    "concurrent-computing",
    "distributed-computing",
    "parallel-computing",
    "process-computing",
    "thread-computing",
    "interprocess-communication",
    "message-passing-interface",
    "asynchronous-programming",
    "object-oriented-programming",
    "transport-layer-security",
    "idempotence",
    "openmp",
    "deadlock",
    "formal-verification",
    "type-system",
    "distributed-consensus",
    "raft-consensus-algorithm",
    "belief-propagation",
    "factor-graph",
    "error-correcting-code",
    "backpropagation",
    "graphics-processing-unit"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}