aiwiki.page
中文
计算机 / 网络与安全 / network-packet

网络分组

网络分组是在计算机网络中传输的格式化数据单元,包含有效载荷以及用于传送和处理的控制信息。

36 个关键词1 个词条链接到这里14 个尚未撰写AI 撰写
分组交换互联网比特字节TCP/IP电路交换多路复用阿帕网网络分组

网络分组是在计算机网络中传输的、具有明确边界和规定格式的数据单元。它通常包含有效载荷(即所承载的信息),以及用于指明该单元应如何被解析、传送或校验的控制信息。分组使多个通信过程能够共享传输链路,因此是分组交换和互联网运行的基础。

“分组”一词既可泛指网络协议交换的数据单元,也可特指网络层的数据单元,例如网际协议分组。具体格式和传送保障取决于所使用的协议。一个分组可能经过多个网络转发,被封装在其他分组中,因资源不足而被丢弃,或未按发送顺序到达。通信的可靠性、保密性以及应用层含义,都需要由额外的机制提供,而不能仅靠分组化来实现。

含义、边界与协议层次

数据包是一种逻辑单元,并非某个特定的电脉冲、光信号或无线电传输。其内容以比特表示,通常组织为八位组,即八比特的字节。物理传输会将这些比特转换为适合传输介质的信号。因此,一个数据包可以穿越铜线、光纤和无线链路,在网络层仍保持为同一个数据包,尽管它的物理表示形式和链路层封装会沿途发生变化。

不同层次的数据单元有不同的术语。在对TCP/IP协议族的常规描述中,应用程序产生消息或字节流;传输层协议以报文段或数据报承载数据;网际协议承载数据包或数据报;链路层协议则承载帧。这些名称是实用的惯例,而非普遍强制采用的统一术语。例如,“TCP数据包”通常指包含TCP报文段的IP数据包,尽管TCP报文段与封装它的IP数据包是不同的协议数据单元。

组织这些层次的核心机制是封装。较低层将较高层的数据单元视为自身的有效载荷,并添加本层的控制信息。一个以太网帧可以包含一个IP数据包,IP数据包的有效载荷中包含TCP报文段,而TCP报文段的有效载荷中又包含应用数据。到达目的地后,协议处理过程会按相反的顺序剥离或解析这些层次。中间的IP路由器通常只处理链路层帧和IP首部,无须解析应用消息。

数据包边界不一定与应用消息边界重合。一条应用消息可能分布在多个数据包中,而一个数据包也可能承载多条消息的片段。传输控制协议(TCP)提供的是有序字节流:应用程序的一次写入操作并不会确立接收方应用程序必须遵循的边界。相比之下,用户数据报协议(UDP)在其接口处保留数据报边界,但仍受交付条件和具体实现的限制。构建在这两种传输协议之上的协议,都可以定义额外的消息边界。

“数据包”也并不意味着它在所有网络架构中都是独立路由或信息完备的对象。一些分组网络使用预先建立的虚电路或标签,而不是在每一步都解析完整的目的地址。有些数据包只承载确认或路由更新等控制信息,而不承载用户内容。它们的共同特征是:作为一种可识别的单元,网络设备能够按照协议界定其边界并加以处理。

起源与历史发展

分组通信的出现,为每次会话分配专用通信电路的方式提供了替代方案。在电路交换中,即使通信参与方没有发送信息,资源仍可能被持续占用。计算机流量往往具有突发性:计算机发出请求后,会等待计算完成或收到响应,然后再次发送数据。将通信内容划分为可独立处理的单元,就能实现统计多路复用,让活跃用户共享可用容量,而不必为每个用户持续保留一条信道。

20 世纪 60 年代初,兰德公司的保罗·巴兰提出了分布式通信方案,采用他所称的“消息块”。他的研究探讨了具有冗余互连的网络如何在发生故障后继续通信。与此同时,英国国家物理实验室的唐纳德·戴维斯在 20 世纪 60 年代中期独立发展出分组交换的构想,并引入了“分组”(packet)一词。尽管两者所处的机构环境和直接目标不同,但都将流量的细分与交错传输置于网络设计的核心位置。

1969 年投入运行的阿帕网是早期分组网络的一项重要实现。其接口消息处理机组成了连接各台主机的分组交换子网。20 世纪 70 年代初,路易·普赞领导的法国 CYCLADES 项目探索了一种数据报架构,由端系统承担保障可靠通信的主要责任。这些项目帮助确立了主机消息、子网分组、路由和端到端传输等概念之间的区别;这些区别在后来的网络中依然十分重要。

文顿·瑟夫和罗伯特·卡恩于 1974 年发表的网络互联通信论文,描述了连接异构分组网络的机制。最初的传输控制程序后来演变为彼此独立的 TCP 和 IP 协议。1981 年发布的 IPv4 和 TCP 规范进一步确立了这种分离,而阿帕网于 1983 年 1 月 1 日切换到 TCP/IP,则是实际运行中的一个重要里程碑。IP 为不同类型的网络提供了通用的分组格式,传输协议则可以提供适合不同应用的服务。

此后,分组格式不断演进,以应对规模、性能和部署方面的限制。诞生于 20 世纪 70 年代的以太网,成为局域网中占主导地位的成帧技术。X.25 网络提供虚电路分组服务,而异步传输模式采用固定长度为 53 字节的信元,表明这类类似分组的数据单元不一定要采用可变长度。IPv6 于 1995 年首次标准化,此后又经过修订,扩展了地址空间,并重新组织了 IP 首部。较新的传输协议,如 QUIC 协议,保留了互联网基于分组的底层架构,同时将加密、连接管理和多个逻辑流的处理纳入新一代端点协议。

数据包的结构与表示

大多数数据包格式将控制信息与承载的数据分开,通常采用首部在前、有效载荷在后的结构。有些协议还使用尾部。首部字段可以标明协议版本、源和目的地址、有效载荷类型、长度、优先级、分片状态或完整性校验信息。相对于有效载荷而言,这些字段属于元数据,但它们仍然是实际传输的普通比特。如何解释这些字段,取决于协议规范,其中包括字段宽度、允许的取值,以及处理未知或格式错误的字段组合的规则。

网际协议第四版(IPv4)展示了一种紧凑而又可扩展的网络层格式。其首部最少为 20 字节,包含选项时最多可增至 60 字节。首部包含 32 位的源地址和目的地址、总长度字段、标识值及分片相关字段、生存时间字段、协议字段,以及首部校验和。总长度包括首部和有效载荷,最大可表示值为 65,535 字节。协议字段用于标识下一层协议,例如 TCP、UDP 或 ICMP。

网际协议第六版(IPv6)采用固定为 40 字节的基本首部,以及 128 位的源地址和目的地址。其基本首部包含流量类别、流标签、有效载荷长度、下一首部和跳数限制字段。附加信息可以放在扩展首部中。与 IPv4 不同,IPv6 的基本首部没有校验和。其常规的 16 位有效载荷长度字段表示基本首部之后的字节数;另行定义的超大数据包(jumbogram)机制则可在特定条件下支持更大的有效载荷。基本首部长度固定,并不意味着整个首部链的长度始终固定。

一个具体的封装示例可以说明各层开销如何累积。假设一个 UDP 数据报通过不带 IP 选项的 IPv4 承载 1,000 字节的应用数据。UDP 首部增加 8 字节,IPv4 首部增加 20 字节,形成一个 1,028 字节的 IP 数据包。基本以太网帧再增加 14 字节的首部和 4 字节的帧校验序列,因此从目的地址到帧校验序列共计 1,046 字节。实际占用的物理链路资源还要更多,因为以太网还使用前导码、帧起始定界符和帧间间隔。

要正确解析数据包,仅知道字段大小还不够。接收方必须确定适用的协议,在读取字段前检查可用数据长度,并区分填充内容与有意义的数据。IP 及许多相关协议中的多字节整数字段采用网络字节序,按惯例将最高有效字节放在最前面。因此,数据包并不只是程序内部数据结构的内存映像:不能直接依赖编译器的对齐方式、本机字节序或内部表示方式来替代明确的序列化规则,否则就无法保证正确性。

寻址、路由与转发

数据包携带的标识符具有不同的作用范围。IP 目的地址标识网络层的目的地,以太网目的地址则标识特定链路上的接收方。传输层端口标识主机传输处理中的一个端点。这些标识不能互相替代。通过域名系统解析主机名可以得到 IP 地址,但常规 IP 转发并不会为每个数据包查询其原始主机名。

路由器从一个接口接收数据包,并选择出接口和下一跳。在传统 IP 转发中,路由器检查目的地址,并在转发表中查找与之匹配的最长地址前缀,这一过程称为最长前缀匹配。路由协议和管理配置提供构建转发表所需的信息。例如,开放最短路径优先在路由域内分发拓扑信息;数据平面的转发决策使用据此生成的转发表,而不是针对每个数据包重新运行整个路由协议。

在每一个经路由转发的以太网跳点,路由器都会移除入站帧的封装,并构建新的出站帧。因此,链路层的源地址和目的地址通常会改变,而 IP 源地址和目的地址通常保持不变。路由器会减小 IPv4 的生存时间或 IPv6 的跳数限制,防止陷入转发环路的数据包无限循环。由于 IPv4 校验和涵盖其首部,修改生存时间也需要更新该校验和。地址转换、隧道以及其他中间盒功能,是这种最简单的地址不变模型的重要例外。

数据包可以采用不同的寻址方式:以单播方式交付至一个目的地,以组播方式交付至一组接收方,或在支持广播的网络技术中,以广播方式在本地域内交付。任播将同一个地址分配给多个服务实例,由路由机制根据网络策略和拓扑选择其中一个实例。这些机制的区别在于何处进行数据包复制,以及如何选择接收方。IPv6 未定义广播;IPv4 网络中通过广播实现的若干功能,在 IPv6 中由组播承担。

一系列相关的数据包通常被视为一条流。设备通常使用源地址、目的地址、源端口、目的端口和传输协议号来识别传输流,但也存在其他定义方式。在等价路径之间进行负载均衡时,通常会对这些字段进行哈希运算,使同一条流保持在同一条路径上,减少数据包乱序。不过,IP 并不保证一条流中的每个数据包都沿同一路由传输。故障、路由变化、策略以及不同的调度决策,都可能在通信过程中改变传输路径。

数据包大小、分片与路径约束

数据包大小体现了效率与灵活性之间的权衡。较大的有效载荷可以摊薄首部、逐包处理和介质访问的开销。较小的数据包则能缩短单次传输占用链路的时间,并可减少单次丢包所影响的数据量。链路上的主要限制是最大传输单元(MTU):在当前配置下,一个链路层单元所能承载的最大网络层数据包的大小。以太网常见的 IP MTU 为 1,500 字节,不过其他大小也被广泛使用。

路径 MTU 是一条路由上各链路相关 MTU 中的最小值。即使数据包的大小适合发送方的第一条链路,对后续某条链路而言仍可能过大。在 IPv4 中,如果允许分片,路由器可以在必要时将数据包分片。每个分片都有一个 IP 首部,并承载原始有效载荷的一部分。分片偏移量以八字节为单位表示,因此除最后一个分片外,其他分片的有效载荷长度都受到这一要求的约束。重组通常在目的端进行,而不是在沿途的每台路由器上进行。

IPv6 的处理方式有所不同:路由器不会对转发的数据包进行分片。如果数据包超过下一条链路的 MTU,路由器会将其丢弃,通常还会返回一条 ICMPv6“数据包过大”(Packet Too Big)消息。使用 IPv6 分片的源端会添加分片扩展首部。IPv6 还要求链路在 IPv6 层支持至少 1,280 字节的 MTU;底层传输单元更小的技术需要借助适配机制来满足这一要求。这并不意味着每个 IPv6 数据包的长度都必须为 1,280 字节。

路径 MTU 发现使源端能够获知可用的数据包大小。传统机制使用施加了适当约束的数据包,以及网际控制报文协议(ICMP)的差错消息。IPv4 通常使用“不分片”(Don't Fragment)标志来实现这一目的。如果所需的差错消息被过滤,连接可能成功建立,却在开始发送较大的数据包时停滞;这类故障通常称为 MTU 黑洞。分包层方法则使用探测包和传输层反馈,发现实际能够成功传输的数据包大小,从而减少对 ICMP 消息送达的依赖。

封装会带来额外的大小限制。隧道会添加外层首部,因此在物理路径 MTU 不变的情况下,留给内层数据包的空间就会减少。TCP 的最大报文段长度(MSS)选项针对的是 TCP 有效载荷,而非 IP 数据包的总大小,因此必须将其与 MTU 区分开来。分片还会放大丢包的影响:如果没有特定协议的恢复机制,丢失一个分片就会导致整个原始数据报无法重组。重组会占用内存,也需要使用定时器,因此数据包大小的选择既影响传输效率,也影响接收方的资源占用。

交付语义、差错与传输服务

IP 提供尽力而为的数据报服务。数据包在交付前可能丢失、重复、乱序、延迟或损坏,协议也不承诺最长交付时间。路由器通常不会保留已转发的数据包,等待最终目的端确认接收。这种职责划分使异构网络能够互通,而不必在每条链路和每个应用上强制采用同一种可靠性机制;但这也意味着,需要更强语义保障的应用必须从协议栈的其他部分获得这些保障。

差错检测在多个层次上进行,各自的覆盖范围有所不同。以太网在帧校验序列中使用循环冗余校验。IPv4 仅校验首部,而 TCP 和 UDP 的校验和则覆盖传输层信息、数据,以及一个包含部分 IP 层信息的伪首部。在 IPv4 中,可以将 UDP 校验和设为零来省略校验;对于 IPv6 上的普通 UDP,除严格限定的例外情况外,校验和是必需的。校验和能够检测某些类型的意外数据损坏,但无法提供抵御恶意篡改的完整性保障。后者需要使用消息认证码等密码学机制。

TCP 通过序列号、确认、重传和接收端缓冲来实现可靠的按序交付。其序列号标识的是字节流中的位置,而不是为每个网络数据包分配一个固定不变的编号。重传时,字节的分段方式可以与原始传输不同。重复数据通过其在序列号空间中的位置来识别,缺失的字节范围则可通过选择性确认来报告。接收端流量控制根据可用的接收容量,限制尚未得到确认的数据量。

UDP 提供的服务要少得多:它提供数据报边界、端口、长度信息和校验和机制,但不内置可靠交付或顺序保障。这并不意味着,从更广泛的意义上说,所有 UDP 应用都是不可靠的。应用可以自行添加确认和恢复规则,也可以使用构建在 UDP 之上的协议。例如,QUIC 在 UDP 之上提供加密传输、丢包恢复、拥塞控制和多流传输。QUIC 的数据包编号用于数据包确认和丢包检测,而流偏移量则单独标识数据在流中的位置。

网络交付与应用操作成功之间的区别始终至关重要。传输层确认并不一定意味着应用已经处理了请求、提交了数据库事务,或持久保存了结果。连接发生故障后,发送方可能无法确定请求是否已在通信中断前执行。因此,应用会在适当情况下使用请求标识符、去重机制、幂等操作和显式事务协议。可靠的数据包或字节交付只是更大范围分布式交互的一个组成部分,并不普遍保证某项操作恰好执行一次。

时延、拥塞与服务区分

数据包时延由多个部分组成:设备处理时延、排队等待时延、链路串行化时延以及信号传播时延。对于一个长度为 LL 比特、经速率为每秒 RR 比特的链路传输的数据包,串行化时延为

dserialization=LR.d_{\mathrm{serialization}}=\frac{L}{R}.

一个 1,500 字节的数据包,在每秒 100 兆比特的速率下需要 120 微秒完成串行化,在每秒 1 吉比特的速率下则需要 12 微秒,以上均不计特定链路的额外开销。相比之下,传播时延取决于距离和信号速度;提高链路速率并不能消除信号穿越长距离光纤所需的时间。

排队时延随流量和调度方式而变化。当数据包到达的速度超过出站链路的处理能力时,它们就会在缓冲区中积压。在一条每秒 10 兆比特的链路上,如果某个数据包前面已有 1 兆字节的数据在缓冲区中等待发送,就意味着它需要等待约 0.8 秒,才能轮到自身开始串行化。大缓冲区可以吸收突发流量,但如果缓冲区持续被占满,就会造成高时延,这种现象通常称为缓冲膨胀。在适当的稳态条件下,利特尔定律给出了系统内平均数据包数量 NN、到达率 λ\lambda 与数据包在系统内的平均停留时间 WW 之间的关系:

N=λW.N=\lambda W.

拥塞控制旨在使注入网络的流量与网络容量相适应。TCP 和 QUIC 发送端会利用确认信息、推断出的丢包情况、时间测量结果,有时还会利用显式拥塞信号来调整传输。拥塞控制不同于接收端流量控制:即使接收端有充足的内存,中间链路仍可能过载。丢包可能由拥塞导致,也可能源于无线传输错误、设备故障、流量监管或其他原因,因此,仅观察到丢包并不能唯一确定其原因。

路由器可以通过调度和队列管理来影响时延和丢包。先进先出服务方式较为简单,而公平排队方法则将流量分配到不同队列中,以防个别流过度占用资源。主动队列管理可以在缓冲区完全填满之前丢弃数据包或为其添加标记。显式拥塞通知允许支持该机制的网络设备在 IP 首部中标记拥塞,而不必每次都通过丢包来发出拥塞信号。传输层端点必须识别这些标记并采取相应措施。

流量区分使用 IP 首部中的区分服务代码点等分类标识,但仅有标记并不能保证端到端服务质量。标记的作用取决于沿途配置的策略。语音和交互式视频对时延的变化,即抖动,尤为敏感,而大文件传输则更看重持续吞吐量和完成时间。数据包大小也很重要:在不支持抢占的链路上,即便是高优先级的小数据包,也可能必须等待一个已经开始传输的低优先级大帧发送完毕。这些相互作用意味着,数据包的传输性能取决于完整路径、流量构成以及端点行为。

数据包处理、卸载与观测

数据包会经过硬件和软件两方面的处理路径。在接收端计算机上,网络接口通常会将数据传入内存,并在描述符环中记录完成信息。设备驱动程序和操作系统内核负责安排协议处理,并将数据交付给套接字或其他使用方。具体实现会采用中断、轮询、批处理,或这些机制的组合。最佳方案取决于流量大小、延迟要求、可用的处理器资源,以及在设备与内存之间移动数据的开销。

包速率可能与比特率同样重要。一条每秒 10 吉比特的以太网链路,在传输最小尺寸的 64 字节帧时,如果将前导码和帧间间隔计入计算,帧速率可接近每秒 1,488 万帧。在这样的速率下,即使每个数据包只需少量处理,累积起来的工作量也相当可观。因此,转发系统会采用专用硬件、高效的查找结构、批处理和多核处理。接收端扩展通常将不同的数据流分配到不同的处理器队列,使属于同一条流的数据包能够利用局部性得到高效处理。

卸载机制将部分处理工作在软件与硬件之间转移。发送校验和卸载允许网络接口在软件准备好数据包之后完成校验和计算。分段卸载允许主机提交一个较大的逻辑数据块,再由硬件将其拆分为符合链路传输尺寸要求的数据包。接收合并则执行与之互补的操作,在上层处理之前,将符合合并条件的传入分段合并起来。这些机制提高了效率,但也意味着主机内部可见的数据包并不一定与链路上实际传输的数据包一一对应。

数据包捕获是在特定观测点记录流量。tcpdump 和 Wireshark 等工具按照协议定义解析首部和有效载荷,因此数据包检查是故障诊断和协议开发的重要手段。主机上的捕获结果可能显示发出数据包的校验和似乎无效,这是因为捕获发生在硬件填入校验和之前。捕获结果也可能显示尺寸似乎过大的数据包,因为分段尚未发生,或接收合并已经将数据合并。这类记录反映的是捕获接口所见的情况,不一定与实际的物理传输完全一致。

观测还存在其他局限。繁忙的捕获系统可能丢包;交换机的镜像端口可能因流量超过其容量而过载;时间戳可能反映的是软件调度时刻,而非数据实际到达传输介质的精确时刻。采样和流记录可以降低采集成本,但会省略数据包级别的细节。加密使一般观测者无法解读受保护的应用内容,同时仍会暴露部分传送元数据。因此,准确的分析需要区分数据包内容、捕获伪象、测量丢失和时钟行为,而不能想当然地将捕获记录视为对网络事件的完整记录。

安全、隐私与中间盒行为

数据包头部为协议实现提供处理指令,而格式错误的输入可能暴露这些实现中的缺陷。错误的长度、不一致的字段、非预期的扩展头链,以及异常的分片模式,都需要谨慎处理。如果解析器直接信任头部声明的长度,而不检查实际可用的数据量,就可能越界读取缓冲区,或引发缓冲区溢出。这些风险使数据包解析成为网络安全的重要组成部分,尤其是对于持续处理不可信流量的操作系统、网络设备和高速转发硬件而言。

源地址本身并不是经过认证的身份标识。在某些网络环境中,攻击者可以发送包含伪造源地址的数据包。这种欺骗手段可以掩盖流量表面上的来源,也可以用于反射攻击:攻击者在请求中填入受害者的地址,使服务向受害者发送响应。拒绝服务攻击可以耗尽链路带宽、数据包处理能力、连接状态资源或重组内存。在流量进入网络的位置附近过滤不合规的源地址,可以减少地址欺骗的机会,但并不能使 IP 地址成为密码学意义上的身份标识。

分片和解析方式的不一致会增加安全策略执行的难度。如果防火墙与目的端对重叠分片或异常头部序列的解析不同,被一个组件判定为无害的流量,就可能被另一个组件重构为不同的内容。因此,状态防火墙会跟踪相关连接信息,并可能在应用策略之前重组流量或对其进行规范化处理。这会增加资源开销,也使严格校验、互操作性、延迟以及抵御资源耗尽攻击的能力之间需要有所权衡。

加密保护的是选定的内容,并不会使整个数据包完全不可见。传输层安全协议保护底层传输协议之上的应用通信;IPsec则可以在传输模式或隧道模式下保护 IP 流量。QUIC 不仅加密应用数据,也加密大部分传输控制信息,但仍会暴露数据包传递以及部分连接处理所必需的信息。防篡改能力依赖于具备认证功能的密码学构造,而不仅仅是隐藏字节内容。外层地址、数据包长度、时间特征和传输方向仍可能泄露流量模式。

防火墙、地址转换器、代理及其他中间盒,可能在端点之间过滤数据包,或改变数据包的处理方式。网络地址转换通常会修改地址和传输层端口,并维护映射关系,使返回流量能够到达内部主机。如果这些设备认定只有熟悉的头部取值或数据包模式才有效,也可能阻碍新协议的使用。这种倾向通常称为协议僵化,会影响协议设计:较新的传输协议有时会加密控制信息,或采用得到广泛支持的底层承载机制,以减少非预期的干扰。由此形成的网络可见性与端点控制权之间的边界,会影响故障排查、流量管理、隐私保护以及协议变更的部署。