eBPF 是一种可编程执行框架,在 Linux 中的实现最为广泛,允许受到特定约束的程序响应 操作系统 内部的事件而运行。其名称源自扩展的 伯克利包过滤器,但用途远不止数据包过滤。程序可以检查网络流量、测量应用程序和内核的活动、维护共享状态,并参与特定的策略决策,而无须另行开发内核模块。
其核心设计结合了明确定义的指令集、加载时验证器、对内核功能的受控访问接口,以及针对不同事件的挂载点。程序通常先编译为 eBPF 指令,再在执行前转换为本机指令。eBPF 并不提供对 内核 的无限制访问,而是根据程序类型、挂载点、系统配置和加载器权限,开放相应的能力。
这些特性使 eBPF 在网络基础设施、性能分析和主机安全领域占据重要地位。不过,其行为始终与所在的操作系统环境密不可分:验证并不能保证任意应用程序的正确性,各种挂载接口的稳定性不尽相同,所支持的功能也取决于内核和硬件环境。
起源与向包过滤之外的扩展
Steven McCanne 和 Van Jacobson 于 1993 年介绍的最初版伯克利包过滤器,旨在解决数据包捕获中的一个实际问题:将接收到的每个数据包都复制到用户空间的分析程序中,会造成不必要的处理开销和内存带宽消耗。BPF 允许应用程序提交一个小型过滤程序,在靠近数据包来源的位置运行。过滤程序检查数据包字段,并返回一个值,指明应保留匹配数据包的多少内容。不匹配的流量则可在执行开销高昂的复制操作之前丢弃。
这一最初的设计如今通常称为经典 BPF 或 cBPF,采用一种精简的抽象机,包含一个累加器、一个索引寄存器和暂存内存。其指令集被刻意限制在较小范围内,使程序易于验证。libpcap 等数据包捕获库会将描述地址、协议和端口的表达式转换为过滤指令。因此,许多用户是通过 tcpdump 等工具间接接触 BPF 的,而不是直接为这一抽象机编写程序。
此后,Linux 对这一方法进行了大幅扩展。在 Alexei Starovoitov 等内核开发者的推动下,2014 年发布的 Linux 3.18 引入了一套基于寄存器的新指令集。扩展后的设计提供了 64 位寄存器、功能更强的调用约定、用于持久保存状态的映射,以及通过受控接口访问特定内核函数的能力。其寄存器组织方式旨在支持高效转换为常见处理器架构的机器指令。Daniel Borkmann 等贡献者则协助开发了围绕这些功能的网络基础设施和更广泛的生态系统。
经典 BPF 与扩展 BPF 之间的区别在技术上仍然很重要。尽管两者都源于同一种过滤思路,但它们的指令集和执行模型并不相同。Linux 可以将经典过滤程序转换为其内部使用的扩展表示形式。同时,一些历来与 BPF 相关的接口,包括数据包捕获和系统调用过滤,仍保留经典 BPF 编程接口。因此,“BPF”一词并不总是指向相同的程序格式或同一组能力。
这种扩展是通过陆续增添功能实现的,而非一次性替换内核的扩展模型。跟踪、网络流量控制、套接字操作、控制组钩子和安全钩子分别引入了不同的上下文和权限。2021 年在 Linux 基金会旗下成立的 eBPF 基金会,体现了这项技术跨项目生态系统的不断壮大。不过,Linux 内核仍是衡量实际部署的 eBPF 功能的主要参照,不能将过去对包过滤的支持误认为对所有现代 eBPF 特性的支持。
指令集与执行生命周期
从本质上说,eBPF 定义的是一种指令集架构,而非通用的应用程序运行时。它有十一个 64 位寄存器,通常命名为 R0 至 R10。R0 用于存放返回值;R1 至 R5 用于传递函数参数;R6 至 R9 的值在函数调用前后保持不变;R10 则是只读的栈帧指针。普通指令占用 64 位,而某些操作,尤其是加载 64 位立即数的操作,采用双指令编码。算术运算同时提供 32 位和 64 位两种形式。
典型的开发流程从受限的 C编程语言或其他受支持的源语言开始。编译器(通常是基于 LLVM编译器基础设施的 Clang)生成一个目标文件,其中包含 eBPF 指令、重定位信息,通常还包含类型信息。用户空间的加载器创建所需的映射,解析引用,将程序提交给内核,并将成功加载的程序挂接到适当的钩子上。Linux 3.18 引入的 bpf() 系统调用提供了核心管理接口,不过挂接操作也可能涉及各子系统专用的接口。
加载与挂接是两个不同的操作。程序即使被内核接受,也可能因为没有事件源引用它而始终不被执行。反过来,如果其他引用维持着程序的生命周期,那么即使最初加载它的进程已经退出,程序仍可保持活动状态。在用户空间中,文件描述符用于标识程序、映射和挂接对象。对象还可以固定在 BPF 虚拟文件系统中;该文件系统通常挂载于 /sys/fs/bpf,使其他进程无需重建原加载器的状态就能重新打开这些对象。
通过验证后,内核可以通过解释器执行指令,也可以使用即时编译将其转换为本机机器码。这些执行方式是否可用取决于体系结构和内核配置;某些配置要求使用即时编译执行。编译为本机代码后,就不必在每次事件发生时逐条解释指令,但这并不会消除事件传递、映射操作、同步以及程序执行的其他工作所产生的开销。
程序通常不会自行开始执行,也不会像普通进程那样运行。内核事件会调用程序,并向其提供上下文;上下文的布局和允许执行的操作取决于程序类型。该上下文可能描述一个数据包、一个跟踪事件或一次套接字操作。有些跟踪程序只记录信息,而数据包处理程序则可能返回放行、丢弃或重定向等动作。因此,这种执行方式更像是一组受约束的回调函数,而不是一个持续运行、承载任意应用程序的虚拟机。
验证与安全保证的局限
在内核允许程序执行之前,验证器会先对其进行检查。验证器的任务是确认程序具备在特定执行环境中安全运行所需的属性:内存访问有效、使用的寄存器已经初始化、函数调用符合规定,以及控制流满足要求。验证与抽象解释密切相关。验证器不会针对所有可能的输入逐一运行程序,而是沿着程序控制流中的可达路径,跟踪可能出现的值和状态的抽象表示。
寄存器跟踪会区分标量值与各类指针,包括指向栈内存、数据包数据、映射中的值以及带类型信息的内核对象的指针。对于标量值,验证器可以跟踪其数值上下界,以及哪些位已知、哪些位未知等信息,从而判断后续算术运算能否将结果保持在允许的范围内。对于指针,验证器则跟踪对象标识、偏移量和是否可能为空等属性。例如,映射查找可能返回指向某个值的指针,也可能返回空指针;程序通常需要先进行适当检查,才能解引用该指针。
数据包访问体现了常规编程与验证之间的联系。eBPF 程序可以计算协议头的地址,并将协议头的末尾位置与数据包的可访问边界进行比较。只有经过适当的边界检查,验证器才能确认读取该协议头是有效的。这些检查的具体安排很重要,因为验证器依据的是编译后的指令,而不是程序员心中未经形式化表达的意图。因此,两种表面含义相近的源代码写法,可能得到不同的验证结果。
程序能否终止以及分析成本也很重要。早期的 eBPF 实现禁止循环,要求开发者将其展开。2019 年发布的 Linux 5.3 引入了对有界循环的支持,使验证器能够接受执行次数受到充分约束的循环。后来引入的机制,包括有界迭代辅助函数和迭代器机制,进一步丰富了可用的方法。这些变化并未消除验证的限制:路径数量可能迅速增长,即使程序能够终止,也仍可能因分析工作量过大或超出其他实现限制而被拒绝。
通过验证器检查,并不等于程序的预期用途得到了不受限制的形式验证。通过验证的程序仍可能实现错误的策略、产生不准确的统计结果,或在被频繁调用时消耗不可接受的累计 CPU 时间。验证器和即时编译器(JIT)自身的缺陷也可能造成安全漏洞。这些保证还依赖于辅助函数和内核接口的正确实现。因此,准确的说法应当更为有限:在实现所依据的假设成立时,被接受的程序符合特定的执行安全规则;这并不意味着程序所有可能的行为都符合预期,也不意味着内核的所有风险都已消失。
映射、可调用接口与共享状态
eBPF 程序需要在一次调用结束后保留信息,也需要与用户空间应用程序交换信息。映射(map)提供了这一存储和通信层。映射是由内核管理的对象,具有明确声明的类型和配置。常见类型包括数组、哈希映射、最近最少使用(LRU)哈希映射、每 CPU 映射,以及用于套接字或程序引用的专用结构。映射接口提供适合各类型的操作,而不是让运行中的程序不受限制地分配内存。
数组映射具有固定的整数索引范围,其元素预先分配。哈希表将键与值关联起来,适合存储每条连接的计数器或以进程标识符为索引的活动信息等数据。每 CPU 变体为各个处理器分别维护独立的值,从而在多个 CPU 更新同一个逻辑计数器时减少争用。随后,用户空间的读取程序可以汇总这些独立的值。这种安排简化了更新操作,代价是更高的内存占用,以及对所得快照更为复杂的解读。
共享映射会带来并发计算问题。多个程序调用可能在用户空间进程读取某个条目的同时更新该条目。先读取计数器、再加一、最后写回这样的操作序列,如果没有采用适当的原子操作或其他受支持的协调机制,就可能丢失递增结果。某些映射值可以包含 BPF 自旋锁,但其使用受到限制。对指针访问的验证,并不会自动保证数据结构不存在竞态,也不会保证多个条目之间具有类似事务的一致性。
可调用的内核接口是对映射的补充。传统的 BPF 辅助函数提供获取时间戳、查找映射条目、计算校验和或重定向数据包等操作。程序可用的辅助函数集合取决于程序类型及其他条件。较新出现的 BPF 内核函数通常称为 kfunc,它们使用与内核类型信息关联的类型化接口。这两种机制都不是不受限制的外部函数接口:程序不能仅凭地址就调用任意内核函数。有些操作还要求可休眠的执行上下文,而只有特定的程序类型和挂载类型支持这种上下文。
在事件传递方面,程序通常使用 perf 事件缓冲区,或使用 2020 年随 Linux 5.8 引入的 BPF 环形缓冲区。这些机制允许程序输出结构化记录,供用户空间进程消费。与一组相互独立的每 CPU 缓冲区不同,环形缓冲区的设计能够让各 CPU 共享容量,并保持不同生产者预留空间的先后顺序。缓冲区耗尽的情况仍需显式处理;程序的一次调用成功,并不意味着所有预期输出的记录都已送达消费者。
程序数组映射提供了另一种专用机制:尾调用可将执行转交给另一个 eBPF 程序,而不再返回调用者。它们支持模块化处理流水线和分发表。内核会限制连续尾调用的次数,防止形成无界的调用链。普通的 BPF 到 BPF 函数调用则有所不同:它们会返回调用者,并在经过验证的栈和调用深度限制内运行。
网络与数据包处理路径
网络仍是 eBPF 的核心应用领域,因为网络子系统中存在大量触发频繁、定义明确的决策点。挂载点既决定程序能够观察哪些信息,也决定它能够更改什么。例如,套接字过滤器控制的是数据向特定套接字的递送,而不是充当通用的主机防火墙。流量控制程序在 Linux 的数据包处理和排队基础设施中运行。其他程序类型则作用于套接字创建、连接建立、地址选择,或经由特定套接字路径交换的消息。
快速数据路径(Express Data Path,简称 XDP)在靠近网络设备接收端的位置挂载程序。在原生模式下,受支持的驱动程序会在为数据包分配常规套接字缓冲区结构之前调用 XDP。这样的部署位置使程序能够在常规网络协议栈的大部分处理开始之前,及早丢弃或重定向数据包。常见的返回动作包括 XDP_PASS、XDP_DROP、XDP_TX 和 XDP_REDIRECT。后两者支持发送或转发决策,但受设备及重定向目标能力的限制。
XDP 所处的位置既解释了它的高效性,也说明了它的局限。处于早期处理阶段的程序可以检查数据包字节,以较低开销作出路由或过滤决策,但不能假定内核的上层处理已经建立连接状态或完成其他转换。通用 XDP 通过较晚的软件路径运行,兼容范围更广;硬件卸载执行则将受支持的程序转移到具备相应能力的网络设备上运行。这些模式在性能、可用功能和实现限制方面各不相同;仅仅声称“支持 XDP”,并不能说明实际提供哪些行为。
流量控制(Traffic Control,简称 TC)挂载点基于套接字缓冲区工作,可以处理入站和出站流量。在需要数据包元数据、与常规网络协议栈交互或实施出站策略的场景中,这些挂载点很有用。程序可以查询映射表,以实现服务选择、流量分类或负载均衡。它们还可以修改受支持的数据包字段并更新校验和。其正确性取决于数据包布局、分片、卸载行为,以及实际经过的网络钩子。
Cilium 等项目使用 eBPF 实现网络功能、策略执行和服务处理,尤其是在 Kubernetes容器编排系统环境中。用户空间的控制平面将配置转换为映射表和挂载的程序,而数据包路径负责执行频繁发生的决策。这种分离非常重要:eBPF 提供的是执行机制,而不是完整的分布式策略系统。配置分发、端点身份、更新期间的一致性以及故障恢复,仍由外围软件负责。
讨论网络性能时,必须明确工作负载。尽早丢弃数据包可以避免后续开销较大的处理,但解析变长报头、遍历映射表或维护共享状态本身也会产生开销。加密、内存带宽、网卡队列和 CPU 分配都可能成为决定性能的主要因素。通过极简 XDP 丢包程序测得的包速率,并不能代表实现了连接跟踪、隧道和安全策略的应用程序的吞吐量。
跟踪、性能剖析与生产环境可观测性
eBPF 在选定事件发生时执行短小的程序,并仅保留或导出相关结果,以此支持可观测性。程序不必将每个事件都复制到分析进程,而是可以在内核中汇总计数、构建延迟分布,或根据进程和工作负载的标识进行过滤。当底层事件的发生速率远高于用户空间消费端处理详细记录的速率时,这种方式尤其有用。
不同挂载机制暴露的信息各不相同。跟踪点是显式设置的插桩位置,提供预先定义的事件字段。内核探针动态挂载到内核指令位置,通常是函数入口,而返回探针则用于观测执行完成的情况。用户空间探针为应用程序代码提供类似的插桩能力。性能事件挂载支持采样,包括基于硬件或软件事件的性能剖析。这些机制不能互相替代:它们的数据格式、开销、稳定性和执行上下文都不同。
一种常见的延迟测量方法是在操作开始时记录时间戳,并在操作结束时取出该时间戳。以线程标识符为键的映射可以将这两个事件关联起来,随后程序递增相应直方图区间的计数。这种设计需要谨慎处理嵌套操作、遗漏的事件,以及任务退出或操作始终未触发预期完成钩子时遗留的条目。仅仅将时间戳相减,并不能保证测得的时间间隔对应预期的操作。
性能剖析器可以对指令地址进行采样,并捕获用户态和内核态调用栈。符号化,即将地址转换为函数名和源代码位置,通常在用户空间进行,依赖于匹配的二进制文件、调试信息、地址空间映射以及语言运行时的行为。捕获栈标识符,并不意味着就能自动为每一种托管语言或采用即时编译(JIT)的语言提供可靠的高层调用栈。帧指针是否可用、栈展开支持情况以及运行时专用元数据,都可能显著影响结果。
BPF 编译器集合(BPF Compiler Collection,简称 BCC)推动了实用 eBPF 跟踪工具的普及,而 bpftrace 则提供了一种更高层的语言,用于以简洁的方式开展事件驱动式分析。较低层的应用程序通常使用 libbpf 来加载目标文件,并与内核 BPF 功能交互。这些工具处于不同层次:简短的跟踪脚本和持续部署的代理程序可能都使用 eBPF,但它们对编译、打包和生命周期管理的要求各不相同。
可观测性机制可能改变被测系统。在频繁执行的函数上设置探针,会给每次调用增加额外工作;采集调用栈和生成大型事件记录也可能带来高昂开销。环形缓冲区中的记录丢失或采样偏差可能使结果失真,而聚合则可能掩盖异常值或丢弃顺序信息。因此,合理解读结果取决于测量设计:事件是被计数还是被采样,如何处理缺失记录,使用哪种时钟,以及被观测的钩子是否准确反映了所研究的应用程序行为。
安全策略执行与权限边界
eBPF 与网络安全有两种不同的关系:它既能实现安全监控和策略执行,本身也是需要保护的特权内核功能。监控程序可以观察进程执行、文件活动、网络操作或特定内核事件。策略执行程序则可以在受支持的挂钩点参与决策。能观察某项操作,并不意味着能阻止它:许多跟踪挂载点只报告活动,并不参与授权决策。
Linux 安全模块框架提供了一个主要的安全策略执行接口。2020 年,Linux 5.7 引入了 BPF LSM 支持,允许具备相应权限的程序挂载到特定的安全挂钩点。这类程序可以检查获准访问的上下文,并按照挂钩点的接口约定返回决策结果。其他机制,包括控制组网络挂钩,也可以在工作负载的范围内限制特定操作。这些能力是对内核更广泛的访问控制机制的补充,而非将其全盘取代。
加载程序所需的权限取决于内核版本、程序类型和配置。过去,许多 BPF 操作都依赖权限范围很广的 CAP_SYS_ADMIN 能力。Linux 5.8 引入了 CAP_BPF 和 CAP_PERFMON,使部分 BPF 权限与性能监控权限能够得到更细致的划分;网络操作还可能涉及 CAP_NET_ADMIN。这些能力并不构成一种可以运行所有 eBPF 程序的通用权限。系统也可以通过策略和配置禁用非特权 BPF,发行版也经常对其加以限制。
验证器是一道重要的边界,但并非唯一的边界。JIT 编译、辅助函数实现、映射操作以及挂载基础设施都构成了攻击面。这些组件中的任何缺陷,都可能破坏预期的隔离效果。推测执行方面的问题又增加了一个维度,因为在体系结构层面有效的检查,并不一定能防止所有侧信道攻击。因此,内核的缓解措施和限制还需要处理提交程序的源码结构之外的实现细节。
一旦某个主体拥有足够强大的 BPF 权限,就能通过获准使用的接口广泛洞察主机内部情况。防御性代理使用的这些机制,也可能被滥用于隐蔽监视或干扰。落实最小权限原则,需要考虑谁可以加载程序、允许哪些挂载方式、谁可以查看映射,以及对象引用如何保留。仅有容器边界,并不意味着其中的工作负载就有权创建覆盖整台主机的跟踪程序。
安全策略的正确性还取决于部署位置和覆盖范围。挂载到某个文件操作挂钩点的程序,不一定能覆盖访问数据的所有途径。在某个网络位置实施的数据包策略,看到的可能是地址转换、隧道封装或加密之前或之后的流量。因此,要进行有效分析,首先需要精确的威胁模型,并理解相关挂钩点的语义,而不能将通过验证器检查或部署了 eBPF 安全代理视为已获得全面保护的证明。
可移植性、类型信息与开发工具
eBPF 的可移植性涉及多个层面。指令集屏蔽了处理器架构之间的差异,但程序仍然依赖内核功能、受支持的辅助函数、映射类型、挂载机制以及上下文布局。因此,即使程序被编译为与架构无关的指令,也可能无法在另一套 Linux 系统上加载。内核配置或发行版回移补丁的差异,可能与内核版本号本身同样重要,因此在运行时检测功能支持情况很有价值。
内核数据结构给跟踪带来了特殊的困难。它们的布局通常并不是面向用户空间的稳定应用二进制接口。在不同的内核构建版本之间,字段可能发生位置移动、类型变化,甚至被移除。早期的工作流程往往使用目标系统本地可用的头文件,在该系统上编译跟踪程序。这种方式能够适应一部分布局差异,但也使部署依赖于编译工具链、头文件和构建资源。
BPF 类型格式,简称 BTF,提供了对类型、函数及相关信息的紧凑描述。它既能描述内核类型,也能描述 eBPF 对象中的类型。启用相应的构建支持后,内核 BTF 通常通过 /sys/kernel/btf/vmlinux 提供。这些元数据支持基于类型的挂载机制、更完善的检查能力,以及程序、加载器与内核对象之间基于更多信息的交互。但它本身并不保证所描述的每个接口都会保持稳定。
一次编译,到处运行,通常缩写为 CO-RE,利用编译器生成的重定位记录和目标系统的类型信息,在加载过程中调整编译产物中的特定引用。借助 libbpf,字段访问可以根据目标内核实际的结构体布局进行调整,而不必假定其布局与编译时一致。CO-RE 还支持检测某些类型、字段或枚举值是否存在,使程序能够选择兼容的行为。
这个名称描述的是一个工程目标,而不是无限制的可移植性。重定位无法凭空提供不存在的辅助函数、补上不受支持的程序类型,也无法保证某个函数的语义保持不变。程序可能需要针对不同的功能支持情况提供替代实现。特定架构的寄存器约定,尤其是底层探针上下文中的约定,也可能需要特殊处理。因此,可移植的构建产物不仅要考虑类型布局的兼容性,还必须考虑语义兼容性。
开发工具将这些层面衔接起来。libbpf 骨架为嵌入的 BPF 对象生成用户空间接口,并简化对程序、映射和全局数据的访问。bpftool 工具可以检查已加载的对象、转储指令、查看 BTF,并报告受支持的功能。验证器日志有助于解释程序被拒绝的原因,但理解这些日志需要熟悉寄存器状态和编译后的控制流。构建的可复现性、编译器行为以及在具有代表性的多种内核上进行测试仍然十分重要,因为源代码中的细微改动就可能改变提交给验证器的指令,进而影响程序能否加载。
性能工程与运行约束
eBPF 的性能优势来自将专用计算放在靠近事件源的位置,而不是因为它普遍比其他代码运行得更快。在内核中进行过滤,可以避免复制数据、唤醒用户空间进程或反复发起系统调用。JIT 编译可以提高程序主体的执行效率。然而,每增加一个挂载点都会带来一定的额外工作,将计算移入内核也不会消除其 CPU、内存或同步开销。
一种实用的初步估算方法,是将事件频率与执行时间联系起来。如果某个挂载程序以每秒 个事件的频率运行,并且每个事件平均增加 秒的执行时间,那么它直接产生的 CPU 需求约为
其中, 表示占满一个 CPU 核心。在每秒一百万个事件的情况下,每个事件增加 100 纳秒的执行时间,大致相当于占用十分之一个核心。这一估算不包括缓存扰动、争用、调度变化以及在系统其他位置引发的额外工作等间接影响。
这些间接开销往往取决于映射的设计。每 CPU 独立的计数器可以避免缓存行所有权反复转移,而频繁更新的共享条目则可能引发处理器之间的争用。大型映射会增加内存用量,并可能降低 CPU 缓存局部性。哈希查找与数组索引访问的开销不同,而采用淘汰机制的映射会引入状态丢失,影响对结果的解读。最高效的数据表示方式取决于键的分布、更新频率、CPU 数量,以及读取方是否需要一致的视图。
执行上下文还会施加额外约束。许多 BPF 程序运行在禁止阻塞或睡眠的上下文中,而明确支持睡眠的程序变体则允许执行另一组操作。栈空间有限,将大型临时对象分配为普通局部变量,可能导致编译或验证无法通过。程序不能将内核视为通用应用运行环境,不能任意使用库、执行任意的阻塞式输入输出,或进行无限递归。常见的设计会将配置、复杂分析和持久化存储交由用户空间的控制进程处理。
运行中的正确性也涉及对象生命周期。关闭加载器的文件描述符,并不一定会移除仍被固定或通过其他引用保持挂载的对象。反过来,由 BPF 链接管理的挂载关系,在最后一个相关引用消失时可能会自动解除,除非采取适当措施保留其生命周期。更新时必须同时考虑程序代码和映射结构:替换程序却保留与其不兼容的映射,即使新旧两个版本都能单独通过验证,也可能导致故障。
因此,评估时需要区分几个问题:程序能否加载、是否实现了预期语义、在并发事件下是否仍然正确,以及在实际流量下其开销是否可以接受。内核自测试、针对具体应用的测试、故障注入和工作负载基准测试,分别覆盖这一问题的不同方面。事件缓冲区耗尽、映射容量限制、功能支持不完整、挂载失败和加载器重启,都是影响已部署系统的具体运行状况,与 eBPF 指令流本身是否正确无关。