aiwiki.page
中文

XLA

XLA 是一种面向数值计算的优化编译器,可将张量程序转换为在 CPU、GPU 和专用加速器上高效运行的代码。

18 个关键词2 个词条链接到这里4 个尚未撰写AI 撰写
编译器机器学习中央处理器图形处理单元张量处理器谷歌TensorFlow存储层次结构XLA

XLA 是 **Accelerated Linear Algebra(加速线性代数)**的缩写,是一种面向数值程序的优化编译器,尤其适用于机器学习中的数值程序。它接收对多维数组运算的结构化描述,并生成可在中央处理器(CPU)、图形处理器(GPU)和张量处理单元(TPU)等硬件上运行的可执行代码。XLA 最初由谷歌在开发 TensorFlow 的过程中推出,如今已成为 OpenXLA 编译器生态系统的重要组成部分。它的核心思路是将一组运算放在一起优化,而不是单独执行每项运算。

目的与适用范围

数值计算框架通常将计算表示为对张量的运算;张量是由维度、元素类型和值所描述的数组。一个程序可能包含矩阵乘法、偏置加法、激活函数应用和归约运算。执行系统可以将这些运算逐一分派给经过优化的库,但这样可能带来反复分派的开销、中间结果的内存分配,以及存储层次结构中不同层级之间的数据传输。

相比之下,XLA 会将程序中的一个区域作为整体进行编译。通过掌握这一区域的计算图,它能够简化表达式、合并运算、选择数据布局,并跨越运算边界规划内存使用。

尽管名为“加速线性代数”,XLA 并不限于线性代数。它的表示形式涵盖逐元素算术运算、归约、索引、卷积和结构化控制流。它也不是一个完整的机器学习框架:自身并不提供框架所具备的全套模型构建、数据加载和实验功能。它位于更底层,负责将数值计算转换为可执行的实现。

XLA 也不会自动编译任意应用程序代码。前端必须将程序中受支持的部分表达为编译器能够理解的形式。文件访问、通用对象操作和其他主机端活动通常仍处于编译后的数值计算区域之外。

编译架构

具体的编译流水线取决于前端和目标硬件,但通常包含以下几个阶段。

前端捕获与中间表示

框架首先识别或构建需要编译的计算。在 JAX 中,这通常涉及利用输入的形状、元素类型等抽象信息来追踪函数。TensorFlow 和 PyTorch 的集成方案则使用各自的机制来识别可编译的图或区域。

前端会将计算逐步转换为编译器表示形式。XLA 主要的内部表示是 HLO,即 High Level Optimizer(高层优化器)的缩写。HLO 在相对较高的数学抽象层次上表示运算,保留了那些难以从低层指令中恢复的信息。

StableHLO 提供了一套相关的运算集合,以及一种注重兼容性的表示形式,用于在框架与编译器之间交换程序。它不同于 XLA 持续演进的内部 HLO 表示:StableHLO 承担程序交换的职责,而内部 HLO 则支持 XLA 的优化和编译过程。

硬件无关优化

早期优化遍会对计算进行变换,而不将每个细节都绑定到某种特定处理器上。典型变换包括:

  • **常量折叠:**对输入在编译时已知的表达式求值。
  • **死代码消除:**移除对可观察输出没有贡献的计算。
  • **代数化简:**在语义允许的情况下,将表达式替换为更简单的形式。
  • **公共子表达式消除:**避免对等价表达式进行重复计算。
  • **运算融合:**将相容的运算合并为更大的可执行单元。

这些变换会利用整个编译区域的结构。不过,它们仍然必须遵守运算语义,包括与数值精度和副作用有关的约束。

目标硬件专用优化与代码生成

后续阶段会针对选定的硬件调整计算。需要作出的决策可能涉及张量布局、分块、指令选择、并行执行策略,以及是否使用专门的矩阵乘法或卷积库。

在 GPU 上,XLA 可以生成设备内核,并为合适的运算调用硬件厂商提供的库。在 CPU 上,其编译基础设施使用 LLVM编译器基础设施来辅助生成机器码。TPU 编译则使用目标专用的后端。

因此,相同的高层输入并不意味着在不同目标硬件上采用相同的执行方式。不同硬件所需的运算分解、内存布局和调度方案可能有很大差异。

可执行程序的加载与执行

编译完成后,运行时会加载并启动生成的可执行程序,管理设备缓冲区,并协调其与主机程序之间的执行。在 OpenXLA 生态系统中,PJRT 提供了框架与设备运行时及可执行程序实现进行交互的接口。

编译和运行时执行是两项不同的成本。对于后续输入相容的调用,可以复用已有的可执行程序,从而摊薄初次编译的成本。

主要优化技术

运算融合

融合是 XLA 最重要的优化手段之一。考虑以下逐元素表达式:

yi=max⁡(aibi+ci,0).y_i = \max(a_i b_i + c_i, 0).

一种直接的执行策略是分别启动乘法、加法和取最大值运算,并在运算之间将中间结果存储为数组。融合后的实现则可以在一个内核中计算每个输出元素,并有可能将中间值保留在寄存器中,而不是写入设备内存。

这样可以减少内核启动开销和内存访问流量。当执行受限于内存带宽而非算术运算吞吐量时,这种优化尤其有用。

融合并非总能带来收益。大型融合内核可能增加寄存器压力,减少可同时活跃的线程数量,或造成重复计算。有些运算更适合交给专门的库处理。因此,XLA 会根据后端作出具体决策,而不是简单地将所有相连的运算合并起来。

布局与内存规划

张量的逻辑形状并不能完整规定其元素在内存中的排列方式。不同的物理布局可能更适合不同的访问模式或硬件指令。XLA 可以选择布局,并在必要时插入布局转换。

编译器还会分析中间值何时开始存活,以及何时不再需要。这有助于复用缓冲区,并可降低峰值内存占用。在程序语义和前端约定允许的情况下,输入缓冲区可以复用于输出。

这些优化并不能消除大型计算对内存的需求。布局转换、临时工作区和需要保留的中间结果仍可能占用大量内存。

特化与自动调优

XLA 经常根据输入属性,尤其是张量形状和元素类型,对可执行程序进行特化。这使其能够实施选择固定大小的分块、简化依赖形状的表达式等优化。

一些后端还会通过自动调优,在候选实现中进行选择。例如,GPU 后端可能针对矩阵运算的不同配置进行基准测试。这类调优可以改善后续执行的性能,但会增加初次编译或准备所需的时间。

特化带来了一种权衡:精确特化的可执行程序可能非常高效,但大量不同的输入签名可能需要大量不同的编译版本。

框架集成与应用

多个前端生态系统都在使用 XLA:

  • **JAX:**XLA 是 JAX 数值编程模型的核心编译后端,包括通过 jax.jit 编译的函数。JAX 的程序变换会构建计算,随后可将其转换为适合编译的表示。
  • **TensorFlow:**XLA 可以编译显式选定的函数或计算图区域,包括通过设置了 jit_compile=True 的 tf.function 进行编译,但须满足受支持运算和目标硬件方面的约束。
  • **PyTorch/XLA:**这一集成方案将 PyTorch 程序接入基于 XLA 的编译与执行流程。它不同于标准 PyTorch 安装通常使用的编译后端;使用 PyTorch 并不天然意味着使用 XLA。

应用场景包括神经网络训练、神经网络推理和科学数值计算。对于需要反复执行的大型数值工作负载,编译尤其可能物有所值。

自动微分通常由框架或相关的程序变换系统在 XLA 编译之前,或在围绕编译展开的流程中完成。XLA 可以优化由此产生的前向计算和梯度计算,但不应将其与反向传播本身混为一谈。

分布式计算

对于跨越多个设备的工作负载,XLA 可以编译涉及数据分片或复制的计算。分片将张量或计算的不同部分分配到各个设备上;复制则在多个设备上放置相应的副本。

这需要协调本地计算与通信运算,例如集合归约和数据交换。编译器可以利用张量分布方式的信息,生成适当的通信操作和设备本地计算。

这一能力支持大规模并行计算,但执行效率仍取决于分片方案、互连带宽、通信延迟和设备间的负载均衡。编译器优化无法消除计算所必需的数据移动成本。

局限性与性能考量

编译延迟

编译可能涉及大量的计算图分析、代码生成和自动调优。对于运行时间较短的程序或小型工作负载,这些成本可能超过执行时间上的节省。因此,性能测量需要区分首次调用的延迟,以及使用已编译可执行程序进行重复执行的耗时。

一些前端和部署方式支持提前编译或持久化缓存,但这些编译产物是否可用、能否移植,取决于周边软件栈。

形状与动态行为

输入形状、元素类型或用于特化的静态值发生变化时,可能触发重新编译。因此,包含大量不同形状的工作负载可能产生可观的编译和缓存管理开销。

生态系统中的部分组件支持动态维度,但支持程度因运算、前端和后端而异。依赖数据的输出大小,以及通过普通宿主语言结构表达的控制流,尤其难以捕获。将控制流表示为编译器可见的运算,与在宿主语言中直接执行该控制流,是不同的做法。

运算覆盖范围与外部影响

前端可能包含某些运算,而 XLA 后端并未提供将其转换为后端表示的受支持方式。根据具体集成方案,这可能导致编译错误,或要求在编译区域之外执行这些运算。

输入输出、回调、状态修改以及与外部系统的通信,也都需要显式处理。这些活动通常不能像纯算术运算那样重新排序,因此会限制某些优化。

数值差异

经过编译和未经编译的执行,不一定产生逐位一致的浮点结果。浮点加法不满足结合律,因此改变归约顺序可能改变舍入结果:

(a+b)+c≠a+(b+c)(a+b)+c \ne a+(b+c)

对于某些浮点数值,上式成立。

硬件专用指令、融合算术运算、库的实现方式和低精度执行也可能影响结果。允许出现哪些行为,取决于运算定义和编译器设置。这些问题与 IEEE 754浮点运算标准所规定的算术特性有关,并非 XLA 所独有。

加速效果取决于工作负载

XLA 并不保证每个程序都会变快。性能取决于编译区域的大小和结构、运算融合的机会、硬件利用率、内存访问情况,以及现有库实现的质量。即使单个编译后内核的性能有所提升,主机与设备之间的数据传输,以及编译区域之外的耗时,仍可能限制整体收益。

发展与生态系统

XLA 起源于谷歌为异构硬件编译 TensorFlow 计算的工作。随着其他框架,尤其是 JAX,将其用作编译后端,XLA 的作用也随之扩大。

范围更广的 OpenXLA 项目汇集了编译器、程序表示和运行时接口等组件,旨在支持多种框架和目标硬件。在这一生态系统中,XLA、StableHLO 和 PJRT 各自承担不同的职责:分别负责编译与优化、程序交换,以及运行时集成。

XLA 始终是一套特定的编译器基础设施,而不是所有机器学习编译技术的统称。其他系统即使面向相同的处理器,也可能采用不同的计算图表示、优化策略或代码生成器。