TensorFlow 是一个用于数值计算的开源软件平台,尤其适用于机器学习模型的开发、训练和部署。它由谷歌开发,于 2015 年 11 月公开发布,提供了用于表达多维数组运算、自动计算导数,以及在不同类型处理器上执行计算任务的工具。其名称指的是张量在数学运算构成的网络中流动的过程。
尽管 TensorFlow 与深度学习和人工神经网络密切相关,但它并不是某一种模型或学习方法,而是一个分层的软件系统:底层运算和运行时系统为更高层的模型构建接口提供支持,相关库则负责数据准备、可视化、分布式计算和部署等工作。它的重要性部分在于将实验性的模型开发与生产环境衔接起来,涵盖服务器、浏览器、移动设备和嵌入式系统等场景。
从第一个主要版本到第二个主要版本,TensorFlow 的设计发生了重大变化。最初的系统强调显式构建计算图;TensorFlow 2 则将即时执行和高层模型构建作为常规编程方式,同时保留图执行机制,用于优化和部署。因此,要理解这一平台,就需要区分其数学抽象、编程接口、执行机制及周边软件生态系统。
起源与主要版本发布
TensorFlow 源于 Google 在 DistBelief 上积累的经验。DistBelief 是一套内部系统,于 2012 年对外介绍,用于在分布式基础设施上训练大型神经网络。DistBelief 支持大规模学习,但其架构和编程接口限制了实验与部署的灵活性。TensorFlow 则被设计为一种更通用的系统,能够显式表示数值运算、运算之间的依赖关系,以及运算在硬件上的分配方式。参与早期开发的工程师和研究人员包括 Martín Abadi、Jeff Dean、Rajat Monga,以及 Google 内部的众多合作者。
Google 于 2015 年 11 月 9 日以 Apache 许可证 2.0 发布 TensorFlow。这使外部用户能够依据宽松的许可条款使用、修改和再分发其实现。最初的公开版本主要面向单机执行,分布式执行则于 2016 年纳入公开版本。2016 年,在 USENIX 操作系统设计与实现研讨会上发表的论文《TensorFlow:大规模机器学习系统》阐述了它的数据流架构、分布式运行时,以及对异构硬件的支持方式。
2017 年 2 月发布的 TensorFlow 1.0 是接口稳定性方面的一个重要里程碑。其典型编程模式将计算图构建与执行分开:程序先描述运算,再通过会话执行计算图中选定输出所需的运算。这种安排有利于优化和远程执行,但由于常规程序执行与数值计算处于不同阶段,调试可能颇为不便。初学者往往需要先理解占位符、会话、变量初始化和计算图归属等概念,才能实现相对简单的模型。
2019 年 9 月发布的 TensorFlow 2.0 围绕即时执行和 Keras 重新组织了面向用户的编程模型。用户可以直接查看中间值,并编写与普通数值计算程序相似的训练循环。计算图执行仍可通过 tf.function 使用,而不再要求每个程序都从显式管理的计算图开始。tf.compat.v1 下的兼容接口保留了许多旧版功能,不过,这种兼容性并不意味着所有第 1 版程序都能与第 2 版代码互换使用。
后续变更继续将框架稳定的核心概念与不断演进的接口分离。TensorFlow 2.16 将 Keras 3 设为默认的 Keras 实现。Keras 3 支持多种计算后端,因此,即使二者搭配使用,Keras 与 TensorFlow 也不再是同义词。由此可见,该平台的历史不仅是一系列运算内核提速的历史,也反映了人们对研究人员如何编写程序、模型如何封装,以及生产系统如何使用模型等问题的观念变化。
张量、运算与计算状态
核心的数据抽象是张量,在 TensorFlow 中由 tf.Tensor 等对象表示。在这里,张量是具有指定元素类型、秩和形状的多维数组。标量的秩为零,向量的秩为一,矩阵的秩为二。一批图像的形状可以是 ,表示 32 张彩色图像,每张图像的高度和宽度均为 224 像素,并具有三个通道。软件中的这种用法并不要求张量具备数学和物理学某些分支所涉及的坐标变换性质。
张量的数据类型决定了其元素表示什么,以及可以进行哪些运算。常见类型包括 32 位浮点数、整数、布尔值和字符串。形状描述各个轴的长度,但有些维度的大小可能要到执行时才能确定。当模型接受大小可变的批次或长度不一的序列时,这一区别就很重要。TensorFlow 还提供一些专用表示,例如用于稀疏数组的 tf.SparseTensor,以及用于各行长度不同的嵌套结构的 tf.RaggedTensor,从而不必假定所有有用的数据都能以稠密的矩形数组表示。
运算将张量转换为其他张量。例如矩阵乘法、卷积、归约、索引和逐元素算术运算。广播机制允许某些运算将形状不同但兼容的数组组合起来。对于神经网络中的全连接层,其基本计算可以写为
其中, 包含输入样本, 是权重矩阵, 是偏置向量, 是激活函数。偏置可以通过广播应用于所有样本,而不必为每个样本实际复制出单独的一行。
TensorFlow 将张量值与可变状态区分开来。tf.Tensor 表示一个值,普通张量运算不会对其进行原地更新;tf.Variable 则保存可以通过 assign 等方法修改的状态。模型参数、优化器累加器和运行统计量都是典型的变量。这种区分使系统既能表示纯粹的数值变换,也能表示学习算法所需的状态变化。
在执行层面,运算由针对设备和数据类型专门实现的内核完成。通过公共应用程序编程接口提供的一项运算,可能分别具有面向中央处理器和图形处理器的实现。TensorFlow 的运行时系统负责协调这些实现的执行,以及数值在设备之间的传输。某项运算有公开接口,并不意味着每种设备都能高效支持所有数据类型或形状;不受支持的组合可能需要采用其他执行路径,也可能导致错误。
即时执行、计算图与编译
TensorFlow 支持两种紧密关联的执行方式。在即时执行模式下,操作一经调用便会执行,其结果也可以立即查看。这使交互式开发和常规调试更加直接。开发者可以将两个数组相乘、打印结果,并使用常规的控制流,而不必先定义一个单独的可执行图。即时执行是 TensorFlow 2 的默认模式,但并不是 TensorFlow 2 程序使用的唯一执行机制。
计算图以有向结构表示操作及其依赖关系。计算图使运行时系统能够在执行前分析计算任务、调度相互独立的操作,并进行移除不必要计算等变换。计算图还提供了一种可序列化、或可在原始交互式程序之外执行的表示形式。当同一计算任务需要重复执行多次、构建计算图的开销能够分摊到多次调用中时,图执行尤其有用。
tf.function 接口将这两种方式连接起来。它通过追踪函数,根据其中的 TensorFlow 操作构建计算图表示,并在后续调用中执行合适的计算图。同一个经过装饰的函数,可以针对不同的输入签名或 Python 参数值生成多个具体的追踪版本。重新追踪会产生开销,因此,如果反复调用函数时不断改变输入形状或 Python 参数值,就可能削弱预期的性能收益。输入签名可以约束函数接受的张量类型和形状,同时允许指定维度的大小发生变化。
追踪还会带来一些影响程序正确性的语义差异。普通 Python 代码的副作用通常发生在追踪期间,而不是每次执行计算图时都会发生。例如,在被追踪的函数中,Python 的 print 语句与 tf.print 的行为不同,后者会创建一个 TensorFlow 操作。AutoGraph 可以将其支持的 Python 控制流结构转换为图操作,使某些循环和条件分支能够依赖张量值。但它并不能将任意 Python 程序转换为可移植的 TensorFlow 计算图;调用无关库或依赖不透明外部状态的代码,可能仍不适合以计算图方式执行。
编译又增加了一个层次。加速线性代数编译器(XLA,最初名为 Accelerated Linear Algebra)可以将其支持的操作组编译为面向目标设备的代码。操作融合可以将多个操作合并,从而避免反复向设备内存写入中间结果,再将其读出。编译也可能带来启动开销、形状约束以及不支持某些操作等问题,因此它并不是适用于所有情况的加速开关。由此,TensorFlow 提供了一系列执行选择:以即时执行实现灵活性,以追踪生成的计算图实现可复用的执行,以及针对适宜的数值计算任务进行基于编译器的优化。
自动微分与模型训练
TensorFlow 适用于学习系统的一个重要原因是它支持自动微分:通过对已执行的运算应用链式法则,系统地计算导数。这既不是通过微小扰动进行的数值微分,也不是旨在得到简化代数公式的符号运算。TensorFlow 为运算关联了导数传播规则,从而能够沿着受支持运算构成的长复合计算过程求出梯度。
TensorFlow 2 中用于自动微分的主要接口是 tf.GradientTape。在梯度带的上下文中,系统会记录涉及被监视值的相关运算。计算过程中访问的可训练变量通常会被自动监视;其他张量则可以显式指定为监视对象。计算出标量损失函数值后,程序便可请求计算它相对于模型参数的梯度。当一个标量目标依赖于大量参数时,反向模式微分尤为高效;这正是神经网络训练中的常见情形,也是反向传播的基础。
对于参数为 的模型 ,一个批次的目标函数可表示为
基本的梯度下降更新为
其中, 为批次大小, 为学习率。TensorFlow 的优化器实现了这一更新规则以及更复杂的规则,包括 Adam优化器;后者通过额外的状态跟踪梯度各阶矩的移动估计值。
微分仍然受到数学和实现层面的限制。取整数值的选择操作、外部库调用,以及未注册梯度的运算,并不会自动变得可微。如果某个变量与损失之间不存在可微路径,请求的梯度就可能不存在。在非光滑点处,如果实现中定义了求导约定,就会按该约定处理。tf.stop_gradient 等运算会有意阻止梯度传播,而自定义梯度机制则允许开发者为某项计算指定求导规则。
训练循环控制的行为也不止于微分。实现随机失活和批量归一化的层在训练与推理时具有不同的行为。正则化项、损失缩放、梯度裁剪和梯度累积都可能改变实际的参数更新。TensorFlow 支持使用嵌套梯度带和持久梯度带进行更专门的导数计算,包括某些高阶导数的计算,但记录更多计算过程也会增加内存占用。自动微分省去了大量手工编写求导代码的工作,但它并不能保证所选目标函数是合适的,也不能保证优化过程会收敛。
Keras 与模型构建
Keras 是 TensorFlow 主要的高级模型构建接口。它将数值计算组织为层、模型、损失函数、指标和优化器,使开发者无需手动管理每次梯度更新,就能实现常见的训练任务。层将计算及其相关状态封装在一起,例如全连接层的权重或归一化层通过学习得到的参数。模型则将多个层组合为更大的可调用对象,还可以提供训练、评估和预测接口。
三种构建方式分别满足不同需求。顺序模型表示一种简单的层叠结构,每一层的输出都作为下一层的输入。函数式 API 通过相互连接的符号输入和输出来表示网络,支持多输入、多输出、共享层和分支结构。模型子类化则允许用户通过自定义的 call 方法,更灵活地控制执行过程。这些方式各有取舍:显式连接的函数式模型通常能呈现更多结构信息,便于检查和序列化,而子类化模型的行为可能更依赖配套的程序代码。
常见的 compile 和 fit 工作流程将训练配置与反复执行的训练过程分开。compile 为模型配置优化器、损失函数和指标;不应将它与把完整应用程序编译为独立的原生可执行文件混为一谈。fit 负责管理训练轮次、批次、验证和回调。回调可用于实现检查点保存、早停法和学习率调度。对于特殊的优化目标或更新安排,开发者可以自定义训练步骤,或显式编写使用梯度带的训练循环,而不必完全放弃模型和层这些抽象。
Keras 还支持复用成熟的架构。图像模型可提供预训练的特征提取器,开发者可以替换或扩展其输出层,以进行迁移学习。冻结层可以阻止所选权重被更新,而微调则允许部分或全部预训练权重发生变化。仍须正确处理输入预处理、归一化状态和训练模式:仅加载预训练权重,并不能保证新的输入流水线符合这些权重在训练时所依据的条件。
Keras 3 引入了一项重要的生态变化:支持将 TensorFlow、JAX 和 PyTorch 作为可选后端。与直接调用 TensorFlow 专用函数的代码相比,使用 Keras 后端无关运算编写的代码可以具有更好的可移植性。反过来说,使用自定义 TensorFlow 运算的 Keras 模型,若未经适配,仍然依赖 TensorFlow。模型持久化也有不同用途:Keras 模型归档保存有助于重建 Keras 模型的信息,而导出推理产物则会生成面向推理服务的接口。这两种序列化形式相互关联,但不能互换使用。
数据流水线、评估与检查
训练吞吐量和实验的有效性在很大程度上取决于数据处理方式。TensorFlow 的 tf.data API 将输入流水线表示为可进行变换和迭代的数据集。流水线可以读取文件、解析记录、解码图像、映射预处理函数、打乱样本、组成批次,以及预取后续元素。TFRecord 是这一生态系统中常用的一种面向记录的二进制存储格式;其记录包含字节串,通常是序列化后的样本,并不要求采用某一种固定的应用数据模式。
流水线变换既影响性能,也影响数据的含义。并行映射可以同时处理多个样本,而预取则使输入准备与模型执行重叠进行。缓存可以避免重复解码或执行开销较大的预处理,但会占用内存或存储空间,并保留缓存位置之前各步骤所产生的值。因此,在随机数据增强之后进行缓存,可能会使后续迭代反复使用同一批增强后的样本;而将随机变换放在缓存之后,则允许这些样本随迭代发生变化。
打乱操作也有实际运行方面的限制。容量有限的打乱缓冲区只能对缓冲区中容纳的那部分数据进行近似打乱,并不一定能得到整个数据集的均匀随机排列。在某项变换之前还是之后进行批处理,会改变该变换接收到的是单个样本还是一组样本。分布式流水线还必须在各工作节点之间分配任务,同时避免意外重复或遗漏记录。当数据集超出内存容量,或包含变长样本时,这些细节就尤为重要。
该框架提供了使用训练数据的工具,但并不判断实验设计是否有效。验证集可用于指导模型选择,而测试集则用于独立的最终评估。如果利用所有可用样本估计预处理统计量,或者相互关联的记录出现在不同的数据划分中,数据泄漏就可能导致误导性的结果。Keras 的验证参数能够自动执行评估流程,但无法保证数据划分充分考虑了时间、个体对象或数据中的其他依赖关系。
TensorBoard 通过展示损失曲线、指标、直方图、图像和执行性能剖析等记录信息,为这些流水线提供辅助。TensorFlow 的摘要操作负责写入事件数据,供 TensorBoard 读取。性能剖析器有助于区分耗时来自输入加载、CPU 处理、设备间传输,还是加速器计算。与一遇到训练缓慢就认定需要更强大的 GPU 相比,这类测量更能说明问题:如果输入流水线无法足够快地提供数据,即使性能强大的加速器也可能得不到充分利用。
可复现性所需的不只是保存一个模型文件。随机种子、数据顺序、库版本、数值精度和硬件内核都可能影响结果。TensorFlow 为支持确定性执行的操作提供了相应控制选项,但确定性可能带来性能代价,也不意味着在所有硬件和软件配置下都能得到完全相同的数值结果。因此,应结合解读检查点所需的代码、预处理配置和实验记录来理解检查点。
加速器与分布式执行
只要已安装的运行时和设备软件支持,TensorFlow 就可以将计算分配到 CPU、GPU 和张量处理单元上。CPU 在控制逻辑和许多预处理任务中发挥着重要作用,而加速器尤其适合大规模矩阵乘法和卷积运算。设备放置决定了运算在哪里执行,但所需数据也必须位于相应位置。当运算规模较小,或反复在不同设备之间切换时,主机内存与加速器内存之间的数据传输可能成为主要开销。
GPU 执行通常依赖特定厂商的软件库,例如在受支持的 NVIDIA 设备上使用 NVIDIA 的 CUDA 生态系统。具体支持情况取决于 TensorFlow 版本、操作系统、驱动程序及相关库。一个值得注意的历史分界点是:TensorFlow 2.10 是最后一个通过标准软件包支持在原生 Windows 上使用 GPU 执行的版本;此后,Windows 上的 GPU 工作流程通常通过适用于 Linux 的 Windows 子系统,在受支持的 Linux 环境中运行。这类软件包分发细节,与数学运算本身是否具有 GPU 实现是两回事。
混合精度执行对部分计算使用较低精度的算术运算,同时在需要时保留较高精度。例如,某种精度策略可以让层内计算采用 16 位精度,而变量仍以 32 位形式保存。在合适的硬件上,这可以降低内存占用并提高吞吐量。降低精度也会改变舍入行为和数值范围。在某些 float16 训练任务中,损失缩放有助于防止微小梯度发生下溢,但它并不能解决所有导致数值不稳定的问题。
对于多设备和多机训练,TensorFlow 通过 tf.distribute 提供分布式策略。MirroredStrategy 通常用于在单机的多个 GPU 上进行同步数据并行训练。每个副本处理一个批次中的不同部分,并在更新相应参数之前合并梯度。MultiWorkerMirroredStrategy 将同步训练扩展到多个工作进程,而 TPUStrategy 则面向 TPU 执行。这些接口旨在让执行过程分布到不同设备或机器上,同时使大部分模型代码保持不变。
在具有 个副本的同步数据并行训练中,合并后的梯度可以表示为
前提是各副本的梯度采用兼容的归一化方式。实际实现必须考虑批次大小以及损失归约的约定。集合通信通常通过全归约(all-reduce)操作,交换更新所需的数值。当模型参数众多、但每个参数对应的计算量相对较小时,通信开销可能占据主导地位。
包括参数服务器策略在内的其他方案,以不同方式组织分布式状态,并可支持异步更新。这些方案的行为并不等同于同步训练,因为梯度可能是使用较旧的参数值计算出来的。因此,扩展规模既涉及优化问题,也涉及分布式计算问题:增加工作进程数量会改变通信模式、有效批次大小、故障处理方式,有时还会改变收敛情况。能否获得近乎线性的加速取决于具体工作负载,并不是使用更多设备就必然具备的特性。
序列化、模型服务与边缘部署
TensorFlow 将模型的训练环境与执行预测的环境区分开来。训练程序可能依赖 Python、优化器、输入数据集和实验性工具,而这些在生产环境中并非必需。相比之下,部署需要对计算过程、模型参数以及向调用方提供的输入和输出作出稳定的描述。这种分离是神经网络推理系统的核心设计原则;在这类系统中,延迟、内存用量的可预测性以及兼容性,可能比训练的灵活性更重要。
SavedModel 是 TensorFlow 的主要导出格式之一,可包含序列化的函数、变量、资源文件和可调用签名。它使用 Protocol Buffers 表示计算图,并将参数值及相关资源一并保存在导出产物中。命名签名用于指定调用入口,包括预期的输入张量和返回的输出。SavedModel 不只是一个存放已学习权重的文件,但它也不能保证所有自定义依赖项都能在每台目标机器上使用。
TensorFlow Serving 提供托管已导出模型的基础设施,尤其适用于服务器环境。它支持模型版本和标准化预测接口等概念,使生产系统能够替换模型版本,而不必针对每一种网络架构重新构建应用程序。将请求合并成批次可以提高设备利用率,但也可能延长单个请求在执行前的等待时间。因此,生产系统的设计需要在吞吐量、延迟、资源用量和版本管理需求之间取得平衡,而不是只优化某一项基准测试指标。
针对移动端和嵌入式推理,TensorFlow Lite 提供了更精简的运行时,以及将模型转换为基于 FlatBuffers 的优化表示形式的途径。2024 年,Google 为这一系列端侧运行时引入了 LiteRT 这一名称。转换并不只是压缩:目标运行时仅支持特定的运算集合、执行规则和硬件委托机制。有些 TensorFlow 模型可以直接转换,另一些则需要调整运算、固定接口,或增加运行时支持。
神经网络量化可以用较低的数值精度(例如 8 位整数)表示权重和激活值。训练后量化会对已经训练好的模型进行转换,有时会使用具有代表性的输入来估计激活值范围。量化感知训练则在学习过程中模拟相关的数值效应。由此带来的模型体积缩减和速度提升取决于实际的硬件支持情况;准确率必须在转换后进行评估,而不能假定其与浮点模型相同。
TensorFlow.js 提供了另一条进入 JavaScript 环境的途径,适用于网页浏览器和服务器端 JavaScript 运行时等环境。在浏览器中执行时,可以使用图形或计算后端,并将部分输入保留在用户设备上,而不必传输到服务器。不过,模型转换、受支持的运算、下载体积、浏览器能力以及预处理的一致性,都会对实际部署构成限制。模型能够在原始训练环境中正确执行,并不意味着它已经可以直接部署到所有目标环境。
生态系统、互操作性与实际局限
TensorFlow 的生态系统并不限于其核心数值运行时。TensorFlow Extended 通常简称为 TFX,它通过数据摄取、验证、转换、训练、评估和模型发布等组件来组织生产环境中的机器学习流水线。它的用途不同于单个训练脚本:它关注的是可重复执行的工作流,以及数据集、转换操作、模型产物和评估结果之间的关系。例如,TensorFlow Transform 可以表示某些预处理操作,使这些操作计算出的常量和转换逻辑能够以一致的方式复用。
这一更广泛的生态系统反映了一个反复出现的工程问题:训练与推理之间可能在没有任何提示的情况下出现不一致。训练流水线可能使用一组均值和方差对某个特征进行归一化,而应用程序却使用另一组;不同环境中的文本分词方式也可能有所差异。在支持的情况下,将预处理与部署的计算逻辑一同打包,可以减少此类偏差。但这并不能消除对外部特征存储、应用逻辑或不断变化的输入定义的依赖。即使数值计算图是自包含的,模型接口和数据契约仍然很重要。
TensorFlow 可以与其他框架互操作,但存在限制。开放神经网络交换,即 ONNX,定义了一种供多种工具和运行时使用的模型表示形式,转换工具可以将受支持的 TensorFlow 模型转换到这一生态系统中。转换过程必须协调算子定义、张量布局、数值约定、动态形状以及带有版本的算子集。导出的计算图可能复现前向计算,却不包含原始训练代码或优化器行为。因此,要确认转换成功,必须使用具有代表性的输入进行数值测试,而不能仅以生成了文件为准。
安全性也是框架功能与应用责任之间的一道边界。模型、自定义算子和加载机制应被视为软件制品,而不是天然无害的数据。它们可能消耗过多资源、依赖原生代码,或暴露解析器和运行时中的漏洞。同样,保护数据隐私需要对数据集、日志、检查点和预测接口实施管控;TensorFlow 不会自动对训练信息进行匿名化处理,也不会自动防止这些信息通过模型行为泄露。
TensorFlow 经常被拿来与 PyTorch 和 JAX 比较。三者的能力有很大重叠,但在编程惯例、编译器集成、生态工具和部署方式上各有不同。TensorFlow 的计算图传统和模型服务基础设施是其重要特点,但没有哪个框架能在所有工作负载下都更快或更合适。性能比较取决于模型实现、计算精度、编译器设置、硬件和测量方法;生态系统的受欢迎程度与数值计算能力则是两个不同的问题。
最后,框架的正确性不同于模型的有效性。TensorFlow 可以忠实地执行一个选择不当的目标函数,使用缺乏代表性的样本进行训练,也可能生成一个在分布偏移下失效的模型。数值检查和软件测试针对的是实现行为,而利用有实际意义的独立数据进行评估,针对的才是预测性能。无论是计算图执行、自动微分,还是成功部署,都不能证明模型的输出准确、公平,或适合某个特定用途。