Keras 是一个用于以 Python编程语言开发深度学习模型的开源软件库,同时也是一套高级应用程序编程接口。它为神经网络层、模型构建、优化、评估和部署提供了抽象。其核心设计目标是让常见工作流程简洁、一致,同时保留定制底层计算的途径。
Keras 于 2015 年首次发布,随后与 TensorFlow 紧密关联;TensorFlow 集成的 tf.keras 接口使 Keras 成为构建 TensorFlow 模型的主要途径之一。2023 年发布的 Keras 3 重新确立了多后端架构,支持 TensorFlow、JAX 和 PyTorch。区分接口与后端很重要:Keras 定义模型开发接口,而计算后端则提供大部分张量执行、自动微分、编译及硬件支持功能。
Keras 可用于图像分类、序列建模、生成式建模以及预训练网络适配等多种任务。它的重要性与其说在于引入了某种特定的学习算法,不如说在于围绕可复用组件组织人工神经网络的工程开发。它的发展历程、编程模型、后端架构和部署格式,也体现了在易用性、可移植性以及利用框架特有功能之间所作的实际权衡。
起源与演变
Keras 由 François Chollet 创建,于 2015 年 3 月首次发布。当时,构建神经网络往往需要细致地操作符号表达式,以及各框架特有的计算机制。早期 Keras 在现有数值计算系统之上提供了一套简洁的层与模型接口,最初支持 Theano,随后支持 TensorFlow。与那些更直接地暴露底层执行引擎的接口相比,Keras 以代码易读、便于快速实验为鲜明特色。
Keras 的名字源于希腊语中表示“角”的词,借用了古典文学中真实的梦境穿过角门的意象。该项目起初与神经计算研究有关,但后来发展为一个通用库,而非始终局限于某个研究问题。它将全连接变换、卷积、循环处理和非线性激活等常见运算封装为组件,用户可以组合使用,无须逐一实现相应的数学导数。
Keras 2 于 2017 年推出,其 API 设计兼顾了独立库的使用方式和与 TensorFlow 的集成。TensorFlow 通过 tf.keras 引入 Keras;随着 TensorFlow 2.0 于 2019 年发布,这一接口成为该框架构建模型的主要高级 API。通过这次集成,Keras 得以利用 TensorFlow 的即时执行、分布式策略、数据流水线和模型服务基础设施。与此同时,旧的独立多后端实现停止了开发,此后 Keras 2 的开发以 TensorFlow 为中心。因此,历史资料中提到的“Keras”,并不总是指同一个软件包、执行系统,也不一定具有相同的兼容性保证。
2023 年 11 月公布的 Keras 3 提供了全新的多后端实现,改变了上述关系。它并非原封不动地恢复最初的架构,而是引入了统一的运算命名空间和更严格的模型状态规范,使组件能够切实地在现代执行系统之间移植。TensorFlow 2.16 将 Keras 3 设为 tf.keras 的默认实现;对于依赖 Keras 2 行为的软件,仍有单独的旧版兼容软件包可用。因此,在理解示例、复现实验或迁移应用时,版本号和导入路径都十分重要。
该项目依据 Apache 许可证 2.0 分发。其发展历程体现了软件工程中反复出现的一种矛盾:稳定、易用的公共接口,必须与快速变化的执行引擎共存。旧教程可能包含已过时的参数名称、保存约定,或对计算图执行方式的假设。Keras 这一名称的延续,并不意味着所有为早期版本编写的程序都能不加修改地在后续版本上运行。
计算后端与可移植性
Keras 将高层模型描述与数值执行的许多细节分离开来。后端负责实现张量运算、变量处理、自动微分,以及在受支持设备上的执行。在 Keras 3 中,TensorFlow、JAX 和 PyTorch 分别提供不同的后端环境,各自拥有编译器、设备运行时和生态系统集成。因此,Keras 并不是一套能在所有层面独立替代这些系统的方案,而是利用它们的能力,提供一个通用的建模层。
通常需要在导入 Keras 之前选择后端,例如通过 KERAS_BACKEND 环境变量进行设置。如果模型完全使用受支持的 Keras 层和后端无关的运算编写,通常就可以在不改变架构定义的情况下,在另一个后端上重新构建并运行。这使组织能够在保留统一建模接口的同时,评估不同的执行环境。但这并不意味着可以在框架之间自由迁移运行中的张量或运行时资源,也不意味着所有模型都具有可移植性。
编写可移植数值计算代码所依赖的主要抽象接口是 keras.ops。它包含数组运算和神经网络基础算子,例如矩阵乘法、归约、形状变换和激活函数。自定义层若使用 keras.ops.matmul,而非某个框架专有的矩阵乘法运算,就能降低与特定后端的耦合程度。Keras 还提供状态管理和随机运算相关功能,帮助自定义组件满足不同的追踪和执行要求。虽然仍然可以直接调用后端库,但这样做可能会限制可移植性。
在以符号方式构建模型时,这一区别尤为重要。Keras 符号张量表示模型结构中的一个占位符,而不只是所选后端中的普通即时执行张量。在函数式 API 中,直接对这类占位符应用任意后端运算,可能违反模型构建规则。使用 Keras 运算,或将适当的计算封装在层中,可以保留 Keras 在计算图中追踪输入、输出及依赖关系所需的信息。
可移植性是一项兼容性目标,并不保证模型在所有环境中的行为完全一致。各后端在可用算子、受支持的数据类型、随机数生成、数值计算内核和编译约束等方面可能存在差异。一些高级分布式功能或导出功能仅适用于特定后端。浮点运算中的细微差异也可能在训练过程中不断累积。因此,即使源代码保持不变,可移植的模型架构也可能需要在每个后端上重新进行性能测试和数值验证。
层、张量与模型构建
层是 Keras 中计算和状态的基本单元。层接收一个或多个张量,返回变换后的张量;它可以拥有可训练参数、不可训练状态,也可以两者都没有。例如,全连接层执行形如 的变换,其中 是权重矩阵, 是偏置向量, 是激活函数。卷积层、池化层、归一化层、嵌入层和注意力层都遵循相同的基本接口,但执行的数学运算各不相同。
Keras 将配置与状态区分开来。配置包括输出单元数量、卷积核大小等设置;状态则包括学习得到的权重和其他持久变量。许多层会在首次构建时创建依赖于输入形状的权重,这一构建过程既可以显式触发,也可以在接收到输入时触发。一个输入维度为 128、输出单元数为 64 的全连接层,如果包含偏置,就有 个参数。将组件构造与权重创建分离,可以让组件在不立即指定输入维度的情况下实现复用。
Sequential 接口表示一种线性堆叠结构,其中每一层的输出都作为下一层的输入。它适用于只有一条主要路径的模型,例如小型多层感知机或结构简单的图像分类器。指定输入后,再依次添加全连接层、激活层和输出层,只需几条表达式就能定义一个完整的网络。这种简洁性也带来了局限:多输入、共享分支和跳跃连接等结构无法自然地融入单一的顺序链中。
函数式 API 使用显式的符号输入和输出来描述由相互连接的层组成的有向网络。它支持多输入、多输出、共享层,以及残差连接等结构。对两个输入调用同一个层对象,会共享该层的权重;而创建两个其他方面完全相同的层对象,通常会生成各自独立的权重。对于使用同一编码器比较两个输入的模型,这一区别至关重要。函数式模型保留了可供检查的拓扑结构,便于检查形状、进行可视化以及提取中间表示。
模型子类化提供了一种更侧重编程的替代方式。开发者定义 keras.Model 的子类,创建组件,并实现一个 call 方法来描述前向计算过程。这种方式适合特殊的控制流,或难以用固定计算图表达的架构。不过,更大的自由度也可能增加自动检查和基于配置重建模型的难度。这三种接口相互补充:子类化模型可以包含函数式模型或 Sequential 模型,而任何模型都可以作为更大架构中的一个组件。
训练、目标函数与评估
Keras 通过 compile、fit、evaluate 和 predict 来组织标准训练流程。尽管名为 compile,该方法主要用于配置学习过程:为模型指定优化器、一个或多个损失函数、评估指标以及执行选项。它并不等同于将整个程序翻译成机器指令。根据后端和配置的不同,后续执行还可能涉及追踪和编译器优化。
对于典型的监督学习问题,需要调整参数 ,以最小化如下目标函数:
其中, 是模型, 是损失函数, 是正则化项。Keras 计算相应的目标函数值,通过后端获取梯度,并使用优化器更新参数。可用的优化器包括采用随机梯度方法的优化器和 Adam优化器。批次大小和学习率等选项会影响收敛过程,并不会由模型架构自动确定。
损失函数与评估指标的作用不同。损失函数用于驱动优化;评估指标则反映预测结果或训练行为的某种特性。准确率对分类任务可能很有用,却不适合作为可微的训练目标。Keras 支持为模型的不同输出设置不同的损失函数和评估指标,同时支持样本加权以及按任务需求进行汇总。正确配置的前提是明确输出的含义。例如,使用分类损失函数时,必须指定其接收的是概率,还是通常称为 logits 的未归一化分数。
fit 方法管理批次和训练轮次,跟踪评估指标,并在训练过程的指定时点调用回调函数。回调函数可以保存检查点、调整学习率、写入诊断日志,或实现早停法。验证阶段的测量结果有助于发现过拟合,但反复依据同一个验证集选择架构,本身也可能使开发过程产生偏差。在模型选择决策完成后,使用独立的测试集来估计模型性能。
推理和评估也取决于层所处的模式。随机失活在训练和推理时的行为不同,而批量归一化会维护统计量,这些统计量的使用方式取决于训练标志和配置。因此,直接调用模型、使用 predict 和执行训练步骤,并非在所有情境下都可以相互替代。Keras 为这些模式之间的切换提供了统一机制,但它无法判断所选的目标函数、标签或评估方案是否正确反映了预期应用的需求。
自定义组件与自动微分
Keras 在标准层和训练循环之下提供了扩展接口。自定义层通常需要定义持久状态、前向计算,以及在必要时可序列化的配置。常规做法是在 __init__ 中创建不依赖输入的子层,在 build 中创建依赖输入形状的权重,在 call 中执行张量计算。通过 add_weight 创建的权重会纳入该层所跟踪的状态,使优化器、检查点保存机制和模型检查工具能够以一致的方式处理这些权重。
状态跟踪不仅仅是记录变量。如果变量的创建方式不在 Keras 能够识别的机制之内,它就可能不会出现在模型的可训练参数或保存的权重中。Keras 3 还更加强调,应在进入需要追踪的执行路径之前创建状态,尤其是为了兼容 JAX。在反复调用过程中按条件创建新参数,可能会违背模型状态结构固定这一假设。因此,组件的行为不仅取决于其数学公式,也取决于其变量在何时、以何种方式创建。
计算后端提供自动微分功能。在训练期间,可微运算会被记录或变换,以便计算目标函数相对于参数的导数。神经网络训练通常采用反向模式微分,对应于沿模型各项运算进行的反向传播。这样就不必为每一层手工编写导数,但并不意味着任意 Python 代码都能进行微分。将张量转换为普通的宿主语言值、调用不受支持的外部例程,或使用不可微运算,都可能中断梯度路径。
对于超出内置工作流程的学习过程,Keras 允许自定义训练步骤或完全自定义训练循环。例如,生成对抗网络可能为生成器和判别器分别使用优化器,某个模型可能通过多个相互作用的损失函数进行训练,某种算法也可能需要跨多个批次累积梯度。重写训练步骤时,可以保留 fit 的外围机制,包括回调和训练轮次级别的报告。完全自定义的循环提供了更多控制权,但也将指标更新、分布式运行行为和检查点管理的责任交给了应用程序。
模型计算不依赖特定后端,并不意味着自定义训练循环也会自动具备这一特性。TensorFlow 通常使用梯度带,PyTorch 使用其 autograd 系统,而 JAX 通常通过对显式传递状态的函数进行变换来表达更新操作。Keras 还提供无状态接口,将参数及更新后的状态显式暴露出来,从而便于与函数式执行方式集成。应采用何种抽象层次取决于实验需求:常规监督学习训练可以受益于标准循环,而专门的研究则可能需要有意识地使用特定后端的机制。
数据准备与预训练模型
Keras 模型处理的是数值张量,但训练数据的质量与组织方式仍需单独考虑。其训练接口接受类数组输入以及多种形式的可迭代数据流水线,具体支持哪些选项取决于后端和数据适配器。数据可以通过 NumPy 数组、TensorFlow 数据集、PyTorch 数据加载器或 Keras 实用工具提供。这些适配器用于衔接不同的输入格式,本身并不能解决标签不一致、观测值缺失或采样不当等问题。
预处理层可以将某些变换纳入模型,例如数值归一化、类别查找、文本向量化和图像尺寸调整。某些层提供 adapt 方法,可根据数据估计统计量或构建词表。这些估计结果属于通过学习获得的预处理状态。即使神经网络的权重仅使用指定的训练集进行训练,若在验证样本或测试样本上拟合这些预处理状态,也可能引入数据泄漏(机器学习)。某些预处理功能还存在特定于后端或数据流水线的限制,与普通数值计算层的限制有所不同。
将预处理集成到模型中,可以减少训练与推理之间的差异。例如,保存下来的归一化层可以对新输入的数据应用与模型开发阶段相同的已存储均值和方差。数据增强层的用途则不同:随机翻转、旋转等变换用于生成多样化的训练样本,通常在推理时不启用。这些变换是否适用取决于具体任务;在一种情境下不改变标签的变换,在另一种情境下可能会破坏相关信息。
Keras Applications 提供成熟的计算机视觉架构,包括 VGG、Inception 和残差神经网络(ResNet)的多个版本,并可选用预训练权重。其中许多权重来自在 ImageNet 数据集上的训练。这些模型支持迁移学习:可以将预训练的特征提取器与新的输出头组合起来,先冻结骨干网络进行训练,再通过微调更新部分或全部参数。不同模型系列对输入缩放、图像尺寸和预处理方式有不同要求,这些要求也是模型实际使用规范的一部分。
相关生态项目通过提供更多预训练架构、任务封装和预设配置,进一步扩展了这一做法。这些资源使复杂模型更容易实例化,但存在可用的预训练权重,并不意味着这些权重适合所有数据集。模型性能可能随分布偏移而变化,实际输入也可能与预训练所用数据存在显著差异。因此,评估时必须区分可复用的模型实现与支持某一具体用途的实证依据。
硬件执行、编译与分布式运行
Keras 的硬件支持很大程度上来自其后端。模型可以在中央处理器、图形处理器上运行,也可以在受支持的环境中使用张量处理单元。设备是否可用,取决于后端的构建配置、驱动程序、加速器库以及所支持的操作。选择支持 GPU 的后端,并不意味着每项操作都会在 GPU 上执行;不受支持的操作、设备间的数据传输以及输入流水线的瓶颈,都可能影响整体执行表现。
编译可以将多项张量操作转换为更高效的可执行代码。Keras 提供了 jit_compile 等选项,可在受支持的情况下请求即时编译。实际效果取决于后端和模型:编译可能融合操作、减少解释器开销或改进内存调度,但也会带来跟踪和编译的成本。对于包含不受支持的操作或形状变化很大的模型,可能需要采用不同的设置。能够在即时执行模式下正常运行的程序,并不一定兼容所有编译执行模式。
混合精度计算在模型的不同部分使用不同的数值格式。Keras 的数据类型策略允许以较低精度的格式执行计算,同时以较高精度保留特定状态或进行特定计算。在合适的硬件上,这可以提高吞吐量并减少内存使用。不过,较小的数值范围可能导致上溢或下溢,因此某些配置会使用损失缩放来保留有效的梯度值。性能收益取决于加速器、张量维度,以及算术运算与内存数据传输之间的比例。
跨多个加速器进行训练会涉及分布式计算问题。在数据并行中,各个模型副本处理不同的批次或同一批次的不同部分,并在更新前汇总梯度。模型并行则将模型的不同部分或其张量拆分到多个设备上。基于 TensorFlow 的 Keras 可以使用 TensorFlow 的分布式策略;Keras 3 也提供了分布式抽象,但其可用性因后端和版本而异。没有一种分布式方案能够在所有受支持的环境中自动达到最优。
有意义的性能比较应分别考察编译、预热、输入加载和稳态计算。吞吐量还取决于批次大小、序列长度、数值精度,以及是否将预处理计入其中。在分布式训练中增大全局批次大小,可能改变优化过程的行为,而不只是加速同一个实验。Keras 简化了执行功能的使用,但用户仍需认真考虑内存容量、通信开销,以及改变训练配置所带来的数学影响。
序列化、导出与部署
保存模型可以有多种目的:恢复训练、保留可复用的 Python 层面模型、迁移权重,或生成供其他运行时使用的推理产物。Keras 区分这些用途,而不是将所有输出文件一视同仁。Keras 3 的原生格式使用 .keras 扩展名,保存模型配置、参数值,以及适用情况下的优化器状态。只要所需的模型组件及兼容实现可用,就能据此重建模型并继续训练。
自定义对象的序列化需要额外信息。内置层具有已知的标识符和配置模式;自定义类则可能需要注册,并提供合适的 get_config 实现。保存的产物通常不会完整包含重现任意行为所需的全部 Python 源代码。因此,依赖外部资源、非标准调用签名或未注册组件的模型,可能需要显式的重建代码或额外资源。
仅保存权重会生成用途更有限的产物。它保留数值状态,但未必包含解释这些状态所需的架构描述。加载权重需要兼容的模型结构,且对变量组织方式的预期必须一致。这种方式适合保存检查点,或将参数迁移到单独维护的代码中;但如果没有保留相应的架构、预处理及版本信息,就可能产生歧义。仅凭权重文件并不能完整描述一项实验。
导出面向的是推理,而不是在 Python 层面重建模型。Keras 3 提供了导出功能,包括在受支持的模型和环境中导出 TensorFlow SavedModel。SavedModel 可以向 TensorFlow 的模型服务工具提供可调用的推理端点,但不能通过 Keras 3 的 load_model 接口,将其作为普通的原生 Keras 模型加载。Keras 提供了其他机制,例如 TFSMLayer,用于集成适用的 SavedModel 端点。其他交换或部署途径,包括 开放神经网络交换,则取决于可用的导出器、受支持的算子以及后端兼容性。
部署会引入训练代码中可能未显现的约束。动态形状、预处理操作、自定义层和数值数据类型,都可能影响模型向服务端或移动端运行时的转换。神经网络量化等技术可以减少存储需求或加快神经网络推理,但也可能改变准确率,因此需要开展具有代表性的评估。部署后的系统还包括 Keras 本身之外的请求处理、输入验证、监控和版本管理。成功导出产物,只能证明它在技术上可以执行,并不意味着端到端的可靠性已有保障。
可复现性、局限性及其在生态系统中的定位
Keras 位于机器学习软件栈的高层,但并不将用户局限于一组固定的模型。它既能用少量代码实现标准分类器,也支持自定义层、损失函数和训练流程。这种组合在教学、原型开发和反复实验中尤为有用。其抽象机制减少了常规实现工作,但也可能掩盖损失归约、掩码处理、状态更新和执行模式等方面的具体选择,直到这些细节变得重要时,用户才需要关注它们。
要实现可复现性,仅仅设置一个随机种子还不够。Keras 提供了统一设置随机种子的工具,但结果仍可能受到后端版本、加速器内核、运算顺序和非确定性执行的影响。不同框架的伪随机数生成器各不相同,因此,相同的种子值并不意味着不同后端会产生相同的随机序列。要复现一次训练运行,可能需要记录软件版本、数值精度、数据集顺序、预处理状态、优化器设置,以及与硬件相关的确定性选项。
这个库也不能替代实验设计。即使训练脚本十分简洁,其中仍可能存在标签泄漏、测试集划分缺乏代表性或评价指标不合适等问题。超参数优化可能对验证集上的评估结果过拟合,而技术上正确的实现也可能无法泛化到训练分布之外。Keras 提供拟合和评估模型的机制;关于泛化(机器学习)的论断,取决于数据和评估流程,而非构建网络时使用的接口。
因此,Keras 与底层框架之间既有可供比较的一面,也有协作关系。在 PyTorch 上使用 Keras 的开发者仍依赖 PyTorch 的数值计算机制,正如在 TensorFlow 上使用 Keras 的开发者依赖 TensorFlow 的执行机制一样。使用后端原生代码,可以更早地使用专用算子,或更直接地控制非典型算法。Keras 能在这些环境中提供一套一致的模型构建方式,但专用集成和自定义执行路径可能会削弱可移植性,而可移植性正是采用统一接口的初衷。
这些边界在迁移过程中尤为明显。从 Keras 2 迁移到 Keras 3,可能需要替换不受支持的符号运算、显式创建状态、更新序列化代码,或调整对嵌套输入和输出的原有假设。在不同后端之间迁移时,可能还需要进一步调整自定义循环和数据流水线。在这些情况下,兼容性最好被理解为特定模型、模型组件及其周边工作流程所具有的属性,而不能仅凭 Keras 这个名称,或两个环境实现了相同的高层 API,就认定它们兼容。