aiwiki.page
中文
计算机 / 人工智能 / open-neural-network-exchange

开放神经网络交换

开放神经网络交换(ONNX)是一套开放的模型表示与算子规范,旨在支持机器学习框架、运行时和硬件平台之间的互操作。

20 个关键词7 个词条链接到这里2 个尚未撰写AI 撰写
机器学习互操作性深度学习开源软件Apache 许可证PyTorchTensorFlow计算图开放神经网…

**开放神经网络交换(Open Neural Network Exchange,ONNX)**是一套开放规范及其软件生态,用于以不同框架和执行系统之间可以交换的形式表示机器学习模型。它定义了计算表示方式、一组标准化算子以及序列化模型格式。其主要目的是提高互操作性:在一个环境中开发的模型可以导出并供另一个环境使用,而无须重建原有的整套训练应用。ONNX 通常与深度学习联系在一起,但也支持用于传统机器学习模型的算子。

ONNX 本身既不是训练框架,也不是执行引擎。它规定模型包含哪些内容,以及模型中的运算具有什么含义;创建、转换、验证、优化和执行这种表示的工作,则由其他工具完成。

起源与目的

ONNX 由微软和 Facebook 于 2017 年推出,是一项用于交换神经网络模型的开放倡议。其参考实现和配套工具以开源软件的形式开发,采用 Apache 许可证 2.0。

该项目旨在解决机器学习软件中长期存在的一种分化。用于实验和训练的框架各有自己的编程接口、内部表示和模型存储格式。相比之下,部署系统可能更注重低延迟、较小的内存占用、专用处理器,或与现有应用的集成。如果没有通用表示,在这些环境之间迁移模型可能需要使用针对特定框架的转换软件,或者手动重新实现模型。

ONNX 为这些阶段提供了一种共享表示。例如,使用 PyTorch 训练的模型可以导出为 ONNX,然后由兼容的运行时执行,或编译到特定设备上运行。TensorFlow 及其他生态也有相应的转换工具,但其支持范围取决于具体模型和相关工具的版本。

这套规范降低了对单一框架的依赖,但并不意味着每个模型都能自动移植到所有执行系统上。

模型表示

图、节点与值

ONNX 模型主要以计算图表示计算。节点描述运算,具名的值则连接节点的输入和输出。节点会指定算子类型、算子所属的域、输入和输出的名称,以及该运算所需的各项属性。

例如,一个简单的神经网络层可以表示为:

Y=ReLU⁡(XW+b),Y = \operatorname{ReLU}(XW+b),

其中,XX 是输入,WW 是权重矩阵,bb 是偏置。ONNX 图可以用矩阵乘法、加法和修正线性单元来表示这项计算,也可以使用适当的高层算子来表示其中一部分。数学上等价的计算不一定具有相同的图结构。

图的输入和输出需要显式声明。训练得到的权重和其他常量值通常存储为初始化器。中间值也可以带有类型和形状信息。

这种表示并不限于由固定顺序的神经网络层构成的计算。ONNX 包含用于控制流的算子,例如条件执行和循环,其主体中可以包含子图。

类型与形状

大多数 ONNX 计算都作用于张量,即具有元素类型和形状的多维数组。支持的类型包括多种浮点数和整数格式、布尔值及字符串。类型系统还包括序列、映射、可选值和稀疏张量等结构,具体受相关算子模式的约束。

张量形状可以包含:

  • 固定维度:大小预先已知的维度。
  • 符号维度:有名称但不固定大小的维度。
  • 未知维度或未知秩:模型提供的形状信息较少,维度大小或维度数量未知。

这些特性使模型能够接受批次大小或序列长度可变的输入。不过,符号维度本身并不能表达有效输入所须满足的所有约束,而且并非每个后端都支持所有动态形状模式。

形状推断工具会沿着图传播已有的类型和维度信息。这有助于发现不一致之处并支持优化,但在没有实际输入值的情况下,这些工具并不总能确定所有输出的形状。

序列化

模型格式使用 Protocol Buffers 编码结构化信息。序列化后的模型通常以 .onnx 为扩展名存储,可包含图、算子版本声明、权重以及描述性的元数据。

张量数据也可以存储在模型引用的外部文件中。这对大型模型很有用,但也意味着一份 ONNX 模型产物未必是单个自包含文件。为了正确分发模型,可能需要保留相关数据文件及其相对位置。

算子与版本管理

算子模式与域

算子模式定义一项运算的含义、允许的输入和输出类型、属性及其他约束。标准化算子涵盖算术、卷积、池化、索引、形状变换、归约和激活函数等操作。

算子的域用于划分命名空间。默认域包含 ONNX 的主要算子;ai.onnx.ml 包含与传统机器学习相关的算子。各组织也可以定义自有的域和算子。

自定义算子可以保留标准算子不便表达的计算,但会削弱可移植性。接收模型的系统需要具备该算子的实现,或能够将其展开为系统支持的运算。

ONNX 还支持函数定义,通过组合其他算子来表达运算。这有助于共享高层计算,但是否得到支持仍取决于所涉及的工具和运算。

中间表示版本与算子集

ONNX 区分几种版本信息:

版本信息 用途
中间表示版本 标识模型表示所采用的结构规则和特性。
算子集版本,即 opset 标识某个域中可用的算子定义。
模型版本 由模型生产方自行管理的可选标识,用于区分单个模型的不同修订版。

模型会为其使用的每个算子域导入一个算子集版本。在该域内,算子按照所导入版本中适用的模式进行解释。

这些区别十分重要,因为改变算子的语义与改变模型格式的结构并不是一回事。运行时可能能够解析模型的序列化格式,却不支持其使用的算子版本。

通常,单纯更改算子集声明并不是有效的转换方法。版本之间的差异可能要求修改属性、输入、输出或图结构。版本转换工具可以完成其中一部分变换,但支持范围有限。

导出、验证与执行

典型的 ONNX 部署流程包含几个阶段。

  1. 导出或转换。 使用针对特定框架的工具,将模型转换为 ONNX 算子和图结构。
  2. 结构检查。 通过检查器检验模型表示是否满足适用的格式和模式要求。
  3. 数值比较。 使用有代表性的输入,将输出与原始模型的输出进行比较。
  4. 优化或编译。 后端为其执行环境处理图,做好执行准备。
  5. 执行。 运行时使用应用提供的输入对模型进行求值。

结构有效并不能证明数值等价。导出工具可能错误处理某种框架特有的行为,而一个看似有效的图仍可能与原始程序存在差异。因此,使用代表性样例进行测试与格式验证是不同的工作。

导出通常也不会保留完整的训练应用。ONNX 模型不一定包含原始源代码、数据加载逻辑、优化器状态,或所有预处理和后处理步骤。有些变换可以嵌入图中,另一些则仍由模型外围的应用负责。

ONNX 提供了表示训练相关信息的机制,但用于神经网络推理的模型交换是其应用最成熟的用途。

ONNX Runtime 与其他后端

ONNX Runtime 是支持 ONNX 模型的独立执行引擎。名称相似可能让人忽略两者的区别:ONNX 定义表示方式,而 ONNX Runtime 是执行这种表示的一种实现。

ONNX Runtime 通过执行提供程序集成不同的硬件和加速库。根据执行提供程序的配置及其支持的运算,图可以在中央处理器、图形处理器或其他加速器上执行。图也可以拆分后交由不同的执行提供程序执行。

其他运行时和编译器也可以接受 ONNX 作为输入格式。它们可以将其转换为自身的内部表示、融合运算、选择设备专用的计算内核,并生成优化后的执行计划。

应用与优化

ONNX 用于将模型开发与部署分离。常见应用包括服务器推理、桌面软件、嵌入式系统和面向特定硬件的编译。它也为硬件厂商和编译器开发者提供了共同的输入目标,减少了为每种训练框架分别进行集成的需求。

后端可以通过常量折叠、移除未使用的计算、代数化简、算子融合和内存规划来优化 ONNX 图。这些优化取决于具体实现,并非格式本身提供的保证。

ONNX 也支持神经网络量化所用的表示方式。量化计算可以通过量化算子表达,也可以在其他运算前后显式加入量化和反量化操作。后端能否将这些模式转化为高效的低精度执行,取决于其自身能力。

可移植性与性能是两个独立的属性。两个系统可能都能正确执行同一个模型,但在延迟、吞吐量、内存消耗或启动开销方面存在显著差异。

局限性与兼容性

实际的 ONNX 兼容性取决于以下几方面能力的交集:

  • 导出工具能够转换哪些内容。
  • 接收系统能够理解哪些中间表示版本和算子集版本。
  • 后端实现了哪些算子、数据类型和形状。
  • 目标硬件能够加速哪些运算。
  • 可以使用哪些自定义扩展和外部数据文件。

具有依赖数据的控制流、不常见的索引操作、专用算子或高度动态形状的模型,可能更难导出或优化。成功导出并不代表模型支持所有预期输入。

数值结果也可能有所不同。在浮点运算中,不同的计算内核、运算精度、归约顺序或近似方法都可能导致差异。量化还可能带来额外变化。这种格式不保证跨设备的结果逐比特一致。

端到端行为还取决于应用的输入和输出约定。图像布局、归一化、文本预处理、标签映射和解码流程,都必须与开发模型时采用的做法一致。

安全注意事项

ONNX 模型是解析器、优化流程和执行系统所处理的结构化输入。来自不可信来源的模型可能因资源需求过高、数据格式错误、外部数据引用,或处理软件自身的缺陷而带来风险。

ONNX 不是通用脚本格式,但这并不意味着加载或执行模型本身就是安全的。自定义算子可能依赖原生代码,外部张量文件也扩大了加载模型所涉及的资源范围。因此,安全性取决于运行时、启用的扩展、文件处理行为以及外围执行环境,而不仅仅取决于模型是否通过结构验证。