MLOps 是一套工程实践、组织安排和技术系统,用于管理生产环境中机器学习的完整生命周期。它将模型开发与数据处理、软件交付、基础设施运行、监控和治理衔接起来。其核心关切不只是让训练好的模型可供使用,而是维护一个可靠的系统;这个系统的行为会受到不断变化的数据、软件、计算环境和运行要求的影响。
MLOps 这一名称将机器学习与运维结合起来,体现了开发运维一体化对它的影响。然而,机器学习系统带来了一些常规软件交付无法充分解决的运维问题:训练数据必须可追踪,统计性能必须经过评估,训练阶段与服务阶段的数据变换必须保持一致,而且即使可执行代码没有任何变化,预测质量也可能下降。因此,MLOps 将数据集、训练流程、评估结果、模型产物和部署配置视为相互关联的生产资产。
这门学科适用于多种系统,从定期更新的需求预测系统,到实时推荐服务,再到围绕大语言模型构建的应用。其范围涵盖可复现性、自动化流水线、部署策略、监控、事件处置、安全,以及跨团队的职责分配。MLOps 并不由某一种产品、架构或成熟度模型来定义;具体实施方式取决于系统失效的后果、模型变更的频率以及可用资源。
起源及其与软件运维的关系
MLOps 源于软件工程、统计建模、数据工程与生产运维的融合。早在这一术语普及之前,统计模型就已部署于商业和科学系统中。信用评分、工业预测、欺诈检测和搜索排序都需要相应的流程,将分析工作成果投入实际运行环境。到了 2010 年代,变化在于模型开发的规模和频率,以及共享计算基础设施和可复用机器学习框架的日益普及。
DevOps 带来了一种理念:开发与运维应在系统的整个生命周期内共同承担责任,而不是隔着僵化的组织边界交接已完成的产物。自动化构建、部署流水线、配置管理和基础设施即代码等实践,成为机器学习平台的基础。持续交付为确保变更随时处于可发布状态提供了范式,而站点可靠性工程则带来了运行目标、事件管理以及系统化处理服务可靠性的方法。
机器学习暴露出照搬这些实践的局限性。程序可能仍在正确执行,但其预测却越来越不准确。数据源的一处微小改动可能影响数百个衍生特征,而模型也可能依赖某些未被记录的假设,例如观测样本是如何选取的。在 2015 年的论文《机器学习系统中隐藏的技术债务》(Hidden Technical Debt in Machine Learning Systems)中,D. Sculley 及其合作者描述了相互纠缠、隐藏反馈回路、未声明的使用方,以及对不断变化的外部数据的依赖等问题。这篇论文推动人们认识到,训练好的模型往往只是其所处生产系统的一小部分。
后续工作进一步明确了这些问题。Eric Breck 及其合作者在 2017 年发表的论文《机器学习测试评分》(The ML Test Score)中,提出了用于评估系统是否具备投产条件的测试与监控实践。2017 年一篇论文介绍的 TensorFlow Extended 展示了一条集成式生产流水线,涵盖数据验证、转换、训练、分析和模型服务。2018 年推出的 MLflow 则提供了可复用的功能,用于跟踪实验、打包项目和管理模型。这些进展反映出一种更广泛的转变:从孤立的训练脚本转向可重复执行的运维工作流。
因此,MLOps 的范围比模型部署更广,但又不及对组织全部数据与软件资产的整体管理。它与数据运维、平台工程和治理有所交叉,但重点关注决定机器学习系统行为的各种依赖关系。组织可能以不同的名义落实这些职责;设立专门的 MLOps 团队并不是践行这门学科的前提。
机器学习生命周期与系统边界
机器学习系统的运行生命周期通常始于决策需求或服务需求,而非某种算法。预测系统可能需要提前七天估算需求,而交易筛查系统则必须在支付请求超时之前返回风险评分。这些需求决定了什么算作一条观测记录、哪些结果可作为标签、标签多久能够获得,以及哪些错误值得关注。即使模型针对某个易于衡量的基准进行了优化,如果预测结果来得太晚,或无法支持预期的决策,它也可能并不适用。
这一生命周期通常包括数据获取、验证、转换、训练、评估、发布、推理和监控。这些阶段并非严格按单向顺序推进。评估可能揭示标签定义有误;监控可能发现上游转换环节出现故障;发生事故时,可能需要回退特征计算逻辑,而不是更换模型。因此,流水线执行记录需要保留各阶段之间的关联,而不能仅仅表明每个阶段都已完成。
将训练系统与预测系统区分开来,有助于理解系统边界。训练系统使用历史样本,生成模型制品,例如人工神经网络的参数或一组决策树。预测系统则加载该制品、获取输入、执行转换,并通过应用程序编程接口、文件或下游事件返回输出。在许多系统中,这两种环境在硬件、延迟约束、可用数据和故障模式方面都有显著差异。
生产环境的边界还涵盖模型服务之外的组件。推荐应用可能依赖身份解析、商品目录、资格判定规则、排序逻辑以及用户界面的行为。即使模型服务器在技术层面运行正常,如果库存数据过时,或下游组件错误地解读评分,整个应用仍可能出现故障。因此,运行评估需要分别考察模型质量、流水线正确性、服务可靠性以及整个应用的实际成效。
生命周期的最后阶段包括替换和退役。当业务流程发生变化、输入数据源不再可用,或者更简单的规则系统已被证明足以满足需求时,模型可能就不再需要了。退役工作包括移除定时任务、停用闲置基础设施、管理保留的制品,以及识别依赖该模型的使用方。如果没有明确的生命周期终止流程,过时的模型和流水线可能继续产生成本,或持续生成仍被使用却没有明确负责方的输出。
数据依赖、特征流水线与血缘
数据是机器学习系统持续依赖的动态要素,而不是仅在开发期间使用一次的静态资源。采集软件、所覆盖的人群、标注规则或上游业务流程的变化,都可能改变模型的行为。因此,数据质量检查不能仅限于确认文件是否可读,还可以检查字段类型、必填值、允许的取值范围、类别词表、唯一性约束、事件时间顺序以及列之间的关系。一个数值字段的单位从秒变为毫秒后,其类型可能保持不变,但模型对它的解读却可能因此失效。
历史数据集需要对时间作出精确定义。一个事件可以有发生时间、摄取时间,以及之后的更正时间。要训练一个用于在时间 作出决策的模型,就必须重建在 时实际能够获得的信息。时点连接将每条训练观测记录与作出该决策前可用的特征值关联起来。使用数据库中较晚的值可能引入数据泄漏(机器学习),使模型在线下取得优异结果,却无法在实际运行中复现。
特征工程在开发与生产之间又形成了一道边界。如果训练脚本与在线服务对同一变量采用不同的归一化方式,部署后的模型所接收的输入就会不同于训练时使用的输入。这种差异通常称为训练与服务偏差。共享转换代码可以减少这类偏差,但如果执行环境使用的源数据、窗口边界、缺失值处理策略或聚合语义不同,仅共享代码仍然不够。
特征存储用于组织可复用的特征定义及其物化值。许多实现会将用于存放历史训练数据的离线存储,与针对低延迟检索进行优化的在线存储区分开来。例如,可以根据事件流计算某个账户在过去一小时内的交易次数,并将其提供给欺诈检测模型使用。维护这一特征需要一致的事件时间处理、数据新鲜度保证,以及历史状态重建能力。特征存储不会自动解决这些问题,而是提供管理这些问题的机制。
数据血缘记录输出如何依赖于数据集、转换、配置以及先前的产物。如果源表中存在错误的货币换算,血缘信息就可以帮助找出受影响的训练运行和已部署模型。数据集快照、不可变对象版本和内容摘要有助于准确确定某次运行使用了哪些输入。在不便保留完整副本的情况下,系统可以记录源版本、分区标识符、抽取查询以及所依据的数据保留假设。访问权限和删除义务使长期可复现性变得更加复杂:保留模型的来源记录,并不一定意味着有权无限期保留其底层的每一条记录。
实验跟踪、可复现性与模型制品
模型开发过程中,训练运行的次数通常远多于最终部署的模型数量。各次运行在数据选择、预处理、算法选择、超参数、初始化和执行环境等方面各不相同。实验跟踪将这些输入与指标、日志、制品及上下文信息关联起来。一份有用的记录可以将源代码修订版本、数据集版本、依赖项规范、训练配置和产出的模型串联起来,以便对有潜力的结果进行检查和复现。
可复现性有多种含义。精确可复现性要求输出完全相同,有时甚至要求逐比特一致。统计可复现性要求结果在适当的容差范围内或分布层面保持一致。操作可复现性则意味着,可以在受控环境中重新执行记录下来的流程,并生成行为表现相当、可供部署的制品。这些概念并不等同。一次训练运行可以具备操作可复现性,却不具备逐比特确定性。
随机种子会影响初始化、打乱顺序和采样,但无法控制所有变异来源。并行计算可能改变浮点数归约运算的顺序,而浮点加法并不满足结合律。某些加速器操作所采用的执行策略,其运算顺序会在不同运行之间发生变化。驱动程序版本、数值计算库、编译器和硬件也可能影响结果。因此,可复现性记录不能只包含随机种子,测试也可能采用数值容差,而非要求精确相等。
模型制品需要有明确定义的接口。相关信息包括预期的输入字段、字段的类型和形状、预处理要求、输出含义,以及兼容的运行时版本。对于分类器,输出分数的排列顺序必须与类别标签明确对应。对于文本模型,分词器和词表可能与权重同样重要。如果只打包参数文件,就可能遗漏复现推理过程所需的依赖项。
模型注册表负责管理可明确标识的模型版本,以及与其使用相关的元数据。它可以记录评估依据、归属、沿袭关系、模型签名、审批决定和部署引用。“候选”或“生产”等别名是指向版本的指针,不能替代不可变标识符。即使别名发生变化,发布记录也必须保留实际部署的确切制品信息。
版本控制是管理代码和配置的核心手段,但大型数据集和参数文件通常需要单独的制品存储。密码散列函数有助于检测意外更改和识别内容,而访问策略则决定谁有权发布或替换制品。可复现的发布会将这些系统关联起来,串联源代码修订版本、数据引用、构建环境、评估结果,以及在生产环境中实际执行的制品。
自动化流水线与统计质量门禁
MLOps 中的自动化通常结合了持续集成、持续交付和持续训练。持续集成检查代码和配置的变更能否安全地合入系统。持续交付将通过验证的版本准备好,以供部署。持续训练则根据更新后的数据或配置,自动生成新模型。这些流程可以独立运行:系统可以自动重新训练,但要求人工批准发布;也可以部署更新后的推理代码,而不重新训练模型。
训练流水线通常表示为依赖关系图。数据验证先于数据变换,数据变换先于训练,评估先于模型晋级。编排器负责管理任务调度、重试、缓存和执行记录。正确的重试行为至关重要,因为任务可能对外部系统产生副作用。如果重复执行的任务将同一输出发布了两次,或覆盖了已获批准的产物,那么即使调度层面成功恢复,系统仍可能陷入不一致状态。采用不可变输出,并设置明确的发布步骤,有助于将计算与发布分离。
测试涵盖多个层面。单元测试检查变换逻辑、指标计算和接口处理。集成测试检查存储、训练代码和服务组件之间的交互。数据测试用于发现异常分布或不符合预期的数据模式。模型测试考察预测性能、稳健性以及在相关子群体上的表现。端到端测试验证在贴近实际的条件下,一个完整请求能否得到格式正确的响应。通过某一层面的测试,并不能证明其他层面也正确无误。
统计质量门禁需要比确定性的软件断言更加审慎。候选模型测得的优势可能源于抽样波动、反复试验,或调优过程中无意使用了评估数据。验证集用于支持开发决策,而单独保护的测试集则用于在这些决策确定后估计性能。与时间相关的应用通常需要按时间顺序进行评估,而不是随机划分数据。当多条观测记录属于同一个人、设备或组织时,也可能需要按实体划分,避免同一实体的数据出现在不同集合中。
发布标准往往由多个条件共同构成,而非仅依赖一个综合分数。例如,候选模型可能需要同时满足以下要求:总体预测误差更低、低销量产品的表现没有明显退化、推理延迟不超过规定上限,以及输入模式兼容。置信区间或重复评估可以用来表达不确定性,但其有效性取决于有关依赖关系和抽样的假设。如果运维成本大幅增加,平均表现的小幅提升可能不足以成为发布的理由。
并非每次触发都应立即引发部署。新数据、预定计划、代码变更或监控告警都可以启动一次训练运行,但由此产生的模型仍可能无法通过验证。持续训练指的是学习工作流的自动化,并不意味着每个新训练的模型都必须替换当前模型。
部署架构与推理性能
部署架构取决于预测结果的使用方式。批量推理按计划处理一批观测数据,例如在夜间生成需求预测。在线推理在限定的延迟内响应单个请求或小批量请求。流式推理响应持续到来的事件,并可能跨时间维护状态。嵌入式部署将模型部署在设备上,此时,网络连接、内存、功耗和更新机制便成为核心约束。
在线服务通常通过网络接口提供预处理、模型执行和后处理功能。神经网络推理可以在应用进程内运行,也可以在独立的模型服务中运行。独立服务支持单独扩缩容,并可隔离框架,但也会引入网络开销和额外的运行依赖。微服务有助于划分清晰的服务边界,但服务调用链可能累积延迟,并产生难以从任何单个组件诊断的故障。
运行环境打包旨在明确各项依赖。软件容器将应用文件和用户空间依赖打包在一起,而内核及部分硬件接口仍由宿主机提供。因此,容器化并不能消除兼容性问题,尤其是加速器驱动程序的兼容性问题。开放神经网络交换等模型交换格式可以将训练框架与推理运行时解耦,但转换过程中可能遇到不受支持的算子或数值差异,需要加以验证。
性能不仅取决于模型的算术运算成本。特征获取、序列化、网络通信、排队和后处理可能占据请求处理时间的大部分。动态批处理通过合并请求提高加速器利用率,但等待凑齐一个批次也会增加延迟。神经网络量化可以减少内存占用和计算量,但也可能影响准确率。硬件选择、模型大小、并发限制和缓存策略共同决定吞吐量与尾部延迟。
容量规划可以利用到达率、响应时间和并发任务数之间的关系。在稳定条件下,利特尔定律指出:
其中, 是系统内的平均请求数, 是平均到达率, 是请求在系统内停留的平均时间。如果请求到达率超过系统可持续提供的服务能力,队列就会增长,延迟也会升高。自动扩缩容会响应这种压力,但模型加载和加速器分配可能导致新增容量迟迟无法就绪。
部署策略可以限制缺陷版本的影响范围。金丝雀发布将一小部分流量路由到候选版本。影子部署将请求副本发送给候选版本,但不使用其输出作出实际决策。蓝绿部署维护彼此独立的环境,并通过更改流量路由在环境之间切换。回滚要求周边状态保持兼容:如果相应的特征定义或输入契约已经改变,仅恢复旧权重可能无法奏效。
监控、分布偏移与生产环境评估
监控需要区分基础设施的健康状况与模型的表现。基础设施信号包括请求量、错误率、延迟、资源饱和度和依赖项故障。数据信号包括数据缺失情况、违反数据模式约束的情况、特征的新鲜度以及观测值的变化。模型信号包括预测分布、实测误差、校准情况,以及在相关群体中的表现。即使服务满足所有可用性目标,其预测的实用性也可能下降,因此,运行可用性不能代替预测质量。
分布偏移描述的是开发期间接触到的数据与后续接触到的数据之间的差异。如果用 表示输入、 表示目标,那么 的变化涉及输入分布,而 的变化涉及输入与结果之间的关系。后者通常称为概念漂移。不同领域使用的术语有所不同,而实际事件可能同时涉及多种形式的变化。
无标签监控可以在结果尚未获得时,检测特征分布或预测分布的变化。常用方法包括比较直方图、汇总统计量、类别频率或多变量表示。这些比较只能表明发生了变化,并不一定意味着性能下降。季节性偏移可能是预期之内且无害的;即使许多受监控的边缘分布保持稳定,模型的准确性也可能下降。阈值会受到样本量、基线选择、重复检验以及误报成本的影响。
基于真实标签的监控往往存在延迟,或信息不完整。欺诈标签可能在交易发生数周后才获得;需求预测则只能在预测期结束后进行评估。有些结果只能被选择性地观测到,因为模型决定了哪些案例会受到关注。例如,贷款系统通常无法观察到未发放贷款的还款结果。这些选择效应使比较变得复杂,还可能形成反馈循环,使系统改变后续训练所用的数据。
生产环境评估可以使用A/B测试,通过随机分配来比较不同方案。离线评估考察模型在已记录样本上的表现,而在线实验衡量的是将模型集成到实际运行系统中所产生的影响。两者可能得出不一致的结论,原因包括用户反应、模型与其他组件的交互,或离线指标与实际运行目标之间的差异。实验设计必须考虑用户之间的相互影响、结果延迟以及流量构成的变化。
只有将监控信号与明确的应对措施关联起来,监控才能在实际运维中发挥作用。告警可以触发调查、阻止发布、切换至备用方案,或启动重新训练流程。安全事件响应包括确定影响、保留证据、恢复服务和查明原因。在每次检测到变化后都自动重新训练,可能会传播受损数据,或掩盖上游缺陷;识别故障类型与选择补救措施是两件不同的事。
治理、安全与运行问责
MLOps 治理明确由谁对数据集、模型、发布以及由此引发的事件负责。职责往往跨越组织边界:数据团队负责上游数据表,建模团队负责训练,应用团队负责决策流程。明确责任归属,可以避免一种反复出现的问题:每个组件都有人运维,却没有人对整个系统的行为负责。
发布所依据的材料可以包括预期用途、训练数据来源、评估方法、已知局限、审批历史,以及应当撤下模型的条件。模型卡提供了一种结构化方式,用于记录模型的用途、性能和局限等方面的信息。文档并不能证明系统安全或符合法律要求,但能让其中的假设与决策可供审查。当已部署的模型反复更新时,变更历史尤为重要。
访问控制不只适用于预测接口。训练数据集、特征定义、实验记录、模型产物、部署凭据和监控日志都可能包含敏感信息。最小权限原则将权限限制在某个角色或流程所必需的范围内。将产物发布与部署审批分离,可以降低开发账户遭入侵后直接改变生产环境中系统行为的风险。
攻击面既包括常规的软件供应链风险,也包括机器学习特有的威胁。根据所用的序列化格式,不可信的模型文件可能在加载时触发代码执行。遭到篡改的依赖项或训练环境镜像可能在产物发布前改变其内容。数据投毒试图通过操纵训练输入来影响模型学到的行为,而对抗样本则通过专门构造的输入干扰预测。产物验证、受控构建环境和来源记录分别应对这一攻击面的不同部分,并不能构成一套完整的防御体系。
数据隐私涉及数据收集、访问、日志记录、保留以及模型行为。即使原始训练数据集受到严格管控,预测日志仍可能包含个人信息。模型也可能保留有关训练样本的信息,因此,发布模型权重与发布普通可执行代码并不相同。差分隐私等技术可以在特定机制和假设下提供形式化保障,但采用这些技术需要作出权衡,也不能取代更广泛的数据管理义务。
治理还必须区分技术上的有效性与使用是否获得授权。模型即使达到了准确率阈值,也可能被用于超出其已评估范围的人群、决策或场景。因此,运行管控不仅包括对产物本身的检查,也包括对使用方和接口的限制。具体要求因司法辖区和应用而异,因此,技术层面的发布审批与法律授权是相互关联但彼此独立的流程。
平台、组织设计与经济性
MLOps 平台为开发和运行提供共享能力。典型组件包括工作流编排、实验跟踪、制品存储、模型注册库、特征管理、部署服务、监控以及身份系统集成。这些功能可以通过组合开源软件来实现,也可以购买托管服务,或将两者结合使用。MLflow、Kubeflow 和 TensorFlow Extended 体现的是不同的实现思路,而非同一套固定标准下可以相互替换的实现。
选择集中式平台还是面向特定应用的工具,取决于组织的规模和业务的多样性。集中式平台可以统一发布记录、安全控制措施和操作流程。但如果所有建模工作流都必须适应一个限制严格的接口,平台也可能成为瓶颈。应用团队在表格数据预测、图像处理和生成式系统等场景下,可能需要不同的功能支持。通过提供接口定义清晰的共享基础能力,可以支持这种多样性,而不必让每个团队都自行运维一整套基础设施。
组织架构通常将平台团队与专注于业务领域的团队相结合。平台团队维护可复用的执行和部署能力,领域团队则负责问题定义、数据解读和预测性能。在规模较小的组织中,同一批人员可能兼任这两类角色。机器学习工程师、数据科学家、平台工程师和 MLOps 工程师等职位的职责范围存在重叠;明确决策权限比统一职位名称更重要。
经济性分析既要考虑开发成本,也要考虑持续发生的运行成本。训练会消耗计算和存储资源,但对于使用广泛的服务,反复进行的推理可能占据整个生命周期支出的大部分。其他成本包括特征检索、环境复制、制品留存、网络传输、监控以及人工处理故障事件。云计算使许多资源能够按需获取,而定价结构和数据存放位置的限制则会影响架构选择。如果昂贵的硬件有大量时间都在等待请求或数据,加速器利用率就尤为重要。
性能与成本相互关联。更大的模型可能改善某项质量指标,但也可能需要更多副本才能满足延迟目标。更频繁地重新训练或许能更快捕捉变化,却也会增加计算开销和运维调整的频次。缓存可以降低推理成本,但也可能导致输出过时,或引发隐私问题。因此,平台度量通常将资源消耗与有效工作量联系起来,例如每千次预测的成本或每项已完成任务的成本,而不是仅以硬件利用率为目标。
成熟度并不等同于自动化程度最大化。对于每季度更新一次、使用量较低的模型,可复现的流水线和受控的人工发布流程可能就足以满足需求。对于每天更新、使用量很高的排序服务,则需要更强的自动化、可观测性和恢复机制。关键在于,系统的控制措施是否与其变更频率、依赖关系及故障后果相匹配,而不在于是否使用了尽可能多的工具。
基础模型与生成式应用运维
围绕基础模型构建的应用保留了许多 MLOps 要求,但部署单元发生了变化。系统可能直接使用远程托管的模型而不对其进行训练,但仍需维护提示词、检索索引、工具定义、安全控制措施和应用代码。此时,运维所管理的制品不再是单一的一组权重,而是由相互作用的组件构成的一套配置。专注于语言模型应用的实践通常称为 LLMOps,但它与 MLOps 在很大程度上存在重叠。
在检索增强生成中,输出既取决于生成模型,也取决于检索流水线。文档摄取、分段、嵌入、索引构建、访问权限和排序都会影响哪些信息能够传递给模型。即使模型版本没有变化,文档被移除、索引过时或检索选中了无关段落,都可能导致回答质量下降。因此,评估时需要区分检索质量、回答质量、来源归属以及对访问限制的遵守情况。
当运行环境由外部提供商控制时,可复现性会更难保障。提供商的模型标识符可能指向固定版本,也可能是指向不断变化版本的别名,而生成结果还可能随解码设置和执行细节而变化。在遵守隐私和数据保留限制的前提下,记录提示词、模型标识符、生成参数、检索结果和工具交互,有助于重建系统行为。对于经过本地适配的模型,微调配置、基础模型版本和适配器制品还会引入额外的谱系依赖关系。
评估方式也不同于传统的分类或回归任务。许多任务允许存在多个有效输出,而与参考答案在表面上的相似性,可能无法揭示事实性错误或功能性错误。运行阶段的评估可以结合对结构化输出的精确检查、针对生成代码的可执行测试、人工判断和基于模型的评分。每种方法都有局限。基于模型的评估器可能对措辞和呈现方式较为敏感,而人工评估需要明确的标准,且不同评估者的判断可能存在差异。
当生成的文本能够触发行动时,安全边界也随之扩大。提示注入可以将指令植入检索到的文档、工具响应或其他不可信内容中。在 AI智能体应用中,如果外围系统未对相关操作加以约束,这类内容就可能影响工具选择或参数。因此,可观测性不仅必须涵盖最终回答,还必须记录相关的检索、工具调用、权限和执行结果序列。
生成式工作负载还带来了独特的在线服务约束。请求成本取决于输入和输出的长度,而较长的上下文窗口会增加内存和计算需求。指标可以包括首个词元生成时间、输出词元速率、生成完成总耗时和任务成功率。备用模型、更短的上下文或受限的工具调用路径,都可能同时改变质量和延迟,因此,这些替代方案应被视为需要单独评估的运行配置,而不仅仅是基础设施层面的替换。