联邦学习是一种机器学习方法,多个参与方在协同训练模型的同时,将各自的原始数据集保留在自己的设备或管理环境内。参与方不再按常规做法将记录发送到中央存储库,而是在本地计算参数更新、梯度或汇总统计量等信息,并通过协调一致的训练协议交换这些信息。参与方可以是移动设备、医院、金融机构、工业设施或其他组织。
这种方法将分布式计算与数据隐私、统计学习和机构间合作联系起来。其重要性在于,当把所有训练数据集中到一处并不现实、成本高昂或受到限制时,它仍能支持某些形式的联合分析。不过,将记录保留在本地,本身并不能保证训练过程的隐私或安全:传输的更新和最终得到的模型都可能泄露信息,参与方也可能提交不可靠或恶意的内容。
因此,联邦学习并不只是一种分布式优化算法。其设计取决于各数据集之间有何差异、参与方和协调方由谁控制、哪些主体值得信任、通信如何组织,以及协作旨在改善哪些结果。这些因素使面向消费级设备的大规模学习与少数机构之间的协作有所区别。
起源与理论基础
联邦学习源自几条既有的研究脉络,而非建立在一套全新的数学基础之上。分布式优化长期以来一直研究多个处理器如何共同最小化一个目标函数。并行机器学习利用计算集群分担大规模数据集上的计算任务,而隐私保护数据挖掘则探讨如何在不任意披露数据记录的前提下开展协作。去中心化学习和通信高效优化方面的研究,也为减少计算节点之间的信息交换提供了更多方法。
一项具有重要影响的方案见于论文《基于去中心化数据的深度网络通信高效学习》(Communication-Efficient Learning of Deep Networks from Decentralized Data)。该论文于2016年首次流传,并发表于2017年国际人工智能与统计会议。作者 H. Brendan McMahan、Eider Moore、Daniel Ramage、Seth Hampson 和 Blaise Agüera y Arcas 在文中介绍了联邦平均算法,通常简称为 FedAvg。这项工作着重研究利用分散在各设备上的数据进行训练的情形;在这种环境下,通信成本高昂,数据量分布不均,且数据并非同分布。论文报告称,在所研究的实验任务中,与同步随机梯度下降相比,该方法所需的通信轮数可减少至约十分之一到百分之一。
移动设备的应用场景赋予了这一领域若干典型约束。手机可能只是间歇性地可用,网络连接可能按流量计费,而机主的使用习惯则决定了设备中包含哪些样本。与受统一管理的计算集群中的工作节点不同,这些设备通常不能被视为可以互换、持续可用的处理器。本地计算因此颇具吸引力,因为设备可以在两次网络通信之间完成多个训练步骤。
此后,联邦学习一词的含义扩展到了组织之间的协作。医院和企业可能拥有可靠的服务器,却在传输敏感记录或具有商业价值的信息时受到限制。这一场景与移动应用一样,数据由不同参与方分别持有,但其运行前提存在显著差异。参与方的身份通常可以确认,各方可以建立合同关系,而且每家机构都可能全程参与训练。
因此,联邦学习并不由某一种隐私技术、网络拓扑或模型类别来定义。人工神经网络在其中占据重要地位,但联邦协议也用于训练线性模型、基于树的系统及其他统计模型。联邦体系也不一定没有中央协调方:许多系统都使用服务器分发模型并汇总各方贡献。其关键在于将协作式模型训练与常规性地集中收集原始样本分离,而不一定要将协作与集中控制分离。
训练目标与联邦学习周期
一种常见的数学表述是为每个参与方定义一个局部目标,再将这些目标合成为一个全局目标。对于 个参与方,优化问题为
其中, 表示模型参数, 衡量模型在参与方 的数据上的表现。对于包含 个样本的局部数据集 ,典型的目标函数为
其中, 是损失函数。这是经验风险最小化的一种分布式形式,不过,隐私约束或安全计算机制可能使任何单一参与方都无法直接计算其中的全部组成部分。
权重 的设定体现了一项实质性的取舍。设定 会使每个训练样本具有相同权重,因此,拥有更多样本的机构或设备会产生更大的影响。相反,为各参与方赋予相同权重,则意味着无论数据集大小如何,每个客户端在形式上都具有同等的重要性。这两种选择都不会自动带来期望的总体层面结果:参与的客户端本身可能就不具有代表性,而各条记录的质量或相关性也可能存在差异。
一个典型的训练轮次始于协调方选出一部分可用参与方,并向它们发送模型状态。每个参与方进行本地训练,通常采用反向传播和随机优化器,然后返回更新后的模型,或其相对于所接收模型的差值。协调方将接受的各方更新加以聚合,生成下一个全局状态。训练反复进行,直到达到资源上限或满足基于性能的停止条件。
在 FedAvg 中,参与方 在第 轮开始时采用共享参数 ,执行若干次本地优化步骤,得到 。一种常用的聚合规则为
其中, 是更新被纳入聚合的参与方集合。该表达式描述的是按样本量对当轮贡献者进行加权平均;它并不保证在参与方间歇性参与的情况下,能够得到对整个联邦目标的无偏估计。
一些看似细微的实现选择会改变实际执行的算法。客户端可以执行固定次数的优化步骤,也可以将各自的数据集完整遍历固定次数。它们可以在轮次之间保留优化器状态,也可以将其重置。服务器可以使用自己的优化器处理聚合后的参数变化,而不是直接采用各方模型的平均值。因此,“联邦训练”规定的是一种协作模式,而收敛性和模型行为则取决于本地与服务器端的具体处理流程。
参与模式与数据划分
一种广泛采用的划分方式将联邦学习分为跨设备联邦学习与跨机构联邦学习。跨设备系统可能涉及数量极其庞大的设备,但每一轮只有一小部分设备参与。单台设备可能数据量很少、计算资源有限,且可用性难以预测。训练过程通常会预先考虑到:许多被选中的设备可能无法完成一轮训练。面对规模庞大的设备群体,要可靠地持久保存每台设备的状态也可能很困难。
跨机构系统涉及的组织或其他稳定管理单位相对较少。每个参与方都可能拥有规模可观的计算基础设施,并提供大型数据集。参与方身份、参与协议和运维职责通常也更为明确。因此,由十家机构参与的医院协作,并不只是数百万部手机联合训练的缩小版:两者的通信模式、激励机制、隐私风险以及可行的安全机制都可能不同。
另一种分类关注的是记录和特征如何划分。在横向联邦学习中,各参与方拥有不同的样本,而这些样本的特征空间大体兼容。例如,多家机构各自持有包含相同变量的患者记录,或者多台设备各自存有使用共同词表表示的文本样本。一旦标签含义、预处理方式和模型接口完成对齐,就可以采用共同的训练流程。
在纵向联邦学习中,各参与方拥有与部分重合实体相关的不同属性。例如,两个组织可能掌握同一批客户中部分客户的不同信息。训练需要通过某种方式确定相关记录之间的对应关系,并跨特征分区进行计算。隐私集合求交可以支持某些形式的实体匹配,而安全协议可以保护中间计算过程。不过,匹配本身也存在信息披露风险:即使其他属性仍然隐藏,透露某个人同时出现在两个数据集中也可能涉及敏感信息。
横向划分和纵向划分并未涵盖所有可能情况。不同数据集可能在样本和特征上都没有重叠,这促使研究者采用与迁移学习和表征对齐相关的方法。即使在横向联邦中,标签定义也可能不一致,传感器可能使用不同的单位,标注方式也可能存在差异。名义上相同的数据列并不保证在语义上兼容。
这些分类与网络拓扑相互独立。跨机构联邦可以采用中央服务器、多个区域聚合器,或点对点网络交换结构。分层聚合可以先在本地或区域节点汇总设备更新,再交由更高层级的协调节点聚合。每种安排都会改变哪些参与方能够观察到单个参与方的贡献、哪些位置可能发生故障,以及哪些通信链路会成为瓶颈。因此,系统架构必须与数据划分方式和参与方规模分开描述。
统计异质性与优化方法
联邦学习最典型的统计难题是,各参与方的数据集未必满足独立同分布条件。这种情况通常称为非独立同分布数据(non-IID),涵盖多种不同现象:各参与方可能拥有相同类别但标签比例不同,也可能具有不同的输入分布、不同的输入与标签关系,或不同的观测数量。例如,文本预测模型所遇到的词汇和写作风格会因用户而呈现系统性差异,而不是随机分散在各台设备上。
本地训练会放大这种异质性的某些影响。即使从同一个模型出发,客户端也可能在连续执行若干个优化步骤后,走向不同的局部最优点。将这些客户端得到的参数取平均,通常不等同于在汇集后的数据集上执行相同步数的优化。这种偏离通常称为客户端漂移。增加本地计算量可以减少通信需求,但同时也可能加剧漂移,因此需要在网络效率与优化表现之间作出权衡。
2020年提出的 FedProx 通过加入近端惩罚项来调整本地训练,抑制本地模型过度偏离当前的共享模型。一种常见的本地目标函数为
其中, 控制约束的强度。该方法旨在同时应对统计差异和各客户端实际完成计算量的差异。它并不能使所有异质性学习问题变得等同,但提供了一种限制本地参数变化幅度的机制。
同样于2020年提出的 SCAFFOLD 使用控制变量来校正本地更新方向与全局更新方向之间的偏差。其他方法则会在客户端完成的工作量不同时对其贡献进行归一化、在服务器端维护动量,或使用与 Adam优化器相关的服务器端自适应优化器。这些方法针对的是不同的不稳定性来源;在某一种实验数据划分下有效的算法,未必在另一种划分下仍然占优。
优化理论也体现了对假设条件的这种依赖。相关结论可能要求目标函数光滑、梯度方差有界、本地目标函数之间的差异受到控制、采用特定的采样方案,或使用足够小的学习率。针对凸问题的理论保证,不能直接说明大型非凸网络的行为。此外,降低训练目标函数值,本身并不能证明模型对未见过的人群、机构或未来数据具有更好的泛化(机器学习)能力。
有些异质性表明,问题不在于优化器能力不足,而在于将单一全局模型作为目标并不合适。如果两家机构面对的预测任务确实不同,强行要求参数一致可能导致双方的性能都下降。正则化、共享表征和个性化模型提供了其他建模方式。因此,一个核心研究问题不仅是如何更接近集中式训练,还包括:在什么情况下,集中式的参数平均才真正符合恰当的统计目标。
通信、调度与实现
联邦系统需要反复交换与模型有关的信息,因此通信成为一项主要的资源开销。如果一个模型有 个参数,每个参数用 位表示,那么发送一次未压缩的模型大约需要 位,不包括协议开销。一个包含一千万个 32 位参数的模型,按十进制单位计算约占 40 兆字节。在多轮训练中,向数千名参与者发送该模型并接收大小相近的更新,其通信成本可能超过本地训练的计算成本。
有多种技术可以减轻这一负担。更新量化用更少的位数表示数值,而稀疏化只传输选定的坐标。一些压缩方法会保留累积残差,使某一轮中省略的信息能够影响后续传输。这些方法会与优化过程相互影响:有偏压缩可能改变更新方向,而各方独立选择的稀疏坐标,可能难以通过保护隐私的聚合协议加以合并。缩小模型规模和采用参数高效适配,可以更直接地减少通信量,但也可能限制模型容量或可训练结构。
跨设备调度还必须兼顾设备状态。生产环境中的设计可能规定,只有当智能手机正在充电、处于空闲状态且连接到适当的网络时,才允许其参与训练。这可以减少对日常使用的干扰,却也会改变哪些用户能够在训练中得到代表。网络连接可靠、充电习惯规律的用户,可能比其他用户参与得更频繁。即使协调方从当前符合条件的设备中随机抽样,由此产生的可用性偏差仍可能持续存在。
同步训练需要等待足够多的选定参与者完成一轮训练。设置截止时间可以防止少数缓慢的客户端拖延整个系统,但排除这些参与者,也可能系统性地将某些硬件类别或用户群体排除在外。异步方法在不同时间接收更新,减少了等待,却引入了陈旧性:某项更新可能是根据服务器已经替换掉的参数计算出来的。因此,对陈旧更新进行加权、缓冲或限制,也成为优化设计的一部分。
保障可靠性并不只是收集参数数组。服务器必须跟踪模型版本,确保更新格式兼容,处理执行中断,并区分未提交的更新与格式错误的更新。如果使用安全聚合,参与者中途退出不仅会影响学习算法,也会影响密码学协议。分层部署需要在各聚合层级之间进行额外协调,而以组织为参与方的系统还必须适应维护时段和本地访问控制。
开源软件项目为这些任务提供了可复用的组件。TensorFlow Federated 支持联邦计算与实验;Flower 提供实现联邦工作流的基础设施;FATE 则侧重联邦协作,包括以组织为参与方的场景。各框架的假设和所支持的协议有所不同。在单机上成功完成仿真,既不能证明系统在真实网络中的性能,也不能证明其抵御恶意参与者的能力,因为仿真客户端通常共享可信的运行环境,且故障行为经过了简化。
隐私保障与信息泄露
数据本地化只是对记录处理地点的限制,并不构成完整的隐私保障。模型更新由本地样本计算而来,可能携带这些样本的信息。在某些情况下,能够获取梯度或参数变化的观察者可以推断标签、识别参与方数据集的某些属性,或重建训练样本的部分内容。泄露的严重程度取决于批次大小、模型架构、辅助知识,以及观察者能看到的是单个参与方的更新还是聚合后的更新等因素。
有效的分析应从威胁模型入手。诚实但好奇的协调方遵守协议,却会尝试从其所见的信息中推断出额外信息。恶意协调方则可能偏离协议,例如向不同参与方发送专门选定的模型。其他威胁还包括相互串通的客户端、遭到入侵的设备,以及最终模型的观察者。能够防范其中一类行为主体,并不意味着也能自动防范其他各类主体。
安全聚合使服务器能够获得聚合结果(通常是总和),而不直接获知各参与方的单独贡献。基思·博纳维茨及其同事于2017年发表的一种实用协议,成为联邦学习场景中颇具影响力的设计。参与方之间相互关联的掩码可以使单个向量无法被解读,同时又能在求和时相互抵消;额外的机制则用于应对部分参与方未能完成协议的情况。这种保护依赖于具体协议对串通、退出以及最少贡献方数量所作的假设。
差分隐私提供了另一种保护:当加入或移除一个预先定义的数据单位时,限制输出分布的变化幅度。对于相邻数据集 以及每一个相关的输出事件 ,如果随机化机制 满足以下条件,则称其满足 -差分隐私:
相邻数据集的定义至关重要。样本级保护针对一条记录;用户级或客户端级保护则可以涵盖与某个参与方相关的全部记录。在跨机构场景中,将整个机构作为受保护单位是一项要求尤为严苛的做法。
联邦学习中的差分隐私通常会裁剪贡献向量的范数、添加经过校准的噪声,并跟踪多轮迭代中累积的隐私损失。由此产生的隐私与效用之间的权衡,取决于每轮参与方数量、裁剪方式、抽样方式、噪声以及训练时长。安全聚合可以隐藏单个参与方的更新,而差分隐私则限制通过已发布的聚合结果或模型泄露信息;但将两者结合使用时,需要把每一项可观察的输出都纳入隐私核算。
其他方法采用安全多方计算、同态加密或可信执行环境。每种方法都会改变计算成本和信任假设。常规的传输层安全协议可以保护传输中的数据,却不能阻止接收数据的服务器查看更新。因此,“加密联邦学习”这样的描述并不完整,除非它明确说明加密的对象、密钥的持有者,以及哪些信息仍然可以被观察到。
恶意参与者、鲁棒性与问责
即使没有泄露任何隐私信息,联邦系统也可能失效。参与者可能因软件缺陷、预处理不兼容、设备遭到入侵或蓄意操纵而提交受损的更新。由于通常不会集中检查原始样本,协调方能够直接核实某项贡献是否准确反映了合法数据和训练过程的机会更少。格式正确的参数向量并不能证明参与者执行了规定的计算。
数据投毒通过篡改本地训练样本、标签或预处理过程,使常规训练产生有害的贡献。模型投毒则更为直接,通过替换或修改传输的更新实施攻击。攻击者可能试图降低整体准确率、针对某个特定类别,或植入后门,使模型在出现触发条件时作出特定响应,同时让大多数正常预测保持不变。
在统计异质性条件下,区分行为异常但合法的客户端与恶意客户端尤其困难。为罕见人群提供服务的机构,即使没有任何不当行为,也可能产生与多数参与者相差甚远的更新。因此,拒绝所有偏离较远的更新的防御措施,反而可能压制联邦系统原本意在纳入的信息。反过来,攻击者也可以刻意让更新接近预期的统计模式,以逃避简单的异常检测。
拜占庭容错研究启发了多种鲁棒聚合方法,包括逐坐标中位数、截尾均值和基于距离的选择规则。在对攻击者数量、诚实参与者的更新分布或更新的几何特征作出特定假设的条件下,这些方法可以减轻部分受损贡献的影响。它们的保证是有条件的:当诚实参与者的更新高度聚集时有效的防御措施,在合法客户端之间的分布差异较大时,可能表现不佳。
隐私保护还带来了进一步的约束。如果安全聚合只披露总和,服务器就无法对隐藏的单个向量逐一执行常规的客户端距离检验。更复杂的协议可以在不暴露每项更新的情况下,验证贡献的某些属性或计算某些鲁棒统计量,但这些协议会增加复杂性,也可能披露额外信息。更强的保密性并不必然带来更强的完整性保障。
由组织组成的联邦可以通过成员身份认证、合同义务、经审计的软件以及带签名的协议消息,建立问责机制。面向海量设备的系统则需要可扩展的方法,限制伪造身份并协调滥用防范工作。范数界限、有效性检查以及对模型修改的限制,可以遏制部分攻击,但不能证明参与者诚实地进行了训练。
评估防御措施时,必须明确攻击者掌握的信息和拥有的控制能力:有多少参与者遭到入侵、服务器是否具有恶意、攻击是否会根据防御措施进行调整,以及对手能否跨轮次协同。仅报告遭受一次固定攻击后的平均准确率,会留下许多重要问题未解,尤其是在后门只影响某个小范围子群体或罕见输入模式时。
个性化、评估与基准测试
共享的全局模型只是联邦训练可能产生的成果之一。个性化联邦学习旨在获得适合各个参与方或群体的模型,同时保留协作带来的益处。简单的做法是先训练一个全局模型,再在本地进行微调。其他方法包括学习共享的特征提取器并搭配客户端专属的预测层、将数据分布相近的客户端聚类,或联合优化相互关联但各不相同的多组参数。
个性化改变了衡量成功的标准。全局模型可能面向此前从未出现、没有训练历史的设备,而个性化模型则可能假定部署时能够获取本地样本。拥有数千个带标签案例的机构可以进行充分的适配,而新用户可能几乎没有可用样本。只有明确说明用于适配的数据量及其可用时间,包括在评估之前能否获得标签,比较才有意义。
如何分配各客户端的重要性,是另一个独立的问题。总体准确率很高,并不意味着模型在小型机构或低频用户上的表现也很好。因此,有价值的报告应同时提供按样本加权和按客户端加权的结果、各客户端性能的分布,以及针对相关群体的衡量指标。这些统计量反映的是不同目标,而非对同一数值的可互换估计。平均表现的提升,不一定能改善表现最差的参与方所获得的服务。
评估还必须保持训练与测试之间的界限。在已经参与训练的客户端内部留出部分样本,与留出整个客户端,衡量的是不同的能力。前者检验模型对已知参与方的预测能力,后者则检验模型向新参与方迁移的能力。当行为发生变化时,可能有必要采用基于时间的评估,因为随机划分可能掩盖部署后出现的分布偏移。即使最终的训练循环采用联邦方式,预处理、词表构建和超参数选择也可能引入数据泄漏。
基准测试旨在让这些比较可复现。2018 年推出的 LEAF 围绕联邦学习的特征来组织数据集与评估,例如自然形成的用户数据划分。2022 年推出的 FedScale 将数据集与评估平台相结合,旨在研究大规模、异构的部署场景。这些资源有助于比较算法,但没有任何基准测试能够涵盖设备可用性、机构政策、隐私机制和对抗行为的所有组合。
人为划分尤其容易被误读。按照选定的标签偏斜参数,将集中式数据集分配给合成客户端,可以开展受控实验,但无法复现现实世界中所有形式的异质性。客户端的可用性可能与标签相关,数据质量可能因机构而异,本地任务也可能随时间演变。
资源使用情况的报告同样重要。仅报告通信轮数,会忽略模型大小、每轮参与方数量、传输字节数和本地计算量的差异。可信的比较应综合考虑实际耗时、通信量、客户端资源消耗、达到的性能,以及所采用的隐私预算。否则,一种方法可能仅仅因为大量工作或信息披露被移到了所报告指标的范围之外,就显得更高效。
应用、机构治理与新兴方向
移动应用较早展示了联邦训练的实际可行性。谷歌在 2018 年报告了利用联邦学习改进键盘查询建议的工作,后续系统也将相关方法用于语言模型和输入模型。这类应用利用设备日常使用过程中产生的样本,同时避免常规性地集中收集完整的本地训练语料。它们也说明了联邦训练与神经网络推理之间的区别:模型可以经协作训练后在本地运行,联邦训练也可以生成部署于其他地方的模型。
医疗合作是跨机构联邦学习的一项突出应用,因为相关数据集分散在不同机构中,并受到不同访问安排的约束。在 2021 年发表于《自然医学》的一项研究中,EXAM 合作项目利用来自 20 家机构的数据训练模型,以预测有 COVID-19 症状的患者对补充供氧的需求。这项研究展示了如何在不以常规集中式方式汇集各机构底层数据集的情况下,开展多机构模型开发。但它并未证明联邦学习普遍能够保证临床获益,也未证明联邦学习可以消除外部验证的必要性。
医疗项目还暴露出一些与参数交换无关的问题。各机构可能采用不同的诊断编码,使用不同设备采集影像,或服务于临床特征不同的人群。模型可能学到特定机构所特有的捷径,而非可迁移的关系。无论采用数据汇集还是联邦学习,本地数据质量评估、相互兼容的结局定义,以及在未参与训练的机构开展评估,仍然是科学研究不可或缺的组成部分。
金融服务、工业监测和推荐系统也是潜在的应用场景。组织可能希望在不传输完整交易历史或传感器存档的前提下,寻找共同的欺诈指标或设备故障模式。合作的价值取决于信息能否在参与方之间泛化,以及联合系统能否优于表现强劲的本地替代方案。当参与方承担的成本不同,或所贡献数据的有用程度不同时,商业激励也可能变得复杂。
治理决定了谁可以加入、哪些模型版本获得授权、如何限制用途,以及谁可以接收或部署成果。协议可能涉及知识产权、更新的保留、事件响应、审计以及错误责任。联邦架构并不自动满足数据保护法律的要求:模型更新和输出仍可能具有敏感性,法律义务则取决于所涉及的数据、处理活动和司法管辖区。
规模更大的基础模型带来了额外约束,因为分发完整参数集和维护本地训练状态可能成本高昂。低秩适应等参数高效方法将训练限制在较小的一组权重上,而知识蒸馏可以交换预测行为,而不必逐一匹配所有参数。这些替代方法能够降低部分成本,但也引入了各自对于共享输入、模型兼容性和信息披露的假设。
删除是另一个尚未解决的运行问题。从参与方自身的存储中删除其原始记录,并不一定会消除这些记录对已训练全局模型的影响。机器遗忘研究如何减弱或消除这种影响,但联邦场景又增加了其他困难:过去参与情况的记录不完整、检查点分散存储、存在个性化模型副本,以及隐私机制会刻意模糊个体贡献。精确重训练、近似移除和可验证删除,分别对应不同的技术要求和治理要求。