成员推断攻击是指试图判断某条数据记录或某组指定记录是否包含在某个机器学习模型的训练数据中。攻击者利用模型暴露的信息,例如预测结果、置信度分数、参数或梯度,并结合可获得的背景知识进行判断。成员推断涉及数据隐私问题,因为即使攻击者已经知道记录本身的内容,该记录是否被纳入某个数据集这一事实仍可能泄露敏感信息。
目标与范围
核心问题是:某个候选样本是否因被纳入特定训练数据集而对模型产生了影响。这与普通预测不同:模型能够正确分类一张图像,并不意味着它揭示了该图像是否曾用于训练。
必须明确成员身份所针对的单位。攻击可能涉及:
- **记录级成员身份:**某个样本是否被纳入。
- **用户级成员身份:**某个人的任意一条记录或某组指定记录是否被纳入。
- **文档级成员身份:**某篇文档或其中某个界定明确的部分是否被使用。
- **客户端级成员身份:**某个参与方是否为协作训练过程作出了贡献。
这些问题不能混为一谈。有证据表明某个段落被使用,并不一定能证明整篇文档都被使用。同样,检测到与某个人相关的一条记录,也不能确定此人的全部数据贡献。
所涉及的训练阶段同样重要。对于经过预训练和微调的模型,在一个阶段属于训练成员,并不能证明在另一个阶段也属于训练成员。
成员推断与几种相关攻击有所不同。模型反演试图推断敏感特征或具有代表性的输入;训练数据提取试图还原训练内容;属性推断关注训练数据集或其贡献者的特征。成员推断则检验某个指定候选对象是否参与了训练。这些目标可能相互重叠,但实现其中一个目标,并不自动意味着也实现了另一个目标。
形式化表述
设 为训练数据集, 为训练过程, 为得到的模型。对于候选记录 ,定义成员指示变量
攻击者观察信息 ,其中可能包括模型输出、参数或查询响应,并返回估计值
其中 表示辅助知识。
有意义的实验必须明确如何选择成员与非成员、攻击者能获得哪些信息,以及怎样才算攻击成功。记录的身份认定也需要谨慎处理:完全重复的记录、近似匹配的段落,以及独立收集但内容相同的样本,可能对应不同的成员身份问题。
一种常见攻击会分配分数 ,将较大的值解释为更强的成员身份证据,并在满足下式时预测其为成员:
其中 为阈值。该分数不一定是经过校准的概率。
成员信息为何会泄露
对训练样本与未见样本的行为不同
训练过程利用选定样本来优化模型。因此,模型在这些样本上的行为,可能不同于它在其他方面可比、但未曾见过的数据上的行为。成员样本可能具有更低的损失、更高的置信度,或者在输入发生微小变化时得到更稳定的预测。
过拟合是造成这种差异的重要原因。如果模型对训练样本的拟合程度远高于未见样本,往往就会暴露可供利用的成员身份信号。不过,平均泛化(机器学习)差距较小,并不能证明隐私得到了保护。整体性能可能掩盖集中发生在稀有、异常或影响力很大的记录上的泄露。
反过来,一个样本的置信度高或损失低,也不足以证明它是训练成员。有些样本本身就很容易处理,即使模型在训练时从未遇到过,也可能为其赋予很高的置信度。
记忆与个体影响
模型可能保留与特定样本有关、异常具体的信息,尤其是在样本具有鲜明特征或重复出现时。成员推断攻击可以利用这种行为,而无须重建样本。
泄露还取决于模型规模以外的因素:数据集构成、重复记录、训练时长、正则化、损失函数以及向用户公开的信息都很重要。不存在一种普遍成立的排序,能断言某类模型始终比另一类模型提供更强的成员身份隐私保护。
分布差异
表面上的成员身份信号,可能源于候选成员与非成员来自不同的数据总体。例如,训练文档的年代可能早于评估所用的非成员文档。此时,攻击所区分的可能是写作风格或年代,而不是是否参与了训练。
这种分布偏移是评估中的一个重要混杂因素。可信的成员身份检验必须区分训练参与所产生的影响与底层数据分布的差异。
攻击者访问权限与威胁模型
威胁模型规定攻击者的访问权限、知识和目标。
黑盒访问
黑盒攻击者通常通过应用程序编程接口查询已部署的模型,而不查看其内部参数。可获得的输出可能包括:
- 预测的类别标签。
- 类别概率或置信度分数。
- 损失值或似然值。
- 生成的文本、图像或其他样本。
将访问范围限制为标签会消除部分信号,但不一定能消除泄露。攻击者可能研究输入受到扰动后标签如何变化,或者样本看起来距离决策边界有多近。
白盒访问
白盒攻击者可以检查模型参数或内部计算。视访问权限而定,有用的信息可能包括中间表示、逐样本梯度或参数更新。
在联邦学习中,被观察的对象可能是某个客户端的更新,而不是最终模型。此时,成员身份风险取决于聚合方式、参与模式,以及攻击者控制的是客户端还是协调服务器。
被动攻击与主动攻击
被动攻击者分析模型或训练产物,但不改变学习过程。主动攻击者则通过影响训练、查询或协作更新,使是否参与训练更容易被区分。主动攻击场景引入了额外假设,不应将其视为与被动评估等同。
主要攻击方法
损失与置信度阈值法
一种简单的攻击将模型损失足够低的样本判定为成员。在监督学习中,这通常假设攻击者知道候选样本的正确标签。
对于预测类别概率为 的分类器,当 为交叉熵损失时,基于损失的成员身份分数可以写为
最大置信度、输出熵及相关统计量也可用作其他评分指标。
这些成本较低的方法是重要的基线。复杂的攻击不一定比经过良好校准的阈值法更有效。
影子模型攻击
影子模型方法使用成员身份已为攻击者所知的数据集训练辅助模型。这些模型的输出提供了成员与非成员行为的样例,可用于训练攻击分类器。
攻击效果取决于辅助训练设置与目标模型的情况有多接近。相关因素包括数据分布、架构、训练过程和暴露的输出。影子模型不要求访问目标模型的实际训练数据集,但获取合适的辅助数据可能很困难。
参考模型与似然比攻击
样本的绝对损失可能产生误导,因为有些样本天然比其他样本更容易处理。参考模型有助于估计模型在该特定样本上的预期行为。
似然比方法比较:在成员假设与非成员假设下,观察到的目标模型行为分别有多大可能出现。其评分在概念上为
其中 为观测到的统计量。在实际应用中,需要估计或近似这些分布。针对具体样本进行校准可以改善检测效果,尤其是在只能容许极少误报时,但训练参考模型的计算成本可能很高。
仅标签攻击与基于扰动的攻击
当无法获得概率时,攻击者可以测量样本经过变换或扰动后,模型对其分类的一致程度。更强的鲁棒性有时可以指示成员身份。
这类方法可能需要大量查询,并且可能对所选变换、领域约束和查询限制较为敏感。
评估与解读
成员推断通常作为二分类问题进行评估,但仅看总体准确率往往不够。
重要指标包括:
- **真正率:**成员中被正确识别为成员的比例。
- **假正率:**非成员中被错误识别为成员的比例。
- **精确率:**所有预测为成员的结果中,正确预测所占的比例。
- **ROC 曲线及其曲线下面积:**不同决策阈值下的性能。
- **指定低假正率下的真正率:**在严格错误约束下的检测性能。
成员与非成员数量相等的平衡实验,无法反映所有部署场景。如果所调查的候选对象中真正的成员很少,那么即使看似很低的假正率,也可能产生大量错误指认。
当成员占比为 、真正率为 、假正率为 时,精确率为
可靠的评估还要求将攻击开发与最终测试分开。直接在最终测试集上调节阈值或攻击模型,可能使结果过于乐观。重复数据、预处理差异,以及候选样本总体不匹配,也可能使性能评估失真。
一次攻击失败,只能为受测攻击者、访问条件和数据下的情况提供证据,并不能证明不存在更强的攻击。反过来,对某个候选对象作出的成员预测,是特定实验条件下的统计证据,而不是其训练数据来源的确凿证明。
语言模型的成员推断
对于大语言模型,候选成员身份可能涉及一个句子、一个段落、一篇文档,或某位作者的一组作品。攻击可以利用序列似然、困惑度、可预测性异常高的词元,或与参考模型的比较。
以下因素会使结果解读更加复杂:
- 公开文本可能存在多个副本或近似重复版本。
- 常见或程式化的语言即使不是训练成员,也可能具有很高的似然。
- 分词与词元化以及文本规范化会影响精确匹配的定义。
- 预训练、微调和运行时上下文通过不同机制使模型接触文本。
- 不同服务对词元概率的访问权限各不相同。
提示中提供的文本,或通过检索增强生成检索到的文本,在预测时可供模型使用,但不一定曾用于参数训练。复现此类文本本身并不能证明它属于训练集。
成员身份检验也用于调查基准数据污染,但其结论取决于能否区分训练中接触过相关数据,与仅仅熟悉基准所涉及的主题。
防御措施及其局限
差分隐私
差分隐私提供了一种形式化框架,用于限制加入或移除一份受保护的数据贡献时,某个机制的输出可能发生多大变化。
若对于相邻数据集 和每个可测输出集合 ,随机机制 满足
则该机制满足 差分隐私。
由于这一条件约束了相邻数据集之间的可区分性,因此它能在所声明的相邻数据集定义下限制成员推断。当一个人贡献了多条记录时,记录级保护并不会自动提供同等强度的用户级保护。
实际保证取决于隐私参数、实现方式、训练过程,以及对多次发布的累计隐私损失核算。差分隐私并不意味着每一次成员身份预测都会变得毫无信息价值;过大的隐私参数也未必能提供实际有用的界限。
减少实测泄露
正则化、早停法、去重以及适当的数据增强,可以减少某些成员身份信号,但它们并不提供普遍的成员身份隐私保证。
输出限制、查询限制和访问控制可以削弱攻击者的能力。不过,隐藏置信度分数并不能应对所有仅标签攻击,而查询限制也无法约束对已公开模型权重的分析。
同样,加密可以保护存储或传输中的数据,但其本身不能阻止获授权用户通过允许获取的模型输出推断成员身份。
历史发展与应用
一个相关的里程碑是尼尔斯·霍默及其同事于 2008 年开展的研究,表明可以从某些汇总基因组统计数据中检测出某个个体是否参与其中。该研究关注的是汇总统计数据的发布,而非现代预测服务,但它证明了参与这一事实本身也可能被暴露。
在机器学习领域,雷扎·肖克里及其同事于 2017 年的研究建立了一种基于影子模型、影响深远的黑盒攻击框架。后续研究发展出了更简单的基于损失的基线、仅标签攻击、白盒方法,以及校准更精细的似然比检验。2022 年的论文《从第一性原理出发的成员推断攻击》(Membership Inference Attacks From First Principles)强调在低假正率下进行评估,并提出了影响广泛的 LiRA 方法。
成员推断用于隐私审计、训练过程比较、调查可能存在的未经授权的数据使用,以及评估隐私保护方法。其证据价值取决于攻击假设、非成员样本总体的质量,以及是否区分了成员身份的统计证据与经独立查证的数据来源。