差分隐私是一种数学框架,旨在分析数据的同时,限制分析所泄露的有关任何特定个人的信息。满足差分隐私的随机化算法具有这样的性质:当某个人的数据被添加、删除或修改时,其输出的概率分布只会在规定的界限内发生变化。因此,人们可以发布有用的总体统计数据或训练预测模型,而不使结果过度依赖某一位参与者。
这一框架在数据隐私领域占据核心地位,因为它提供的保证不依赖于特定攻击者掌握的知识,也不依赖于某种特定的身份识别方法。从记录中删除姓名并不一定能防止身份被识别,而发布大量看似无害的统计数据,也可能暴露其背后的原始记录。差分隐私则直接约束发布结果本身所传递的信息。其保证适用于指定的机制、指定的保护单位以及明确的数值化隐私参数,并不会自动延伸至整个组织或数据处理系统。
自2006年提出以来,差分隐私已发展成为计算机科学和统计学中一个规模可观的研究领域。其理论涵盖添加经校准的噪声、选择有用的输出、组合多次分析以及分配隐私损失等机制。应用场景包括官方统计、软件遥测、数据库查询系统和机器学习。实践中的主要挑战是,在保留足够统计准确性的同时,严格落实隐私保证成立所依赖的各项假设。
起源与匿名化的失效
传统的统计披露控制方法包括隐去较小的计数值、对数值进行舍入、移除直接标识符,以及用更宽泛的类别替代详细属性。这些方法能够降低信息披露风险,但其效果在很大程度上取决于还能获取哪些其他信息。即使一条记录不包含姓名,也仍可能通过地点、年龄、职业或其他属性的组合识别出其对应的个人。将这类记录与外部信息源关联起来,可能会揭示原发布者原本打算隐瞒的信息。因此,是否匿名并不只是看一张表中有没有明确标识身份的列。
当发布的内容包含大量相互重叠的统计量时,就会出现更深层的问题。每个统计量都会对底层数据集的可能取值施加约束。如果足够多的约束都足够精确,攻击者就可能重建该数据集的大部分内容,即使其中没有任何个人记录被直接公开。2003 年,伊里特·迪努尔(Irit Dinur)和科比·尼西姆(Kobbi Nissim)提出了一项影响深远的重建结果,表明只要对足够多的子集计数查询给出足够精确的回答,就可能暴露一个二值数据库中的大部分内容。这项结果的重要意义并非所有汇总数据的发布都不安全,而是当发布的信息足够多时,少量噪声未必仍能起到保护作用。
差分隐私源于对实用性与信息披露之间这一矛盾的研究。辛西娅·德沃克(Cynthia Dwork)、弗兰克·麦克谢里(Frank McSherry)、科比·尼西姆和亚当·史密斯(Adam Smith)在 2006 年的论文《根据敏感度校准隐私数据分析中的噪声》中,以如今通用的名称提出了这一框架。他们的方法将所需的随机噪声量与单个个体对所求答案可能造成的最大影响联系起来。此前围绕基于不可区分性的定义所开展的研究,为这一框架提供了部分概念基础。后续研究将该框架拓展到远超数值查询的范围,涵盖隐私保护选择、优化、学习以及持续数据分析等领域。
这一转变意味着,研究重点不再是试图将已发布的数据集判定为匿名,而是明确规定分析在相邻输入下的行为。这一区别也将差分隐私与加密区分开来。加密可以保护存储或传输中的记录,防止未经授权的访问,但获得授权的接收者仍可能从解密后的统计结果中推断出敏感信息。差分隐私处理的则是发布该结果所带来的信息披露后果。因此,这两种技术可以相互补充,而不是彼此竞争的解决方案。
这一历史动机也解释了为什么差分隐私并不承诺任何敏感事实都绝不可能被推断出来。群体层面的规律可以支持对个体作出准确预测,即使这些个体并未提供数据。差分隐私框架所限制的,是可归因于某一份受保护数据贡献的额外信息披露。它最有力的保证针对的是这种增量影响,而不是消除统计知识所能支持的一切推断。
数学定义与保护单位
设 和 为相邻数据集,记作 ,并设 为随机化机制。如果对于每一对相邻数据集以及每一个可测的输出集合 ,都有
则称该机制满足 -差分隐私。
这里的概率来自机制内部的随机性。这一要求适用于所有允许的数据集,而不仅仅是统计模型认为可能出现的数据集。由于相邻关系通常是对称的,交换 和 后,上述不等式也同样成立。因此,除 所允许的偏差外,两个数据集中的任何一个都不能使某个输出事件的发生概率任意增大。
参数 读作“epsilon”,用于控制输出概率之间的倍数差异。其值越小,约束越强。当 时,这种保证称为纯差分隐私,通常简称为 -差分隐私。当 时,则称为近似差分隐私。这个加性项允许概率在有限程度上偏离纯粹的乘性界限。一般而言,将 理解为整个数据集被泄露的概率,或将 理解为识别出某个人的直接概率百分比,都是不正确的。
该定义的关键在于如何界定“相邻”。在增删相邻关系下,一个数据集比另一个多一份受保护的数据贡献;在替换相邻关系下,一份数据贡献被另一份替换。这两种约定会产生不同的敏感度,也可能需要采用不同的参数校准方式。一份数据贡献可以是数据库中的一行、与某个人相关的全部记录,也可以是一个家庭或一个组织的数据。针对单次位置测量的事件级保护,与针对完整位置历史的用户级保护,有着实质性差别。
例如,如果每个人只提交一份调查答卷,那么行级保护与个人级保护可能是一致的。如果一个人贡献了数千条购买记录,逐行提供保护,并不意味着在相同参数下就能自动保护此人的完整购买历史。因此,贡献限制、身份解析和分组规则都属于隐私规范的一部分。如果没有明确保护单位和相邻关系,仅声称某个系统“满足差分隐私”是不完整的。
一个简单的群体保护保证可以说明这种依赖关系。如果某个机制对单条记录满足 -差分隐私,那么沿着相应的相邻数据集链,修改至多 条记录所得到的界限为 。近似差分隐私还会额外累积一个 项。这种群体隐私性质很有用,但也说明了为什么对参与程度的限制若不够严格,就可能削弱名义上很强的记录级保护保证。保护单位是一项数学和实际操作层面的选择,而不是能够从算法名称中推断出来的细节。
敏感度与主要机制
最常见的机制会根据查询的敏感度来确定所添加噪声的大小。对于数值函数 ,其全局 敏感度为
它衡量的是相邻数据集之间查询结果可能发生的最大变化。在以添加或删除一人为相邻关系的定义下,如果每人至多贡献一次,那么满足某个条件的人数计数的敏感度为 。对于每人只属于一个分箱的直方图,添加一人会使一个分箱的计数变化 ;替换一人则可能使两个分箱的计数发生变化。
对于标量查询,拉普拉斯机制发布的结果为
相应的向量形式则通过在各坐标上添加相互独立的噪声来构造。拉普拉斯分布的概率密度与 成正比,其中 是尺度参数。其分布形状保证:当真实答案的偏移不超过敏感度时,输出概率的变化不会超过所允许的乘法因子。对于敏感度为 的计数查询, 对应的噪声尺度为 ,而 对应的尺度为 。绝对误差的期望值等于该尺度。
高斯机制添加服从正态分布的噪声,通常提供的是近似差分隐私,而非纯差分隐私。其噪声校准使用 敏感度。当 时,一个经典的充分条件是
这是一个便于使用的界,而非最紧的校准条件。更精确的方法会直接评估高斯噪声的隐私性质。高斯机制在高维统计和迭代学习中尤为重要,因为可以高效地分析其组合后的隐私保证。
敏感度往往不能仅靠计算来确定,还必须通过约束来控制。对没有取值上界的收入求和,其敏感度也是无界的。将每人的贡献裁剪到固定区间内,可以得到有限的敏感度上界,但代价是改变了所估计的量。计算均值时,需要同时关注分子和分母:将有界的总和除以一个公开且固定的计数,与使用经过隐私保护估计的计数来计算比值,并不相同。同样,数据库连接可能将一个人的贡献扩展到许多输出行。这些结构性影响可能成为决定噪声尺度的主导因素。
并非所有隐私保护发布都最适合表示为带噪声的数值。麦克谢里和库纳尔·塔尔瓦尔于2007年提出的指数机制,在通常的离散输出表述下,根据质量评分 选择输出 :
它倾向于选择质量较高的结果,同时限制单个参与者对选择过程的影响。其应用包括选择模型、阈值或类别。当通用的独立噪声会造成不必要的精度损失时,更专门的机制会采用平滑敏感度、阈值检验或精心设计的相关噪声。
组合、后处理与隐私核算
差分隐私的设计支持对一整套连续分析进行推理。其后处理定理指出,在不进一步访问受保护数据的情况下,对满足差分隐私的输出进行变换不会削弱其隐私保证。对加噪后的表格进行舍入、可视化、投影以满足一致性约束,或用它来训练另一个模型,都不会仅因这些处理而产生额外的隐私开销。这些变换可以使用公开信息或独立的随机性。不过,如果变换过程中再次访问了保密数据集,就必须对这次访问单独进行分析。
组合处理的是重复访问的问题。如果机制 分别提供 -差分隐私,则它们的联合发布满足以下基本界限:
对于自适应分析,只要每个机制在给定此前交互记录的条件下都满足所要求的条件隐私保证,上述界限仍然成立。分析人员可以在看到之前的回答后再选择下一个查询,但查询具有探索性,并不意味着隐私开销就会消失。对于纯差分隐私,即使重复执行完全相同的查询,只要每次使用新的独立噪声,也会累积隐私损失;对这些回答取平均值会逐步降低噪声。
隐私预算一词指的是这类组合规则所追踪的资源。它并不是一种可以在个人生活中直接测量的隐私量,而是记录某一组特定机制所允许的信息披露的上界。一个系统可能将部分预算用于选择类别,部分用于估计计数,另有部分用于验证模型。如果只是再次分发已经发布的差分隐私输出,这种再分发本身不会产生对底层数据的新的独立观测。
基本的相加规则往往较为保守。对于较长的机制序列,高级组合可以给出小得多的界限。伊利亚·米罗诺夫于2017年提出的Rényi差分隐私,通过相邻数据集所对应的输出分布之间的Rényi散度来表述隐私。它尤其有用,因为在固定散度阶数下,隐私开销可以在组合时直接相加。由此得到的界限随后可以转换为 形式的保证。集中差分隐私和隐私损失分布方法则提供了表示累积隐私损失的其他方式。
在适当假设下,子采样也可以放大隐私保护。如果某个个体以概率 被随机纳入数据集,那么与该个体必然被纳入时所应用的机制相比,整体机制可能会泄露更少的有关该个体的信息。确切的放大公式取决于采样过程、相邻关系以及隐私定义。在隐私核算中,泊松采样、固定样本量采样和有放回采样不能随意互换。同样,对于互不相交的群组,并行组合可以避免将各自的隐私开销相加,但前提是这些群组相对于实际受保护的单位确实互不相交。
中心化、本地与分布式信任模型
中心化模型假定,可信的数据管理方可以访问机密数据,但只发布满足差分隐私的结果。统计机构或数据库服务可以采用这种方式运作。这一保证限制的是接收方能从发布的输出中获知什么,并不阻止数据管理方查看原始记录。因此,仍然需要通过访问控制、安全存储、审计和组织管理规程来保护这种内部访问。中心化机制通常能实现较高的准确性,因为它们在汇总大量参与者的贡献后才添加噪声。
在本地差分隐私中,每位参与者都会在收集方收到其贡献数据之前,先对数据进行随机化处理。本地随机化器 在不同可能输入值之间满足似然比界限,因此收集方无须接收未经扰动的值。一个奠基性的例子是随机化回答,由斯坦利·沃纳于1965年提出,比“差分隐私”这一名称的出现早了数十年。对于敏感的是非问题,受访者可以按一定概率如实作答,否则给出随机答案。根据已知的随机化程序,可以估计总体频率。
在一种常见的二元构造中,随机化器以如下概率报告真实值:
并以概率 报告相反值。对于任一种报告答案,它在两种可能输入下出现的概率之比均不超过 。如果真实值为 的参与者占比为 ,则报告值为1的预期占比为 。估计量可以通过反解这一关系来估计真实占比,但这种校正会放大抽样噪声,尤其是在 较小时。
这体现了本地模型的主要权衡:对信任的要求越低,通常就需要多得多的参与者,才能达到相近的准确性。本地频率估计在大规模场景下可以表现良好,但难以处理稀疏类别和高维数据。同一个人多次报告数据时,也需要进行组合分析。单次报告的隐私保证并不会自动转化为对长期持续报告流的隐私保证,尤其是在底层数值随时间变化的情况下。
介于两者之间的模型将信任分散到多个组件。在洗牌模型中,用户在本地对消息进行随机化处理,中间方则在汇总之前消除消息与发送者之间的关联。在适当的假设下,与仅使用本地随机化器相比,洗牌可以增强隐私保护。与密码学和分布式计算相关的安全聚合,可以在揭示汇总结果的同时隐藏个体贡献。但它本身并不能使汇总结果满足差分隐私:仍须引入经过适当校准的随机性。因此,每种架构都有不同的威胁模型,其中包括对串通、消息关联、参与者被攻破,以及预期噪声是否确实生成等问题的假设。
机器学习中的差分隐私
训练得到的模型可能泄露其训练数据中的信息,即使原始样本并未公开。攻击者可能试图确定某条记录是否参与了训练、恢复具有辨识度的字符串,或重建属性。过拟合可能加剧某些形式的信息泄露,但仅凭测试误差较低并不能保证隐私。差分隐私学习则对以下变化施加界限:当受保护的训练数据贡献发生变化时,训练所得模型的分布会发生多大变化。如果整个训练过程满足差分隐私,发布所得模型也在这一保证的覆盖范围内。
一种主要技术是差分隐私随机梯度下降,人们通常将其与 Martín Abadi 及其同事在 2016 年开展的差分隐私深度学习研究联系起来。在一种典型实现中,算法抽取一个批次,为每个样本计算梯度,将每个梯度裁剪至欧几里得范数不超过 ,在聚合后的梯度中加入高斯噪声,然后更新模型。对于单个样本的梯度 ,裁剪形式为
裁剪限制了每个样本的影响,而注入的噪声则掩盖了这种已被限制的影响。隐私核算器综合计算采样和多次更新产生的影响。
确切的隐私保证取决于一些细节,而常规的深度学习流程可能仅将这些细节视为实现层面的选择。批次采样方式必须符合隐私核算器的假设。裁剪所针对的单位必须与受保护的单位一致。如果一个人贡献了许多样本,逐样本裁剪并不会自动提供等效的用户级保证。依赖数据的预处理、词表构建、模型选择以及裁剪阈值的选择,如果以隐私分析尚未涵盖的方式使用机密信息,也可能消耗隐私预算。
差分隐私训练会从多个方面改变优化问题。裁剪可能使梯度产生偏差,而噪声会增大梯度的方差。数据集规模较小、类别稀有以及参数空间维度较高,都可能导致显著的准确率损失。具体影响取决于任务难度、模型架构、基于公开数据的预训练、优化步数以及隐私目标。先用公开数据训练表征,再进行差分隐私微调,可以减少所需的差分隐私训练量;但在评估整体保护程度时,仍需关注这个所谓公开模型的来源。
其他方法包括:针对适用的经验风险最小化问题进行目标函数扰动,对稳定估计量进行输出扰动,以及 PATE 等教师模型集成方法。在教师模型集成中,使用互不相交的私有数据子集训练的模型对标签进行投票,再由带噪声的聚合机制为学生模型提供标签。在联邦学习中,可以对客户端更新进行裁剪并加入噪声,以保护参与者。联邦学习本身并不等于差分隐私:将原始数据保留在设备上,并不能防止更新泄露信息。反过来,一旦模型在有效的差分隐私训练保证下发布,对这个固定模型进行不限次数的处理,本身并不会额外消耗隐私预算。
统计效用与数据发布设计
差分隐私引入了一种明确的统计误差来源,但误差的大小及其影响取决于查询和总体规模。对于敏感度为 的计数,若添加尺度为 的拉普拉斯噪声后发布,其绝对误差的分布不会随总体规模增大而变化。因此,对于较大的计数,其相对误差可能很小;而对于罕见事件,相对误差则可能很大。这种不对称性是官方统计和子群体分析中的核心问题:某种机制即使在全国总量上表现良好,也可能对小地理区域或不常见的特征组合给出不稳定的估计。
举一个简单的例子:在替换邻接关系下,考虑一个取值范围为 的有界变量,样本量 固定且公开。其样本均值的敏感度为 ,因此拉普拉斯噪声的尺度可以设为
因此,更大的数据集可以同时支持较强的隐私保护和准确的估计。不过,这一界限成立的前提是,取值范围确实受到严格约束,而且分母的处理方式与隐私模型保持一致。如果取值范围是根据保密数据中的极值选定的,或者样本量本身也需要保护,就可能需要额外的机制。
误差并不局限于最后一步添加的随机扰动。贡献裁剪通过限制较大贡献,改变了所要估计的目标量。抑制某些类别,或以隐私保护方式选择类别,可能导致低频群体被遗漏。将含噪计数投影到满足非负、整数值或内部一致性约束的表格上,可能引入偏差和相关性。例如,将所有负的含噪计数设为零,可以避免发布不可能出现的数值,却会抬高接近零的计数的期望值。当用户计算比率、比较群体或构造不确定性区间时,这些影响都很重要。
最优机制往往取决于预期的查询工作负载,而不是孤立的单项查询。若一次发布包含全国、区域和地方层面的计数,就可以利用它们之间已知的层级关系。系统不必对每个请求的数值分别添加扰动,而是可以测量一组经过精心选择的量,再通过数学优化推导出其余数值。此时,准确性取决于优先测量了哪些量,以及噪声如何在重建过程中传播。因此,选择查询工作负载是发布设计中的一项实质性工作。
以隐私保护方式生成的合成数据提供了另一种发布形式:根据满足隐私保护要求的模型或统计测量结果,生成人工记录。隐私保证来自构建过程中的隐私保护,而不是记录是人工生成的这一事实。不具备隐私保护的生成器可能会记住真实样本。即使是满足隐私保护要求的合成数据集,也可能无法充分保留某些关系,尤其是在生成过程中未被重点关注的罕见交互关系。统计推断必须区分抽样不确定性、隐私噪声、模型近似和后处理效应;仅考虑抽样误差的常规公式,可能无法充分描述所发布的数据。
公开部署与工程要求
差分隐私已应用于商业遥测和官方统计。Úlfar Erlingsson、Vasyl Pihur 和 Aleksandra Korolova 于 2014 年介绍的 Google RAPPOR,利用随机化回答和编码技术,收集客户端字符串的汇总信息。其设计结合了持久随机化和每次重新随机化,以应对重复上报问题。Apple 于 2016 年宣布采用差分隐私,从设备中了解总体使用模式。这些部署表明,收集群体层面的信号具有价值,而不必将收集精确的个体数据作为必要的第一步。
美国人口普查局为 2020 年人口普查的主要数据产品采用了满足差分隐私的防披露系统。其 TopDown 方法在不同地理层级之间分配精度,并通过优化,将加噪测量值转化为满足特定一致性要求的表格和记录。这次部署使隐私核算、小区域统计精度以及精确约束的处理方式受到广大统计界人士的关注。一些统计量被指定为不变量,并予以精确保留;因此,如何解释其隐私保障,取决于相邻数据集模型以及分析该机制时所采用的约束条件。
实际的数据库系统还面临其他困难,因为查询的敏感度不仅取决于其最终表达式。连接、分组、重复记录和重复事件都可能大幅放大单个人的影响。因此,提供隐私保护的查询服务可能需要明确的用户标识符、贡献上限、经批准的聚合算子,以及跨会话持续进行的隐私核算。普通的 SQL结构化查询语言语法无法表达所有这些要求。在多对多连接后统计行数的查询,与统计受保护个体去重人数的查询,其敏感度可能截然不同。
数值实现也是隐私保障的一部分。在理想实数运算下被证明正确的机制,在有限精度运算中可能表现不同。早期分析表明,朴素的浮点噪声采样实现可能在可输出的数值中留下某些模式,从而违反预期的隐私界限。稳健的实现会使用精心设计的离散机制、安全的采样程序,或涵盖实际数值表示方式的数值分析。当输出和计算本身以整数为基础时,离散高斯机制很有用。
运行中的失误可能绕过一个原本有效的机制。调试日志可能包含原始输入,崩溃报告可能暴露尚未加噪的中间统计量,内部仪表板也可能发布未纳入隐私核算的数值。随机性必须正确生成,且隐私保护输出不得附带依赖数据、却未纳入分析的错误信息。形式验证、专用类型系统、代码审查和统计测试分别应对这一问题的不同方面。测试可以发现缺陷,但未观察到成功攻击,并不能证明满足差分隐私;数学上的保证必须涵盖所有已发布信息的实际分布。
解读、局限与持续研究
差分隐私的优势在于,无论对其输出进行何种后续处理,其保证都依然成立,而且不需要全面掌握攻击者拥有的辅助知识。不过,它的保护范围有明确的界限。满足差分隐私的机制不会隐瞒已通过其他来源获知的事实,不会抹去此前未经隐私保护的发布所泄露的信息,也不会阻止基于真实总体相关性作出的推断。如果根据公开信息就能高度准确地预测某个属性,那么满足差分隐私的发布并不一定会使该属性变得不可预测。这一保证限制的是受保护的数据贡献所带来的增量影响,而非承诺让外界对参与者一无所知。
人与人之间的相关性需要格外谨慎地处理。一个人的亲属可能透露与此人有关的信息,而遗传数据或家庭数据中也可能包含共同属性。标准的个体级差分隐私仍然能够约束改变指定个体的数据贡献所产生的影响,但并不会自动保护他人记录中与该贡献相关的所有事实。通过群体定义和其他隐私模型,可以实现某些更广泛的目标,但通常需要付出更大的准确性代价,或引入额外的建模假设。区分数据贡献的隐私与属性的保密,有助于避免作出超出数学保证范围的宣称。
不存在一个能让所有应用都安全的通用隐私参数。所报告的 的含义取决于受保护的单位、相邻关系、完整的发布历史,以及同时给出的任何 。即使具有相同的最坏情况界限,不同机制的实际表现也可能不同。仅为处理流程中的某个阶段标注一个很小的数值,并不足以刻画一个不受约束的系统。因此,参数选择既需要数学上的隐私核算,也需要机构就可接受的信息披露程度和所发布统计结果的价值作出判断;数学定义本身无法替代这些判断。
差分隐私也不同于法律意义上的匿名化、同意、目的限制和数据最小化。它提供的是关于某一类信息泄露的证据,并不意味着自动满足法律或专业实践的所有要求。对于未经扰动的数据及其处理系统,信息安全仍然不可或缺。同样,采用差分隐私训练的模型仍然可能产生错误的、带有歧视性的或其他有问题的输出。隐私、预测准确性、公平性和安全性描述的是不同的性质,即便用于改善这些性质的技术之间会相互影响。
持续开展的研究包括更紧致的隐私核算、隐私预算的自适应分配、高效的用户级学习、图数据和纵向数据的隐私保护分析,以及在稀疏人群中仍具有实用性的机制。持续观测问题尤其具有挑战性,因为连续发布的汇总数值可能反复暴露同一参与者的影响。图数据的隐私保护分析中也存在类似的区别:保护一条边,与保护代表一个人的整个节点及其关联边,并不是一回事。机器学习领域的研究则探讨如何保留罕见但有用的信号,同时避免少数训练样本主导模型行为。在这些问题中,核心技术任务都是在明确规定的隐私约束下,刻画所能达到的最小误差。