去标识化是指删除、变换或限制那些将数据与可识别个人联系起来的信息的过程。它通过降低身份识别风险来保护数据隐私,同时保留可用于研究、分析、测试及其他活动的信息。去标识化并非某一种技术,也不能普遍保证匿名性:其有效性取决于数据本身、所采用的变换、潜在攻击者能够获得的信息,以及结果被使用或披露时的具体条件。
适用范围与术语
去标识化可用于数据库中的结构化记录、自由文本、图像、音频、位置轨迹及其他形式的信息。其范围不仅限于删除姓名:即使不再保留任何显式标识符,一些看似普通的属性组合在一起,也可能识别出某个人。
以下几个相关术语各有不同含义:
- **匿名化**通常指按照适用标准,使个人不再能够被识别。一个数据集是否符合匿名要求,取决于相应的法律或技术框架以及周围的具体情境。
- **假名化**用随机分配的代码等替代标识符,同时仍允许通过单独保存的信息或其他机制将数据归属到个人。它可以辅助实现去标识化,但不一定能使数据匿名。
- 数据掩码通过替换、隐藏或更改数值来处理数据。掩码处理可以减少测试系统或业务运行系统中的数据暴露,但其隐私保护效果取决于具体实现方式。
- **加密**使信息在没有密钥的情况下无法读取,从而保护信息。由于经授权解密可以恢复原始信息,因此仅靠加密通常不能确立匿名性。
因此,“已去标识化”描述的是特定处理或评估的结果,而不是文件固有且永久不变的属性。
标识符与披露风险
直接标识符与间接标识符
直接标识符包括姓名、个人身份号码,以及在特定情境下能够将记录直接关联到个人的其他属性。
**准标识符**也称间接标识符,是指相互组合或与外部信息结合后,可能识别出某个人的属性。例如年龄、邮政区域、职业和特定事件的日期。其识别能力取决于所涉及的人群和可获得的背景信息。
敏感属性包含披露后可能造成损害或受到披露限制的信息,例如财务详情或保密调查的回答。这些类别可能相互重叠:罕见的敏感属性本身也可能有助于识别个人。
披露的形式
隐私分析通常区分以下几种风险:
- **身份披露:**将某条记录与特定个人关联起来。
- **属性披露:**获知某个人的敏感事实,即使无法唯一确定其对应的记录。
- **成员身份披露:**获知某个人出现在某个数据集中,而被纳入该数据集这一事实本身就传递了某种信息。
- **推断性披露:**根据已发布信息得出有关某个人的新结论,其中也可能包括概率性的结论。
删除直接标识符主要针对最明显的身份披露途径,并不会自动防止其他形式的披露。
重新识别与链接
重新识别是将先前已去标识化的信息与个人关联起来。其中一种途径是记录链接:利用共有属性、独特模式或近似相似性,对不同数据集中的记录进行匹配。
外部信息可能来自公共记录、商业数据集、网络出版物,或攻击者的个人知识。多次发布数据也可能带来风险:两个数据集单独看来都受到了充分保护,但将它们结合起来后,可能就能识别个人。
威胁模型明确假设中的攻击者、其掌握的知识和资源,以及需要防止的披露。如果没有这些假设,就很难理解关于重新识别风险的说法究竟意味着什么。
主要技术
去标识化过程通常会结合多种方法,而不是依赖单一变换。
| 技术 | 操作方式 | 重要局限 |
|---|---|---|
| 删除或抑制 | 删除字段、记录或选定的值 | 剩余属性仍可能识别出个人 |
| 泛化 | 将精确值替换为更宽泛的类别,例如年龄段 | 减少分析细节,并可能掩盖小群体的情况 |
| 顶端编码或底端编码 | 将高于或低于某个阈值的极端值归为一组 | 可能扭曲对分布尾部的分析 |
| 假名替换 | 用代码替换标识符 | 稳定不变的代码会保留可链接性 |
| 聚合 | 发布计数或汇总结果,而非个人记录 | 小群体或相互重叠的汇总结果可能披露信息 |
| 扰动 | 通过添加噪声、舍入、交换或相关方法更改数值 | 任意修改并不能提供普遍的隐私保证 |
| 合成数据生成 | 生成人工记录,以反映原始数据的某些方面 | 生成的记录或模型可能泄露源数据的信息 |
散列与假名
密码散列函数可以将标识符转换为固定长度的值,但散列处理本身并不能使标识符匿名。对于电话号码等可预测的输入,可以对候选值进行散列并比较结果,从而恢复原始值。
公开的盐值可以妨碍预计算表的重复利用,但对于较小的输入空间,并不能阻止对候选值的枚举。基于秘密密钥的构造和受控查找表可以提供不同的保护,但稳定不变的假名仍可能使不同批次发布的记录被链接起来。
非结构化数据与多媒体数据
对文档进行去标识化,可能需要检测姓名、地址、日期、人物关系和间接描述。自然语言处理可以将其中部分工作自动化,但标识符漏检和错误删除仍是重要局限。
图像和录音录像还会带来额外的身份识别线索,包括人脸、声音、可见文字、具有辨识度的地点,以及嵌入的元数据。删除文件名或模糊人脸后,其他可辨认的细节可能依然完好地保留下来。位置轨迹尤其难以处理,因为反复出现的地点和移动模式可能具有独特性。
形式化隐私模型
形式化模型将特定的保护目标明确化。各模型提供的保证不同,对这些保证的解读都不应超出其假设范围。
k匿名性
对于一组选定的准标识符,如果其已发布属性的每一种组合都至少出现在 条记录中,那么该表就满足相对于这组准标识符的k匿名性。
若以 表示所选的准标识符,则条件为
这里, 是已发布的表。该保证针对的是在 上的不可区分性,而不是针对所有可能的背景知识。
如果某个等价类中每个人的敏感属性值都相同,该值仍可能被披露。此外,-匿名性通常并不意味着身份识别概率至多为 :这种解读需要对攻击者和人群作出额外假设。
l多样性与t接近性
l多样性对每个等价类内部敏感属性值的多样性提出了额外要求。它的各种变体弥补了 -匿名性的部分缺陷,但多个不同的值仍可能传递几乎相同的敏感信息。
t接近性则限制一个等价类内部敏感属性的分布与参考分布之间的差异程度,参考分布通常是整张表的分布。其有效性部分取决于所采用的距离度量和数据的含义。
差分隐私
差分隐私根据指定的相邻数据集定义,对增加、删除或更改一个受保护单元的数据时,随机机制输出分布的变化幅度加以限制。
对于相邻数据集 和每个可测输出集合 ,如果机制 满足以下条件,则称其满足 -差分隐私:
与简单删除标识符不同,这是发布机制本身的一种性质。保护效果取决于相邻关系、参数选择、实现方式,以及对多次发布所作的隐私损失核算。保护单个事件不一定等同于保护某个人的全部历史记录。
差分隐私可用于统计数据发布、合成数据生成和机器学习,但不会自动使所有产出的数据集在法律上被认定为匿名。
评估与运行管控
去标识化评估既要考虑披露风险,也要考虑保留下来的实用价值。典型活动包括:
- 明确预期用途和发布环境。
- 盘点标识符、敏感属性和相关背景信息。
- 选择变换方法,并明确隐私标准。
- 测试合理可行的链接攻击和推断攻击。
- 评估分析准确性及对分布的影响。
- 记录残余风险,并在条件变化时重新评估。
基于唯一性或模拟攻击的风险估计,依赖于对可获得的外部信息所作的假设。在测试中未能重新识别记录,并不能证明重新识别不可能发生。
发布环境也很重要。可供公众下载的数据可以在没有持续监督的情况下被复制和组合。受限环境则可以增加访问控制、日志记录、合同限制和输出审查。这些措施是对数据变换的补充,并不会使底层记录具有固有的匿名性。
应用与局限
去标识化可用于统计数据发布、研究合作、软件测试和训练数据准备。它既能减少个人信息不必要的暴露,也能支持有用的分析。
核心权衡在于隐私保护与数据效用之间的取舍。泛化可能掩盖局部差异;抑制可能使罕见案例被不成比例地删除;噪声则可能降低对小群体估计的准确性。因此,评估需要考察预期开展的分析和受到影响的子群体,而不能只看整体的数据质量。
合成数据并不能消除这些问题。生成器可能重现源数据中的特殊记录,或泄露其训练样本的特征。同样,即使在训练前删除了直接标识符,训练出的模型仍可能保留有关个人的信息。
去标识化也无法解决与数据使用有关的所有问题。匿名统计数据仍可能让人推断出群体的敏感信息,而且身份识别风险较低,并不能决定数据收集或使用是否合法正当。
法律背景
不同司法管辖区采用的法律术语和判定门槛各不相同。
根据欧盟《通用数据保护条例》,经过假名化的信息,如果可以借助额外信息归属于某个人,仍属于个人数据。该条例在分析匿名化时,会考虑合理情况下可能被用于身份识别的手段,包括相关技术和情境因素。
根据美国《健康保险流通与责任法案》的《隐私规则》,健康信息可通过专家认定方法或安全港方法达到去标识化要求。专家认定是指由具备资质的专家认定,在指定条件下,身份识别风险极低。安全港要求删除规定类别的标识符,而且不得实际知悉剩余信息可用于识别个人。
这些标准各自适用于特定框架。符合某一去标识化标准,并不意味着自动满足另一部法律中的匿名要求,也不保证能够抵御未来所有攻击。