合成数据是由计算过程生成的观测数据、记录或其他信息,而非完全通过直接测量其所代表的事件或实体而获得的数据。它们可以与现有数据集相似,可以描述假想的群体,也可以呈现从未发生过的情境。例如,模拟道路场景、人工生成的金融交易、生成的医疗记录,以及机器编写的指令—回答对,都属于合成数据。合成数据集可以依据明确的规则、统计模型、物理仿真,或从真实观测数据中学习得到的生成模型来创建。
合成数据在机器学习、软件测试、科学研究和统计数据发布中具有重要作用。它们可以提供原本获取成本高昂的标签,让系统接触罕见情形,并使受限信息更便于获取和使用。其价值取决于预期用途:适合测试数据库接口的数据集,可能不适合用于估计人群健康状况;而看起来逼真的图像,也可能无法提升视觉系统的性能。
人工生成本身并不意味着输出数据准确、匿名、具有代表性,或已获得合法使用许可。合成数据会承袭其构建过程中的假设,也可能保留源材料中的缺陷或敏感信息。因此,对合成数据的研究不仅涉及生成方法,还涉及评估、隐私分析、来源追溯,以及对下游使用的管控。
定义、范围与主要区别
合成数据的本质特征在于其生成方式,而非文件格式或表面上的逼真程度。合成观测由模型或程序构建,用来代表原本可能通过采集获得的观测。其具体对象可以是表格中的一行、图像、波形、文档、交易序列,也可以是一个成员之间相互作用的完整群体。有些生成器模仿特定的源数据集;另一些则依据某种理论或规范生成数据,不从任何个体层面的记录中学习。
一个有用的区分是将合成数据分为完全合成数据和部分合成数据。在统计披露工作中,完全合成的数据发布通常会将拟发布的敏感观测值替换为生成值,有时会采用本身并不涉密的抽样框。部分合成的数据发布则保留部分观测值,仅对选定的字段或记录进行合成。不同领域的术语用法有所差异:在商业系统中,“完全合成”可能仅表示输出的每一行都是生成的,即使生成器是用机密记录训练出来的。因此,仅凭这一标签,几乎无法判断数据的隐私保护程度。
合成数据也不同于匿名化、掩码处理和假名化数据。将一个人的姓名替换为任意标识符,是对现有记录的转换,并不一定生成新的观测。向数值字段添加噪声,可能属于扰动,也可能属于合成,或兼具两者,具体取决于所用程序。生成的表格即使没有任何完全照搬的记录,仍可能通过罕见的属性组合泄露源数据信息。反过来,有用的测试数据集也可以刻意包含明显虚构的姓名,因为它的设计目的是测试功能,而非追求统计上的相似性。
数据增强与数据合成有所重叠,但两者并不相同。旋转照片或调整其亮度,是对现有样本的修改,通常会保留其标签;而生成包含不同物体的新场景,则会构建出一组范围更广的属性。两者之间没有截然分明的界线:拼接图像区域、对特征向量进行插值或生成同义改写,都可以合理地称为增强或合成。在实际操作中,重要的是哪些信息沿用自原数据、哪些信息是新创建的,以及这种转换保留了哪些关系。
合成数据集可以旨在接近观测到的概率分布、覆盖指定场景,或满足逻辑约束。这些目标并不一定一致。具有统计代表性的交易数据集可能几乎不包含重大欺诈案例,而压力测试数据集则可能刻意提高此类案例的占比。因此,数据质量必须根据明确声明的用途来定义,而不能用单一、普适的逼真度指标来衡量。
历史发展
合成数据有多条历史发展脉络。早在当代生成模型出现之前,科学模拟就已存在:研究人员通过生成人工观测数据来理解物理系统、研究测量误差,并评估统计方法。蒙特卡洛方法在20世纪40年代得到重要发展,通过反复随机抽样来估计可能难以直接计算的量。模拟样本使研究人员能够在已知条件下比较估计量,包括在构造过程中就已明确真实总体参数的情形。
另一条发展脉络源于官方统计学实践中的保密需求。供公众使用的微观数据在分析细节与信息披露风险之间存在矛盾。详细记录有助于研究,但年龄、地点、职业和家庭构成等信息的组合,即使不包含姓名,也可能识别出个人。唐纳德·鲁宾于1993年提出合成公共使用微观数据的方案,推动确立了一种思路:由统计机构发布生成的记录,而非仅仅修改保密的原始观测数据。杰罗姆·赖特在21世纪初的研究进一步发展了针对部分合成数据发布的统计推断和披露风险评估方法。
这些进展与缺失数据处理方法密切相关。在这两类情境中,模型都会根据已观测到的信息生成合理的数值。不过,两者的目的不同:缺失数据方法用于处理不完整的观测数据,而以防止信息披露为目的的数据合成则有意替换信息,以削弱发布记录与可识别受访者之间的联系。生成多个数据集可以体现合成过程带来的不确定性,但应采用何种推断规则,取决于数据的构造方式和发布设计。
在机器学习领域,人工样本成为应对数据集规模小和类别不平衡问题的一种实用手段。尼泰什·查瓦拉及其同事于2002年提出的合成少数类过采样技术,即SMOTE,通过在相近观测样本之间进行插值来生成少数类样本。它不是复制稀有样本,而是沿局部线段构造额外的特征向量。这种方法可能有助于改善某些分类器的表现,但其前提是插值区域属于同一类别,并且在所选的数据表示方式下具有实际意义。
深度学习的发展扩大了可合成数据的范围。2014年提出的生成对抗网络使基于学习的图像生成成为一个重要研究方向。变分自编码器、自回归模型以及后来出现的扩散模型则提供了其他途径。进入21世纪20年代,能力强大的大语言模型极大地推动了合成文本、代码和指令在实际应用中的生成。这些进展降低了使用生成技术的门槛,同时也使来源归属、评估污染以及反复利用生成材料进行学习等问题变得更加重要。
统计生成方法与基于学习的生成方法
统计生成器规定了抽取人工观测数据的过程。对于包含变量 的表格,一种方法是将这些变量的联合分布分解为条件分布的乘积:
各个变量依次生成,并以前面已生成的值为条件。条件模型可以是回归模型、决策树,也可以是更灵活的估计模型。变量的排列顺序和建模假设会影响哪些依赖关系得以再现。对每一列独立采样,可能保留各列的边缘分布,却破坏家庭收入、家庭人口数与住房支出等变量之间的关系。
基于规则的生成器则将明确的要求编码为规则。软件测试系统可以在规定范围内生成账户余额,确保交易日期晚于开户日期,并在表之间建立有效的引用。规则可以强制满足统计模型可能违反的要求,但在复杂领域中,人工编写的依赖关系难以维护。因此,混合系统会将学习得到的分布与约束、拒绝采样或修复程序相结合。
神经网络生成器通过可训练的函数来表示分布。变分自编码器将样本映射到概率性的潜在空间,并学习一个用于重构或生成观测数据的解码器。生成对抗网络让生成器与判别器进行对抗训练,其中判别器试图区分生成样本与真实样本。扩散模型学习逆转一系列逐步添加噪声的过程。自回归模型按顺序生成各个组成部分,并以前面的组成部分为条件。这些方法在训练稳定性、采样成本、可控性以及表示离散或连续结构的能力方面各有差异。
条件生成会提供额外信息,例如类别标签、文本描述或指定场景。如果 是随机输入, 是条件,则生成过程可表示为
其中, 是参数为 的生成器。条件可以引导图像生成器生成雨天道路场景,也可以引导表格生成器生成特定年龄群体的数据。但加入条件并不保证生成结果一定符合要求:生成器可能忽略难以满足的条件,只满足表面特征,或产生相互矛盾的组合。
关系数据、时序数据和网络数据带来的约束超出了单条记录的范围。如果购买记录表违反外键关系,或产生不可能发生的事件序列,那么仅有一张看似合理的客户表仍然不够。时间序列合成必须处理季节性、时间依赖性、运行状态的突变以及不规则采样。网络合成可能需要保留度分布特征、社群结构以及随时间变化的交互关系。这些情况说明,一个适合生成相互独立的数据行的生成器,未必适用于某个组织的完整数据库。
仿真、渲染环境与精确标签
仿真通过对产生观测数据的过程进行建模来生成合成数据。在计算机视觉中,虚拟场景定义了几何形状、材质、光照、物体和传感器参数。随后,计算机图形学技术从选定视角渲染图像。由于场景是显式构建的,系统还可以直接输出深度、物体身份、表面法线和像素级类别标签,无须人工标注。因此,同一个场景可以用于目标检测、语义分割和运动估计。
SYNTHIA 和 Virtual KITTI 数据集均于 2016 年推出,是用于自动驾驶研究的合成环境实例。这类数据集允许研究者以可控的方式改变天气、光照、交通状况和视角。开发者无须等待在公共道路上采集到某种特定条件组合的数据,而是可以反复渲染这种组合。同一个底层场景还可以由多个模拟传感器观测,从而生成相互对齐的图像、深度测量结果及其他信号。
主要困难在于仿真观测数据与实际部署环境之间存在差异。渲染可能未能涵盖镜头眩光、卷帘快门畸变、传感器噪声、不规则材质,或真实交通中出现的行为。这是一种分布偏移,通常被称为仿真到现实的差距。系统可能在生成的图像上表现良好,但当真实传感器产生仿真器未曾呈现的模式时,却可能失效。
域随机化通过大范围改变仿真参数来应对这一问题。物体纹理、相机位置、光照、摩擦力或物理尺寸等参数,可以在比预期部署条件更宽的范围内采样。其目的并不总是让每张图像都达到照片级真实感,而是防止模型依赖狭窄且人为的规律。域适应则提供了互补的方法,用于对齐仿真数据与真实数据的表征。无论采用哪种方法,都仍然需要使用真实观测数据进行评估。
仿真在机器人技术和强化学习中也处于核心地位。智能体可以通过在环境中采取行动、接收观测和奖励来生成轨迹。当现实世界中的实验缓慢、昂贵或存在危险时,这种方式使训练成为可能。科学仿真器同样能够生成合成的传感器读数、光谱和物理场。在这些应用中,数据质量取决于模型方程、数值近似、边界条件和参数估计。所谓精确标签,其精确性仅相对于仿真器而言:即使虚拟环境中的一次碰撞得到了完美标注,也不能据此认定所建模的动力学与真实碰撞相符。
合成文本、代码与指令数据集
文本合成可以生成单个句子、文档、对话、结构化回答或可执行程序。早期方法通常依赖模板和语法规则。当代系统则常用预训练的语言模型,根据指令、源文档或期望的任务类别生成样例。这使大规模构建用于自然语言处理的数据集成为可能,但生成器流畅的表达也可能掩盖事实错误、重复的推理和缺乏依据的假设。
一个突出的用途是指令微调:将生成的任务及回答用作训练数据,训练模型遵循指令。2022 年提出的 Self-Instruct 方法,从少量人工编写的任务出发,通过模型生成指令和实例,再进行筛选,以此扩充任务集合。所得样例用于微调。这一方法表明,合成生成无需逐条人工编写样例,就能扩大任务覆盖范围;不过,数据质量仍取决于种子任务、生成流程和筛选规则。
与不受约束的自然语言文本相比,合成代码更便于自动检查。生成的程序可以经过编译、执行,并依据指定的输入输出行为接受测试。数学答案有时可以通过计算检查,形式化陈述则可以借助证明助手验证。然而,成功执行并不等于完全正确。程序可能通过有限的测试,却在未经测试的情形下出错;验证器也只能确认其规约中所表述的性质。
教师—学生流程使用一个模型为另一个模型生成数据。这与知识蒸馏有所交集,但以生成文本作为训练目标,不同于传递教师模型完整的概率输出。合成的解释、备选答案和偏好比较都可以提供训练信号。如果教师模型反复犯同样的错误,扩大生成语料的规模可能会放大错误,而不是纠正错误。使用多个生成器、多样化提示和外部验证可以改变错误的分布与关联方式,但这些措施是否有效,必须通过测量确认,而不能想当然。
构建数据集还需要关注重复内容和评估边界。生成器可能复现已知的基准测试问题,或生成与其十分接近的改写版本。如果这些内容进入训练集,模型后续的表现可能反映的是基准数据污染,而非能力提升。较长的合成对话可能在不同轮次之间出现矛盾;生成的引文可能指向并不存在的来源;一个答案被另一模型认可,也可能仅仅是因为它符合该模型的偏好。因此,与生成的词元总量相比,数据来源记录和针对具体任务的验证更能说明问题。
科研与产业中的应用
在软件开发中,合成数据可用于功能测试、负载测试和可复现的演示。支付服务可以使用有效和无效的交易序列进行测试,而不暴露真实客户的信息。可以向关系数据库中填入数百万条人工生成的记录,以研究查询性能、索引和存储行为。对于这些用途,记录长度、分布偏斜、数据间关系及交易模式是否逼真,可能比抽取几行看上去像真的记录更为重要。
机器学习领域的应用侧重于训练数据的覆盖范围和标签。合成样本可以提高稀有类别在数据中的占比,构造可控的属性组合,或提供常规采集方式无法获得的标注。例如,渲染生成的场景可以将图像中的每个像素与一个已知对象对应起来。然而,数据集规模增大并不等于独立信息增多。围绕少量原始模式反复生成变体,对泛化(机器学习)能力的提升可能有限。
涉及敏感数据的应用包括共享财务、教育和健康记录的人工合成版本。这类发布的数据可用于探索性分析、方法开发,或在获准访问受限数据之前编写代码。在某些统计研究安排中,研究人员先使用合成数据文件开发分析方案,再提交代码,由相关方在保密记录上运行。这种做法将开发过程的便利性与最终结果作为证据的地位区分开来。发布的合成数据不必准确复现每一种关联,也未必足以直接支持针对实际问题的推断。
在网络安全领域,人工生成的事件日志和网络流量可用于测试检测系统。生成器可以模拟登录序列、恶意请求或异常访问模式。难点在于复现检测攻击时所处的背景行为。如果合成攻击包含格式上的伪迹或不切实际的时序,分类器可能看似表现良好,却无法应对真实的攻击者。在欺诈检测中,如果生成的欺诈交易比真实欺诈交易更容易区分,也会出现类似问题。
科学研究利用合成观测数据,在受控假设下测试分析流程。天文学家向图像中注入人工源,以估计探测完备性;研究人员模拟测序读段,以评估分析工具;成像研究则使用建模生成的测量数据,研究重建方法。这些用途不同于为现实世界创造新的实证证据。合成观测数据展示的是:在指定条件下,某种仪器或方法会产生什么结果。其证据价值取决于这些条件及生成模型与所研究现象的契合程度。
评估保真度、效用与覆盖范围
评估应从预期用途出发。统计保真度关注生成的数据能否再现参照总体的相关特性。效用关注这些数据能否支持某项特定分析或某个系统。覆盖范围则关注数据涵盖了哪些条件、群体和失效情形。这些维度之间可能存在冲突:某个数据集如果过度呈现罕见事件,可能有助于测试,却不适合直接用来估计这些事件的发生频率。
对于表格数据,基本检查包括各个变量的分布、缺失模式、相关性、条件关系以及违反约束的情况。仅仅匹配所有一维直方图并不够,因为边缘分布相同的数据集,其联合分布结构也可能截然不同。因此,检查还可以考察给定收入条件下的支出、各年龄组内的事件发生率等关系。对于关系型数据集,评估还必须考虑跨表聚合,以及与每个实体关联的事件数量和先后顺序。
一种常见的效用测试方法是“用合成数据训练,用真实数据测试”。用生成样本训练模型后,在真实的测试集上评估模型;该测试集不得用于拟合生成器、选择生成器的配置或筛选其输出。评估结果可以与使用真实数据训练的基线结果,以及混合使用真实数据和合成数据训练的结果进行比较。不同的下游模型可能得出不同结论,因此,单个分类器不能作为衡量合成数据质量的通用指标。必须妥善分离各阶段所用的数据,以避免数据泄漏。
分布距离和判别检验可以提供进一步的证据。训练一个分类器来区分真实样本与合成样本,可以揭示二者的差异,但它能否成功区分,取决于模型容量、样本量和数据表示方式。无法区分两类样本,并不能证明它们的分布相同。同样,基于预训练特征提取器的图像生成评价指标,衡量的也是这些特征表示的某些特性,而非视觉质量或语义质量的所有方面。
不确定性和子群体表现需要单独考察。如果要用合成数据集进行统计推断,分析人员就必须考虑拟合生成器以及从生成器中采样所引入的不确定性。将生成的记录视为独立的新测量结果,可能使置信区间窄得缺乏依据。还应检查模型在小群体和分布尾部的表现,因为生成器可能会将这些部分的重要变异平滑掉。一个数据集即使平均效用良好,也可能严重失真地呈现某个罕见类别、某个极端值,或变量之间某种影响重大的交互作用。
隐私保护与披露风险
合成数据可以减少原始记录的直接暴露,但人工生成本身并不构成隐私保障。生成器可能记住源数据中的样本,重现罕见的特征组合,或泄露某人是否参与了训练。因此,隐私分析取决于威胁模型:攻击者已经掌握哪些信息、能够访问什么,以及试图获知什么。公开数据集、受限的研究环境和交互式生成服务,为攻击者提供的可乘之机各不相同。
成员推断攻击试图判断某条特定记录是否被纳入训练。其他攻击则试图根据已知特征推断敏感属性,或重建源记录中的信息。删除完全重复的记录只能应对其中一类暴露风险。职业、地点和家庭特征的某种罕见组合,即使出现在与所有原始记录均不相同的生成记录中,仍可能被识别出来。
基于距离的隐私检查有用,但也存在局限。测量每条真实记录与其最近的合成记录之间的距离,可以识别出近似程度可疑的复制记录。然而,在数据分布密集的群体中,记录彼此接近可能是正常现象,而相距较远的记录仍可能泄露敏感关系。将合成数据与训练数据及留出的真实数据之间的距离进行比较,有助于解读结果,但任何单一的经验性距离度量都无法确立普遍的隐私保障。
差分隐私提供了一个形式化框架。对于仅在一项受保护贡献上存在差异的相邻数据集 和 ,以及任意可测输出集合 ,如果随机化机制 满足以下条件,则称其满足 -差分隐私:
这一保障限制了该项贡献所能引起的输出分布变化幅度。相邻数据集的定义至关重要:保护一行记录,并不一定等同于保护一个贡献了多行记录的人。
可以使用满足差分隐私的机制来拟合生成器,随后从中采样,而无须反复访问机密数据。根据差分隐私的后处理性质,这些样本不会仅因生成数量增加而消耗额外的隐私预算。不过,任何依赖私有数据的预处理、选择、验证或重复拟合,也都必须纳入分析。更强的保护可能降低保真度,对小规模群体尤其如此。差分隐私也不能阻止所有群体层面的推断,更不能据此认定数据适用于所有法律或伦理目的。
生产流水线、来源追溯与治理
生产流水线的起点是规格说明,而不是生成器。规格说明明确观测单位、目标总体、允许用途、必须满足的关系以及可接受的误差。用于界面测试的数据集可能需要格式有效且满足参照完整性;用于统计研究的数据集则可能需要保留多变量关系。这些要求决定了需要哪些源信息,以及如何评估是否达标。
源数据准备包括检查模式、处理缺失值和异常值,以及分离训练数据与评估数据。这些操作可能显著改变最终生成的数据集。删除罕见记录或许能降低某些信息泄露风险,但也可能抹去真实存在的案例;统一类别可能掩盖在实际部署中具有重要影响的不一致。因此,数据准备决策是合成模型的一部分,而不只是事务性的清理工作。
生成之后通常还要进行验证和筛选。检查可以剔除不可能的日期、不兼容的单位、无效的类别或不成立的关系。生成的代码可以在沙箱中执行,而生成的文本则可以对照源文档或任务规则进行核查。筛选会改变获准保留的输出的分布。如果验证器对某个群体或场景的样本剔除比例过高,那么即使最初的生成过程是均衡的,最终数据集仍可能存在偏差。
数据血缘记录源数据集、生成器版本、提示词、模拟设置、随机种子和筛选器如何共同形成某个发布版本。元数据可以标明哪些字段是合成的,哪些仍是实际观测所得,以及哪些标签直接来自模拟器。要确保可复现性,仅有随机种子可能还不够,因为硬件、库版本、非确定性操作以及外部托管的模型都可能改变输出。对生成配置进行版本管理并记录评估结果,可以让后续比较更容易解读。
治理还涉及访问、保留、许可和文档记录。合成输出并不会自动免除与保密源材料或知识产权相关的义务。其法律地位取决于数据、司法管辖区、生成过程及拟议用途。实际运行中的管控措施仍可能包括访问控制、发布审查和再分发限制。文档可以区分获准用于软件测试的数据集与经过特定分析任务评估的数据集,避免将适用范围有限的质量声明误解为数据集在一般意义上等同于真实数据。
根本局限与反馈效应
生成器无法仅靠生成更多样本,就还原其数据来源或假设中不存在的信息。如果训练数据集未涵盖某个人群或某种相关的失效模式,基于学习的合成方法通常就无法在没有额外信息的情况下可靠地重建这些内容。条件提示和模拟规则可以引入新情景,但这些情景的可信度来自新增的假设、领域知识或外部证据,而非单纯来自样本数量。
这一区别对因果关系尤为重要。基于观测关联训练的生成器或许能复现 ,却并不表征通过干预改变 后会发生什么。例如,治疗与不良结局之间的关联,可能反映的是病情较重的患者更容易接受治疗这一事实。生成更多具有这种关联的记录,并不能确定治疗的因果效应。基于合成数据开展干预研究,需要有合理依据的因果模型,而不能仅满足于准确复现观测数据的特征。
反复从生成结果中学习会带来另一种局限。模型坍塌是指后续模型学习先前模型生成的数据时可能出现的性能退化,尤其是在生成样本取代原始观测数据、罕见事件逐渐丢失的情况下。2023 年和 2024 年的理论与实证研究考察了这一现象。但这并非使用任何合成数据都必然导致的后果:结果取决于真实数据的保留情况、采样程序、模型容量、筛选方式,以及训练时所用数据的混合构成。
即使没有模型的逐代迭代,反馈效应也可能出现。如果生成器与评估器的训练数据来源或架构相似,评估器可能会奖励熟悉的人为痕迹,而非真正的正确性。只选择高分样本可能会降低多样性,并助长奖励黑客行为。随后,用筛选所得数据集训练的模型,可能在同一评估器下表现良好,但在该评估循环之外却变得不那么稳健。
罕见事件和开放式环境仍然尤其棘手。模拟器可以列举已知危险,却无法确保覆盖未曾预料的危险;生成模型可以产出看似多样的样例,却仍遗漏底层分布中的重要模态。因此,只有明确说明合成证据所依据的假设、覆盖范围和验证目标,它才最有说服力。对于涉及现实世界决策的任务,一个尚未解决的核心问题是:当实际部署中的数据分布仅有部分已知时,模型在生成条件下的表现究竟值得多大程度的信任。