{
  "id": "adversarial-example",
  "title": "对抗样本",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "对抗样本是经过刻意构造的输入，旨在使机器学习系统产生错误或其他不期望的输出。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "对抗性样本",
    "对抗输入"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/adversarial-example/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/adversarial-example/",
      "json": "https://aiwiki.page/en/adversarial-example.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "对抗样本是经过刻意构造或修改的输入，旨在使机器学习系统产生错误或其他不期望的输出。在一种常见设定中，攻击者对输入作出微小改动，在不改变其正确解释的前提下，改变模型的预测结果。这一概念也涵盖明显可见的修改，例如在图像中放置贴片，只要这些修改符合规定的攻击约束。对抗样本既是网络安全研究关注的问题，也为认识学习所得表征的可靠性与局限性提供了证据。"
    },
    {
      "heading": "定义与数学表述",
      "text": "对于参数为 \\(\\theta\\) 的分类器 \\(f_\\theta\\)，设 \\(x\\) 为输入，其正确标签为 \\(y\\)。标准的对抗样本是满足以下条件的输入 \\(x'=x+\\delta\\)：\n\n\\[f_\\theta(x')\\ne y, \\qquad \\delta\\in\\Delta(x),\\]\n\n其中，\\(\\Delta(x)\\) 定义了允许的修改范围。通常还要求模型能够正确分类原始输入，以免将原本就存在的错误算作攻击造成的失效。\n\n在无目标攻击中，任何错误预测都能满足攻击者的目的。在有目标攻击中，攻击者则力求使模型产生某个特定输出 \\(t\\ne y\\)：\n\n\\[f_\\theta(x')=t.\\]\n\n对于回归、文本生成及其他任务，攻击是否成功由任务特定的目标来定义，而不只是看是否产生了错误的类别标签。\n\n一种常见的构造方法是在有界区域内最大化损失函数：\n\n\\[\\delta^\\star\\in \\operatorname*{arg\\,max}_{\\delta\\in\\Delta(x)} \\mathcal{L}(f_\\theta(x+\\delta),y).\\]\n\n对于图像，允许的扰动集合通常用范数来定义：\n\n\\[\\Delta(x)= \\{\\delta:\\|\\delta\\|_p\\leq\\varepsilon,\\ x+\\delta\\in\\mathcal{X}\\},\\]\n\n其中，\\(\\mathcal{X}\\) 是有效输入域，\\(\\varepsilon\\) 是扰动预算。常见的约束包括：\n\n- \\(L_\\infty\\) 界限：限制任一输入坐标上变化的最大绝对值。\n- \\(L_2\\) 界限：限制扰动的欧几里得长度。\n- \\(L_0\\) 约束：限制被修改的坐标数量。在这一语境中，\\(L_0\\) 这一量习惯上被称为范数，尽管它在数学上并不是范数。\n\n这些约束使攻击能够被量化和比较，但并不能完整地刻画人类感知。数值上很小的扰动不一定保持原有含义，而感知上无害的变化，在选定的范数下也不一定很小。"
    },
    {
      "heading": "历史发展",
      "text": "针对学习系统的对抗操纵研究，早于现代深度学习。早期研究考察了攻击者如何通过修改特定输入特征，规避垃圾邮件过滤器、恶意软件检测器及其他分类器。\n\n克里斯蒂安·塞格迪及其合作者的研究是一个重要转折点。这项工作于2013年首次公布，并于2014年发表。他们证明，经过精心优化的微小改动能够使人工神经网络对图像作出错误分类。一些样本还能在不同模型之间迁移，这对“此类失效只是孤立的数值偶然现象”这一假设提出了挑战。\n\n伊恩·古德费洛、乔纳森·施伦斯和克里斯蒂安·塞格迪于2014年公布、2015年发表的研究提出了快速梯度符号法，并强调高维输入空间中的近似线性行为所起的作用。后续研究发展出了更强的迭代攻击、物理环境中的攻击演示、对抗训练，以及对限定范围内的鲁棒性性质给出证明的方法。\n\n尽管图像分类领域提供了许多有影响力的演示，对抗样本研究也涉及语音识别、文本处理、目标检测及其他学习任务。"
    },
    {
      "heading": "威胁模型与攻击类别",
      "text": "对抗样本只有相对于某个威胁模型才有意义。威胁模型规定了攻击者掌握哪些信息、能够修改什么、可使用多少计算资源或查询次数，以及什么结果算作成功。\n\n攻击者的知识与访问权限\n\n白盒攻击假设攻击者能够获取模型的详细信息，通常包括参数、架构、预处理流程和梯度。\n\n黑盒攻击假设攻击者的访问权限更有限。服务可能通过应用程序编程接口提供类别概率、数值得分，或仅提供最终决策。攻击者可以利用这些响应进行搜索，也可以在替代模型上构造样本。\n\n迁移攻击利用的是为一个模型生成的样本也能影响另一个模型的现象。迁移性会随模型、任务、攻击方法和扰动约束而变化，并非必然存在。\n\n掌握的信息与查询权限是两个独立维度。攻击者可能知道模型架构，却不知道其参数；也可能知道模型参数，但在修改已部署系统的输入时仍受到限制。\n\n数字攻击与物理攻击\n\n数字攻击直接修改提供给模型的表示，例如图像数值或音频波形。\n\n物理攻击修改物体或环境，再由传感器对其进行采集。计算机视觉领域研究过的例子包括打印图案、经过修改的标志和可穿戴纹理。这类攻击必须在光照、视角、距离、传感器噪声和图像处理等因素的某种组合变化下仍然有效。\n\n对抗贴片是一种局部图案，旨在被放入场景后影响模型预测。与经典的近乎不可察觉的扰动不同，贴片可以清晰可见。\n\n样本特定扰动与通用扰动\n\n样本特定扰动是针对某一个输入优化得到的。通用扰动旨在影响许多输入，而不必针对每个输入单独重新设计。通用性通常在指定的输入分布上进行评估，并不意味着它对所有可能的输入或模型都能成功。"
    },
    {
      "heading": "对抗样本如何产生",
      "text": "分类器将输入空间划分为对应不同预测结果的区域。当某种允许的修改使输入跨越决策边界，同时又不改变其与任务相关的解释时，就可能产生对抗样本。\n\n高维性有助于解释，为什么单独看都很小的变化，合在一起却可能产生显著影响。对于线性得分 \\(s(x)=w^\\top x+b\\)，扰动\n\n\\[\\delta=\\varepsilon\\,\\operatorname{sign}(w)\\]\n\n会使得分变化\n\n\\[s(x+\\delta)-s(x)=\\varepsilon\\|w\\|_1.\\]\n\n因此，许多方向一致的微小坐标变化可以造成很大的得分变化。这揭示了一种重要机制，但并不能完整解释非线性模型的对抗脆弱性。\n\n一种更广泛的解释涉及模型从数据中学到的特征。有些特征能够预测标签，却不符合人们期望系统采用的稳定语义线索。因此，模型可能在普通测试中取得很高的准确率，同时仍对精心选择的变化十分敏感。\n\n所以，对抗脆弱性并不简单等同于过拟合。它还涉及平均情形下的泛化（机器学习）与面对结构化、刻意选定的一组输入时的鲁棒性之间的区别。没有任何单一解释能够同样充分地说明所有模型、模态和攻击设定中的现象。"
    },
    {
      "heading": "构造方法",
      "text": "基于梯度的攻击\n\n快速梯度符号法通过一次梯度计算来构造无目标扰动：\n\n\\[x_{\\mathrm{adv}}= \\Pi_{\\mathcal{X}} \\left( x+\\varepsilon\\, \\operatorname{sign} \\bigl(\\nabla_x\\mathcal{L}(f_\\theta(x),y)\\bigr) \\right),\\]\n\n其中，\\(\\Pi_{\\mathcal{X}}\\) 将结果限制在有效输入域内。梯度通常使用反向传播计算。\n\n迭代攻击会反复更新输入。一种标准方法是投影梯度下降，它对攻击损失执行梯度上升，并将每次更新后的结果投影回允许的区域：\n\n\\[x_{k+1}= \\Pi_{\\mathcal{X}\\cap B_p(x,\\varepsilon)} \\left( x_k+\\alpha\\, \\operatorname{sign} \\bigl(\\nabla_{x_k}\\mathcal{L}(f_\\theta(x_k),y)\\bigr) \\right).\\]\n\n这种基于符号的更新常用于 \\(L_\\infty\\) 有界攻击。其他约束集合则需要不同的更新规则。随机初始化和多次重启有助于发现单次优化运行遗漏的失效情况。\n\n基于查询的攻击与离散攻击\n\n当无法获取梯度时，攻击可以根据输出得分估计有用的方向，或仅利用决策反馈进行搜索。查询次数限制以及系统返回的信息会显著影响攻击的可行性。\n\n对于文本，任意数值扰动通常并不对应有效的语言表达。因此，攻击可能改为修改字符、替换词语、插入短语或重组句子。分词与词元化的影响以及保持语义的要求，使文本攻击的约束与像素距离约束有很大不同。"
    },
    {
      "heading": "防御与鲁棒性评估",
      "text": "对抗训练\n\n对抗训练在学习过程中纳入经过对抗修改的输入。一种常见的鲁棒优化目标是\n\n\\[\\min_\\theta \\mathbb{E}_{(x,y)\\sim\\mathcal{D}} \\left[ \\max_{\\delta\\in\\Delta(x)} \\mathcal{L}(f_\\theta(x+\\delta),y) \\right].\\]\n\n内层问题搜索有害修改，外层问题则调整模型，以减小这些修改的影响。在实践中，内层最大值通过攻击来近似求取。\n\n对抗训练能够在选定设定下显著提高鲁棒性，但会增加计算成本，也可能降低模型在未修改输入上的准确率。针对某一类扰动学到的鲁棒性，不会自动推广到不同范数、物理变换或语义变化。\n\n可认证鲁棒性\n\n有些方法并非仅以攻击未成功作为依据，而是能够给出保证。形式验证技术可以证明特定网络在指定输入区域内的性质，但可扩展性以及所支持架构的复杂度仍是重要限制。\n\n随机平滑通过加入随机噪声后的预测来定义分类器，并能在特定假设下给出经过认证的鲁棒半径。这类证书仅适用于所声明的扰动模型，并不保证能够抵御所有可能的攻击。\n\n具有误导性的表面鲁棒性\n\n某种防御看起来可能很鲁棒，只是因为它阻碍了特定攻击，而不是因为模型的决策本身稳定。这个问题通常称为梯度掩蔽或梯度混淆。不可微预处理、处于饱和状态的计算和随机性，都可能让普通梯度攻击失败，却并未消除对抗样本。\n\n因此，可信的评估需要区分未能找到攻击与证明不存在任何允许的攻击。报告中应交代的相关细节包括扰动预算、输入缩放方式、攻击迭代次数、重启次数、查询权限，以及攻击是否考虑了防御机制的完整计算过程。\n\n鲁棒准确率通常衡量在指定对抗条件下，评估样本中被正确分类的比例。使用有限攻击得到的经验鲁棒准确率，并不等同于经过认证的鲁棒准确率；当威胁模型不同时，结果也不能直接比较。"
    },
    {
      "heading": "与其他概念的关系",
      "text": "对抗样本通常与神经网络推理阶段的操纵有关。相比之下，数据投毒通过改变训练数据或训练过程来影响学习得到的模型。投毒还可以植入后门，随后由专门构造的推理阶段输入触发。\n\n对抗样本也不同于普通的分布偏移。即使没有攻击者，天气、记录设备或语言使用方式的变化也可能导致性能下降。对抗输入可能利用相关的弱点，但刻意构造的过程和明确的对抗目标，是标准对抗设定的区别所在。\n\n在大语言模型中，经过对抗构造的输入可能与大语言模型越狱和提示注入有所重叠。这些术语不能互换：越狱涉及绕过行为限制，而提示注入涉及将不可信内容当作指令。两者都不一定涉及微小且保持语义的扰动。\n\n尽管都使用了“对抗”一词，生成对抗网络是一种由相互竞争的模型组成的训练框架，并不是对抗样本的同义词。"
    },
    {
      "heading": "应用与局限性",
      "text": "对抗样本可用于对识别系统、内容过滤器和其他自动决策流程进行压力测试。它们也为研究学习所得特征、决策边界，以及基准测试准确率与刻意操纵下的可靠性之间的差距提供了实验工具。\n\n其实际意义取决于系统所处的整体环境。假设能够不受限制地访问模型输入数组的攻击，可能无法通过物理传感器实现。反过来，现实中的攻击者也可能作出明显可见的修改或语义修改，而这些修改超出了实验室评估采用的小范数约束。\n\n因此，一项有效的鲁棒性声明必须明确说明攻击者的能力、必须保留的含义、允许的修改以及所评估的任务。在某一种规定下的成功或失败，都不能据此断定系统在其他所有规定下是否安全。"
    }
  ],
  "links": [
    "machine-learning",
    "cybersecurity",
    "loss-function",
    "deep-learning",
    "artificial-neural-network",
    "speech-recognition",
    "application-programming-interface",
    "computer-vision",
    "overfitting",
    "generalization",
    "backpropagation",
    "tokenization",
    "formal-verification",
    "neural-network-inference",
    "distribution-shift",
    "large-language-model",
    "prompt-injection",
    "generative-adversarial-network"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}