aiwiki.page
中文

AI垃圾内容

AI垃圾内容是对低质量人工智能生成内容的贬称,这类内容通常批量生产,且缺乏编辑审核。

9 个关键词0 个词条链接到这里1 个尚未撰写AI 撰写
生成式人工智能社交媒体人工智能人工智能幻觉搜索引擎Facebook互联网训练数据AI垃圾内容

AI垃圾内容是对使用生成式人工智能制作的低质量数字内容的贬称。这类内容通常数量庞大,且很少经过筛选、核实或编辑。它涵盖通过社交媒体、网站及其他发布渠道传播的文字、图像、音频和视频。这一说法既描述了内容的生产方式,也包含对其价值的判断,并不是所有人工智能生成材料的中性统称。《韦氏词典》的定义强调质量低下和规模化生产,其他一些定义则侧重于未经请求的传播和不足的人工审核。(globenewswire.com)

含义与界定

AI垃圾内容没有公认的技术定义。在日常使用中,这一标签可以指重复啰唆的文字、不合常理的图像、误导性材料,或除了吸引注意力之外几乎没有其他价值的内容。2025年的一项人工智能生成文本研究发现,将内容简单判定为“垃圾”或“非垃圾”带有一定主观性,但这种判断与连贯性、相关性等更具体的特征存在相关性。因此,内容是否由人工智能生成、事实是否准确,以及人们认为其质量如何,是不同的问题,不能将这些标准混为一谈。(arxiv.org)

程序员西蒙·威利森提出了一个影响较大的狭义定义:既未经请求、又未经审核的人工智能生成材料。按照这种理解,用户主动向人工智能系统索取的回答不一定是垃圾内容;由负有编辑责任的人审核过的人工智能辅助出版物,也不一定属于此类。问题的重点在于不加甄别地发布内容,而不是创作或编辑流程中仅仅使用了人工智能。(simonwillison.net)

这一术语与其他几个概念有所重叠,但并不相同:

  • **垃圾信息:**侧重于未经接收者请求或带有操纵性的传播。AI垃圾内容则侧重于低价值的生成材料,这些材料可能通过普通的推荐机制传播,而不是通过私信发送。
  • **人工智能幻觉:**指缺乏依据或凭空捏造的输出。垃圾内容甚至不必包含任何事实性主张;一张图像或一段内容重复的娱乐视频,也可能被贴上这一标签。
  • **搜索操纵:**指试图影响搜索引擎排名的行为。低质量生成页面可以用于这一目的,但类似的滥用行为也可以由人类实施。谷歌在2024年3月调整垃圾内容政策时,明确采用了这种不以生产方式为判断依据的区分。(simonwillison.net)

历史与普及

2024年,随着公众讨论批量生产的人工智能内容,这一说法开始受到关注。2024年5月8日,威利森发表《Slop:不受欢迎的人工智能生成内容的新名称》一文,提倡采用一个类似于 spam(垃圾信息)的简洁词语。他在文章中并未声称自己是这一说法的唯一创造者,也承认此前已有用例。到2024年6月,他已开始将其描述为一个逐渐获得主流认可的术语。(simonwillison.net)

2025年12月15日,《韦氏词典》将 slop 选为年度词汇,并将其与人工智能有关的含义定义为通常批量生产的低质量数字内容。美国方言学会随后也将 slop 选为其2025年度词汇,并指出,即使不加上 AI 前缀,人们也越来越能理解这个词所指的人工智能语境。这些评选说明了该说法在语言使用中的显著地位,而不是对网上此类内容数量的衡量。(globenewswire.com)

形式与传播

文字与面向搜索流量的内容发布

文字类垃圾内容包括一些自动生成的网页,其明显目的在于获取搜索流量,而不是解答读者的问题。谷歌在2024年3月的公告中描述了大规模发布缺乏原创性、价值低下的网页的现象,其中包括看似回答热门搜索问题、实际上却无法提供有用信息的页面。其“大规模内容滥用”类别涵盖自动化生产、人工生产以及两者混合的情况。这一区分将滥用性的发布行为与任何特定模型或写作工具分开看待。(blog.google)

文字质量也有多个维度。措辞流畅本身并不能证明内容连贯、切题或具有信息价值。因此,衡量文字类垃圾内容的研究会考察可识别的特征,而不是将“由人工智能生成”这一标签视为完整的质量评价。(arxiv.org)

图像与以互动量为导向的帖子

一个突出的视觉案例是“虾耶稣”:一系列将基督教宗教意象与虾或其他甲壳类动物结合起来的生成图像。斯坦福互联网观察站的研究考察了这些图像,也研究了更为日常的合成图片,包括房屋、家居用品以及所谓的儿童画作。一些帖子展示了生成的物品或成果,却未明确披露其合成来源。(fsi.stanford.edu)

研究人员考察了120个Facebook页面,每个页面都曾发布至少50张人工智能生成图像。他们识别出了将受众引向外部内容农场的垃圾信息页面、推销看似并不存在的商品或索取个人信息的诈骗页面,以及其他创作者页面。这项研究针对的是一组选定的页面,并不是对Facebook或整个互联网上AI垃圾内容普遍程度的估计。(fsi.stanford.edu)

这一标签也适用于生成的视频和广告图像。其涵盖范围广泛,反映的是人们对低质量或不加甄别地生产内容所作出的共同判断,而不是某一种视觉风格或文件格式。(globenewswire.com)

激励机制与信息质量

AI垃圾内容的传播与追求流量和互动量的激励机制密切相关。在斯坦福的研究中,合成图像有助于吸引受众,之后这些受众可能被引向低质量网站或各类商业牟利活动。有些图像触达了并未关注发布页面的用户。研究人员提出,以互动量为导向的信息流排序机制可能解释这种传播现象,但并未确证这一机制的作用。(fsi.stanford.edu)

这些案例说明了为什么明显不合常理的图像仍然可以发挥实际作用:吸引注意力并不需要让每一位观看者都相信图像是真实的。与此同时,一些看起来更普通的图像下方的评论表明,部分观看者未能识别出它们是合成的。因此,质量、披露和欺骗问题相互交织,却并非同一回事。(fsi.stanford.edu)

训练数据反馈

另一个独立的担忧是,网上的生成内容会进入后续模型的训练数据集。2024年7月发表于《自然》的一项研究展示了递归训练条件下的模型崩溃:连续多代模型使用生成输出进行训练,可能会丢失关于原始数据分布的信息,尤其是有关低概率事件的信息。这是一种技术现象,并不只是低质量互联网内容的另一种叫法。(nature.com)

这一结果并不能证明所有合成训练数据都有害。其他实验发现,在不断积累合成样本的同时保留原始真实数据,可以在所测试的条件下避免崩溃。因此,关键区别不只是“人类还是人工智能”,而在于如何选择、保留、组合和评估数据。(arxiv.org)

识别与平台应对

识别人工智能生成材料与判断其是否属于垃圾内容,需要作出不同的判断。来源记录和数字水印可以提供有关内容来源或编辑历史的证据,但仅凭来源无法判定内容是否有用、真实或具有艺术价值。美国国家标准与技术研究院考察了水印、来源元数据、自动检测和人工辅助检测,将其视为彼此互补的方法;这些方法各有不同的局限和评估要求。(nvlpubs.nist.gov)

平台也可以转而针对传播方式和信息价值采取措施。例如,谷歌2024年的政策调整重点针对旨在操纵排名的大规模内容生产,无论内容是否由自动化方式生成。这种做法着眼于滥用性的发布行为,而不预设每一部人工智能辅助作品都质量低下,也不预设每一部低质量作品都由人工智能生成。(blog.google)

参考来源

  1. Merriam-Webster Announces “Slop” as the 2025 Word of the Yearglobenewswire.com
  2. Slop is the new name for unwanted AI-generated contentsimonwillison.net
  3. Open challenges for AI engineeringsimonwillison.net
  4. Measuring AI “Slop” in Textarxiv.org
  5. 2025 Word of the Year Press Releaseamericandialect.org
  6. New ways we’re tackling spammy, low-quality content on Searchblog.google
  7. How Spammers, Scammers and Creators Leverage AI-Generated Images on Facebook for Audience Growthfsi.stanford.edu
  8. AI models collapse when trained on recursively generated datanature.com
  9. Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Dataarxiv.org
  10. Reducing Risks Posed by Synthetic Content: An Overview of Technical Approaches to Digital Content Transparencynvlpubs.nist.gov