{
  "id": "dario-amodei",
  "title": "达里奥·阿莫代伊",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "美国人工智能研究者、企业家，Anthropic 联合创始人兼首席执行官。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "person",
  "aliases": [],
  "generated_at": "2026-10-14",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/dario-amodei/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/dario-amodei/",
      "json": "https://aiwiki.page/en/dario-amodei.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "达里奥·阿莫代伊是美国人工智能研究者和企业家，于 2021 年参与创立 Anthropic，并担任首席执行官。该公司开发了 Claude 系列大语言模型。此前，阿莫代伊曾任 OpenAI 研究副总裁，领导了 GPT-2 和 GPT-3 的研发，以及旨在提高人工智能系统可解释性、使其更好地遵循人类偏好的方法研究。(en.wikipedia.org)\n\n阿莫代伊接受过物理学和生物物理学训练，早期研究神经回路和生物测量，后来转向工业界的深度学习研究。他与他人合著的论文涉及语音识别、神经网络缩放定律、从人类偏好中学习，以及人工智能安全领域的实际问题。在此后的工作中，他一方面领导研究、开发商业人工智能系统，另一方面也就人工智能的能力、潜在益处与风险提供公开证词并撰写文章。(hertzfoundation.org)"
    },
    {
      "heading": "物理学与生物学领域的教育和研究",
      "text": "达里奥·阿莫代伊在斯坦福大学完成本科教育，获得物理学学士学位，随后前往普林斯顿大学攻读博士学位。他于2007年获得赫兹奖学金，并于2011年完成博士学业。他获得的是物理学博士学位，但研究内容属于生物物理学：运用物理模型和实验仪器研究生物神经回路的活动。他的博士论文《网络尺度电生理学：测量与理解神经回路的集体行为》将记录技术的开发与神经集体活动的数学分析相结合。(en.wikipedia.org)\n\n该论文以视网膜为实验模型，研究神经元群体如何协同活动。在细胞外记录方面，研究结合了改进的微电极阵列与信号处理方法，以识别记录到的尖峰信号由哪些细胞产生。论文报告称，在一块约为 \\(0.5 \\times 0.5\\) 毫米的视网膜区域内，研究记录到了其中200多个细胞中几乎所有细胞的活动，并通过细胞标记实验核查记录的完整性。研究的另一部分探索了一种用于细胞内记录的定制膜片钳电极。这项技术尚处于早期阶段，旨在让同时探测多个相邻细胞内部变得更为可行，而非已经成熟的网络尺度记录系统。(dissertation.com)\n\n理论部分借助统计力学描述群体活动，从而不必对每一种可能的放电模式分别进行处理。阿莫代伊利用视网膜记录数据检验了包括伊辛模型在内的数据驱动最大熵模型，并开发了一个更复杂的模型，以刻画更多集体活动结构。他与加什佩尔·特卡奇克、奥利维耶·马尔、埃拉德·施奈德曼、威廉·比亚莱克和迈克尔·J. 贝里二世共同发表的相关合作研究，考察了由多达120个视网膜神经元组成的网络。这些模型利用测得的活动统计量约束群体放电模式的概率，使研究人员能够检验，相对简洁的统计描述可以在多大程度上解释集体行为。(dissertation.com)\n\n离开普林斯顿后，阿莫代伊在斯坦福大学医学院从事博士后研究。他的研究转向将质谱法应用于细胞蛋白质组（即细胞内全部蛋白质的集合）的网络模型，以及癌症生物标志物的寻找。这项工作侧重于实验测量和生物学发现，而非成熟的诊断检测。他的贡献还包括计算工具：ProteoWizard 项目将基准测试，以及蛋白质组学测量分析软件 Skyline 中数据非依赖采集功能的实现工作，列为他的贡献。(hertzfoundation.org)\n\n2019年发表的论文《利用重叠窗口提高数据非依赖采集中的前体离子选择性》是这项蛋白质组学研究的一个具体实例，阿莫代伊与贾勒特·埃格特森被列为同等贡献作者。该方法在连续的采集周期之间移动质谱仪的隔离窗口，再通过计算分离重叠信号，以减少肽段测量之间的干扰。在将六种牛源蛋白质的混合物加入酵母背景样本的实验中，作者报告称，相较于用作对照的标准采集流程，该方法的灵敏度提高了64%，检出的肽段数量增加了17%。该解复用算法已被整合进 Skyline 和 ProteoWizard 的 msconvert；论文报告的提升是这些实验中的分析性能结果，并非癌症检测性能的衡量指标。(pmc.ncbi.nlm.nih.gov)"
    },
    {
      "heading": "工业界的深度学习与语音识别",
      "text": "在百度研究院硅谷人工智能实验室，达里奥·阿莫代伊参与了自动语音识别系统 Deep Speech 2 的合作研发。最初的论文《Deep Speech 2：英语与普通话端到端语音识别》于 2015 年 12 月 8 日提交，共有 34 位作者，包括里希塔·阿努拜、埃里克·巴滕伯格、亚当·科茨、奥尼·汉努恩和吴恩达。作者名单按姓氏字母顺序排列，因此，阿莫代伊列于名单首位并不表示他是唯一作者或主要作者。百度于次日公开宣布了这项研究。(arxiv.org)\n\nDeep Speech 2 利用深度学习，通过卷积神经网络层和循环神经网络层，将音频频谱图映射为文字字符。其联结主义时序分类损失函数使系统能够使用录音及其对应的转写文本进行训练，而无需预先确定各个音频帧与字符之间的对齐关系。这取代了识别流程中许多原本需要单独设计的环节，不过解码过程仍然使用了语言模型。英语输出包括字母、空格和撇号；普通话输出则为简体汉字。研究人员采用大体相同的方法，分别训练英语系统和普通话系统，而非训练一个双语模型。两者的训练数据分别包含 11,940 小时和 9,400 小时的语音。(arxiv.org)\n\n将这一方法应用于普通话，所需的针对特定语言的架构调整相对较少。百度研究人员瑞安·普伦格和韩桐在 2016 年 2 月的一篇介绍中指出，最大的改动是扩展输出层，以容纳汉字。系统从普通话录音中学习声学输入与字符之间的映射，而不需要研究人员重新构建一套基于发音的处理流程。这体现了该项目的重点：通过更换训练样本和输出词表，在不同语言间复用同一套学习框架。(svail.github.io)\n\n高性能计算同时为实验和部署提供了支持。训练过程使用八个或十六个图形处理器进行同步更新，并通过优化计算和通信，将单次训练耗时缩短至约三至五天。论文报告称，其速度达到前一代系统的七倍。在在线神经网络推理方面，百度的 Batch Dispatch 调度器先将传入请求合并成批次，再运行网络，在 GPU 利用效率与批处理带来的额外等待时间之间取得平衡。因此，计算工程解决了两种不同的需求：反复训练大型实验模型，以及以低延迟处理识别请求。(arxiv.org)\n\n论文报告的人机对比仅针对特定基准测试，并不能证明系统在所有情境下都达到了人类的识别水平。在 LibriSpeech 的纯净语音测试集上，Deep Speech 2 的词错误率为 5.33%，人类对照的词错误率为 5.83%；在难度更高的“test-other”测试集上，两者分别为 13.25% 和 12.69%。此后，阿莫代伊曾在谷歌大脑担任高级研究科学家，研究如何拓展神经网络的能力，之后加入 OpenAI。继早期的生物学研究之后，这些工业界职位使他的工作转向了大规模机器学习和神经网络应用开发。(arxiv.org)"
    },
    {
      "heading": "在 OpenAI 领导研究工作",
      "text": "担任 OpenAI 研究副总裁期间，达里奥·阿莫代伊参与制定了该机构的研究方向，并领导了涵盖模型开发和长期安全的工作。他的职责包括监督 GPT-2 和 GPT-3 的开发，以及带领团队研究如何提高先进系统的可解释性，使其更好地遵循人类的偏好与价值观。这一职责范围既包括开发能力更强的大语言模型，也包括研究如何理解和控制模型行为，但并不意味着这两方面的工作由他一人全权负责。OpenAI 于 2020 年 12 月 29 日发布的离职公告明确指出，他参与了这两个模型的协作开发，并与伊利亚·苏茨克维尔共同领导研究方向的制定。(hertzfoundation.org)\n\nGPT-2 于 2019 年 2 月 14 日发布，是一个约有 15 亿个参数的生成式预训练变换器，使用从约 800 万个网页收集的 40 GB 文本进行训练。其训练目标是根据前文预测下一个词元，而不是针对每一种应用分别训练一个监督学习模型。研究人员评估了这一通用语言建模目标能否在不进行任务专门训练的情况下，支持问答、翻译和摘要等任务。阿莫代伊是随模型发布的报告《语言模型是无监督的多任务学习者》（Language Models are Unsupervised Multitask Learners）的六位作者之一，其余作者为亚历克·拉德福德、杰弗里·吴、雷旺·蔡尔德、戴维·栾和苏茨克维尔。因此，有据可查的领导职责和共同署名表明，他的贡献属于一项集体研究工作，而不能据此认定模型架构或实验成果由他个人独创。(openai.com)\n\n后续论文《语言模型是少样本学习者》（Language Models are Few-Shot Learners）于 2020 年 5 月 28 日首次提交，共列出 31 位作者，第一位为汤姆·B. 布朗，最后一位为阿莫代伊。其中最大的模型 GPT-3 拥有 1,750 亿个可训练参数。其架构包含 96 层，隐藏状态维度为 12,288，设有 96 个注意力头，上下文窗口长度为 2,048 个词元。该研究比较了八种规模的模型，参数量从 1.25 亿到 1,750 亿不等，每个模型都使用 3,000 亿个词元进行训练。这些规格描述的是研究团队实际构建的系统，与阿莫代伊在组织层面指导其开发的职责应当区分开来。(arxiv.org)\n\nGPT-3 的核心评估围绕上下文学习展开：将任务描述和示例作为文本输入，同时保持训练所得的参数不变。在零样本条件下，提示中不提供任何示例；单样本评估提供一个示例；少样本评估则提供若干示例。例如，在翻译任务中，提示可以包含成对的源语言和目标语言句子，随后给出一个新的源语言句子，让模型补全其译文。与针对特定任务的微调不同，这一过程在任务评估期间不涉及梯度更新。实验涵盖翻译、问答、篇章补全和算术，旨在检验单个预训练模型仅凭输入上下文能够在多大程度上适应不同任务。(arxiv.org)\n\n报告中的结果因任务而异，差异相当显著。GPT-3 在多项语言基准测试中表现出色，但论文也记录了它在某些数据集上的不佳表现，以及大规模网络训练数据可能与评估材料重叠所引发的方法论难题。因此，这些发现支持的是一项具体的实证判断：当任务通过文本和示例加以说明时，增大模型规模可以改善表现；它们并不意味着模型的语言理解能力始终可靠，也不意味着其在所有情况下都优于专用系统。(arxiv.org)"
    },
    {
      "heading": "神经网络缩放定律",
      "text": "阿莫代伊是《神经语言模型的缩放定律》（Scaling Laws for Neural Language Models）的十位合著者之一，其他作者包括贾里德·卡普兰、萨姆·麦坎德利什等研究者。该论文于2020年1月23日发布，考察了语言模型的性能如何随参数数量、训练数据量和计算投入而变化，以及如何利用这些关系指导资源分配。论文的贡献声明将卡普兰和麦坎德利什列为研究负责人，并指出阿莫代伊在整个项目中提供指导，明确区分了他的参与方式与实验领导工作。(arxiv.org)\n\n这项研究以留出文本上的交叉熵损失衡量性能，而非采用某个单一下游任务的表现。其核心发现是，只要其他资源不构成瓶颈，损失就会随着资源增加而大致按幂律下降。一些缩放趋势跨越了七个以上的数量级。在所考察的架构范围内，模型规模的影响大于网络形状的变化，例如深度与宽度之间的配比。这些是在训练实验中观察到的经验关系，并非适用于所有神经网络架构或数据集的数学保证。(openai.com)\n\n对于论文分别考察的几种资源受限情形，拟合关系可表示为\n\n\\[L(N)\\propto N^{-0.076},\\qquad L(D)\\propto D^{-0.095},\\qquad L(C_{\\min})\\propto C_{\\min}^{-0.050}.\\]\n\n其中，\\(N\\) 不包括嵌入参数，\\(D\\) 以词元数衡量训练数据量，\\(C_{\\min}\\) 则估计达到给定损失所需的最小训练计算量。参数受限关系以数据充足且训练至收敛为前提；数据受限关系针对采用早停的大型模型；计算量受限关系则假定模型规模适当。这些是各自在特定条件下拟合得到的关系，而不是要相乘的三个因子。例如，参数指数意味着，在相应条件下，参数数量翻倍会使损失降低约5%。(arxiv.org)\n\n作者得出结论：在计算预算固定时，较大模型的样本效率更高，也就是说，与较小模型相比，它们能够用更少的训练样本和优化步骤达到给定的性能水平。因此，他们提出的高计算效率策略倾向于用相对适量的数据训练一个非常大的模型，并在远未收敛时停止，而不是将较小模型的改进潜力挖掘殆尽。这一区分表明，在资源预算内将损失降至最低，与针对某个预先确定的模型将损失降至最低，并不是同一个目标。(openai.com)\n\n这些数值拟合与研究的具体实验设置密切相关，包括其使用的 WebText2 数据集。作者也承认，这些趋势最终必然会趋于平缓，而不会持续朝着零损失延伸。因此，这些缩放定律描述的是，在特定条件范围内，语言建模目标所呈现的可预测变化；它们既没有确定实现通用智能的时间表，也没有衡量社会效益、危害或经济影响。(arxiv.org)"
    },
    {
      "heading": "实用人工智能安全与人类偏好学习",
      "text": "2016 年 6 月，阿莫代伊与克里斯·奥拉、雅各布·斯坦哈特、保罗·克里斯蒂亚诺、约翰·舒尔曼及丹·马内共同撰写了《人工智能安全中的具体问题》（Concrete Problems in AI Safety）；阿莫代伊与奥拉被注明为同等贡献者。论文将研究对象界定为意外事故，即 机器学习系统因目标设定不当、学习过程存在缺陷或其他实现错误而产生的非预期有害行为。其研究范围有意限定得比人工智能的整体社会影响更窄，将隐私、公平性、经济影响和政策视为相关但有别的领域。论文不以对超级智能系统的假设为前提，而是提出了可用当时已有技术开展实验研究的问题。(arxiv.org)\n\n论文提出的五个问题中，有两个涉及目标函数。避免负面副作用，是指防止智能体损害环境中未被明确任务涵盖的部分，例如清洁机器人为了加快清扫而撞倒花瓶。避免奖励作弊，是指防止智能体钻绩效指标的空子，却不实现该指标的预期目的：如果机器人因看不到灰尘而获得奖励，它可能会关闭视觉系统，而不是打扫。这两者的区别在于，前者是目标不完整造成的附带损害，后者则是钻奖励机制本身的空子。即使智能体成功优化了设计者给定的形式化目标，这两种情况也都可能发生。(arxiv.org)\n\n其余问题涉及监督与学习条件。可扩展监督针对的是那些难以频繁获得正确评估、因为评估成本过高的任务，例如在人类咨询机会有限时，判断哪些被丢弃的物品仍有主人。安全探索关注如何在尝试不熟悉的行动时避免造成严重或不可逆的伤害；论文将尝试不同拖地方法与把湿拖把插进电源插座作了对比。对分布偏移的鲁棒性，是指识别并应对与训练环境不同的情境，例如将办公室清洁行为迁移到工厂车间。这些内容被提出作为研究问题和可能的实验方向，而非已经解决的工程要求。(arxiv.org)\n\n随后，阿莫代伊与保罗·克里斯蒂亚诺、扬·莱克、汤姆·B. 布朗、米利安·马尔蒂奇及谢恩·莱格共同撰写了《基于人类偏好的深度强化学习》（Deep Reinforcement Learning from Human Preferences，2017 年 6 月）。这项研究展示了一种基于人类反馈的强化学习机制：人类对成对的智能体行为短片进行比较，奖励预测网络则学习预测这些偏好。另一个独立的策略网络通过强化学习来最大化预测奖励。行为生成、人类比较和奖励模型更新异步进行，使新的反馈能够跟随策略的变化，而不必依赖一组永久固定的评判。实验使用时长一至两秒的片段，任务包括雅达利游戏和模拟机器人运动。作者报告称，仅对智能体与环境交互中不到百分之一的部分提供反馈，就能实现学习，不过不同任务上的表现有所差异。(arxiv.org)\n\n丹尼尔·M. 齐格勒、尼桑·斯蒂农、杰弗里·吴、布朗、亚历克·拉德福德、阿莫代伊、克里斯蒂亚诺及杰弗里·欧文共同撰写的《基于人类偏好微调语言模型》（Fine-Tuning Language Models from Human Preferences，2019 年 9 月），将这一方法扩展到了语言模型。研究首先利用人类比较来训练奖励模型，为生成文本评分；随后通过一个独立的优化过程，使用近端策略优化来微调文本生成模型。研究对模型偏离原始预训练模型的程度施加惩罚，以约束其变化，帮助保持语言连贯、切题，并限制模型超出奖励模型的可靠适用范围。实验涵盖正面情感续写、物理性描述续写，以及在 TL;DR 和 CNN/Daily Mail 数据集上的摘要生成。文体任务使用了 5,000 次人类比较，摘要任务则使用了 60,000 次。摘要模型经常整句照搬原文，同时省略无关的开场内容；作者提醒，较高的评分可能部分反映了模型对评估者简单启发式判断的利用，而非真正达到了预期的摘要质量。(arxiv.org)"
    },
    {
      "heading": "创立Anthropic公司及高管职责",
      "text": "2021年，达里奥·阿莫代伊与妹妹丹妮拉·阿莫代伊及其他曾在OpenAI倒了一座“屎山”，数学家正捏着鼻子在里面淘金共事的同事共同创立了Anthropic公司。他出任首席执行官，丹妮拉则担任总裁。创始团队汇集了一批研究人员，他们此前的工作涉及大规模语言模型、可解释性以及从人类偏好中学习。这一时间脉络说明了他们从OpenAI转向一家独立研究公司的过程，但仅凭这一点，并不能认定创始人都是出于同一个原因离职。Anthropic公司最初发布的公告介绍了拟开展的研究议程，并未详细叙述他们与前雇主内部的分歧。(en.wikipedia.org)\n\n2021年5月28日，Anthropic公司宣布完成由雅安·塔林领投的1.24亿美元A轮融资，参与者包括达斯廷·莫斯科维茨、埃里克·施密特、詹姆斯·麦克莱夫以及新兴风险研究中心。公司表示，这笔资金将用于支持计算密集型研究，以及可靠、可控的人工智能系统原型开发。阿莫代伊表示，公司预计短期内将专注于研究。其公布的优先事项包括提高大型模型的可靠性、开发用于研究可解释人工智能的工具，以及将人类反馈更紧密地融入模型开发和部署过程。这些内容说明的是新成立的组织计划如何使用资源，而非一家已有成熟产品业务的企业所报告的成果。(anthropic.com)\n\n根据Anthropic公司公布的领导层介绍，阿莫代伊负责公司的研究方向和战略愿景，尤其是可靠、可解释、可控的人工智能系统的开发。丹妮拉·阿莫代伊担任总裁，其组织管理职责则有所不同：公司称，她领导研究、工程、产品、治理和商业执行等领域的工作，并管理高管团队。因此，两人的分工并不能简单理解为一位主管研究，另一位不参与技术工作；两人的职责都涵盖研究，但达里奥的明确职责侧重于方向和战略，丹妮拉则侧重于全公司的执行与高管团队管理。这些介绍界定的是高管职责，并不意味着公司的研究成果由其中某个人独立完成。(anthropic.com)\n\nAnthropic公司在特拉华州以公益公司的形式设立，其声明的宗旨是负责任地开发和维护先进人工智能，为人类带来长期利益。在2023年9月19日对这一架构的说明中，公司表示，这种公司形式允许董事权衡股东的财务利益、明确规定的公益宗旨，以及受到公司行为实质性影响的人群的利益。公司以是否部署某些特定人工智能系统的决策为例，说明董事可以在考虑财务利益的同时，兼顾更广泛的影响。因此，公益宗旨是阿莫代伊领导公司所处制度框架的一部分，并非对特定系统安全性的独立认证，也不能证明公司已经实现其预期的社会成效。Anthropic公司还明确承认，仅有公益公司身份，并不会使董事直接对其他利益相关方负责。(anthropic.com)"
    },
    {
      "heading": "Claude与宪法式人工智能",
      "text": "2023年3月14日，在达里奥·阿莫代伊担任首席执行官期间，Anthropic正式向公众推出了Claude。在与Notion、Quora和DuckDuckGo等合作伙伴开展封闭测试后，公司通过对话界面和面向开发者的API提供访问服务。其最初的应用包括摘要生成、问答、搜索辅助、协作写作和编程。公司公布了两个版本：Claude和Claude Instant，后者定位为速度更快、价格更低的替代版本。早期的集成应用包括通过Quora的Poe应用提供Claude服务，以及在Notion AI中使用Claude进行写作和摘要生成。这些系统是阿莫代伊领导下的Anthropic研究与工程团队的成果，而非归属于他个人的成果。(anthropic.com)\n\n与Claude相关的训练方法——宪法式人工智能——在2022年12月15日发表的论文《宪法式人工智能：通过AI反馈实现无害性》中得到了阐述。论文列有51位作者，第一作者为白云涛，其他作者包括阿曼达·阿斯克尔、达里奥·阿莫代伊和贾里德·卡普兰。其核心机制是利用成文原则，引导模型生成用于监督语言模型的反馈。在第一阶段，即监督学习阶段，初始模型先生成回答，再依据宪法原则对这些回答提出批评，并据此加以修订。随后，研究人员使用修订后的答案对原始模型进行微调。因此，这份宪法有助于构建训练样本，而不只是充当对话过程中提供给模型的指令。(arxiv.org)\n\n在第二阶段，模型依据宪法原则比较成对的候选回答，判断哪一个更可取。这些由AI生成的比较结果组成了训练偏好模型的数据集；随后，偏好模型为强化学习提供奖励信号。研究人员将这种方法称为基于AI反馈的强化学习，简称RLAIF。与基于人类反馈的强化学习不同，这一流程中有关无害性的比较不需要人工标注员逐一标注输出。不过，人类的选择在原则的选取上仍然起着核心作用。论文所称的不需要人工进行有害性标注，针对的是这一训练流程，并不意味着模型开发的所有环节都不再需要人类参与。(anthropic.com)\n\nAnthropic在2023年5月9日发布的说明中，公布了用于Claude的原则，并指出这些原则与最初研究中使用的原则有所不同。其来源包括《世界人权宣言》、苹果公司的服务条款、DeepMind的Sparrow规则，以及Anthropic自身的实验。这些原则涉及歧视、隐私、误导性陈述以及为有害活动提供帮助等问题；另一些原则则要求避免给出过度评判或指责他人的回答。明确写出的原则使预期标准能够被审视和修订，而人类的偏好判断则可能只是隐含地体现这些标准。Anthropic也承认，原则的选取反映了设计者的选择，既非最终定案，也未必最优。因此，宪法式训练规定了行为目标，却不能保证模型输出始终可靠地满足这些目标。(anthropic.com)\n\n2026年1月版宪法附带的贡献说明，进一步区分了阿莫代伊作为管理者的参与和主要撰写者的工作。阿曼达·阿斯克尔被列为主要作者，负责大部分文本的撰写，以及通过多轮修订逐步完善文本。乔·卡尔史密斯撰写了相当一部分内容，并协调了对2025年秋季草稿的修订；克里斯·奥拉、贾里德·卡普兰和霍尔登·卡诺夫斯基也因各自的具体贡献获得署名致谢。阿莫代伊被列为提供反馈的贡献者之一，而非主要撰写者。随附的发布说明指出，这份文件不再侧重于一条条独立的原则，而是转向更充分地解释价值观及其依据，同时明确指出，Claude的实际行为可能偏离文件的预期。(anthropic.com)"
    },
    {
      "heading": "公司治理与负责任扩展",
      "text": "阿莫代伊在 Anthropic 的管理权限受董事会治理架构约束：董事会监督公司管理层，股东与长期利益信托（LTBT）则拥有董事选举权。Anthropic 的公益公司法律地位，为兼顾股东的财务利益、公司声明的公益宗旨，以及受其行为实质影响的人群的利益提供了法律框架。该信托增设了一套独立的董事会问责机制，而非取代董事会或管理日常商业决策。(anthropic.com)\n\n在2023年9月19日公布的架构中，这一独立信托持有一种特殊类别的股票——T 类股，凭此有权选举和罢免董事，且其可决定的董事席位比例将逐步提高。这些权力将按照基于时间和融资情况设定的里程碑扩大，并在四年内涵盖董事会多数席位。这些安排旨在使受托人与 Anthropic 的财务利益保持独立；投资者则另行保有董事会代表席位。最初的框架还规定，达到足够高比例的绝对多数股东，可在未经受托人同意的情况下变更信托的权力；随着信托权限扩大，所需的表决比例门槛也会提高。这些是治理设计的组成部分，并不能证明该设计能够实现其宣称的目标。(anthropic.com)\n\n同样在2023年9月19日，Anthropic 推出了负责任扩展政策（RSP）。这是一套由公司自行采纳、涵盖技术和组织层面承诺的框架，而非法定标准。其人工智能安全等级（ASL）大体借鉴了生物安全等级的设计，将防护措施与可能造成灾难性危害的能力挂钩。在最初的分类中，ASL-1 涵盖不构成实质性灾难风险的系统；ASL-2 则包括当时的 Claude 模型，Anthropic 认为这些模型仅展现出初步的危险能力。ASL-3 涵盖的系统，相较于搜索引擎或教科书等信息来源，会显著增加灾难性滥用的风险，或展现出低水平的自主能力。更高等级当时尚待定义。(anthropic.com)\n\n最初的政策区分了管控与部署。ASL-3 的管控要求包括保护模型权重和代码免遭窃取，以及按照按需知悉原则限制对敏感训练信息的访问。部署则要求通过对抗性测试：专家红队人员必须未能诱使模型提供足以显著助长灾难性滥用的协助，而不是仅仅完成一次测试流程。政策发布公告还承诺，当扩展速度超出 Anthropic 落实所需防护措施的能力时，公司将暂时停止更强大模型的训练。(www-cdn.anthropic.com)\n\n1.0 版规定，有效训练算力每增至四倍后，以及每隔三个月，都要开展评估，以捕捉微调或工具使用等技术带来的能力提升。预警阈值的设计目标，是在能力达到相应的危险阈值之前触发预警。如果无法采取充分的管控措施，就应暂停训练；公司还承诺，针对暂停训练或推迟部署做好财务与运营规划。(www-cdn.anthropic.com)\n\n董事会正式批准了最初的 RSP，修订政策则须在征询信托意见后获得董事会批准。1.0 版还要求，及时向董事会和信托双方提供 ASL 评估结果，并由指定的负责任扩展主管每季度提交实施报告，其中须列明已发现的不足。这些程序将技术评估与对阿莫代伊领导工作的监督联系起来，而非让他成为唯一的评估者或决策者。2023年9月的这些规定属于历史上的承诺：Anthropic 此后发布了修订版政策，包括2024年10月15日发布的2.0版，以及2026年2月24日发布的3.0版。(www-cdn.anthropic.com)"
    },
    {
      "heading": "国会作证与监管建议",
      "text": "2023年7月25日，阿莫代伊出席美国参议院司法委员会隐私、技术与法律小组委员会举行的“人工智能监督：监管原则”听证会。听证会由参议员理查德·布卢门撒尔主持，计算机科学家约书亚·本吉奥和斯图尔特·罗素也出席了会议。阿莫代伊以 Anthropic 联合创始人兼首席执行官的身份作证，提供了一家开发先进人工智能系统的公司的视角，而非代表监管机构或专业科学团体发言。(judiciary.senate.gov)\n\n他的书面证词将风险分为三个相互交叠的时间跨度。短期问题包括隐私、版权、偏见、事实错误、虚假信息和宣传。中期问题涉及系统在科学和工程能力增强后被滥用的风险，尤其是在生物学领域，也包括网络安全、化学和核技术领域。长期问题则集中于如何控制自主性日益增强的系统，包括可能发生的灾难性错误和生存风险。他指出，对就业的影响贯穿上述各类风险。他所说的两到三年时间跨度，是在2023年7月作出的预测，并非认定这些能力当时已经存在。(judiciary.senate.gov)\n\n为说明开展前瞻性评估的必要性，阿莫代伊介绍了 Anthropic 与生物安全专家合作进行的一项为期六个月的调查，探究大语言模型是否能够提供与生物技术滥用相关、原本难以获取的专业知识。他报告称，当时的系统所能提供的帮助并不完整，也不可靠，但同时警告，能力更强的后续系统可能降低实施有害活动的门槛。这些发现和预测均由公司自行报告。他更广泛的论述将前沿研究与安全工作联系起来：他认为，开发强大系统有助于研究人员识别新出现的危险并制定缓解措施，同时也承认 Anthropic 的防护措施仍不完善。(govinfo.gov)\n\n书面建议主张，在训练期间定期设置检查节点，并在部署前开展测试，以便在开发推进过远之前识别危险能力。国家安全威胁应得到优先关注，同时也可针对偏见、虚假信息、隐私、儿童安全、版权及失控风险开展测试。阿莫代伊区分了企业的自愿承诺与拟议中的立法，后者将要求模型达到部署标准。他承认，严格的要求可能大幅减缓开发进度。(judiciary.senate.gov)\n\n在口头陈述中，他将测试纳入三项政策重点：保障从半导体设备到已存储模型的整个供应链安全；要求在发布前开展安全审查，并由独立第三方和政府国家安全专家参与；以及资助尚不成熟的人工智能测量科学。他指出，美国国家标准与技术研究院和拟议中的国家人工智能研究资源可作为支持评估研究的平台。这些是向立法者提出的建议，并非该听证会通过的强制要求。在回答有关选举相关欺骗行为的提问时，他还支持通过法律要求对人工智能生成的内容加以标识，并区分了这类法定义务与开发者能够实施的技术水印措施。(govinfo.gov)"
    },
    {
      "heading": "关于人工智能益处、风险与可解释性的文章",
      "text": "在《充满爱意的机器》（2024年10月）中，阿莫代伊围绕五个领域，对先进人工智能的前景进行了推演：生物学与身体健康、神经科学与心理健康、经济发展与贫困、和平与治理，以及工作与意义。他假设，人工智能系统能够超越人类顶尖专家，自主执行耗时较长的任务，并协调大量并行运行的实例。在这些假设下，他提出，强大人工智能出现后，原本需要50至100年的生物学进步，或许可以压缩到5至10年内实现。这是一种有条件的情景设想，而非已获证实的医学成果或已有定论的预测；文章也明确承认，其中的具体判断可能有误。(darioamodei.com)\n\n文章的分析框架着眼于智能提升所面临的限制。阿莫代伊区分了实验所需时间、数据缺失、内在复杂性、人类制度和物理定律等制约因素。推理速度加快，并不会自动消除细胞生长、连续多轮实验完成或制度采纳创新所需的时间。不过，他认为，人工智能可以通过发明测量技术、指导实验室实验或改进研究方法，在一定程度上缓解其中一些限制。因此，他所设想的加速，有赖于改变研究与开发的组织方式和工具，而不仅仅是更快地分析现有数据集。(darioamodei.com)\n\n《可解释性的紧迫性》（2025年4月）主张，应当在模型能力大幅增强之前，推进对其内部运作方式的理解。阿莫代伊将考察模型学得的内部机制与仅仅观察输出作了对比，认为机制可解释性可能成为诊断欺骗、危险知识和意外行为的手段。他肯定了克里斯·奥拉的研究工作，并介绍了稀疏自编码器及追踪特征间相互作用的方法；稀疏自编码器能够将混杂的神经活动分解为更易解释的特征。其中一个例子是增强与金门大桥相关的特征，使一个 Claude 模型在与大桥无关的对话中反复提及它。(darioamodei.com)\n\n文章区分了这类干预与全面理解模型。阿莫代伊指出，即使识别出数百万个特征，模型仍有很大一部分尚未得到解析，而回路追踪的能力仍然有限，且在很大程度上依赖人工。他提出的模型“大脑扫描”——一种用于检测广泛行为问题的诊断程序——是研究目标，而不是现成的安全保证。他表示，Anthropic 的目标是到2027年，让可解释性方法能够可靠地检测出大多数模型问题，并将这一时间表描述为诊断方法与模型能力增长之间的一场竞赛。(darioamodei.com)\n\n《技术的青春期》（2026年1月）沿用同一组假想的高能力人工智能系统，对风险作了配套论述。文章将风险分为五类：自主实施有害行为、破坏性滥用、为夺取权力而进行的滥用、经济冲击，以及间接影响。这种分类将系统违背人类意图行事的可能性，与人类故意利用原本服从指令的系统造成的危害区分开来。经济方面的讨论涉及自动化、劳动力市场中的就业替代，以及财富集中；间接影响则包括生物学创新加速带来的不稳定后果、对与人工智能互动的依赖，以及人类生活目标的变化。阿莫代伊明确承认，人工智能的发展可能比他预期的更慢，文中列举的危险可能不会出现，也可能出现未曾预料的危险。这篇文章结合了情景分析与面向企业和政府的行动建议，而非报告经同行评审、能够证实这些未来结果的实证研究发现。(darioamodei.com)"
    }
  ],
  "links": [
    "artificial-intelligence",
    "large-language-model",
    "deep-learning",
    "neural-scaling-law",
    "stanford-university",
    "physics",
    "princeton-university",
    "neuron",
    "statistical-mechanics",
    "mass-spectrometry",
    "protein",
    "biomarker",
    "speech-recognition",
    "loss-function",
    "language-model",
    "training-data",
    "graphics-processing-unit",
    "neural-network-inference",
    "generative-pre-trained-transformer",
    "in-context-learning",
    "fine-tuning",
    "cross-entropy",
    "power-law",
    "machine-learning",
    "objective-function",
    "distribution-shift",
    "reinforcement-learning-from-human-feedback",
    "reinforcement-learning",
    "explainable-artificial-intelligence",
    "legislation",
    "neuroscience",
    "research-and-development",
    "automation",
    "labor-market"
  ],
  "sources": [
    {
      "title": "Dario Amodei",
      "url": "https://en.wikipedia.org/wiki/Dario_Amodei"
    },
    {
      "title": "Dario Amodei - Hertz Foundation",
      "url": "https://www.hertzfoundation.org/people/dario-amodei/"
    },
    {
      "title": "Network-Scale Electrophysiology: Measuring and Understanding the Collective Behavior of Neural Circuits",
      "url": "https://dissertation.com/abstract/1926005"
    },
    {
      "title": "Searching for collective behavior in a network of real neurons",
      "url": "https://arxiv.org/abs/1306.3061"
    },
    {
      "title": "ProteoWizard: Team",
      "url": "https://proteowizard.sourceforge.io/team.html"
    },
    {
      "title": "Improving Precursor Selectivity in Data-Independent Acquisition Using Overlapping Windows",
      "url": "https://pmc.ncbi.nlm.nih.gov/articles/PMC6445824/"
    },
    {
      "title": "Deep Speech 2: End-to-End Speech Recognition in English and Mandarin",
      "url": "https://arxiv.org/abs/1512.02595"
    },
    {
      "title": "Deep Speech 2: End-to-End Speech Recognition in English and Mandarin — full paper",
      "url": "https://arxiv.org/pdf/1512.02595"
    },
    {
      "title": "“Deep Speech” From Baidu’s Silicon Valley AI Lab Recognizes Both English and Mandarin With Single Learning Algorithm",
      "url": "https://www.globenewswire.com/news-release/2015/12/09/1018915/0/en/Deep-Speech-From-Baidu-s-Silicon-Valley-AI-Lab-Recognizes-Both-English-and-Mandarin-With-Single-Learning-Algorithm.html"
    },
    {
      "title": "Around the World in 60 Days: Getting Deep Speech to Work in Mandarin",
      "url": "https://svail.github.io/mandarin/"
    },
    {
      "title": "Baidu Research: DeepBench",
      "url": "https://github.com/baidu-research/deepbench"
    },
    {
      "title": "GitHub - openai/gpt-2: Code for the paper \"Language Models are Unsupervised Multitask Learners\"",
      "url": "https://github.com/openai/gpt-2"
    },
    {
      "title": "Language Models are Few-Shot Learners",
      "url": "https://arxiv.org/abs/2005.14165"
    },
    {
      "title": "Language Models are Few-Shot Learners",
      "url": "https://arxiv.org/html/2005.14165v4"
    },
    {
      "title": "Scaling Laws for Neural Language Models",
      "url": "https://arxiv.org/abs/2001.08361"
    },
    {
      "title": "Scaling Laws for Neural Language Models",
      "url": "https://arxiv.org/html/2001.08361v1"
    },
    {
      "title": "Concrete Problems in AI Safety",
      "url": "https://arxiv.org/abs/1606.06565"
    },
    {
      "title": "Concrete Problems in AI Safety",
      "url": "https://arxiv.org/html/1606.06565v2"
    },
    {
      "title": "Deep reinforcement learning from human preferences",
      "url": "https://arxiv.org/abs/1706.03741"
    },
    {
      "title": "Deep Reinforcement Learning from Human Preferences",
      "url": "https://arxiv.org/html/1706.03741v4"
    },
    {
      "title": "Fine-Tuning Language Models from Human Preferences",
      "url": "https://arxiv.org/abs/1909.08593"
    },
    {
      "title": "Fine-Tuning Language Models from Human Preferences",
      "url": "https://arxiv.org/html/1909.08593v2"
    },
    {
      "title": "Anthropic",
      "url": "https://en.wikipedia.org/wiki/Anthropic"
    },
    {
      "title": "Anthropic raises $124 million Series A",
      "url": "https://www.anthropic.com/news/anthropic-raises-124-million-to-build-more-reliable-general-ai-systems"
    },
    {
      "title": "Leadership at Anthropic",
      "url": "https://www.anthropic.com/company/leadership"
    },
    {
      "title": "Company",
      "url": "https://www.anthropic.com/company"
    },
    {
      "title": "The Long-Term Benefit Trust",
      "url": "https://www.anthropic.com/news/the-long-term-benefit-trust"
    },
    {
      "title": "Introducing Claude",
      "url": "https://www.anthropic.com/news/introducing-claude"
    },
    {
      "title": "Anthropic raises $450 million in Series C funding to scale reliable AI products",
      "url": "https://www.anthropic.com/news/anthropic-series-c?trk=article-ssr-frontend-pulse_little-text-block"
    },
    {
      "title": "Constitutional AI: Harmlessness from AI Feedback",
      "url": "https://arxiv.org/abs/2212.08073"
    },
    {
      "title": "Constitutional AI: Harmlessness from AI feedback",
      "url": "https://www.anthropic.com/news/constitutional-ai-harmlessness-from-ai-feedback"
    },
    {
      "title": "Claude’s constitution",
      "url": "https://www.anthropic.com/news/claudes-constitution"
    },
    {
      "title": "Claude’s Constitution",
      "url": "https://www.anthropic.com/constitution"
    },
    {
      "title": "Claude's new constitution",
      "url": "https://www.anthropic.com/news/claude-new-constitution"
    },
    {
      "title": "The Long-Term Benefit Trust",
      "url": "https://www.anthropic.com/news/the-long-term-benefit-trust?hs_amp=true"
    },
    {
      "title": "Introducing Anthropic's Responsible Scaling Policy",
      "url": "https://www.anthropic.com/news/anthropics-responsible-scaling-policy"
    },
    {
      "title": "Anthropic's Responsible Scaling Policy, Version 1.0",
      "url": "https://www-cdn.anthropic.com/1adf000c8f675958c2ee23805d91aaade1cd4613/responsible-scaling-policy.pdf"
    },
    {
      "title": "Anthropic’s Responsible Scaling Policy",
      "url": "https://www.anthropic.com/responsible-scaling-policy"
    },
    {
      "title": "Oversight of A.I.: Principles for Regulation",
      "url": "https://www.judiciary.senate.gov/committee-activity/hearings/oversight-of-ai-principles-for-regulation"
    },
    {
      "title": "Written Testimony of Dario Amodei, Ph.D.",
      "url": "https://www.judiciary.senate.gov/imo/media/doc/2023-07-26_-_testimony_-_amodei.pdf"
    },
    {
      "title": "Oversight of A.I.: Principles for Regulation — Senate Hearing 118-108",
      "url": "https://www.govinfo.gov/content/pkg/CHRG-118shrg53503/html/CHRG-118shrg53503.htm"
    },
    {
      "title": "Dario Amodei — Machines of Loving Grace",
      "url": "https://darioamodei.com/essay/machines-of-loving-grace"
    },
    {
      "title": "Dario Amodei — The Urgency of Interpretability",
      "url": "https://darioamodei.com/post/the-urgency-of-interpretability"
    },
    {
      "title": "Dario Amodei — The Adolescence of Technology",
      "url": "https://darioamodei.com/essay/the-adolescence-of-technology"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}