{
  "id": "ai-agent",
  "title": "AI智能体",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "一种能够感知所处环境并具备一定自主性、通过选择行动以达成目标的人工智能系统。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "人工智能智能体",
    "智能体",
    "AI Agent"
  ],
  "generated_at": "2026-10-14",
  "model": "gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/ai-agent/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/ai-agent/",
      "json": "https://aiwiki.page/en/ai-agent.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "AI智能体是一种计算系统，它接收有关环境的信息并选择行动以追求目标或满足某种性能指标。其环境可以是物理的，如机器人学中的应用；也可以是数字的，如用于检索信息、修改文件或与在线服务交互的软件。智能体的视角将人工智能与对行动的研究联系起来：智能不仅包括给出答案，还包括根据变化的环境选择该做什么。不同系统的自主性与学习能力各不相同；智能体既不一定需要持续学习，也不一定需要在完全没有人类监督的情况下运行。(aima.cs.berkeley.edu)\n\n智能体研究涵盖基于规则的架构与慎思式架构、强化学习，以及围绕大语言模型构建的系统。在基于语言模型的智能体中，模型能够指导工具的使用，并利用来自环境的反馈来修正自身行动，而非仅仅遵循预先设定的步骤。这使语言生成与任务执行产生了交集，同时也带来了有关可靠性、评估、授权及安全性的新问题。因此，理解AI智能体不仅要关注其决策机制，还要关注使其行动得以生效的更广泛系统。(aima.cs.berkeley.edu)"
    },
    {
      "heading": "定义、范畴与术语",
      "text": "人工智能体（artificial agent）是一种通过与环境交互来界定的计算系统：它接收感知输入，并选择能够影响该环境的行动。在斯图尔特·罗素（Stuart Russell）与彼得·诺维格（Peter Norvig）的表述中，感知通过传感器进行，行动通过执行器实施，但二者皆不必然需要物理实体。机器人可以接收摄像头图像并驱动电机；软件智能体则可以读取文件或网络消息，并通过写入文件、展示信息或发送请求来采取行动。因此，环境可以是物理的、数字的，也可以是二者的结合。这一定义描述的是输入与行动之间的关系，而非某种特定的机器学习技术或智能水平。 (aima.cs.berkeley.edu)\n\n智能体函数（agent function）是从感知历史到行动的抽象映射，通常记为 \\(f:P^{*}\\rightarrow A\\)，其中 \\(P^{*}\\) 表示有限感知序列，\\(A\\) 表示可用行动。智能体程序（agent program）则是该映射在计算架构上的具体实现。在实现中，系统并不需要显式存储其全部感知历史。具备智能体特性也是一种分析视角，而非绝对的类别划分：即使是计算器，也可以被描述为根据输入选择显示操作，尽管这种描述对于理解其运作机制几乎没有帮助。因此，仅凭宽泛的形式化定义，本身并不能将 AI 智能体与普通软件区分开来。 (aima.cs.berkeley.edu)\n\n迈克尔·伍尔德里奇（Michael Wooldridge）和尼古拉斯·詹宁斯（Nicholas Jennings）在 1995 年 6 月发表的综述《智能体：理论与实践》（Intelligent Agents: Theory and Practice）中指出了四项颇具影响力的特性：自主性（autonomy），指在没有直接干预的情况下控制自身行动和内部状态；反应性（reactivity），指对环境变化做出及时的响应；主动性（pro-activeness），指采取以目标为导向的主动行动，而非仅仅被动响应；以及社交能力（social ability），指通过通信语言与其他智能体或人类进行交互。这些特性代表了一种极具影响力的研究视角，而非普遍公认的判定准则。作者明确指出了学界在该术语定义上存在的分歧。此语境下的自主性关乎运行控制权：系统可以接收人类指派的任务，但在执行过程中能独立选择具体的行动。 (cs.ox.ac.uk)\n\n大语言模型并不等同于智能体：它可以作为一个更大系统中的组件，由该系统提供工具、执行所选操作并返回观察结果。同样，对话式界面描述的只是用户与软件交互的方式，而非由谁来控制任务的执行。普通的软件服务可以执行所请求的操作，但无需自主规划后续的行动路径。Anthropic 在 2024 年 12 月 19 日的阐述中，将模型调用与工具使用遵循预定义代码路径的工作流（workflows），与由模型动态指导流程和工具使用的智能体（agents）区分开来。例如，先生成营销文案再进行翻译的固定流程属于前者；而根据执行反馈自主决定修改代码并选择后续操作的代码编写系统则属于后者。这两类范式可以相互重叠：对话式应用中可能既包含固定的工作流，也包含由智能体控制的循环回路。Anthropic 使用智能体系统（agentic systems）作为统称这两者的上位概念，这也说明了为什么这一表述需要有明确的架构定义。 (anthropic.com)\n\n这些相关称谓所侧重的方面各有不同。智能体（intelligent agent）将能动性与采取有效行动的能力联系起来；理性智能体（rational agent）明确了一种决策标准——即在现有信息下选择有望实现目标的行动——而非要求具备类似人类的推理能力。自主智能体（autonomous agent）强调运行时的独立性，但并不保证绝对的能力水平。罗素和诺维格提出的理性智能体方法既允许深思熟虑，也允许有效的反射机制，并承认计算能力的局限性。“信念”、“目标”和“意图”等词汇可以用来描述计算表征或解释模型；使用这些术语并不意味着系统具备主观体验或意识。因此，技术层面的智能体特性关注的是行为、控制与交互，并不要求具备人类般的心智体验。 (aima.cs.berkeley.edu)"
    },
    {
      "heading": "历史发展",
      "text": "智能体研究并非源于某项单一的开创性发明，而是由多个研究传统共同孕育而成。控制理论为通过反馈调节系统提供了数学方法，而控制论则建立了机器与生物体中控制与通信的联系。诺伯特·维纳（Norbert Wiener）于1948年出版的《控制论》（Cybernetics）推动了这一跨学科研究纲领的建立；维纳与阿图罗·罗森布卢斯（Arturo Rosenblueth）、朱利安·比格洛（Julian Bigelow）的相关工作将目的性行为视为一种旨在缩小当前状态与目标状态差距的调节机制。符号人工智能则提供了一种截然不同的进路：对情境、目标和动作进行明确的形式化描述，使程序能够通过推理和搜索对其进行操作。这些传统为构建能够响应观测并选择动作的系统奠定了互补的基础，尽管当时尚未确立一种通用的智能体架构。(aima.cs.berkeley.edu)\n\n符号动作选择领域的一个里程碑是理查德·菲克斯（Richard Fikes）与尼尔斯·尼尔森（Nils Nilsson）于1971年提出的 STRIPS。其规划器通过搜索一系列算子，将初始世界模型转换为满足指定目标的状态模型。算子通过前提条件、添加列表和删除列表来描述其适用条件及对模型的改变。这一机制使动作的后果得以显式表达，并支持针对机器人任务的规划，而不仅是推导逻辑问题的答案。机器人学领域则出现了一种相反的研究取向：罗德尼·布鲁克斯（Rodney Brooks）在1985年9月的麻省理工学院技术报告及1986年3月的期刊论文中提出了包容架构（subsumption architecture）。布鲁克斯将控制系统组织为异步的行为层：高层可以抑制低层的输出，而低层仍持续运行。该架构打破了动作必须以构建完备的符号世界模型和集中式深思熟虑为前提的传统观念。(ai.stanford.edu)\n\n另一条架构脉络则源自迈克尔·布拉特曼（Michael Bratman）1987年的著作《意图、计划与实践理性》（Intention, Plans, and Practical Reason）。布拉特曼的理论强调了意图在稳定实践推理中的作用，使系统无需在每一时刻持续重新权衡所有选择。阿南德·拉奥（Anand Rao）与迈克尔·乔治夫（Michael Georgeff）在1991年的论文《BDI架构下的理性智能体建模》（Modeling Rational Agents within a BDI-Architecture）中将这一进路形式化为计算模型，在分支时间逻辑框架内将信念、愿望和意图处理为独立的元素。他们在1995年发表的论文《BDI智能体：从理论到实践》（BDI Agents: From Theory to Practice）将这些形式化思想与可执行系统（包括过程推理系统PRS及其后续系统dMARS）联系起来。在这一信念-愿望-意图传统中，对已选定计划的承诺（commitment）平衡了“维持既定行动路线”与“对环境变化作出响应”之间的张力；这些术语在此指代计算结构，而非心智体验的证据。(jmvidal.cse.sc.edu)\n\n自20世纪80年代中期起，分布式人工智能对智能体间的合作与协调给予了更多关注，将研究重心从单个实体的推理拓展至相互交互的系统。与此同时，约阿夫·肖汉姆（Yoav Shoham）在1990年和1993年发表的论文中提出了面向智能体编程，将信念、承诺和能力作为编程抽象，AGENT0是其早期实现之一。接口智能体研究则探索了在日常软件应用中提供辅助功能。帕蒂·梅斯（Pattie Maes）于1994年探讨的相关工作包括NEWT系统，这是一种USENET新闻过滤系统，它通过用户阅读或不阅读的文章样本进行训练，并随后通过反馈进行调整优化。迈克尔·伍尔德里奇（Michael Wooldridge）与尼古拉斯·詹宁斯（Nicholas Jennings）在1995年6月的综述论文《智能智能体：理论与实践》（Intelligent Agents: Theory and Practice）中，从智能体理论、架构与语言三个维度系统梳理了这一已具多样性的研究领域，并探讨了分布式智能体、接口智能体及信息智能体的应用。(cs.ox.ac.uk)\n\n大语言模型智能体为实现传统感知-动作循环的各个环节提供了一种全新途径。姚顺宇（Shunyu Yao）等人于2022年10月6日首次发布了论文《ReAct：语言模型中推理与行动的协同》（ReAct: Synergizing Reasoning and Acting in Language Models），随后发表于ICLR 2023。ReAct 将生成的推理导向文本与特定任务动作以及外部资源或环境返回的观测交替进行。其应用演示包括利用维基百科接口进行问答和事实核查、在ALFWorld中执行模拟家务任务，以及在WebShop中完成购物任务。这一历史性变革的核心在于利用语言模型从文本上下文中生成并修正行动轨迹，而非提出智能体概念本身：规划、反应式控制、承诺机制以及软件辅助的研究此前早已开展了数十年之久。(arxiv.org)"
    },
    {
      "heading": "任务环境与理性行动",
      "text": "PEAS 框架通过性能度量（Performance measure）、环境（Environment）、执行器（Actuators）和传感器（Sensors）来具体设定一项任务。在双格吸尘器世界中，环境由 A、B 两个方格及其清洁状态组成；执行器提供移动、吸尘和原地待命等动作；传感器负责报告所处位置及当前方格的清洁状态。性能度量可以在 1,000 个时间步长内，为每个步长中处于清洁状态的方格各记 1 分。若对移动施加惩罚，则良好行为的标准便会改变：一旦两个方格都保持清洁，停留在原地就会比持续巡逻获得更高得分。(aima.cs.berkeley.edu)\n\n环境分类有助于明确设计所受的约束。完全可观测性会呈现所有与决策相关的状态；部分可观测性则要求智能体跟踪未能直接观测到的情况。确定性转移由状态和动作唯一决定；随机转移则会引入不确定性。分段式决策彼此独立，而序贯动作中先前的决策会影响后续的选择。静态环境在智能体深思熟虑期间保持不变；动态环境则要求及时做出响应。状态、动作和时间的离散或连续需要不同的表征方式。多智能体环境还需要额外考虑其他决策者。一台仅能感知当前格污垢的吸尘器，即便其移动和吸尘是确定性的，它所面对的环境依然是部分可观测的：关于状态的不确定性不同于关于动作效果的不确定性。(aima.cs.berkeley.edu)\n\n理性行动是指在给定智能体的观测、先验知识和可用动作的前提下，最大化期望性能——而非事后看来最好的结果。这把智能体行为与决策理论和期望值联系起来：可能的结果之所以重要，既取决于其合意程度，也取决于其发生的概率。因此，单次不利的结果本身并不足以证明先前的决策是非理性的。当更好的观测能提升后续选择的有效性时，信息搜集本身也可以是理性的。理性同样不要求冗长复杂的逻辑推导：理性智能体方法允许在缓慢的深思熟虑会导致更差结果时快速做出响应。(aima.cs.berkeley.edu)\n\n有限理性旨在解决在有限的处理时间和内存条件下落实这一标准的难题。计算精确的最优决策可能会消耗行动所需的资源，尤其是在计算过程中环境发生变化的情况下。因此，实用的决策程序会采用近似方法，而不是穷举评估所有可能性。一种相关的机制是理性元推理（rational metareasoning）：依据计算对做出更好外部决策的预期贡献来选择执行哪些计算。自 1988 年起，斯图尔特·罗素（Stuart Russell）和埃里克·韦法尔德（Eric Wefald）围绕计算的期望值发展了这一方法。它将深思熟虑视作一种兼具收益和成本的活动，而非行动前无成本的预备步骤；决定“思考多久”本身也会成为一个计算上的难题。(aima.cs.berkeley.edu)\n\n1995 年，罗素与德维卡·苏布拉马尼安（Devika Subramanian）形式化了有限最优性（bounded optimality）概念，将对比基准从理想的单个动作转向了可执行的智能体程序。有限最优程序在指定的任务环境以及特定的计算架构上，其表现至少与该架构上可用的其他替代程序一样好。他们的分析针对一类受限的机器和实时环境构建了此类智能体，并以自动邮件分拣为例进行了说明。这比单纯使用开销低廉的启发式方法更为严格和具体：近似方法并不自动具备有限最优性，且最优性始终是相对于机器所受约束以及所处环境而言的。(arxiv.org)"
    },
    {
      "heading": "经典智能体架构",
      "text": "简单反射型智能体利用“条件–动作”规则根据当前观测选择动作，而不保留历史观测记录。在一个仅有两个位置的吸尘器环境中，其规则可以是：若当前位置有污垢，则执行清理；否则，移动到另一个位置。这种控制器无法区分产生相同观测却需要采取不同动作的情境。相比之下，基于模型的反射型智能体会维护一个内部状态，并结合上一状态、上一步动作以及最新观测来更新该状态。它的模型不仅描述环境中独立发生的变化，也描述自身动作造成的影响。例如，自动驾驶系统可以通过对比连续的摄像头画面帧来检测前车刹车灯是否亮起，而不是试图从单张图像中推断刹车行为。动作选择依然采用“条件–动作”规则，但这些规则作用于内部维护的状态，而不仅仅取决于即时的感官输入。(aima.cs.berkeley.edu)\n\n基于目标的智能体明确表示目标状态，并考量哪些动作可以达成该目标。一辆接近十字路口的自动驾驶出租车必须将路网信息与乘客的目的地结合起来；仅凭观测到的路口本身并不能决定该朝哪个方向转弯。搜索或规划算法可以将当前状态与目标连接起来，从而在目的地发生变化时，无需替换针对特定目的地的反射规则。基于效用的智能体则更进一步对结果进行优劣排序：可能有多条路线都能到达目的地，但在耗时、成本、安全性或舒适度上各不相同。效用函数以数值形式表达偏好，而决策论则将这些偏好与结果的不确定性结合起来。这种区分的本质在于仅仅识别出令人满意的目标状态，还是进一步权衡不同候选结果的合意程度——而不是指智能体是否具备类人的内在动机。(aima.cs.berkeley.edu)\n\n审思式架构利用对世界的显式符号表示以及推理过程来选择动作。其机制借鉴了符号主义人工智能和知识表示与推理：观测结果必须被转化为有用的描述，且推理或规划必须在这些描述依然有效的前提下完成。反应式架构则强调对环境条件的直接响应，避免在采取每个动作前依赖大量的符号化审思过程。罗德尼·布鲁克斯（Rodney Brooks）于 1986 年提出的包容式架构，将机器人控制组织为若干完成特定任务的交互式行为层（例如避障）。这一架构层面的对比不仅限于简单反射程序与基于模型的反射程序之间的区别：反应式控制可以包含多个相互交互的行为，而不仅是一张单一的规则表。(cs.ox.ac.uk)\n\n混合式架构将快速的反应式控制与审思过程相结合，并需要相应的机制来化解相互冲突的行动方案提议。在英尼斯·弗格森（Innes Ferguson）于 1992 年提出的 TOURINGMACHINES 架构中，三个并发运行的控制层共享感知与动作子系统。反应层负责处理需要即时响应的事件；规划层利用拓扑地图和部分细化的计划来构建并执行计划；建模层则对其他实体进行表征，以识别对智能体目标的干扰。控制规则在各层之间进行调停仲裁。因此，仅仅在反应式控制器上增加规划器是远远不够的：架构还必须明确规定当不同组件的提议出现分歧时，由哪个组件来主导执行。(cs.ox.ac.uk)\n\n信念–愿望–意图（BDI）架构将关于世界的信息（表现为信念）与期望开展的活动或追求的结果（即愿望），以及当前已被选定去付诸行动的意图清晰地区分开来。承诺赋予意图以持久性，并限制智能体采纳与之冲突的替代方案。迈克尔·布拉特曼（Michael Bratman）、戴维·以色列（David Israel）和玛莎·波拉克（Martha Pollack）于 1988 年提出的智能资源受限机器架构（IRMA），采用了计划库、手段-目的分析、机会检测以及用于过滤与既有意图不一致选项的筛选器。在迈克尔·乔治夫（Michael Georgeff）和艾米·兰斯基（Amy Lansky）于 1987 年提出的过程推理系统（PRS）中，解释器负责更新信念、激活被称为“知识区”（knowledge areas）的部分细化计划并执行动作；被激活的知识区即代表意图。这些计划既可由目标触发，也可由传入的数据触发，从而将审思与反应式运行融合在一起。此处的信念、愿望和意图属于计算层面的表示与解释性抽象，并不代表具备意识或主观心理体验。(cs.ox.ac.uk)"
    },
    {
      "heading": "规划与序贯决策",
      "text": "在经典自动规划中，智能体表示一个初始状态、一个目标条件，以及具有显式前置条件和效果的行动。状态空间搜索将状态视为节点，将可适用的行动视为边：前向搜索从初始状态出发生成后继状态，而后向搜索则从目标要求出发，反推能建立这些条件的前提。前置条件决定某一行动是否适用；效果则指明哪些事实会变为真或假。在《人工智能：一种现代的方法》（Artificial Intelligence: A Modern Approach）的航空货物运输示例中，装载货物需要货物与飞机处于同一机场。装载会移除货物“位于该机场”的事实，并添加货物“位于飞机内部”的事实。“装载—飞行—卸载”这一序列能够完成配送，是因为每个行动都为下一个行动创造了所需条件，且最终状态满足了目标。各个单独可执行的行动并不一定构成一个成功的规划，它们的先后顺序和综合效果至关重要。 (aima.cs.berkeley.edu)\n\n面对具有不确定性的结果时，马尔可夫决策过程（MDP）通过状态集 \\(S\\)、行动集 \\(A\\)、转移概率 \\(T(s,a,s')\\) 和奖励函数 \\(R(s,a,s')\\) 来进行描述。马尔可夫性质要求当前状态和所选行动包含预测下一状态分布所需的全部信息。策略为每个状态选择一个行动，而不是规定单一固定的行动序列。在加州大学伯克利分校的赛车教学示例中，状态分为凉（cool）、热（warm）和过热（overheated）：在“凉”状态下高速驾驶会分别以 \\(0.5\\) 的概率产生“凉”或“热”状态，而在“热”状态下高速驾驶则必定导致过热并招致 \\(-10\\) 的奖励。因此，策略可以根据产生的温度做出应对。常见的规划目标是最大化期望折扣奖励：\n\n\\[J(\\pi)=\\mathbb{E}_{\\pi}\\!\\left[\\sum_{t=0}^{\\infty}\\gamma^t R(s_t,a_t,s_{t+1})\\right], \\qquad 0\\leq\\gamma<1.\\]\n\n规划可以通过给定的模型计算出此类策略，而无需通过交互来学习。 (inst.eecs.berkeley.edu)\n\n当观测无法唯一确定状态时，部分可观测马尔可夫决策过程（POMDP）增加了观测模型。智能体维护一个信念状态（即可能状态上的概率分布），而不是假定其最新观测是完全的。在采取行动 \\(a\\) 并获得观测 \\(o\\) 之后，更新过程将预测的状态转移与观测似然结合起来：\n\n\\[b'(s')=\\eta\\,O(o\\mid s',a)\\sum_s T(s,a,s')b(s),\\]\n\n其中 \\(\\eta\\) 为归一化常数。决策随后便可基于信念状态做出。莱斯莉·帕克·凯尔布林（Leslie Pack Kaelbling）、迈克尔·L·利特曼（Michael L. Littman）和安东尼·R·卡桑德拉（Anthony R. Cassandra）在1998年的论述中阐明了该框架及其信息收集行为。感知行动可能几乎不会带来直接的物理进展，但能通过减少不确定性来改善后续选择；其效用取决于该信息相对于其代价的预期收益。 (cassandra.org)\n\n分层规划通过逐级细化来表示任务。像搬运物体这样的高层指令可以分解为获取物体、移动到目的地以及放置物体；这些子任务最终必须落实为可执行的行动。细化具有适用条件和顺序约束，因此分解并不单纯是一份口头清单。分层搜索探索不同的细化方案，而对潜在结果或代价的抽象描述有助于在穷举每个基元行动之前剔除不合适的分支。最终生成的规划仍必须满足原始目标以及该领域的行动约束。 (aima.cs.berkeley.edu)\n\n执行监控将观测到的结果与剩余规划所依赖的条件进行对比。意外的结果可能需要修补规划的后续部分，或者从更新后的状态估计出发重新搜索。在2019年的一项研究中，凯兰·里德·加勒特（Caelan Reed Garrett）、克里斯·帕克斯顿（Chris Paxton）、托马斯·洛萨诺-佩雷斯（Tomás Lozano-Pérez）、莱斯莉·帕克·凯尔布林与迪特尔·福克斯（Dieter Fox）在信念空间规划中将观测行动与连续机器人控制行动相结合。在执行和观测之后，系统利用新的估计进行重规划，初期通过重用未执行规划的结构来提高效率并避免推倒已有进展。这种重规划能够根据证据改变行动路线；它无需改变底层的转移模型，也无需学习新的行动选择规则。 (arxiv.org)"
    },
    {
      "heading": "学习与适应",
      "text": "学习型智能体在概念上可分解为四个组成部分。执行元件根据感知信息和内部信息选择行动；学习元件负责改进用于选择这些行动的知识或程序。评价元件对照既定的性能标准来评估行为，并向学习元件提供反馈。问题生成器则负责提出具有探索性的行动，以获取有用的经验，而非追求眼前的最大回报。这些属于功能性角色，并不一定对应独立的软件模块。例如，自动驾驶出租车可以观察在潮湿路面上刹车产生的减速效果，更新对制动效果的估计，并将该估计用于后续的驾驶决策。评估标准与被调整的行为本身保持独立：改变成功的评判标准并不等同于提升性能。 (aima.cs.berkeley.edu)\n\n在强化学习中，智能体通过与环境交互所获得的回报来进行学习，而非在每种情境下都直接获知正确行动。折现回报可表示为 \\(G_t=\\sum_{k=0}^{\\infty}\\gamma^k R_{t+k+1}\\)，其中 \\(R_{t+k+1}\\) 是后续回报，\\(0\\leq\\gamma<1\\) 会对更长远的收益进行折现。价值函数用于估计在特定策略下从某个状态或状态-行动对出发的期望回报。策略改进会改变行动选择，使其倾向于带来更高的期望回报，而非仅仅追求更大的即时回报。学习过程还会引发探索与利用之间的权衡：利用是指选择当前估计为最优的行动，而探索则是搜集有关其他可能行动的证据，这些替代选项最终可能表现更佳。 (incompleteideas.net)\n\nQ学习提供了一种代表性的基于价值的方法。克里斯托弗·沃特金斯（Christopher Watkins）与彼得·达扬（Peter Dayan）在1992年的论文中证明了其表格形式在特定采样和学习率条件下的收敛性。在观察到从状态 \\(s\\) 通过行动 \\(a\\) 转移到状态 \\(s'\\) 并获得回报 \\(r\\) 之后，它使用以下公式更新动作价值估计：\n\n\\[Q(s,a)\\leftarrow Q(s,a)+\\alpha\\left[r+\\gamma\\max_{a'}Q(s',a')-Q(s,a)\\right].\\]\n\n其中 \\(\\alpha\\) 为学习率；方括号内的量为时序差分误差。即使探索性行为选择了其他行动，式中的最大化操作也会根据对下一行动的最优估计来提供目标值。相比之下，基于策略的方法直接调整参数化的行动选择规则以提高期望回报。行动者-评论家（Actor–Critic）方法则将策略（行动者）与学得的价值估计器（评论家）相结合，由评论家的估计来指导策略更新。 (gatsby.ucl.ac.uk)\n\n无模型（Model-free）方法无需使用显式的环境转移模型进行规划，即可直接学习价值或策略。基于模型（Model-based）的方法则利用预设或学得的模型来预测后继状态与回报。此类模型使智能体能够对比假想的行动，或生成模拟转移以供进一步学习。在 Dyna 架构中，真实的转移经验既用于更新行动价值，也用于改进环境模型；随后，模型生成的模拟经验还会驱动进一步的更新。因此，规划与学习共享了相同的更新机制，只是所利用的经验来源不同。模拟经验可以减少实际交互所需的数据量，但学得的模型若存在误差，也可能导致产生误导性的更新。 (incompleteideas.net)\n\n通过交互学习与通过监督学习获取组件技能是两回事：例如，感知组件可以在整合到智能体之前，先在带标注的观测数据上完成训练。此外，运行过程中的适应也并不一定需要改变模型参数。在底层模型保持固定的情况下，智能体也可以根据存储的观测记录、纠错信息或先前的尝试历史来调整后续行动。诺亚·辛（Noah Shinn）及其同事在2023年提出的 Reflexion 框架便说明了这种区别：语言反馈被保留在情景记忆中，并作为后续尝试的上下文输入，而不是用于更新语言模型的权重。因此，参数训练、持久记忆更新以及当前任务上下文的改变，构成了经验影响行为的不同机制。 (aima.cs.berkeley.edu)"
    },
    {
      "heading": "基于语言模型的智能体",
      "text": "大语言模型负责生成响应并选择行动；其外围的执行系统则提供指令、工具访问权限、观察结果以及控制流。在每一次迭代中，系统向模型呈现任务及相关历史信息，获取其提议的行动，通过可用工具执行该行动，并将执行结果作为新的观察返回给模型。因此，行动提议与环境变化本身并不等同。终止运行可以由完成信号、请求人工介入或外部设定的迭代次数上限触发；模型自身声明成功，并不等同于任务确实已经成功。(anthropic.com)\n\nReAct 由姚顺雨（Shunyu Yao）及其同事于 2022 年 10 月提出并发表于 ICLR 2023，它将面向推理的文本生成与面向环境的行动交替进行。其推理步骤能够识别缺失的信息，维护临时规划，并在获取新的观察后对规划进行修正。在论文的问答实验设定中，行动通过维基百科接口搜索实体、在页面内定位信息，或以给出答案来结束任务。模型无需在查阅证据之前生成完整方案，而是可以在收集信息与决定下一步行动之间交替推进。作者还在 ALFWorld 和 WebShop 中验证了该方法，仅通过上下文中的一两个示例来规范解决任务的行为模式。这些示例提供了交互范式，且在执行任务期间无需更新模型参数。(arxiv.org)\n\n由此生成的文本轨迹并不是对模型内部计算过程经过独立验证的真实记录。它记录了生成的推理语句和行动，但这些陈述可能会忽略真正影响最终答案的因素。在 2023 年的一项研究中，迈尔斯·特平（Miles Turpin）及其同事指出，提示词中的偏置特征（包括重新排列的选择题选项示例）会改变模型的答案，但随附的解释中却对此只字不提。因此，可读的执行轨迹有助于检查任务的执行过程，但其本身并不能确立可解释人工智能的忠实性。(arxiv.org)\n\n智能体的工作信息分布在几个不同的存储位置。其上下文窗口包含当前模型调用可用的所有素材：系统指令、选定的对话历史、工具描述、检索到的文本段落以及近期的观察结果。持久化记录则保存在该窗口之外，例如记录任务备忘、决策或未完成工作的文件。只有当相关内容被重新加载到上下文中时，它们才会影响后续的行为。Anthropic 在 2025 年 9 月的说明中，将“压缩”（在继续执行前对积累的交互内容进行摘要）和结构化笔记描述为在长程任务中传递状态的机制。这些机制仅保留选定的信息，而非提供无限的回溯能力，并且摘要过程可能会丢失后续所需的重要细节。(anthropic.com)\n\n检索增强生成（RAG）解决的是获取外部信息的问题，而非整个行动控制问题。帕特里克·刘易斯（Patrick Lewis）及其同事于 2020 年提出的方案，将预训练的序列到序列生成器与访问维基百科索引的密集检索器相结合，把模型参数中蕴含的知识与外部非参数化存储区分开来。因此，固定的“先检索后回答”流水线可以使用 RAG，但并不涉及动态选择行动。反之，智能体可以将检索作为更长闭环中的一个可选动作，自行决定是再次搜索、调用其他工具，还是给出最终答案。(arxiv.org)\n\n不同控制模式的区别在于决策发生的位置。提示词链（Prompt chaining）将输出按预定义阶段顺次传递，例如生成大纲、校验和起草。路由（Routing）根据输入类别选择专门的下游处理流程。协调者-工作者（orchestrator–worker）架构允许协调模型动态确定子任务并汇总各工作模型的结果，而非预先固定每一个子任务。动态智能体循环（dynamic agent loop）则根据观察结果反复选择其下一步行动。Anthropic 于 2024 年 12 月提出的分类法将预定义工作流与模型导向的控制区分开来；它们是可组合的架构模式，而非通用智能的高低层级之分。单一应用可以将外层的固定工作流与某一阶段内部的动态控制工作结合起来。(anthropic.com)"
    },
    {
      "heading": "工具、接口与执行基础设施",
      "text": "智能体通过应用程序编程接口（API）、命令行程序、网页浏览器以及图形界面执行操作。这些交互方式提供了不同的行动表面：API 暴露具体的命名操作与参数；命令行工具运行程序；图形界面则接收点击、击键及其他输入事件。语言模型提出的操作方案本身并不是已执行的动作。外围应用程序必须分发该请求，接收其执行结果，并将观测数据返回给模型。Anthropic 在 2024 年开展的计算机使用（computer use）研究展示了图形界面的运作路径：Claude 解读屏幕截图，并通过软件工具选择具体操作。基于屏幕截图的观测方式也带来了一个特定的局限——转瞬即逝的通知可能会在两次截屏间隙消失。因此，即使接口将二者呈现为连续的交互过程，执行与观测依然属于两个独立的步骤。(anthropic.com)\n\n工具定义构成了概率性模型输出与可执行软件之间的显式契约。它们描述了操作的名称、用途、预期参数，有时还包括其输出结构。文档可以规定仅凭参数类型无法体现的细节：例如文件路径是否必须为绝对路径、数值使用何种单位，抑或缺失数据如何表示。在 Erik Schluntz 和 Barry Zhang 撰写的 Anthropic 2024 年 12 月报告中提到，他们通过要求使用绝对文件路径而非相对路径，消除了工作目录变更后的歧义，从而提升了编程智能体的表现。在执行阶段，处理程序在执行操作前会对提交的参数进行校验。随后返回的数据和显式错误将为下一步行动提供反馈；而解析成功并不等同于所请求的任务执行成功。(anthropic.com)\n\n模型上下文协议（MCP）标准化了 AI 应用程序与外部工具及数据之间的连接。其架构将宿主应用程序、宿主内部的客户端以及暴露功能的服务器分离开来。服务器可以提供工具、可读资源以及可复用的提示词。在 2025 年 6 月 18 日发布的规范中，客户端使用 tools/list 发现工具并通过 tools/call 调用它们；每个工具都有一个使用 JSON Schema 表示的 inputSchema，并且可以声明一个 outputSchema。这一设计规范了功能的发现与交互流程，而非决定由哪种操作来推进任务；工具的选择与结果的解读仍由宿主和模型完成。(github.com)\n\n错误报告保留了故障恢复所需的细分信息。2025 年 6 月的 MCP 规范将协议错误（如未知工具或无效参数）与带有 isError: true 标记返回的执行失败（如外部 API 故障或业务规则拒绝）明确区分开来。执行结果可以包含文本、图像、资源链接或结构化数据；声明的输出模式允许对结构化响应进行校验。超时机制则用于处理另一种情况：未能完成的请求。MCP 的生命周期规范要求设置请求超时、在超时到期时予以取消，并且即使进度通知仍在持续也必须设有一个最大超时时间。由此，陷入停滞的操作便能与报告失败的已完成操作区分开来。(modelcontextprotocol.io)\n\n执行系统还负责控制迭代工作的持续时间与连贯性。Anthropic 的 2024 年智能体模式包括设置最大迭代次数、用于获取人工反馈的检查点，以及在遇到需要澄清或人工研判的阻碍时暂停执行。持久化检查点还具有另一项功能：跨独立会话传递任务状态。2025 年 11 月，Justin Young 描述了一种使用结构化功能清单、进度记录和版本控制提交记录的实验性编程测试框架。每个会话都会读取这些制品，选择一个未完成的功能，并留下更新后的记录；各项功能只有在通过测试后才会被标记为合格。这种基础设施使得完工标准具有了可操作性，而不再依赖一段看似流畅的最终总结消息。当工作因检查点或阻碍而停止时，记录的状态能够清晰标示哪些任务已经完成，哪些任务仍悬而未决，以供后续执行或人工审查。(anthropic.com)"
    },
    {
      "heading": "多智能体系统与人机协作",
      "text": "多智能体系统包含多个相互作用的智能体，它们的决策通过消息、共享资源或对环境的改变而相互影响。智能体可能拥有不同的观测视角、能力和目标：合作并不要求知识完全相同，参与其中也并不意味着拥有共同目标。迈克尔·伍德里奇（Michael Wooldridge）在其论述中，将智能体各自独立的影响范围与连接它们的组织关系区分开来。在语言模型系统中，执行数次独立调用后再进行固定聚合步骤的做法构成了并行计算，但其本身并不构成多智能体交互。关键的区别在于各个组件是否能自主选择行动，以及它们的行为是否会对其他智能体或其行动结果做出响应。(cs.ox.ac.uk)\n\n合作涉及共享任务或结果以实现彼此兼容的目标；当智能体的偏好发生冲突时（例如争夺稀缺资源），就会产生竞争。协调则关注如何统筹各项活动，使各个智能体互不阻碍，即使它们拥有共同的总体目标也是如此。通信为协调提供信息，但交换信息并不等同于达成一致：一项请求、一份提议与一项被接受的承诺具有不同的操作含义。博弈论通过行动、偏好和收益来刻画策略依赖关系，包括智能体的收益取决于他人选择的情境。博弈论的理性假设属于特定的分析模型，并非定义了所有多智能体系统；实际实现的参与者往往是在信息不完全和有限理性的条件下运行的。(cs.ox.ac.uk)\n\n组织形式可以是集中协调的——由一个智能体分解问题并分配工作；也可以是去中心化的——由各个智能体通过局部交流与协商来安排合作。合作式分布式问题求解通常将问题分解、子问题求解和结果综合这几个阶段分开。合同网协议提供了一种具体的任务分配机制：发起智能体发布任务及其约束条件；潜在的承包者决定是否投标；发布任务的智能体评估标书并发包；承包者执行任务并报告完成或失败。承包者还可以将工作进一步分包出去，因此管理者与承包者只是交互中的不同角色，并不一定是固定不变的职位。这种机制将局部自主选择与明确的分配相结合，而不是假设所有任务都能从完备的集中化知识库中进行统筹分配。(cs.ox.ac.uk)\n\n集中协调型语言模型的一个范例是 Anthropic 于 2025 年 6 月 13 日介绍的研究系统。在该系统中，主智能体负责制定研究策略，将不同的调查任务指派给具有独立上下文且能使用工具的子智能体，随后汇总它们的研究成果。指派指令明确规定了目标、输出格式、相关工具和任务边界；若分工模糊，则会导致重复检索以及出现覆盖漏洞。通信与协调也会消耗资源：Anthropic 报告称，其多智能体系统消耗的 token 数量约为普通对话交互的 15 倍，这一数据对应其特定工作负载，并非普适比例。它的同步执行方式还带来了另一种成本：主智能体需要等待一批子智能体全部完成，单个缓慢的调查任务便会拖慢整体进度。因此，并行工作虽然提升了可用处理能力，但并未消除整合成本或依赖关系。(anthropic.com)\n\n人类协作在这些机制之上进一步引入了委托、澄清、监督以及控制权移交。在 Anthropic 于 2024 年 12 月 19 日发布的架构说明中，智能体以一条指令或讨论为起点开展工作，一旦任务足够明确便开始自主运行，并可在缺少信息或需要主观判断时求助人类。检查点机制允许在执行过程中进行审核，而当遇到阻碍时，系统可以触发人工交接，而非继续盲目自主行动。运行自主性关注的是系统如何选择并执行中间步骤；权限则关注人类或组织允许采取哪些行动。例如，独立修改代码并运行测试，并不能决定这些修改是否应被采纳：在 Anthropic 的代码编写示例中，尽管实现了自动化功能测试，但系统仍保留了人工审核环节，以确保代码符合更广泛的系统级需求。(anthropic.com)"
    },
    {
      "heading": "应用与代表性任务",
      "text": "在机器人学中，具身智能体将观察与改变物理环境的动作联系起来。移动机器人利用摄像头、测距传感器以及对自身运动的测量来估计自身位置、表征障碍物并向目的地导航。机械臂则控制手臂和末端执行器以触及、抓取和移动物体；运动规划必须兼顾机器人的构型及周围的障碍物。感知提供的是估计而非完全确知的信息，而控制与反馈则将规划好的运动与后续的测量联系起来。因此，物理具身涉及传感器、执行器和机械约束，而不仅是对机器人的软件表征。纯软件智能体则对文件、记录或界面进行操作，无需直接控制物理实体。(aima.cs.berkeley.edu)\n\nBrianna Zitkovich 及其同事于 2023 年提出的 RT-2 展示了语言引导的机器人操控。该系统在机器人轨迹和源自网络的视觉-语言任务上联合微调视觉-语言模型，将机器人动作表示为词元，从而使观察结果与指令能够映射为可执行的运动。在其大约 6000 次评估试验中，包含涉及未知物体和语义关系的指令，例如将物体放置在指定的数字上或挑选最小的物体。在这里，该应用不仅是回答关于场景的问题：模型参与到了必须选择并物理操控相关物体的机器人控制系统中。这些实验针对的是指定的操控任务，而非不受限制的物理自主性。(proceedings.mlr.press)\n\n在软件工程中，智能体可以通过检查代码仓库、定位相关定义、编辑代码以及执行测试来逐步解决问题描述（issue）。Carlos E. Jimenez 及其同事于 2023 年 10 月推出的 SWE-bench 提供了来自 12 个 Python 仓库的 GitHub issue 及对应拉取请求（pull request）的 2294 个问题。每个问题都提供了一个代码库和一个待解决的 issue；解决方案可能需要跨多个函数、类或文件进行协同修改，而不仅仅是生成一个孤立的函数。2024 年的 SWE-agent 论文给出了一个涉及 SymPy 问题 sympy__sympy-21614 的具体仓库导航示例：智能体在调研 Derivative 类时搜索并打开了 function.py。此类操作使仓库检查本身成为了任务的一部分。提出的补丁与已执行的修复仍有区别：SWE-bench 测试评估框架会应用生成的补丁并运行仓库测试以检验其效果。(arxiv.org)\n\n信息智能体通过从数据库或网络文档等来源定位、整理和处理资料来支持信息检索。Michael Wooldridge 与 Nicholas Jennings 在 1995 年的一篇综述中描述了一个智能体搜索关于面向智能体编程的技术报告，并将该报告连同其作者的联系方式一并返回。界面智能体则侧重于在用户应用程序内提供辅助。该综述讨论了 Pattie Maes 开发的 NewT 新闻过滤系统，该系统接收用户会阅读或不会阅读的文章样本，推荐其他文章并吸纳反馈。这些应用将挑选源材料与解释源材料区分开来：检索文档确立了获取证据的途径，而对其含义生成的阐述则是额外的处理步骤，并非文档本身。(cs.ox.ac.uk)\n\n基于 Web 的智能体将辅助能力扩展到一系列浏览器操作中。周书言（Shuyan Zhou）及其同事于 2023 年 7 月推出的 WebArena，涵盖了面向电子商务、讨论论坛、协同软件开发和内容管理等自托管环境下的 812 项任务。智能体可以在观察页面内容的同时点击元素、输入文本、切换标签页并在页面间导航。购物任务可能涉及下单；内容管理任务要求更改已存储的内容或设置，而不仅是描述预期的更改。一个跨网站的示例要求在维基百科上查找匹兹堡的艺术博物馆，在地图上定位它们，规划行程路线，并在代码仓库的 README 中更新该路线。这些都是有界且可检查的数字任务：在给定的网站内完成任务，本身并不代表其具备应对陌生工作场所系统的能力，也不意味着其能承担整个组织角色的职责。(arxiv.org)"
    },
    {
      "heading": "评估、可靠性与开放研究问题",
      "text": "组件级测试用于衡量回答问题、选择工具或生成有效论据等能力；端到端评估则衡量完整的智能体是否能够根据任务要求对环境产生预期的改变。一段流畅的完成消息并不能证明预期的改变确实发生了：例如预订任务需要产生实际的预约记录，而不仅仅是一句声称预约已存在的陈述。因此，评估会将最终结果与记录下来的“观察-行动”轨迹分离开来。评估任务成功率的同时，还可以考察动作有效性、延迟、Token 消耗与成本，而审查行动轨迹则有助于区分错误决策与执行失败。这些评估衡量的是模型与其外围执行系统构成的整体。(anthropic.com)\n\nWebArena 由周舒扬（Shuyan Zhou）及其同事于 2023 年 7 月提出，通过涵盖电子商务、论坛讨论、协作式软件开发和内容管理等领域的自托管网站上的 812 项任务，将这种区分落到了实处。其评估器通过答案比对、浏览器状态检查以及数据库查询等机制来核验功能性结果，而不是要求智能体机械地复现某一套参考点击序列。这使得不同的动作序列都能达成相同的目标。原始研究报告指出，其表现最佳的基于 GPT-4 的智能体端到端成功率为 14.41%，而人类参与者为 78.24%；这些数据描述的是该研究当时的特定配置，并不代表后续系统的表现，也不代表网络智能体能力的普遍上限。(arxiv.org)\n\nSWE-bench 由卡洛斯·E·希门尼斯（Carlos E. Jimenez）及其同事于 2023 年 10 月提出，最初包含源自 12 个 Python 代码仓库的 2,294 个 Issue。每个任务将一段 Issue 描述与代码仓库状态配对，并要求系统生成一个补丁。评估过程通过执行测试来进行：此前失败的相关测试必须通过，而指定的此前通过的测试必须保持通过状态。这衡量的是可观察到的软件行为，而非所提解释的说服力或与开发者补丁的文本相似度。然而，可执行评估仍然取决于测试集的充分性；通过有限的测试套件并不等同于对所有预期行为进行了形式验证。(arxiv.org)\n\n为了保证可复现性，基准报告需要明确任务发布版本与子集、模型版本、提示词、可用工具、观察格式、执行环境、停止规则，以及时间、Token 和尝试次数预算。工具设计本身就是一个实验变量：Anthropic 在 2024 年 12 月关于构建智能体的报告中提到，他们在优化 SWE-bench 工具上投入的精力超过了优化整体提示词的精力。如果在对比中同时改变模型、工具和控制循环，就无法单独厘清模型本身的贡献。重复试验还能将偶发成功与一致性区分开来：\\(\\mathrm{pass@}k\\) 衡量在 \\(k\\) 次尝试中至少成功一次的概率，而 \\(\\mathrm{pass}^{k}\\) 则衡量在全部 \\(k\\) 次尝试中均成功的概率。试验需要干净的初始环境，以免残留文件或共享状态干扰测试结果。(anthropic.com)\n\n当未经验证的假设成为后续动作的前提、观察遗漏了关键信息，或者系统在收到矛盾反馈后未能修正计划时，就会发生可靠性故障。在 2022 年 10 月首次发布的 ReAct 研究中，姚顺宇（Shunyu Yao）及其同事发现，与外部信息交互能够减少人工智能幻觉和错误传播，但也记录了包含无效搜索结果以及循环往复的“推理-行动”死循环等失败案例。因此，故障恢复需要的不仅仅是重试操作：智能体必须认识到自身的理解或计划需要修正。长程任务考验此类修正能否在漫长的步骤序列中持续生效。对接口变动和分布偏移的鲁棒性，以及对未知环境的泛化（机器学习）能力，仍是有待探索的研究课题，而非在固定基准上取得成功就能自然得出的结论。(arxiv.org)"
    },
    {
      "heading": "安全、监督与问责",
      "text": "当智能体将嵌入在外部材料中的指令视为具有权威性的命令而非不可信的任务数据时，就会发生间接提示注入。攻击者控制的网站、电子邮件或文件无需控制用户的原始请求，即可改变合法任务的执行方向。美国国家标准与技术研究院（NIST）将这种重定向称为“智能体劫持”：受信任的指令与外部内容进入了同一个模型上下文，从而使后者能够左右行动的选择。这里的关键界限在于是否获得授权，而非某份文档声称包含管理指令的说辞有多么令人信服。(nist.gov)\n\n工具调用权限将这种指令混淆问题转化为会产生外部现实影响的网络安全风险。NIST 的评估场景包括执行恶意脚本、泄露身份验证码，以及在删除云盘原始文件前将其窃取外发。仅对智能体的最终回复进行过滤，无法阻止已通过工具调用造成的危害：安全边界还必须涵盖可执行的操作、可访问的信息以及信息能够传输到的目的地。(nist.gov)\n\n攻击的成功率还取决于重试的机会。在 2025 年 1 月 17 日的技术博客所公布的实验中，NIST 针对使用 2024 年 10 月版 Claude 3.5 Sonnet 的智能体测试了五种恶意任务。当允许尝试 25 次时，平均攻击成功率从 57% 上升至 80%。这些数据反映的是特定实验设置下的结果，并不代表智能体的普遍脆弱性比率。(nist.gov)\n\n权限边界能够限制遭到入侵或发生错误的智能体所能造成的后果。最小权限原则将读取记录、修改文件、执行程序和外部通信等各项能力进行隔离，而不是自动向智能体授予用户所拥有的全部权限。沙箱（计算机安全）则在执行层面对智能体可接触的资源施加限制。Anthropic 在回应 NIST 关于智能体安全的信息征集时，将沙箱机制、最小权限、输入与输出验证、异常监控以及审计日志列为互为补充的部署控制措施。这些机制在模型外部运行：要求模型“避免未授权访问”的提示指令，并不等同于能够直接拦截越权行为的访问控制系统。因此，这些措施的有效性不仅取决于模型本身的行为，还取决于实际配置的工具、凭据和执行环境。(www-cdn.anthropic.com)\n\n人工监督在提议行动与实际执行之间设置了检查点。Anthropic 在 2026 年 4 月的产品说明中给出了一个具体示例：用户可以允许智能体读取日历，但要求在发出邀请前必须获得人工批准。其 2024 年 12 月的智能体工程指南也指出，智能体可在检查点处或遇到阻碍时暂停以等待人工输入，并通过停止条件限制其继续执行。这种机制明确区分了被委派的任务范围与不受限制的自由裁量权：获得调查某个问题的许可，并不意味着同时获得了发布信息或修改系统的许可。确认关卡与受限环境能够减少风险暴露面，但并不意味着提示注入已被彻底消除；Anthropic 明确表示，其组合防御措施并不能提供绝对保证。(anthropic.com)\n\n可追溯性将各项行动与其所属的授权依据关联起来。审计记录为事件调查提供支持，而清晰的任务边界与明确的组织负责人则使区分授权操作与违规偏差成为可能。NIST 的《人工智能风险管理框架》在 GOVERN 2.1 规范中要求建立明确的角色、职责与沟通渠道，并在 GOVERN 2.3 规范中将开发与部署阶段的风险决策责任落实给高管领导层。在这一运营视角下，智能体独立选择行动的能力本身并不能赋予其法律或道德上的人格地位：技术自主性描述的是系统行为，而问责机制所确定的，则是负责对其进行授权、部署和监督的自然人与组织。(www-cdn.anthropic.com)"
    }
  ],
  "links": [
    "robotics",
    "artificial-intelligence",
    "reinforcement-learning",
    "large-language-model",
    "robot",
    "machine-learning",
    "consciousness",
    "control-theory",
    "feedback",
    "cybernetics",
    "symbolic-artificial-intelligence",
    "decision-theory",
    "expected-value",
    "bounded-rationality",
    "heuristic",
    "knowledge-representation-and-reasoning",
    "markov-decision-process",
    "markov-property",
    "policy-reinforcement-learning",
    "value-function",
    "q-learning",
    "temporal-difference-learning",
    "supervised-learning",
    "explainable-artificial-intelligence",
    "context-window",
    "retrieval-augmented-generation",
    "application-programming-interface",
    "web-browser",
    "model-context-protocol",
    "parallel-computing",
    "game-theory",
    "information-retrieval",
    "e-commerce",
    "formal-verification",
    "reproducibility",
    "ai-hallucination",
    "distribution-shift",
    "generalization",
    "prompt-injection",
    "cybersecurity"
  ],
  "sources": [
    {
      "title": "Intelligent Agents, Chapter 2 of Artificial Intelligence: A Modern Approach",
      "url": "https://aima.cs.berkeley.edu/4th-ed/pdfs/newchap02.pdf"
    },
    {
      "title": "Intelligent Agents: Theory and Practice",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95/ker95-html.html"
    },
    {
      "title": "What is an Agent?",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95/subsection3_1_1.html"
    },
    {
      "title": "A Weak Notion of Agency",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95/subsubsectionstar3_1_1_1.html"
    },
    {
      "title": "A Stronger Notion of Agency",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95/subsubsectionstar3_1_1_2.html"
    },
    {
      "title": "Building effective agents",
      "url": "https://www.anthropic.com/engineering/building-effective-agents"
    },
    {
      "title": "Introduction to AI: A Modern Approach",
      "url": "https://aima.cs.berkeley.edu/~russell/intro.html"
    },
    {
      "title": "The Foundations of Artificial Intelligence",
      "url": "https://aima.cs.berkeley.edu/4th-ed/pdfs/newchap01.pdf"
    },
    {
      "title": "STRIPS: A New Approach to the Application of Theorem Proving to Problem Solving",
      "url": "https://ai.stanford.edu/~nilsson/OnlinePubs-Nils/PublishedPapers/strips.pdf"
    },
    {
      "title": "A Robust Layered Control System for a Mobile Robot",
      "url": "https://dspace.mit.edu/entities/publication/362a32d0-a821-4a9d-a5ff-9e2b71c5539d"
    },
    {
      "title": "Rodney Brooks Publications",
      "url": "https://people.csail.mit.edu/brooks/publications.html"
    },
    {
      "title": "Modeling Rational Agents within a BDI-Architecture",
      "url": "https://jmvidal.cse.sc.edu/library/rao91a.pdf"
    },
    {
      "title": "BDI Agents: From Theory to Practice",
      "url": "https://cdn.aaai.org/ICMAS/1995/ICMAS95-042.pdf"
    },
    {
      "title": "Cooperative Problem Solving and Distributed AI",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95/subsectionstar3_5_1.html"
    },
    {
      "title": "Shoham - agent-oriented programming",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95/subsubsectionstar3_4_0_2.html"
    },
    {
      "title": "Interface Agents",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95/subsectionstar3_5_2.html"
    },
    {
      "title": "ReAct: Synergizing Reasoning and Acting in Language Models",
      "url": "https://arxiv.org/abs/2210.03629"
    },
    {
      "title": "ReAct: Synergizing Reasoning and Acting in Language Models",
      "url": "https://arxiv.org/pdf/2210.03629"
    },
    {
      "title": "Stuart Russell — Foundations: Rationality and Intelligence",
      "url": "https://people.eecs.berkeley.edu/~russell/research-bo.html"
    },
    {
      "title": "Provably Bounded-Optimal Agents",
      "url": "https://arxiv.org/abs/cs/9505103"
    },
    {
      "title": "Intelligent Agents: Chapter 2 slides",
      "url": "https://aima.cs.berkeley.edu/4th-ed/slides-pdf/chapter02.pdf"
    },
    {
      "title": "Classical Approaches: Deliberative Architectures",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95/subsection3_3_1.html"
    },
    {
      "title": "Brooks - behaviour languages",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95/subsubsectionstar3_3_2_1.html"
    },
    {
      "title": "Ferguson - TOURINGMACHINES",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95/subsubsectionstar3_3_3_2.html"
    },
    {
      "title": "Bratman, Israel and Pollack - IRMA",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95/subsubsectionstar3_3_1_2.html"
    },
    {
      "title": "Georgeff and Lansky - PRS",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95/subsubsectionstar3_3_3_1.html"
    },
    {
      "title": "Agents as Intentional Systems",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95/subsection3_2_1.html"
    },
    {
      "title": "11 Planning",
      "url": "https://aima.cs.berkeley.edu/newchap11.pdf"
    },
    {
      "title": "1 Markov Decision Processes | Introduction to Artificial Intelligence",
      "url": "https://inst.eecs.berkeley.edu/~cs188/textbook/mdp/markov-decision-processes.html"
    },
    {
      "title": "Planning and Acting in Partially Observable Stochastic Domains",
      "url": "https://www.cassandra.org/arc/papers/aij98.pdf"
    },
    {
      "title": "Global Algorithms for Artificial Intelligence: A Modern Approach",
      "url": "https://aima.cs.berkeley.edu/global-algorithms.pdf"
    },
    {
      "title": "Angelic Hierarchical Planning: Optimal and Online Algorithms (Revised)",
      "url": "https://aima.cs.berkeley.edu/~russell/papers/tr-hlastar-revised.pdf"
    },
    {
      "title": "Online Replanning in Belief Space for Partially Observable Task and Motion Problems",
      "url": "https://arxiv.org/abs/1911.04577"
    },
    {
      "title": "Q-learning",
      "url": "https://www.gatsby.ucl.ac.uk/~dayan/papers/cjch.pdf"
    },
    {
      "title": "Policy Gradient Methods for Reinforcement Learning with Function Approximation",
      "url": "https://papers.neurips.cc/paper_files/paper/1999/hash/464d828b85b0bed98e80ade0a5c43b0f-Abstract.html"
    },
    {
      "title": "Reflexion: Language Agents with Verbal Reinforcement Learning",
      "url": "https://arxiv.org/abs/2303.11366"
    },
    {
      "title": "Building Effective AI Agents",
      "url": "https://www.anthropic.com/engineering/building-effective-agents?via=aitoolhunt"
    },
    {
      "title": "Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting",
      "url": "https://arxiv.org/abs/2305.04388"
    },
    {
      "title": "Effective context engineering for AI agents",
      "url": "https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents?embedable=true"
    },
    {
      "title": "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks",
      "url": "https://arxiv.org/abs/2005.11401"
    },
    {
      "title": "Developing a computer use model",
      "url": "https://www.anthropic.com/research/developing-computer-use?curius=1144"
    },
    {
      "title": "MCP Server — MCP Java SDK",
      "url": "https://java.sdk.modelcontextprotocol.io/latest/server/"
    },
    {
      "title": "Core architecture",
      "url": "https://github.com/modelcontextprotocol/docs/blob/main/docs/concepts/architecture.mdx"
    },
    {
      "title": "First steps — MCP Python SDK",
      "url": "https://github.com/modelcontextprotocol/python-sdk/blob/main/docs/get-started/first-steps.md"
    },
    {
      "title": "Tools — Model Context Protocol",
      "url": "https://modelcontextprotocol.io/specification/2025-06-18/server/tools"
    },
    {
      "title": "Lifecycle — Model Context Protocol",
      "url": "https://modelcontextprotocol.io/specification/2025-06-18/basic/lifecycle"
    },
    {
      "title": "Effective harnesses for long-running agents",
      "url": "https://www.anthropic.com/engineering/effective-harnesses-for-long-running-agents"
    },
    {
      "title": "An Introduction to Multiagent Systems/Mike Wooldridge/Lecture Slides",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/imas/distrib/pdf-index.html"
    },
    {
      "title": "How we built our multi-agent research system",
      "url": "https://www.anthropic.com/engineering/multi-agent-research-system?trk=article-ssr-frontend-pulse_x-social-details_comments-action_comment-text"
    },
    {
      "title": "Robotics: Chapter 25",
      "url": "https://aima.cs.berkeley.edu/4th-ed/slides-pdf/chapter25.pdf"
    },
    {
      "title": "RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control",
      "url": "https://proceedings.mlr.press/v229/zitkovich23a"
    },
    {
      "title": "SWE-bench: Can Language Models Resolve Real-World GitHub Issues?",
      "url": "https://arxiv.org/abs/2310.06770"
    },
    {
      "title": "SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering",
      "url": "https://proceedings.neurips.cc/paper_files/paper/2024/file/5a7c947568c1b1328ccc5230172e1e7c-Paper-Conference.pdf"
    },
    {
      "title": "Evaluation - SWE-bench",
      "url": "https://www.swebench.com/SWE-bench/guides/evaluation/?trk=article-ssr-frontend-pulse_little-text-block"
    },
    {
      "title": "Intelligent Agents: Theory and Practice",
      "url": "https://www.cs.ox.ac.uk/people/michael.wooldridge/pubs/ker95.pdf?hl=en-US"
    },
    {
      "title": "WebArena: A Realistic Web Environment for Building Autonomous Agents",
      "url": "https://arxiv.org/html/2307.13854v3"
    },
    {
      "title": "Demystifying evals for AI agents",
      "url": "https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents"
    },
    {
      "title": "WebArena: A Realistic Web Environment for Building Autonomous Agents",
      "url": "https://arxiv.org/html/2307.13854v4"
    },
    {
      "title": "WebArena: A Realistic Web Environment for Building Autonomous Agents",
      "url": "https://arxiv.org/abs/2307.13854"
    },
    {
      "title": "Are \"Solved Issues\" in SWE-bench Really Solved Correctly? An Empirical Study",
      "url": "https://arxiv.org/abs/2503.15223"
    },
    {
      "title": "ReAct: Synergizing Reasoning and Acting in Language Models",
      "url": "https://arxiv.org/html/2210.03629v3"
    },
    {
      "title": "Technical Blog: Strengthening AI Agent Hijacking Evaluations",
      "url": "https://www.nist.gov/news-events/news/2025/01/technical-blog-strengthening-ai-agent-hijacking-evaluations"
    },
    {
      "title": "NIST RFI on Agentic Security",
      "url": "https://www-cdn.anthropic.com/43ec7e770925deabc3f0bc1dbf0133769fd03812.pdf"
    },
    {
      "title": "Trustworthy agents in practice",
      "url": "https://www.anthropic.com/research/trustworthy-agents"
    },
    {
      "title": "AI RMF Core - AIRC",
      "url": "https://airc.nist.gov/airmf-resources/airmf/5-sec-core/"
    }
  ],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}