{
  "id": "neuro-symbolic-artificial-intelligence",
  "title": "神经符号人工智能",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "神经符号人工智能将神经网络学习与显式符号表示及推理相结合，兼顾感知的灵活性与结构化推理能力。",
  "category": "computer-science",
  "subcategory": "artificial-intelligence",
  "type": "concept",
  "aliases": [
    "神经符号AI",
    "神经符号计算"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/neuro-symbolic-artificial-intelligence/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/neuro-symbolic-artificial-intelligence/",
      "json": "https://aiwiki.page/en/neuro-symbolic-artificial-intelligence.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "神经符号人工智能是一类将人工神经网络与显式符号表示、规则或推理过程相结合的人工智能方法。神经网络组件从样本中学习模式，这些样本通常是图像、语言或其他高维数据；符号组件则表示实体及其关系、操作结构化表达式、施加约束或推导结论。这类方法的核心目标并非简单地将两种技术放入同一个系统，而是让二者的互补能力共同服务于学习或推理。\n\n该领域旨在弥合人工智能中长期存在的一道鸿沟。深度学习在感知和语言处理方面取得了出色成果，但在可靠地进行外推、显式地操作知识以及开展可验证的推理方面，仍面临困难。符号人工智能提供了精确的表示方式和强大的推理方法，但构建其知识库，以及将符号与含有噪声的观测数据联系起来，往往需要大量人工工作。神经符号系统力求结合两者的优势，而不假定其中任何一种方法单独就足以解决问题。\n\n神经符号人工智能并没有单一的标准架构。这个术语涵盖多种方法：先进行神经网络感知，再进行逻辑推理；由符号约束引导学习；以可微分方式实现推理；利用神经网络引导符号搜索；以及学习可执行程序的系统。这些方法之间的差异体现在符号的含义、各组件交互的紧密程度，以及所得结论是否具有形式化保证等方面。"
    },
    {
      "heading": "范围与概念基础",
      "text": "神经符号系统的符号部分通常通过离散的结构化对象来表示信息，例如谓词、逻辑公式、图、程序、方程或规划算子。这类表示将关系明确表达出来。例如，语句 \\(\\operatorname{Parent}(a,b)\\) 指明了一种关系及其参数，而规则则可以规定如何依据这种关系得出进一步的结论。相应的神经部分则通过学习得到的参数和数值激活来表示信息。例如，一张照片可以被转换为向量，再据此预测物体的类别及其空间关系。\n\n因此，核心区别并不只是数字与文字之别。符号算法运行在数值计算硬件上，而神经网络也能处理包含数学符号或逻辑语句的文本。关键在于，某种表示是否具有明确的解释，以及系统是否按照可辨识的规则对其进行操作。能够生成看似合理的证明的网络，并不等同于能够核验这些证明的系统。反过来，如果独立的推理程序为某个学习得到的向量的使用赋予了精确含义，那么这个表示逻辑关系的向量也可以参与真正的符号计算。\n\n因此，知识表示与推理构成了该领域的一项核心基础。系统必须明确规定存在哪些对象、哪些关系可以成立，以及其推理程序保留哪些性质。在经典逻辑学中，如果一个结论在所有满足前提的解释下都为真，那么该结论就由这些前提逻辑地推出。相比之下，统计预测是根据观察到的规律来估计结果。神经符号方法将这两类活动联系起来，但并不意味着二者可以互相替代：一个很可能为真的前提可以支撑有效的演绎，但这种演绎在实际应用中的可靠性仍受该前提的限制。\n\n视觉问答是一个很好的例子。神经模型可以识别出一个红色立方体和一个蓝色球体，而符号程序则负责求解“球体左侧有多少个红色物体？”这一问题。神经模型提供带有不确定性的观测结果；程序则提供由筛选、关系比较和计数组成的明确操作序列。这种分工有助于揭示错误发生在哪个环节，也使同一套推理程序能够处理未曾见过的物体排列。\n\n这一领域的边界仍存在争议。几乎所有软件产品都会将学习模型与常规代码结合起来，但仅凭这一点来定义神经符号人工智能，通常过于宽泛。更具代表性的例子涉及学习与结构化推理之间的实质性交互：规则影响训练，神经网络的预测引导定理证明器，或者学习得到的解析器生成程序，并由程序的执行结果决定答案。普通的数据预处理或固定的输出格式检查，通常达不到同等程度的融合。"
    },
    {
      "heading": "历史发展",
      "text": "神经符号研究源于将二十世纪并行发展的不同研究传统联系起来的尝试。早期符号人工智能强调明确的问题描述、搜索和演绎。约翰·麦卡锡倡导基于逻辑的知识表示，而通用问题求解器等程序则探索如何对结构化的问题状态进行操作。相比之下，包括感知机在内的神经网络方法研究的是如何通过可调整的数值参数实现学习。此后，这些研究群体虽未完全分离，却对智能应如何构建形成了不同的预期。\n\n20世纪80年代，反向传播推动多层神经网络学习复兴，为将先验知识编码到可训练网络中创造了机会。一个颇具影响力的例子是杰弗里·托韦尔、朱德·沙夫利克和米希尔·诺德维尔于1990年提出的基于知识的人工神经网络（Knowledge-Based Artificial Neural Networks，简称KBANN）。KBANN将领域规则转化为初始网络结构，再利用样例调整网络权重。它的重要意义在于将符号知识视为学习的起点，而非不可更改的专家系统。\n\n20世纪90年代至21世纪初，神经符号研究探索了网络如何实现逻辑推理、如何从训练好的模型中提取规则，以及学习如何修订结构化知识。阿图尔·达维拉·加尔塞斯、克里西娅·布罗达和多夫·加贝于2002年出版的《神经符号学习系统》一书，有助于巩固这一研究方向。与此同时，概率逻辑和统计关系学习研究了如何为关系和规则引入不确定性。这些进展为融合数据驱动的估计与结构化知识提供了不同路径。\n\n随着深度学习在2010年代取得成功，这一领域再次扩展。视觉和语言表示能力的提升，使神经感知得以切实连接到此前依赖人工设计输入的符号任务上。神经模块网络针对图像问答，组合出适用于特定任务的计算流程。可微分定理证明方法则探索了符号之间的连续匹配。2018年推出的DeepProbLog将神经网络预测与概率逻辑程序连接起来，而2021年提出的DreamCoder则将程序搜索、通过学习获得的引导机制以及可复用的程序库相结合。\n\n大语言模型的出现进一步拓宽了这一领域。语言模型可以提出形式化陈述、生成程序或引导搜索，再由外部执行器检验其输出。2024年公布的AlphaGeometry将神经语言模型与符号几何引擎相结合，是其中一个突出的例子。这些进展并未取代早期方法：以规则初始化的网络、可微分逻辑、概率编程以及神经网络引导的符号搜索，仍然是基于不同假设的独立研究分支。"
    },
    {
      "heading": "符号、表示与接地",
      "text": "神经符号系统必须弥合观测结果与推理所用符号之间的鸿沟。这通常被称为符号接地问题：符号如何与其所代表的事物建立联系，而不是仅从其他符号中获得意义。在工程系统中，可以通过带标签的样例、传感器测量、交互，或与形式化领域的映射，对接地作出操作性定义。这些方法都不会自动解决更广泛的哲学问题，但每一种都能为具体的推理任务提供支持。\n\n对于视觉推理，接地可以从目标检测或语义分割开始。系统将像素转换为候选对象、属性和关系。场景表示可以包含 \\(\\operatorname{Cube}(o_1)\\)、\\(\\operatorname{Red}(o_1)\\) 和 \\(\\operatorname{LeftOf}(o_1,o_2)\\)。这为推理提供了一个实用的接口，但每个命题都依赖于建模时所作的选择。对象边界可能模糊不清，遮挡可能掩盖相关证据，而空间关系的判定可能需要指定坐标系或阈值。\n\n语言还会带来其他表示问题。在语义解析中，句子被映射为结构化表达式，例如数据库查询或逻辑形式。“哪些河流流经德国？”可以被转换为针对地理知识库的可执行查询。成功的解析需要识别实体、分配论元角色、消解指代，并选定所要表达的关系。语法正确的句子仍可能有多种解释，因此，符号表示在明确某一种解读的同时，也可能掩盖尚未消除的歧义。\n\n知识图谱提供了另一种接口。实体和带标签的边构成显式的关系结构，而通过学习得到的嵌入表示则可以支持缺失链接预测或近似匹配。然而，较高的嵌入评分并不等同于在逻辑上得到确立的事实。系统必须区分明确断言的知识、推理得出的结论和统计层面的提示。系统还必须决定，未被陈述的内容究竟应视为假，还是仅仅视为未知；这一选择可能显著改变查询结果。\n\n不同的表示方式对同一性、时间、数量和变化的处理各不相同。跟踪杯子的机器人必须在多次观测中持续将其识别为同一个对象，区分测得的位置与稳定的属性，并在执行动作后更新事实。因此，推理系统可能需要时态谓词、带类型的变量或动作模型，而不只是一个扁平的标签列表。这些设计决策决定了符号组件能够回答哪些问题。\n\n分布式表示允许相似概念共享信息，从而降低系统的脆弱性，但相似性并不能保留所有逻辑上的区别。两种药物、两个人或两个数学对象在嵌入空间中可能彼此接近，却仍不能在证明或查询中互相替换。有效的接口既能保留任务所需的区别，又能让不确定性和感知上的差异在组件之间传递。"
    },
    {
      "heading": "架构模式与集成",
      "text": "一种常见架构是从神经模型到符号系统的流水线。神经模型将原始输入转换为结构化事实，随后由符号引擎执行演绎、查询求值、规划或算术运算。其优势在于模块化：感知模型和推理引擎可以分别评估，推理过程的行为也可能得到充分理解。其弱点则是误差传播。如果遗漏了某个对象，或错误地转换了某种关系，那么即使符号引擎完全正确，也可能对原始问题给出错误答案。\n\n第二种模式利用符号知识来塑造神经模型。规则可以决定网络的连接结构、提供额外特征、限制允许的输出，或在训练中引入惩罚项。这使得知识即使在标注稀缺时也能影响模型行为。例如，若某个关系被声明为对称关系，就可以促使模型对 \\(\\operatorname{Related}(a,b)\\) 和 \\(\\operatorname{Related}(b,a)\\) 作出一致的预测。不过，软惩罚只能鼓励一致性，而不能保证一致性；错误的规则还可能使学习产生系统性偏差。\n\n第三种模式使推理过程的某些部分可微。它用连续运算替代离散真值或精确的符号匹配，使梯度能够流经类似推理的过程。逻辑张量网络最初于2015年提出，将逻辑表达式落实为基于张量的数值计算。神经定理证明模型则利用学习得到的符号表示之间的相似度，放宽合一操作的条件。这些方法支持联合训练，但也可能改变原有逻辑运算的语义。\n\n第四种模式保留离散的符号引擎，同时用神经模型引导搜索。在定理证明中，模型可以对前提排序，或提出下一步证明步骤；检查器则判断由此得到的推导是否有效。在规划中，学习得到的启发式方法可以优先探索有潜力的状态。在这种模式下，神经组件改变的是搜索效率，而不一定改变有效性的判定标准。只要检查器是可靠的，且所有必要条件都经过验证，错误的提议可能只会浪费计算资源，而不会损害最终被接受结果的正确性。\n\n第五种模式在神经模型提出方案与符号系统提供反馈之间交替进行。模型生成代码，执行器报告语法错误或测试失败，随后模型提出修改方案。集成更紧密的系统还可以利用反例改进后续提议，或学习哪些抽象能让搜索更容易。这种反馈循环不同于单向流水线，因为符号计算会主动改变神经模型后续的行为。\n\n这些模式可以并存。机器人可以同时使用神经感知、符号任务规划器和学习得到的运动控制器；数学系统则可以结合检索、神经模型生成猜想以及证明检查。关键问题在于：不确定性从何处引入，哪些组件可以训练，信息是否双向流动，以及系统的哪一部分负责决定是否接受某个结论。"
    },
    {
      "heading": "利用规则、约束和程序进行学习",
      "text": "神经符号学习通常在常规预测目标之外引入结构化知识。其一般形式为\n\n\\[\\mathcal{L}(\\theta) = \\mathcal{L}_{\\mathrm{data}}(\\theta) + \\lambda \\mathcal{L}_{\\mathrm{knowledge}}(\\theta),\\]\n\n其中，\\(\\theta\\) 表示可训练参数，\\(\\mathcal{L}_{\\mathrm{data}}\\) 衡量预测与样例之间的偏差，\\(\\mathcal{L}_{\\mathrm{knowledge}}\\) 衡量对规则或约束的违反程度。系数 \\(\\lambda\\) 控制两者的相对影响。这与正则化类似，但新增的结构可以表达领域内的关系，而不只是偏好较小的权重或平滑的函数。\n\n如何解释知识项至关重要。一个逻辑蕴含式可以转化为多种不同的连续惩罚项，每种都会产生不同的梯度。普遍成立的规则也不同于允许例外的统计规律。如果将“鸟通常会飞”视为没有例外的约束，就会与涉及企鹅或受伤鸟类的样例相冲突。因此，系统需要有原则地区分硬约束、可废止规则和偏好。\n\n一种称为语义损失的方法于2018年提出，旨在促使神经网络的输出满足逻辑约束。对于布尔输出变量 \\(\\mathbf{y}\\)，一种代表性的形式为\n\n\\[\\mathcal{L}_{\\mathrm{semantic}} = -\\log \\sum_{\\mathbf{y}\\models\\varphi} p_{\\theta}(\\mathbf{y}\\mid x),\\]\n\n其中，\\(\\varphi\\) 是一个约束，求和遍历所有满足该约束的赋值。这会奖励分配给有效输出的概率质量。例如，如果输出编码了图中的一条路径，约束就可以表达仅凭单个标签难以学到的结构要求。计算这一求和本身也可能需要相当复杂的符号计算机制。\n\n另一种方法学习程序或规则，而不只是数值预测模型。归纳逻辑编程从样例和背景知识中寻找逻辑假设。其可微变体对部分搜索过程进行松弛，使参数能够通过梯度方法优化。相比之下，程序合成通常在可执行程序构成的离散空间中搜索，并由神经模型预测有希望的操作或可复用的程序片段。DreamCoder 体现了后一种方向：交替开展程序发现、程序库学习以及基于学习的搜索引导。\n\n训练信号可以在不同层次上提供。视觉推理系统可以接收对象标签、中间推理步骤，也可以只接收最终答案。最终答案监督的获取成本较低，但会带来辨识问题：多个错误的内部程序，都可能在现有样例上给出正确答案。这种偶然吻合的解通常称为伪解。增加任务、反例或约束可以减少这种歧义。\n\n结合这些学习信号，带来的不仅是表示问题，也是优化问题。由松弛操作组成的长链可能产生微弱的梯度；离散选择可能需要搜索或梯度估计方法；符号约束则可能与含有噪声的训练数据发生冲突。良好的性能并不只是依赖于加入知识，还取决于所选知识的语义、可靠性和计算成本是否与任务相匹配。"
    },
    {
      "heading": "不确定性、推断与形式化保证",
      "text": "神经符号系统中的不确定性来自感知、不完整的知识、含糊的语言以及不完善的模型。如果将每个不确定的预测都表示为普通的非真即假事实，推理就可能变得脆弱。分类器可能认为某个物体是停车标志的概率为 \\(0.6\\)，但若将这一数值替换为无条件成立的事实，就会丢失信息。仅仅向后续环节传递置信度分数还不够：推理引擎需要一套明确的规则，规定这些分数如何组合。\n\n概率逻辑编程提供了这样一套规则。事实或选择被赋予概率，程序则定义它们如何支持结论。DeepProbLog 通过神经谓词将神经网络的输出接入这一框架，这些谓词的概率由网络计算得出。在数字识别的例子中，可以将对手写数字的不确定解读与精确的算术关系结合起来。这样，针对求和结果的监督就能通过逻辑查询的概率影响感知组件。\n\n其中一个关键的复杂因素是依赖关系。两个结论可能共享证据，因此，若将它们视为相互独立并直接相乘其概率，就可能得出错误结果。一个查询也可能存在若干相互重叠的证明。正确的概率推断必须考虑这些重叠，而不能简单地将各个证明的分数相加。证明结构的符号表示以及加权计数技术可以有所帮助，但其计算开销可能随问题规模迅速增长。\n\n模糊逻辑提供了另一种解释。介于零和一之间的数值可以表示真值程度或满足程度，而不是某个离散命题成立的概率。“这个物体很高”可以被视为一个具有程度差异的谓词。虽然概率和模糊真值都使用 \\([0,1]\\) 内的数值，但它们回答的是不同的问题。混淆二者，可能使神经符号系统的结论在表面上表达出比其实际语义所能支持的更强含义。\n\n同样，形式化保证也必须在恰当的层面上加以表述。证明助手可以检查某个推导是否由其形式化前提推出，但这并不能证明自然语言问题已被正确转换、传感器读数准确，或前提忠实地描述了外部世界。形式验证保障的是模型与其实现之间某种已明确规定的关系；它并不能免除论证规约合理性的必要。\n\n硬性输出约束可以阻止某些无效的动作或表达式，而训练中的软约束通常无法保证完全没有违规情况。即使推理引擎是可靠的，也可能不完备，即无法推导出某些有效结论；它也可能耗尽计算预算。因此，要评估可靠性，就必须分别报告感知准确率、推断有效性、搜索覆盖程度以及规约的充分性，而不能笼统地以单一的“正确性”声明概括。"
    },
    {
      "heading": "应用与代表性系统",
      "text": "视觉推理一直是重要的试验领域，因为它既需要感知，也需要结构化操作。2017 年推出的 CLEVR 数据集使用渲染场景，以及涉及属性、关系、计数和比较的组合式问题。神经符号方法可以将问题转换为程序，并在场景表示上执行该程序。这样既能让推理步骤接受检查，也便于研究系统如何处理熟悉属性的陌生组合。不过，在渲染场景中取得的成功，并不会自动迁移到杂乱的真实照片上，因为照片中的物体边界和关系更难控制。\n\n在数学领域，符号检验尤其有价值。AlphaGeometry 将提出辅助几何构造的神经语言模型与符号演绎引擎结合起来。据其报告的 2024 年评估结果，在该研究设定的条件下，它解出了基准题集中 30 道奥林匹克竞赛几何题中的 25 道。神经组件将搜索范围拓展到了符号引擎单独运作时难以直接推导的范围，而符号演绎则确立了所得几何论证的有效性。这一成果针对的是专门的形式化几何场景，而非不受限制的数学问题求解。\n\n程序合成和代码生成是另一类应用。神经模型可以提出候选程序，而解释器、类型检查器、测试套件或形式化验证器则提供反馈。不同验证手段所能提供的证据强度各不相同：通过示例测试，只能说明程序在这些示例上的结果符合预期；证明则可能确立某项明确陈述的性质对其假设所涵盖的所有输入都成立。由于程序空间极其庞大，神经模型的引导很有价值，但验证的有效性仍取决于规约的质量和覆盖范围。\n\n机器人技术将符号化的任务结构与连续的感知和控制联系起来。摆餐具这样的任务可以通过物体、目标和动作前置条件来描述，而抓取和导航则依赖于学习得到的感官表示与运动策略。规划器可能要求先确认杯子处于可达范围内，再将其拿起，但可达性取决于几何条件和机器人的当前构型。因此，符号任务规划必须与运动规划相互配合，而不能将动作视为无需付出代价的抽象步骤。具身智能研究利用这类交互，探索学习得到的技能与显式计划如何相互支持。\n\n知识密集型语言系统采用相关技术，将问题转换为 SQL结构化查询语言，查询知识库，或调用算术或逻辑工具。这样，答案就能以实际执行的操作为依据，而不只是根据学习到的语言模式生成。不过，检索增强生成并不天然属于神经符号方法：检索文本段落可以提供证据，却未必引入显式的符号推理过程。\n\n纵观这些应用，最具优势的使用场景通常具有相对清晰的符号接口，例如形式语言、定义明确的执行器、受约束的动作空间，或可检验的目标。结构化程度较低的领域则面临更棘手的问题，因为决定哪些内容应当形式化，可能与学习如何基于所得表示进行推理同样困难。"
    },
    {
      "heading": "评估与实验方法",
      "text": "评估必须确定，符号机制的整合是否带来了超出各组成部分本身的能力。如果训练样本与评估样本中出现了高度相似的结构，仅凭随机划分数据集上的常规准确率并不足以作出判断。系统可能只是识别出了熟悉的模板，而没有学会预期的推理过程。因此，受控对比实验会考察新的组合、更长的推理链、陌生的实体名称，以及感知特征分布的变化。\n\n组合泛化尤为重要。模型可能学会了“红色”“立方体”和“在……左侧”等基本概念，却无法处理训练中未出现过的组合。2018 年提出的 SCAN 基准通过将指令映射为动作序列来研究相关问题。它采用不同的数据集划分方式，检验模型能否重新组合熟悉的操作，或外推至更长的序列。这类基准有助于单独考察有价值的失效模式，但并不能全面衡量推理能力或智能水平。\n\n消融研究应区分知识、架构、监督和计算各自的贡献。相关对比对象包括纯神经模型、使用相同可用信息的纯符号模型、模块化流水线，以及联合训练的混合模型。如果一个系统获得了带标注的程序，而另一个系统只获得最终答案，两者之间的差异就不能完全归因于神经符号架构。同样，在比较计算成本时，也必须计入符号搜索所耗费的大量计算资源。\n\n组件层面的评估尤其有助于理解系统表现。对于视觉推理系统，可以使用完全准确的场景描述进行测试，以独立于感知来衡量推理能力；也可以使用预测得到的场景描述进行测试，以衡量端到端性能。对于定理证明系统，可以报告候选证明的质量、证明检查的成功率，以及在固定时限内解决的问题总数。这些测量有助于揭示错误究竟来自符号接地、搜索、形式化还是执行，而不是将所有失败都视为同一种现象。\n\n鲁棒性测试应涵盖错误前提、缺失事实、相互矛盾的规则，以及分布偏移。当所有输入都符合本体定义时，系统可能表现良好，但遇到陌生对象或关系时却可能失效。测试还可以考察，细微的感知变化是否会改变离散的符号决策，以及不确定性是否经过校准，而非只是随意附加的置信度数值。\n\n评估必须防范数据泄漏，尤其是在涉及大型预训练模型时。如果模型此前接触过基准中的题目陈述、证明或解题代码，就可能使检索与即时推理之间的区别变得模糊。因此，为确保可复现性，报告需要明确说明数据构建方式、允许使用的背景知识、模型训练条件、验证程序和资源限制。对于推理系统，衡量成本时通常应以完整过程为单位，包括未成功的候选方案和求解器调用，而不只是单次神经网络预测。"
    },
    {
      "heading": "局限性与尚未解决的研究问题",
      "text": "最根本的局限在于难以选择恰当的抽象。只有当符号推理所用的词汇和规则能够刻画与问题相关的区别时，它才能发挥作用。如果家用机器人的表示中没有包含温度、易碎性或遮挡等因素，它就无法有效推理某个物体是否“可以安全抓取”。增加谓词可以增强表达能力，但也会提高标注、学习和推理的成本。在开放世界环境中，很难事先确定会用到哪些概念。\n\n计算成本构成了另一重障碍。一般的一阶逻辑有效性问题是不可判定的，而许多在实践中有用的受限推理问题，求解成本仍然很高。布尔可满足性问题说明，即使是有限的符号任务，也可能需要进行困难的组合搜索。神经网络引导可能改善通常情况下的搜索表现，却不会改变最坏情况下的计算复杂性。可微松弛可以避免某些离散操作，但也可能引入规模庞大的实例化结构、大量内存需求或优化难题。\n\n知识维护问题也尚未解决。规则可能不完整、不一致、依赖具体情境，或已经过时。在没有额外控制机制的情况下，经典逻辑允许从不一致的知识库推出任意结论，这在实践中并无用处。非单调推理、不确定性模型和容忍不一致的逻辑提供了替代方案，但将它们与可扩展的学习方法相结合，又会带来更多设计上的取舍。要学会判断哪些规则需要修订，可能需要依赖稀缺或分布不均的证据。\n\n可解释性是一种潜在优势，而不是系统天然具备的属性。显式证明或可执行程序可以揭示真实的计算路径，但在决策之后生成的符号解释，可能只是为决策提供事后辩解。神经网络前端也可能让表面清晰的符号结论掩盖决定性的错误。因此，可解释人工智能研究会区分易读的输出与忠实说明结果如何得出的解释。有用的解释不仅必须展示最终的推导过程，还必须揭示相关假设和不确定性。\n\n大型语言模型使“什么才算推理”这一问题更加突出。流畅的中间文本未必构成可执行的论证，思维链提示本身也不会产生经过形式化定义的符号过程。反过来，即使语言模型提出的许多方案都是错误的，只要将其与具有可靠性保证的检查器相结合，它仍然可以为可靠系统作出贡献。研究必须区分模型提出候选方案的能力，以及完整系统验证和筛选这些方案的能力。\n\n安全与治理带来了额外约束。外部文档可能包含恶意指令，生成的代码可能需要在隔离环境中运行，而形式上有效的计划仍可能追求不恰当的目标。加入逻辑引擎并不能消除提示注入和工具权限配置错误。同样，符号约束所表达的是选定的要求，而非对人类价值观的完整描述。在理解神经符号系统的能力与局限时，必须明确哪些假设仍未纳入形式模型。"
    }
  ],
  "links": [
    "artificial-neural-network",
    "artificial-intelligence",
    "deep-learning",
    "symbolic-artificial-intelligence",
    "knowledge-representation-and-reasoning",
    "logic",
    "john-mccarthy",
    "perceptron",
    "backpropagation",
    "large-language-model",
    "object-detection",
    "semantic-segmentation",
    "knowledge-graph",
    "regularization",
    "training-data",
    "proof-assistant",
    "formal-verification",
    "sql",
    "knowledge-base",
    "retrieval-augmented-generation",
    "distribution-shift",
    "data-leakage",
    "boolean-satisfiability-problem",
    "computational-complexity",
    "nonmonotonic-reasoning",
    "explainable-artificial-intelligence",
    "chain-of-thought-prompting",
    "prompt-injection"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}