知识图谱是对实体、概念、事件及其关系的结构化表示,其组织方式使相关联的信息能够被识别、整合和查询,有时还可用于推导新知识。实体通常表示为节点,关系则连接这些节点;属性用于记录名称、日期、测量结果等值。知识图谱通常通过标识符、类型、词汇表或明确的逻辑规则赋予这些关联以含义。因此,它不只是展示对象之间关联的图示,不过,这一术语在不同用法中并没有统一的定义。
知识图谱融合了数据库、知识表示与推理和人工智能领域的思想。其核心价值在于,能够将原本分散在文档、表格、应用程序和组织中的信息关联起来。例如,图谱可以将一名研究人员与某个机构、一篇出版物、一个研究主题以及实验中使用的数据集关联起来,同时保留每项断言的来源。
这一术语既涵盖包含通用知识的公共资源,也包括企业或特定学科内部使用的专门系统。其实现形式多种多样,既有经过形式化定义的语义系统,也有仅采用少量逻辑机制、由带类型的记录构成的实用网络。知识图谱的能力不仅取决于图谱规模,还取决于标识、建模、证据、维护和访问机制的质量。
定义与概念边界
知识图谱通常结合三个要素:可识别的事物、事物之间明确的关系,以及对这些关系足够一致的理解,从而支持有实际用途的计算。节点可以表示某个特定的人、某种化学物质、某个制造零部件,也可以表示一个抽象类别。边可以表示“任职于”“与……相互作用”“是……的一部分”或“是……的子类”。边的含义至关重要:两条记录之间没有标签的连接,所传达的信息远少于一种具有明确类型且有文档说明其含义的关系。
“知识”一词并不保证每一项断言都是真实的。图谱中可能包含估计值、有关历史的主张、相互矛盾的报告,或自动抽取的陈述。这些陈述之所以有用,在于其明确的结构;在更完善的实现中,还可以将其与证据和限定条件关联起来。一个将有争议的归属认定及其来源一并记录的图谱,可能比一个不加限定地将某项断言存为事实的图谱提供更多信息。
知识图谱与知识库的概念有所重叠,但两个术语强调的特征不同。知识库是供系统使用的任何有组织的知识集合,可以由规则、文档、逻辑断言或结构化记录构成。“知识图谱”则强调相互关联的表示方式,以及遍历或组合这些关联的能力。同样,图数据库是一种存储和查询技术,并不天然就是知识图谱。计算机网络连接图只有在某些定义下才算知识图谱:这些定义认为,它所建模的实体及关系含义已足以满足知识图谱的要求。
知识图谱与普通关系数据库之间的区别也并非绝对。关系型系统可以存储三元组、实现递归查询,并表示相同的领域事实。反过来,知识图谱也可以基于关系表实现,而不采用专门的图存储。关键差异在于数据模型、标识符、对语义的约定以及使用模式,而不是存储技术之间存在某种必然的界限。
因此,学术研究和产业界对知识图谱的定义各不相同。有些定义要求具备明确的本体和逻辑语义;另一些则接受任何由带有类型的实体及关系构成的大型整合网络。因此,要准确描述某个具体系统,应说明其表示方式、范围、证据模型和推理能力,而不能仅依赖“知识图谱”这一标签。
历史发展
知识图谱的思想根源可追溯到符号人工智能,尤其是语义网络以及用于表示概念及其关系的系统。20 世纪 60 年代,包括 M. 罗斯·奎利安在内的研究者探索了通过相互链接的结构来表示词义和概念关联的网络。此后,关于框架、概念图和逻辑知识表示的研究,进一步探讨了继承、类别和结构化描述如何支持智能行为。这些研究传统为当今基于图的知识系统提供了许多思想基础。
数据库研究构成了另一条并行的发展脉络。彼得·陈于 1976 年提出的实体-联系模型,为数据库设计中描述实体、属性和联系提供了一套系统方法。实体-联系图本身虽然未必是知识图谱,但两者在建模时面临的问题密切相关:什么可以视为实体,如何标识实体,以及哪些关系具有意义。演绎数据库和数据集成方面的研究,也确立了将存储的事实与规则相结合的方法。
随后产生重大影响的是语义网,它与蒂姆·伯纳斯-李密切相关,旨在将万维网扩展至可供机器处理的数据。万维网联盟于 1999 年将资源描述框架发布为推荐标准,随后在 2004 年进行了重大修订,并于 2014 年发布了 RDF 1.1。Web 本体语言于 2004 年成为推荐标准,OWL 2 则于 2009 年随后发布。这些标准为结构化知识的发布与互联提供了通用的表示方式和语义。
大型公共资源推动了当代知识图谱实践的形成。DBpedia 于 2007 年开始从维基百科中提取结构化信息。同样于 2007 年上线的 Freebase 支持以协作方式汇集结构化知识。维基数据于 2012 年上线,是一个由协作者共同维护的多语言知识库。这些项目在治理方式和知识表示方法上各不相同,但都展示了稳定的实体标识符和可复用关系在大规模应用中的价值。
谷歌于 2012 年 5 月宣布推出一个通过关联已识别的实体与事实来改进搜索的系统,使“知识图谱”这一说法广为人知。这次发布既不是该术语的首次使用,也不是其底层技术的起源。不过,它确实让以实体为中心的信息获取方式受到了广泛关注。此后,知识图谱逐渐应用于企业数据管理、科学信息系统、推荐和机器学习等领域,形成了一系列方法,而非单一的标准化架构。
图表示与数据模型
最简单也最常见的表示形式是带标签的有向图。例如,“阿达·洛夫莱斯出生于伦敦”这一陈述可以用一个主语实体、一种关系和一个宾语实体来表示。更形式化地说,一组二元事实可以写为
其中, 是实体集合, 是关系类型集合, 是字面量值的集合。这种表示能够涵盖许多实际断言,但日期、不确定性以及涉及多个参与方的关系还需要额外的结构来表达。
资源描述框架(RDF)以主语—谓语—宾语三元组表示信息。主语是标识符或空白节点;谓语是国际化资源标识符;宾语还可以是字面量。字面量可以带有数据类型或语言标签,用于区分整数与字符串,或英语标签与法语标签。空白节点用于表示未被赋予全局标识符的资源,并不等同于数据库中的空值。RDF 图是三元组的集合,因此反复添加同一个三元组,并不会产生该三元组的多个独立实例。
属性图通常用节点和关系来表示数据,节点和关系均可携带键值属性。节点可以带有 Person 或 Organization 等标签,而雇佣关系则可以带有开始日期和结束日期。许多实现允许在相同节点之间存在多条类型相同但彼此独立的边。这为业务应用提供了便利,不过,不同属性图系统在标签、属性类型、约束和查询语义的处理方式上有所不同。
涉及两个以上参与方的关系需要特别处理。一次购买涉及买方、卖方、商品、价格和时间;如果仅用一条“购自”边来表示,就可能丢失重要信息。一种解决办法是引入一个购买事件节点,并将其连接到各个参与方。另一种办法是在关系上附加属性。最佳选择取决于事件本身是否需要独立标识、额外的关系、多个来源,或后续修订。
表示关于陈述的陈述同样重要。RDF 应用采用的方法包括具体化、命名图和陈述注释机制。维基数据使用的陈述结构能够容纳限定符、参考来源和等级。这些机制不能相互替代:按来源对断言分组,与正式断言某个来源支持某个特定命题,是两回事。数据模型必须将基础主张与关于该主张由谁提出、何时适用以及如何获得的信息区分开来。
本体、词汇表与形式语义
本体(计算机科学)规定了描述某个领域所用的概念和关系,通常还包含约束其解释的公理。词汇表可以定义 Person、Organization 等类,employedBy 等属性,以及类之间的关系。本体既可以是轻量级的命名体系,也可以是内容丰富的逻辑理论。知识图谱不必采用表达能力最强的逻辑,但明确界定其类别和关系的含义,有助于发挥知识图谱的作用。
RDF Schema 提供了描述类、子类、属性及属性层级的基本机制。例如,将 Professor 声明为 Researcher 的子类后,就可以推断前者的实例也是后者的实例。属性的定义域和值域声明也会产生推理结果。如果 employedBy 的定义域是 Person,RDF Schema 推理机就可以推断,使用该属性的主语是一个人。这类声明并不等同于常规的输入验证规则,后者会拒绝类型不符合预期的记录。
Web本体语言(OWL)支持表达能力更强的描述,包括类的等价性、互斥性、对关系的限制,以及某些基数约束。OWL 2 提供了面向不同计算场景设计的配置子集:EL 支持包含特定形式存在性描述的大规模类层级;QL 支持基于本体对关系型数据进行查询回答;RL 支持面向规则的实现。选择哪种配置子集,是在表达能力与计算特性之间进行权衡的工程决策。
许多语义系统采用开放世界假设:图谱中缺少某个陈述,并不意味着该陈述自动为假。如果没有记录某个人的父母,也不能由此推断这个人没有父母。OWL 通常也不假定不同标识符必然指向不同个体。因此,基数限制所产生的结果可能不同于数据库中的唯一性检查,例如,可能将两个看似独立的资源判定为同一个体。
本体设计还需要区分不同类型的层级关系。“车轮是自行车的一部分”与“自行车是一种交通工具”并不是同一种关系。将部分与整体的关系当作子类关系,会导致错误推理。将组织与其所在建筑、化学物质与某份具体样品、历史上的国家与当代行政区域混为一谈,也会产生类似错误。形式语义有助于揭示这些区别,但选择恰当的概念模型,仍是一项需要结合具体领域开展的工作。
实体身份与数据集成
构建知识图谱,需要判断不同记录何时指向同一事物。仅凭名称通常不足以作出判断:许多人同名,组织会更名,同一座城市也可能有多种语言的名称。稳定的标识符将身份与呈现方式分离。图谱可以为某个特定人物分配一个标识符,同时将别名、音译名、曾用名以及外部数据库标识符作为属性附加其上。
实体消歧是确定哪些记录对应同一现实世界实体的过程。确定性方法可以比较注册编号等可信标识符;概率方法和机器学习方法则综合姓名、地址、日期、所属机构以及相邻实体等方面的证据。候选生成阶段用于减少需要比较的记录数量,随后的匹配阶段则估计候选记录对是否指向同一实体。对于难以判断或影响重大的情况,可能需要人工复核。
表示身份关系的链接,其含义需要仔细区分。完全同一比相似、近似对应或与相关记录的关联具有更强的语义。在 OWL 中,sameAs 表示真正的同一性:与任一标识符关联的事实,都可适用于同一个体。如果只是为了连接两条大致等价的目录记录而使用它,就可能产生非预期的推论。因此,实际集成中往往会区分完全匹配、近似匹配、更宽泛的类别,以及特定来源中的记录对应关系。
数据集成还涉及协调数据模式和值的差异。一个数据集可能将雇佣关系描述为人与公司之间的直接关系,另一个数据集则将雇佣合同建模为独立实体。日期的精度可能不同,度量值可能采用不同单位,分类也可能使用互不兼容的类别体系。对这些差异进行映射,不能仅靠连接标识符来完成,还可能涉及转换规则、受控词表、单位换算,以及对不确定性的明确保留。
集成可以生成在物理上统一存储的图谱,也可以生成跨底层数据源查询的虚拟图谱。集中存储使某些操作更容易,但也带来了数据同步和存储管理的责任。虚拟访问减少了数据复制,却也受到源数据可用性、延迟和访问限制的制约。无论采用哪种方式,都仍然需要记录数据来源并解决语义不匹配的问题。
实践中,一个重要区别是实体合并与断言合并并不相同。两条记录可以指向同一个人,却在某个日期或所属机构上存在分歧。正确的身份判定不应自动抹去这种分歧。保留各来源的独立断言,既便于日后纠正,也让应用能够根据自身需求选择证据。
构建与维护流程
知识图谱的构建通常从明确用途和领域模型入手,而不是不加限制地抽取信息。产品支持图谱可能优先关注零部件、故障代码、手册和兼容关系;科研图谱则可能侧重出版物、作者、方法和数据集。这些需求决定了哪些来源重要、哪些对象应视为实体,以及哪些关系需要明确表示。建模过于简略会丢失有用的区分,而试图涵盖所有可能的细节,又会使系统的维护成本过高。
结构化来源包括关系表、电子表格、登记名录和应用程序编程接口。通过可重复执行的转换,可以将其中的字段映射为图谱中的类和属性。半结构化来源包括网页、信息框,以及 JSON-LD、RDFa 和微数据(HTML)等标记。这类标记可以直接传达实体类型和属性,但发布者提供的标记仍需接受质量评估,其本身并不能保证事实正确。
处理非结构化文本需要运用自然语言处理。命名实体识别用于定位文本中提及的人物、地点、组织及其他实体。实体链接将这些提及与图谱中的标识符关联起来。关系抽取识别有关实体间关系的断言,事件抽取则用于表示发生的事件及其参与者。否定和模态信息至关重要:“该公司没有收购这家供应商”和“该公司可能收购这家供应商”都不能被转换成不带任何条件的收购事实。
抽取得到的候选结果通常要经过规范化、去重、一致性检查和置信度评估。置信度分数估计的是结果在特定模型或流程下的可靠性,不应将其等同于经过通用校准的真实性概率。在处理有歧义的实体身份判定、本体变更,以及一旦出错便会造成重大后果的断言时,人工审核与整理尤为重要。审核结论还可以为后续的自动抽取提供训练数据。
维护是构建过程中持续进行的一部分。新记录不断出现,来源会撤回陈述,公司会合并,分类也会变化。增量处理流程跟踪新增、修改和删除,而不是反复重建所有组成部分。这类流程还会区分“来源消失”与“主张不再成立”:网页被删除,本身并不意味着曾在该网页上出现的所有陈述都已失效。
因此,实际运行的处理流程需要可复现的转换、错误处理、版本化管理的映射,以及处理历史记录。一次成功的抽取演示,还不足以构成一个可持续维护的知识图谱。其长期价值取决于能否发现故障、纠正先前导入的数据,并在传播变更的同时,保留理解图谱先前状态所需的证据。
存储、查询与计算性能
知识图谱可以存储在 RDF 三元组存储、属性图数据库、关系型系统中,也可以采用这些技术的组合。RDF 存储通常会针对主语、谓语和宾语的多种排列建立索引,以加速不同的访问模式。属性图系统则往往侧重于基于邻接关系的遍历,以及标签和属性上的索引。这两种模型都无法保证在所有工作负载下表现更好;查询结构、数据分布、索引和具体实现才是决定性因素。
SPARQL 是 RDF 最主要的标准化查询语言。其核心的图模式匹配通过共享变量将三元组组合起来。例如,一条查询可以找出隶属于某个机构、且撰写过特定主题论文的研究人员。它支持可选模式、过滤、聚合、子查询和联邦服务调用等功能。SPARQL 1.1 还引入了属性路径,允许执行某些形式的重复遍历或备选路径遍历,而无须显式写出每一个中间步骤。
属性图系统使用 Cypher、Gremlin 和 GQL 等语言。GQL 于 2024 年成为 ISO 标准。这些语言的区别之一,在于其基本抽象采用的是声明式模式匹配、遍历步骤,还是其他操作。在具备相应功能的系统中,SQL结构化查询语言 也支持递归查询和图相关功能。因此,语言的选择会影响可移植性和优化,但不能简单地据此划分图数据库与非图数据库。
主要的计算挑战往往在于中间结果,而非最终答案。对几种常见关系进行连接时,可能会先产生数量庞大的候选组合,随后才通过过滤缩减结果。查询规划器利用统计信息、选择率估计、连接顺序和索引来限制这种膨胀。高度连接的节点,例如与数百万个实体相连的某个宽泛类别,可能使遍历产生出乎意料的高昂开销。
在更大规模下,分布式计算会带来分区和通信成本。按主语对图进行分区,可能使以主语为中心的查找更高效,但涉及跨分区关系时则需要通过网络传输数据。复制可以提高可用性和读取性能,代价是增加存储开销和更新协调成本。常用子图、缓存的查询结果和物化视图可以减少重复计算。
比较性能时,必须区分工作负载:简短的交互式查找、长时间的分析型遍历、批量加载、持续更新和逻辑推理,会对系统的不同部分施加压力。一个能够快速回答简单实体查询的图,在处理不受限制的多跳模式时,仍可能力不从心。因此,贴近实际的评估应当使用有代表性的查询,衡量延迟、吞吐量、内存使用量、更新成本和结果正确性,而不是仅将图的规模视为性能指标。
逻辑推理与基于规则的推断
知识图谱可以支持推理,从而推导出未被显式存储的陈述。如果本体规定所有大学都是教育机构,而某个组织是一所大学,那么图谱就可以推断该组织是教育机构。同样,规则可以推导出逆向关系,或沿层级结构传递成员归属关系。这是单纯存储关联与依据明确理论解释关联之间的核心区别。
常见的实现策略有多种。物化会预先计算选定的推论,并将其与已断言的事实一同存储。查询重写会转换输入的查询,使其能够从原始数据中检索出相关的隐含信息。反向链推理则从所求结论出发,反向寻找能够确立该结论的事实和规则。系统往往会结合使用这些方法,因为它们对响应时间、存储空间和更新成本的影响各不相同。
Datalog 提供了一种面向规则的框架,广泛用于演绎数据库和图推理。一条简化的祖先关系规则可以写为
将这条规则与“每个父母都是祖先”的规则结合,便可通过反复应用规则计算祖先关系。Datalog 所施加的限制使其区别于不受限制的逻辑编程,并赋予其有用的可判定性和求值特性。涉及否定、聚合或存在变量的扩展,则需要在语义和计算方面作出额外选择。
逻辑推断必须与推测性预测区分开来。由给定公理蕴涵的结论,是从这些假设必然推出的;统计模型预测出的关系则只是可能出错的候选关系。即使结论在演绎上有效,其可靠性也取决于前提的可靠性。错误的同一性断言或范围过宽的子类关系,都可能使错误沿着许多原本正确的推理步骤传播。
不一致性又带来了另一重困难。如果图谱断言某个对象同时属于两个被声明为互斥的类,推理器可能会检测到,该本体在其形式语义下不可满足。不同系统对此有不同的处理方式,包括拒绝更新、报告原因、隔离有问题的子集,或采用其他推理框架。在不知道哪个来源或假设有误的情况下,自动删除存在冲突的事实通常缺乏正当依据。
推理还可以通过记录推导过程中使用的规则和前提,生成可供审计的解释。这类解释在科学数据整合与合规工作流程中尤为有用。然而,对形式推导作出解释,并不能证明最初的建模选择符合现实;图中的一条路径本身也不能证明因果关系。
嵌入、图学习与补全
统计方法以数值形式表示实体和关系,从而预测缺失的或有用的连接。知识图谱嵌入为实体和关系类型赋予向量或相关数学对象,并用评分函数评估候选三元组的合理性。这样,即使存储的图谱中没有相应的确切关系,也能对候选答案进行排序。
2013 年提出的 TransE 将关系近似建模为实体向量之间的平移:
相应的基于距离的评分可写为
合理三元组的得分应高于不合理的候选三元组。该模型简单高效,但单一平移可能难以表示一对多和多对多关系。双线性模型、复数值模型等其他方法采用不同的评分结构,以表示对称性、非对称性及交互模式。
训练时,通常将已观测到的三元组与通过替换头实体或尾实体构造的扰动候选三元组进行比较。这些候选三元组常被称为负样本,但在知识不完整的情况下,这种标注并不完全准确:未被记录的关系实际上也可能成立。因此,损失函数和采样策略既影响计算效率,也影响模型对关系缺失所作的假设。
图神经网络通过聚合相邻节点及关系的信息来学习表征。关系型变体会区分边的类型,另一些系统则融入文本描述、图像或数值属性。这些方法将图结构与表征学习和多模态学习联系起来。然而,来自无关邻居或含噪邻居的信息可能降低预测质量,而深层消息传递可能模糊节点之间的差异。
评估通常使用平均倒数排名和 Hits@ 衡量链接预测表现,这些指标反映正确实体在候选排序列表中的位置。过滤式评估通常会从参与竞争的候选项中移除其他已知的正确答案。这些指标高度依赖于数据集、候选集合以及对遗漏正例的处理方式。
基准测试的设计尤为重要。分布在训练集和测试集中的互逆关系或近乎重复的关系可能造成数据泄漏(机器学习),使模型看似推断出了新知识,而实际上它在训练期间已接触过等效信息。此外,还必须区分实体已知的直推式评估与针对未见实体的归纳式评估。在基准测试中表现优异,并不自动意味着模型能在不断变化的生产环境图谱中可靠地发现新知识。
溯源、时间、不确定性与验证
当图中断言的来源和适用范围明确时,它就更有用。数据来源与溯源记录数据源、提取活动、转换过程、责任主体以及推导链。例如,一项人口统计数据需要的不只是一个数字和一个地点:观测日期、地理范围的界定、统计来源和测量方法,都可能决定它能否与另一项数据进行比较。W3C 于 2013 年发布的 PROV 系列推荐标准,为描述此类历史过程提供了标准化框架。
时间至少具有两种重要作用。有效时间记录断言在所表述的现实世界中何时成立;事务时间记录信息何时被存入系统,或何时被系统视为当前有效的信息。某人可能在 2018 年至 2022 年担任某一职务,而数据库直到 2023 年才获知其任职结束日期。保留这两个时间维度,使系统能够分别回答有关过去的现实情况和过去已知信息的不同问题。
时态建模还能避免虚假的矛盾。与某人关联的两个雇主,可能代表先后从事的两份工作、同时存在的雇佣关系,也可能代表相互冲突的来源说法。日期、角色和证据有助于区分这些可能性。同样,边界、所有权或术语的变化也需要明确处理,而不能直接覆盖标签和关系,仿佛当前状态从来如此。
不确定性可以通过置信度值、概率模型、备择假设或类别型状态标签来表示。这些方法所表达的含义各不相同。提取置信度分数衡量的是模型对提取任务的评估;来源可靠性关注的是证据提供方;事实概率关注的则是断言本身。在没有明确定义的概率模型时,将这些量相乘或取平均值,可能产生误导性结果。
形状约束语言(SHACL)自 2017 年起成为 W3C 推荐标准,用于表达对 RDF 图的约束。一个形状可以要求存在某些属性、限制数据类型,或规定基数条件。与本体推理不同,验证通常是依据明确给出的要求来检查选定的图。缺少日期可能导致验证失败,但在本体的开放世界语义下,这并不构成逻辑矛盾。
因此,质量评估需要涵盖多个维度:语法有效性、身份准确性、语义一致性、面向预期任务的完整性、时效性以及证据支持程度。一个图可能在逻辑上一致,却不符合事实;也可能事实准确,但信息过于残缺,无法满足某项特定查询。质量指标必须同时明确其参照标准和预期用途。
公共知识图谱与共享数据生态系统
公共知识图谱为众多领域提供可复用的标识符和结构化事实。它们支持研究、教育应用、搜索和数据关联,但在知识的收集与维护方式上存在显著差异。有些从文档中提取事实,有些依靠社群编辑,还有些整合专业权威机构的记录。其开放性可能体现在访问、许可、贡献、软件这四个方面中的一个或多个,也可能涵盖全部四个方面;不应将这些维度等同看待。
维基数据是由维基媒体基金会运营、通过协作维护的多语言知识库。其数据项采用稳定的标识符,通常显示为字母 Q 后接一个数字,而属性则使用以 P 开头的标识符。陈述可以附有限定符、参考来源和等级。标签和描述因语言而异,而底层的数据项则可以关联不同语言和项目中的记录。因此,它尤其适合用于关联维基百科条目与外部权威数据库。
DBpedia通过对维基百科内容进行抽取等相关流程来构建结构化数据。它体现了另一种构建模式:面向人类读者撰写的信息,可以通过映射和抽取转化为图。由于源文本和模板在不同语言版本之间存在差异,且会随时间变化,最终生成的图取决于抽取的覆盖范围与映射质量。从某一语言版本中成功抽取的事实,在另一语言版本中未必会以相同方式表示。
Freebase 曾是另一个具有重要影响的通用资源。其结构化实体和标识符推动了以实体为中心的应用的发展,不过其网站和编辑服务已于 2016 年关闭。YAGO 最初于 2007 年发布,早期版本结合了维基百科与词汇资源中的信息,此后历经多个版本持续演进。这些项目有助于确立基准、对齐实践,以及人们对大规模事实性资源的预期。
特定领域的图谱通常比通用资源更为深入。图书馆维护人物、作品和主题的规范记录;生命科学资源关联基因、蛋白质、生物过程和出版物;地理数据集则关联地点与行政区划。跨资源链接使应用能够综合利用这些不同视角,但必须解决实体身份认定、粒度和许可方面的差异。
公共图谱并不是对世界完整或文化中立的映照。其覆盖范围反映了可用来源、贡献者社群、语言分布和编辑方针。实体或陈述的数量并不能直接衡量准确性或实用性,不同系统的数量统计也可能不具可比性,因为一个图谱可能用多个结构来建模一项带有限定条件的断言,而另一个图谱则将其存储为一条边。
在企业、科学研究和信息获取中的应用
企业知识图谱将分散在业务系统中的信息关联起来。制造商可以将零部件与供应商、生产批次、技术规格、检验记录和维护事件关联起来。如果某一缺陷与某个批次有关,就可以通过图查询沿供应链追踪受影响的产品。知识图谱并不取代所有事务型数据库;它通常为各个系统提供共享的语义层,而订单、库存和会计等业务仍由原有系统负责。
搜索是另一个主要应用领域。传统的关键词匹配会检索包含相关词语的文档,而能够识别实体的信息检索则可以区分同名的人物与地点,并将同义词关联到同一个标识符。搜索引擎可以利用图谱理解查询、组织结果或回答事实性问题。即使只返回简短答案,也仍需关注信息的时效性、歧义和来源,尤其是在多个来源说法不一时。
推荐系统可以利用用户、产品、创作者、类别及其他属性之间的关系。基于图谱的推荐可以将读者偏爱的图书与其所属类型、作者或相关主题关联起来。当直接交互数据稀少时,这些关联有助于发现用户可能感兴趣的内容。它们也能为推荐提供易于理解的解释,但存在一条直观的关联路径,并不能证明推荐是最优的或不存在偏差。
科学知识图谱整合了异构的研究成果。在生命科学领域,图谱可以将一个基因与一种蛋白质、一条生物通路、实验观测结果及出版物关联起来。这些关联有助于探索和提出假设。“与……相关”这样的边必须与“导致”“抑制”或“在……中观察到”明确区分,因为这些论断所需的证据各不相同。基于图谱提出的假设需要经过独立的科学评估。
文化机构利用图谱将艺术品、创作者、地点、所有权变迁、档案描述和历史事件关联起来。这类表示方式既能保留不同的归属判断和历经变化的名称,也便于在不同馆藏之间浏览。其难点往往在于保留历史知识所具有的解释性和对史料来源的依赖,而不是强行将每条记录都归结为一种毫无争议的说法。
在这些应用中,价值来自更可靠或更高效地回答具体问题。图谱可以支持追溯、影响分析、发现和跨系统报表。应根据这些实际成效,并结合维护成本和错误后果来衡量其效用,而不能仅凭数据彼此关联就认定它有用。
知识图谱与大语言模型
大语言模型将学习到的统计规律存储在参数中,而知识图谱存储的是显式、可寻址的结构。这两种表示形式相辅相成。语言模型能够灵活地理解文本和生成语言;图谱则适合处理稳定的标识符、精确的关系、结构化筛选以及能够追溯来源的检索。任何一种表示形式都不能保证在所有场景中更加准确:图谱可能包含过时或错误的信息,正如模型可能生成缺乏依据的断言。
一种整合方式是利用语言模型将问题转换为结构化查询。系统可以识别实体、选择图谱中的关系、生成 SPARQL 或其他查询语言的语句、执行查询,再用自然语言表述返回的结果。这使用户无需学习查询语言,也能获取复杂数据。这种方式的可靠性取决于能否链接到正确的实体、使用有效的模式术语,并确保最终解释如实反映实际查询结果。
另一种方式采用检索增强生成。在模型生成答案之前,图谱帮助检索相互关联的事实、证据段落或相关的实体社群。有些系统将向量检索与图遍历相结合;另一些系统则先从文档中构建图谱,再利用图谱组织检索。“GraphRAG”这一名称涵盖了多种此类架构,并不代表某一种通用方法,也不保证一定能提升效果。
语言模型还可以通过提出实体类型、抽取关系、规范化描述以及生成候选模式映射来辅助图谱构建。这些输出需要经过验证,因为流畅的文本生成可能会引入不存在的实体、颠倒关系方向、遗漏否定信息,或编造支持性参考资料。当人工智能幻觉被作为持久的图谱断言存储下来,随后又被当作独立证据使用时,其后果尤其严重。
评估时必须区分组合系统中的各个阶段。即使数据库返回了正确答案,最终回复也可能歪曲其含义;而错误的查询也可能基于真实数据,生成措辞笃定的答案。有用的评估指标包括实体链接准确率、查询有效性、答案正确性、引用对答案的支持程度,以及回答需要涉及多重关系的问题时的表现。
另一个值得关注的问题是检索过程中的信息丢失。如果只提供一条简短路径,就可能遗漏限定条件、日期或相互冲突的证据,而这些信息可能决定答案是否成立。稳健的整合方式会保留这些上下文要素,而不是将检索到的每条边都视为无条件成立的事实。
治理、隐私与安全
知识图谱需要对标识符、模式、来源、访问权限和变更进行治理。谁可以创建实体、重新定义关系、合并记录或批准来源,这些决策会影响所有下游应用。即使底层记录保持不变,模式的变更也可能改变查询结果。版本管理、审查程序和有据可查的弃用政策,有助于应用区分有意的演进与意外造成的故障。
当彼此独立的数据集相互连接时,数据隐私就显得尤为重要。单独看来无害的信息,与所属机构、日期、地点和关系模式结合后,可能足以识别个人身份。因此,实体消歧在提高分析价值的同时,也可能增加隐私风险。单条来源记录已公开,并不意味着将这些记录汇总或复用就一定符合法律或伦理要求。
访问控制可以在图、实体、属性或断言层面实施。细粒度控制难以实现,因为关系会间接透露信息。隐藏员工的部门属性,未必能阻止他人通过项目分工或汇报关系推断出其所属部门。汇总后的计数也可能泄露小群体的敏感事实。因此,安全分析不仅要考虑对已存储三元组的直接访问,还必须考虑推导出的答案和推理路径。
网络安全风险包括未经授权的查询、恶意数据导入、来源操纵和数据投毒。攻击者一旦篡改可信的标识符映射,就可能使大量关系错误地指向其他实体。遭到入侵的抽取流水线可能在维持常规处理表象的同时传播捏造的断言。来源追踪、完整性校验、来源身份验证,以及将拟议变更与已批准变更分开管理,都有助于发现此类篡改,但没有任何单一控制措施能够应对所有威胁。
与语言模型结合使用的图谱,还需要在检索到的内容与可执行指令之间划清一道边界。附加在图谱实体上的文档可能包含旨在影响下游模型的提示注入文本。一份文档被纳入经过整理的图谱,并不意味着其中的指令就具有权威性。同样,生成的查询也需要经过授权检查,以免自然语言界面暴露受限关系。
治理还涉及如何表征知识。类别和关系可能隐含机构自身的预设,排除记录较少的群体,或将存在争议的分类呈现为普遍适用的分类。系统可以保留不同的词汇体系、各来源各自的断言以及历史版本,而不是将互不相容的观点强行归入同一个标签。在实践中,负责任的维护需要明确的决策责任人、完整的变更记录,以及既能纠正事实错误、又能修正不当建模选择的机制。