维基数据是由维基媒体基金会托管、由众人协作维护的自由知识库。它于2012年10月29日上线,存储关于人物、地点、组织、作品、科学概念及许多其他主题的结构化陈述。百科全书条目主要通过文字叙述呈现知识,而维基数据则以可标识的实体和具有明确名称的关系来表示信息。它为维基百科、其他维基媒体项目以及外部应用提供共享数据源。
维基数据的核心目标是让信息能够跨语言、跨系统复用。同一个实体可以拥有多种语言的标签、指向相应百科全书条目的链接、外部数据库中的标识符,以及附有来源和上下文限定信息的陈述。这些特点使维基数据既是一个协作式数据库,也是一个可公开访问的大型知识图谱。其内容并非一份固定不变、经过统一核验的目录,而是通过人工编辑、自动化导入和社群讨论不断修订。
起源与发展
维基数据的诞生源于维基媒体生态系统中的一个实际问题。维基百科的不同语言版本各自独立维护着许多相同的事实,而连接不同语言对应条目的链接则分散在各个页面中。修改一篇条目的跨语言链接,可能需要同时更新许多其他站点。人口数字、已出版图书的标识符等结构化信息,同样需要在模板和条目中重复维护。早期围绕语义网和 Semantic MediaWiki 的工作展示了如何使机器能够读取维基内容,但维基数据选择建立独立的集中式存储库,而不是简单地为每个维基百科页面添加语义标注。
维基数据最初由德国维基媒体协会主导开发,团队由丹尼·弗兰德契奇领导,马库斯·克勒奇负责技术工作。初期资金来自艾伦人工智能研究所、戈登与贝蒂·摩尔基金会以及谷歌。维基数据于2012年10月29日上线,是维基媒体数年来推出的首个新项目。德国维基媒体协会开发了底层软件,维基媒体基金会则利用其技术基础设施为项目提供托管服务。
部署工作大体分为三个阶段。第一阶段集中管理跨语言链接,使维基百科页面不再需要分别维护指向对应条目的链接。2013年1月,匈牙利语维基百科率先采用维基数据实现这一功能,随后其他语言版本也陆续跟进。第二阶段引入陈述,并允许维基媒体页面读取结构化数据值。第三阶段的目标则是通过结构化查询生成列表及其他视图。这些阶段体现了系统架构的逐步扩展,并不意味着要求所有语言版本的维基百科采用相同的数据使用方式。
2015年,公共查询服务上线,使用户能够更方便地对整个知识图谱进行查询。2018年,维基数据迎来又一次重大扩展,开始支持词典数据:词语和表达式可以通过词位、词形和义项来描述,而不必强行套用普通百科主题所用的模型。这些发展使维基数据从跨语言链接存储库,扩展为支撑结构化知识和语言数据的基础设施。
维基数据的增长既依靠个人贡献,也依靠大规模导入。科学出版物、天体、分类单元和文化馆藏等领域都贡献了大量记录。因此,仅凭数据项的数量并不能全面衡量其覆盖情况。一个拥有数百万条导入记录的领域,其描述详尽且附有参考来源的数据项,可能还不如一个规模小得多、却有活跃专家群体维护的领域多。因此,维基数据的发展历程不仅是规模扩大的过程,也包括持续改进数据建模、来源引用、维护工作和数据获取便利性的努力。
实体、标识符与多语言组织方式
维基数据的基本组织单位是实体。其中最常见的是项目,其标识符由字母 Q 和后接的数字组成,例如道格拉斯·亚当斯对应的标识符为 Q42。用于标识关系或特征的属性则使用 P 标识符:P31 表示“隶属于”,P569 表示“出生日期”。这些标识符是持久的引用标识,而不是描述性名称。标识符中的数值并不表示主题分类、语言或重要性排序。
一个项目通常包含标签、描述、别名、陈述,有时还包含站点链接。标签给出实体在某种语言中的名称;简短的描述用于将其与名称相同或相近的其他实体区分开来;别名则提供其他名称或拼写形式。标签并不具有全局唯一性。两个项目可能使用相同的英语标签,却代表完全不同的人物、地点或概念。因此,软件必须通过标识符来区分实体,而不能将显示名称视为唯一键。
站点链接将项目与维基媒体各项目上的页面连接起来。一个关于城市的项目可以链接到多个语言版本维基百科中介绍该城市的条目,也可以链接到其他受支持的维基媒体网站上的相关页面。通常,一个项目对某个特定网站最多只能有一个站点链接,而一个页面也只能归属于一个项目。这些限制有助于保持跨语言导航的一致性,但也会暴露概念划分上的差异:某个语言版本可能将两个主题合并在一篇条目中,另一个语言版本却将它们分别处理。这类情况需要编辑者作出判断,而不能仅靠自动名称匹配来解决。
多语言支持是实体模型的内在组成部分。陈述通常引用不依赖特定语言的标识符,而界面则在有相应标签时,以用户所用的语言显示标签。将一位作家与一个国家关联起来的陈述,无须为英语、阿拉伯语和日语分别重复创建。不过,多语言呈现并不能消除语言之间的差异。描述、术语、命名惯例以及概念之间的区分,仍需要针对各语言作出贡献。标签缺失和各语言覆盖程度不均,依然是实际使用中的重要局限。
项目旨在表示可识别的具体对象,而不仅仅是文本字符串。一位作家、一部小说、该小说的某个版本,以及由其改编的电影,可能需要分别建立项目,并通过适当的关系相互连接。外部标识符,例如图书馆规范记录标识符或科学数据库登录号,有助于区分这些实体,并将它们与其他系统连接起来。外部标识符的使用使维基数据成为实体消歧与解析的重要资源,但标识符一致并不保证万无一失:外部目录可能存在重复记录、将不同实体混为一谈的情况,或者对何种对象应视为一个实体有不同的界定。因此,合并记录时不仅要匹配标识符,还必须关注其含义。
陈述、限定符、参考来源与等级
维基数据通过陈述来表示其大部分知识。一条简单的陈述使用属性将主体实体与某个值关联起来:例如,可以通过“职业”属性,将道格拉斯·亚当斯与代表作家的项目关联起来。值并不限于其他实体。根据属性的数据类型,值还可以是字符串、日期、数量、地理坐标、外部标识符和单语文本。数量可以附带单位和不确定性上下限;时间值则包含精度和历法信息。
这一模型在设计上就比扁平的主语—谓语—宾语三元组更丰富。陈述可以带有限定符,用于明确其适用范围或具体情境。人口数字可能需要注明时间点,任职者可能需要注明任期起止日期,奖项则可能需要注明年份或类别。这些限定信息是断言含义的一部分。若不考虑日期、地域范围的界定和测量方法,就不能贸然将某座城市在一次人口普查中的人口数与另一个数值作比较。
参考来源记录支持某条陈述的资料出处,可以注明出版物或数据库、来源的统一资源定位符、检索日期、页码或其他相关书目信息。参考来源附属于各条陈述,而不只是作为整个项目的通用参考文献。这使得关于同一主体的两项断言可以各自拥有不同的证据基础。限定符和参考来源的作用不同:限定符描述断言所涉及的具体情境,参考来源则说明支持该断言的依据。
每条陈述还有一个等级:首选、普通或弃用。首选等级可以标记被认为最适合一般用途的值,例如某一职位的现任担任者。弃用等级则可以保留错误或已被取代的断言,同时表明通常不应选用它。等级不是数值形式的置信度评分,也不应被视为对来源质量的通用排序。多条陈述可以同为首选等级,如何使用这些等级取决于相关属性和主题领域的建模惯例。
这一数据模型区分普通值、“未知值”和“无值”。这些状态表达的是不同的断言。未知值表示该属性适用,但具体值未明确;无值则表示明确不存在相应的值。两者都不等同于缺少陈述。更广泛地说,维基数据采用开放世界的思路:未记录某种关系,并不能证明这种关系不成立。
这些区别对数据使用者很重要。简化后的导出数据可能舍弃限定符、参考来源或弃用的陈述,因此所呈现的信息可能远少于完整项目。如果提取日期时遗漏其精度,就可能使日期显得过于精确;如果提取曾经从事的职业时遗漏时间限定,就可能使其看起来仍是当前职业。要正确解读数据,既需要理解所存储的值,也需要理解其所在陈述的结构。
分类、本体与建模选择
维基数据的分类系统是一套协作构建的本体,而非由中央统一规定的单一层级体系。其中两个尤为重要的属性是“隶属于”(P31)和“上级分类”(P279)。某家具体的博物馆可以是“博物馆”的一个实例,而“博物馆”则可以建模为“文化机构”的子类。区分这两种关系,能让应用从具体实体逐步扩展到更宽泛的类别,而不至于混淆实例归属与类之间的包含关系。
这一图谱支持多重分类。根据具体情况及相关建模约定,一所大学可以同时是教育机构、雇主、研究组织和法律实体。这种灵活性有助于描述那些无法纳入单一树状结构的现实事物,但也可能带来不一致:编辑者可能将组织的法律形式与其职能混为一谈,将实体建筑与使用该建筑的机构相混淆,或像对待普通现实对象一样对虚构概念进行分类。
属性定义提供了一定的结构规范。每个属性都有一种数据类型,还可以通过陈述来说明其预期用途、示例和约束。约束可以标记出多个条目共用同一标识符、值的类型不符合预期,或缺少相关陈述等问题。许多约束只是提示性的,并非数据库强制执行的限制。它们既有助于维护,也允许例外和未完成的工作存在;不过,数据集通过了现有检查,并不意味着它在事实或逻辑上就一定正确。
在复杂领域,社群对建模方式的决定尤为重要。书目数据可能需要区分文学作品、译本和出版版本。行政地理数据需要将地点与行政辖区分开,并记录历史上的边界变化。生物分类则必须兼顾相互竞争的分类体系和不断变化的名称。在这些情况下,看似简单直接的属性,都可能隐含着若干种不同的关系。各专业小组会制定约定,使独立编辑的记录保持足够的兼容性,以便进行查询。
维基数据还支持形状表达式(Shape Expressions),这是一种用于描述预期图结构的语言。实体模式(EntitySchema)以 E 加数字标识,可以表达某类实体应具备哪些属性、属性值应为何种类型等模式。它们为记录和检验建模预期提供了一种方式,但并非每个条目都必须满足的通用模式,也不能取代对来源的评估。
因此,维基数据的本体兼具形式化关系与协商形成的实践规范。某些推论可以通过子类路径或明确的查询规则得出,但维基数据并不等同于一个完全公理化的推理系统。在人看来显而易见的关系,未必能从已存储的图谱中推导出来;而一条错误的子类关系,则可能使大量下游结果发生偏差。要将维基数据用于知识表示与推理,而不只是把它当作标签的集合,理解这些局限至关重要。
软件架构、访问与查询
维基数据运行于 Wikibase 之上,后者是 MediaWiki 软件平台的一组扩展。Wikibase 提供实体存储、编辑界面、修订历史,以及对外提供结构化数据的机制。它是开源软件,可用于运营独立的知识库。因此,Wikibase 与维基数据并不是可以互换的名称:前者是软件,后者则是一个特定的项目、社群和数据集。
不同的访问方式适用于不同的任务。人工编辑者通常使用实体页面和专门工具。程序可以通过应用程序编程接口获取实体或提交编辑,但须遵守权限要求和运行限制。实体数据以多种格式提供,包括 JSON 和资源描述框架(RDF)。批量数据转储支持大规模处理,无须反复请求公共服务;不过,其体积和更新周期也使它与实时页面访问成为不同类型的资源。
维基数据查询服务支持 SPARQL查询语言,这是 RDF 图的标准查询语言。一次查询可以综合多个条目之间的关系,例如查找曾担任某一职务的人、某个地理区域内的机构,或与指定作者相关的作品。属性路径允许沿着类的层次结构进行遍历。只要底层分类信息齐全且恰当,沿“隶属于”关系、再沿零次或多次“上级类”关系匹配的模式,就可以检索出某个类及其子类的实例。
RDF 导出数据既提供陈述的简化视图,也提供详细视图。直接声明谓词通常使用 wdt: 前缀,提供了一种便于使用的“真值”(truthy)视图:对于实体的某个属性,如果存在首选级陈述,就选用这些陈述;否则使用普通级陈述。弃用级陈述则被排除在外。详细的陈述表示方式可用于访问限定符、参考文献、等级和完整的值信息。因此,仅使用直接声明的简短查询,与逐一检查所有陈述及其上下文的查询,所回答的问题可能并不相同。
公共查询服务存在实际使用限制。大范围的图遍历、复杂的连接操作以及筛选条件过于宽泛的搜索,都可能消耗大量资源,运行时间较长的请求也可能超时。查询服务还会以异步方式接收更新,因此不一定能在编辑显示于实体页面的同一时刻反映这次编辑。查询结果代表的是已被记录并建立索引的内容,而不是现实世界中一切事物的完整清单。例如,一份已记录的某组织成员名单,并不会自动成为权威的成员名册。
对于维基媒体页面,客户端集成机制允许通过解析器函数和 Lua 模块获取结构化的值。本地模板决定这些值如何显示,以及纳入哪些限定信息或参考文献。这种将存储、检索与呈现相分离的方式功能强大,但也意味着:如果使用数据的模板忽略了相关上下文,即使陈述本身正确,也仍可能以误导性的方式呈现。
社群治理与数据维护
维基数据将开放编辑与社群制定的方针及技术权限相结合。许多修改可以直接进行,但部分操作需要特定的用户权限。管理员可以保护页面、封禁账户并执行其他维护任务;这一角色并不意味着他们对数据库涉及的所有主题都拥有最终决定权。在决定属性、建模方式以及有争议的记录时,讨论、共识建立和专题项目组都发挥着核心作用。
新属性通常需要经过提案流程。贡献者须说明拟表达的关系、数据类型、示例及可能的用途,其他编辑者则会审查是否已有属性能够满足这一需求。与允许每位编辑者任意创建谓词相比,这一流程能更好地协调各方。条目的创建途径更为宽泛,但仍须符合收录标准,包括具有有效的维基媒体站点链接、主题可明确识别且有严肃可靠的公开来源支持,以及满足知识图谱内部的结构性需求等。
自动化是维护工作的基础。网络机器人和批量编辑工具可以添加标识符、导入记录、修正常见错误并更新数值,其处理规模是人工编辑无法企及的。QuickStatements 广泛用于批量执行结构化编辑,而 OpenRefine 则支持清理表格数据、将记录与实体匹配,以及准备待提交的数据。经授权的机器人活动须遵循社群规定的流程,但并非所有自动化或半自动化编辑都由正式获授机器人身份的账户执行。
导入数据需要作出的判断远不止复制字段。必须将来源中的记录与正确的实体匹配,将其分类映射到适当的属性,正确解读日期和单位,并保留来源信息。系统性的匹配错误可能造成成千上万条误导性陈述。反过来,如果只导入数值而省略来源,也会增加日后审核的难度。因此,可靠的维护既依赖自动化,也依赖人工审查其依据的假设。
修订历史记录了各项更改,并允许查阅早期版本。监视列表、最近更改工具、约束报告和针对性查询有助于贡献者发现破坏行为与错误。不过,修订历史并不等同于完整的科学溯源记录。它记录的是谁以何种方式修改了页面,而具体陈述的证据依据则需要通过参考来源来说明。一次编辑即使在技术上有效、记录准确,也仍可能包含事实错误。
涉及在世人物的内容需要格外谨慎,尤其是有关私人或敏感事项的陈述。维基数据制定了针对在世人物传记的方针,其总体上的开放性并不意味着可以免除在来源引用和数据隐私方面的责任。维护工作还包括合并重复条目、纠正身份混淆,以及移除不适宜的内容。这些工作虽然不如创建条目显眼,却对维持持久标识符的实用价值至关重要。
许可、链接数据与实际应用
维基数据的结构化数据采用 知识共享 CC0 公共领域贡献声明发布。这与维基百科条目文本有重要区别,后者的许可要求署名并以相同方式共享。CC0 允许广泛复用这套结构化数据,而无须遵守上述条件。但这并不意味着维基数据所链接的所有对象都采用自由许可:照片、来源出版物、数据库网站及其他引用资源仍保有各自的法律地位。
开放许可为维基数据在链接数据中的作用提供了支持。持久的实体标识符可以成为独立维护的资源之间的连接点。博物馆目录、图书馆规范文档和研究数据库可能为同一个人使用不同的本地标识符。记录了这些标识符的维基数据项可以帮助系统关联这些记录,而不必让每家机构都与其他每家机构协商建立直接映射。不过,关联的质量仍取决于实体识别是否正确,以及定义是否兼容。
在维基媒体项目内部,维基数据集中管理跨语言链接,并为部分信息框、列表及其他页面组件提供数据。不同语言版本和主题领域的采用情况各不相同。有些社群大量使用共享陈述;另一些则更倾向于使用本地值,或只允许在符合特定来源与显示规则的情况下使用维基数据。维基共享资源也使用 Wikibase 技术为媒体文件提供结构化描述,但这些以文件为中心的记录与维基数据项并不相同,也有各自的编辑环境。
图书馆、档案馆和博物馆利用维基数据开展规范数据对齐、馆藏发现,以及建立人物、地点、物件和机构之间的关联。收藏机构可以将自身的目录编号作为标识符发布,将创作者与规范记录关联起来,并使馆藏能够通过查询被发现。研究项目也使用类似方法,将学术出版物、作者、组织和主题关联起来。例如,Scholia 根据维基数据查询结果生成学术档案和可视化图表。这类视图能够呈现已记录的关系,但记录的缺失或维护程度不一会限制其完整性。
维基数据也用于自然语言处理和信息检索。多语言标签和别名可以支持实体链接,结构化关系则为问答和评测数据集提供素材。其图谱也被用于训练和评估预测缺失关系的方法。这些用途需要谨慎对待:维基数据中存在一条边,并不意味着由此衍生的每个训练样本都毫无歧义;缺少一条边,也不足以据此判定为负例。
对于将文本生成与检索所得知识相结合的系统,包括检索增强生成系统,维基数据提供了明确的标识符和可查询的关系。然而,检索到一个值,并不意味着会自动获取其限定信息,也不能证明它是正确的。如果生成的回答忽略参考来源、将多个值合并为一个,或将历史陈述当作当前情况,就可能歪曲数据库的内容。
词典数据与表示的局限
维基数据的词典扩展通过词位、词形和义项来描述语言。词位以 L 编号标识,表示特定语言和词类中的一个词汇单位。它记录一个或多个词元,也可以包含关于该词汇单位的陈述。词形描述屈折变化等具体形式,义项则表示含义。词形和义项各有从属于词位的标识符,因此可以分别对它们作出陈述。
这种结构将词语与它所指的事物区分开来。普通数据项可以表示树这一概念;英语词位则可以表示单词“tree”,以及它的语法形式和含义。义项可以链接到对应的数据项,但词位与数据项不能互换。不同语言对同一语义场的划分可能不同,同一个书写形式也可能属于多个词汇单位。这一区分避免了将多语言词汇简化为一张罗列所谓对应词的表格。
在具备适当属性和记录的情况下,词典数据可以表示语法特征、发音信息、用例及义项之间的关系。其实用价值取决于针对各语言所作贡献的深度。一种语言如果词位很多,但义项或词形很少,其所能支持的应用,可能与另一种词位较少、描述却很丰富的语言有所不同。与主要的数据项图谱一样,词典数据集也是不断演变的资源,而非编辑覆盖程度均衡一致的成品词典。
无论是词汇数据还是百科数据,数据质量都有若干相互独立的维度。一条陈述可能内容正确却缺乏可靠来源,来源可靠却已经过时,表述精确却归在错误的属性下,或者建模正确却附在错误的实体上。完整性也取决于具体用途。地理应用可能需要坐标和行政隶属关系,历史研究则可能需要带有时间限定的管辖关系变更信息。单凭数据项数量或附有参考来源的比例,都无法全面反映这些要求。
覆盖范围反映了外部来源的可获得性、贡献者的优先关注事项,以及数据导入的可行性。相比主要保存在地方档案或口述传统中的知识,拥有标准化目录和机器可读标识符的主题更容易得到大规模表示。即使数据项已经存在,语言覆盖不均也可能影响其被检索和发现的机会。因此,基于维基数据的研究必须区分已记录图谱中的模式与现实世界中的模式,尤其是在比较不同国家、职业或历史时期时。
评估本身也面临开放世界问题。如果系统预测出一种维基数据中尚未收录的关系,这一预测可能是错误的,也可能确实是新发现,还可能已在其他地方为人所知,只是尚未录入。反过来,如果用图谱衍生的标签来评估模型,而模型的训练内容又与该图谱有所重叠,就可能造成数据泄漏(机器学习)。因此,要实现研究的可复现性,就必须明确数据集版本、记录数据提取规则,并保留缺失值、明确不存在的情况,以及带有时间或情境限定的陈述之间的区别。