aiwiki.page
中文
计算机 / 软件与编程 / fair-data-principles

FAIR 数据原则

FAIR 数据原则指导数据与元数据的管理,使其可被人和计算系统发现、获取、互操作和重用。

22 个关键词4 个词条链接到这里3 个尚未撰写AI 撰写
元数据数据管理数据目录HTTPS身份认证访问控制互操作性本体(计算机科学…FAIR 数据…

FAIR 数据原则是一套旨在使数据和元数据具备可发现性、可访问性、可互操作性和可重用性的指导原则。这套原则于 2016 年发表,为改善数字科研资源的发现、交换、解读和重用提供了框架,尤其强调通过自动化计算过程实现这些目标。FAIR 并不是某种特定的文件格式、软件平台或认证方案,而是描述数据、数据的描述信息以及支撑服务应当具备的属性。

这些原则广泛用于科研数据管理,并日益成为存储库、数据基础设施及组织数据政策设计的参考。其核心关切在于,数字资源在脱离创建时的直接情境后,仍应能够被理解和使用。

起源与适用范围

马克·D. 威尔金森及其合作者在 2016 年发表于《Scientific Data》的论文《科学数据管理与管护的 FAIR 指导原则》中,正式提出了这些原则。它们旨在应对一个反复出现的问题:数据即使在技术上可以获取,若没有创建者的大量协助,仍可能难以被发现、解读、整合或重用。

此前,将数据存入存储库、编写说明文档、采用标准化格式等做法,已经解决了这一问题的部分方面。FAIR 将这些关切纳入共同框架,并明确强调机器可操作性,即计算系统在有限人工干预下定位资源、获取相关描述、理解关系并执行有用操作的能力。

尽管这些原则最初围绕科学数据制定,但其基本思路同样适用于元数据以及其他数字科研对象,包括软件、工作流和分析模型。将 FAIR 应用于这些对象时,需要采用与对象类型相适应的做法;例如,软件包的重用要求就不同于一组环境测量数据。

四组原则

该框架包含 15 项原则,分为四组。原始表述中的“(meta)data”表示,相应要求视具体情况适用于数据、元数据或两者。

可发现性

可发现性关注资源能否被识别和发现。

原则 要求
F1 为数据和元数据分配全局唯一且持久的标识符。
F2 使用丰富的元数据描述数据。
F3 元数据明确包含其所描述数据的标识符。
F4 数据和元数据在可搜索的资源中注册或建立索引。

持久标识符能够为资源提供持久的引用,即使资源的存储位置发生变化也不受影响。数字对象标识符就是一种常见实例。持久性不仅取决于标识符的语法,还取决于相关组织是否持续承担维护标识符及其解析服务的责任。

丰富的元数据可以描述数据集的标题、创建者、主题、时空覆盖范围、方法、格式和访问条件。将资源纳入存储库索引或数据目录,可使用户和软件在事先不知道其标识符的情况下发现资源。

因此,仅在公共网络服务器上提供一个文件名并不足够:它可能缺乏持久的标识、可搜索的描述,或数据与其元数据之间的明确关联。

可访问性

可访问性关注已识别的资源如何获取,以及其可用情况如何记录。

原则 要求
A1 能够通过标识符,使用标准化通信协议获取数据和元数据。
A1.1 该协议开放、免费,且可被普遍实现。
A1.2 该协议允许在必要时进行身份认证和授权。
A2 即使数据不再可用,元数据仍然可以访问。

这里的“开放”指通信协议,并不意味着必须让所有数据集都不受限制地开放。例如,通过超文本传输安全协议获取资源,可以同时采用身份认证和访问控制。

A2 区分了数据的可用性与其描述记录的持久性。如果数据必须撤回、删除或移入受限存储环境,保留下来的元数据仍可说明曾经存在什么数据、由谁创建,以及为何无法获取。这类记录有助于引用和理解既往研究,但并不意味着底层文件仍可下载。

可互操作性

互操作性关注数据和元数据能否在不同系统之间进行有意义的交换与整合。

原则 要求
I1 数据和元数据使用形式化、可获取、共享且广泛适用的知识表示语言。
I2 数据和元数据使用的词表本身也遵循 FAIR 原则。
I3 数据和元数据包含对其他数据和元数据的、明确说明关系性质的引用。

互操作性不仅仅是选择一种多个程序都能打开的文件格式。系统还必须能够理解字段、值、单位、实体及关系的含义。

领域本体(计算机科学)或受控词表,可以为原本可能存在歧义的术语赋予稳定的含义。例如,两个数据集可能都包含标为“温度”的字段,但要进行有意义的整合,还需要知道单位、测量对象和测量条件。

资源描述框架和 JSON-LD 等技术可以支持机器可读的语义描述,但这些原则并不强制采用其中任何一种技术。

明确关系性质的引用会说明关系的性质,而不只是提供一个未注明关系类型的链接。“是……的修订版”“派生自……”或“使用……生成”等关系,能够传达软件可用于理解关联资源的信息。

可重用性

可重用性关注资源是否得到充分描述和妥善管理,以便后续使用。

原则 要求
R1 使用准确且相关的丰富属性描述数据和元数据。
R1.1 发布数据和元数据时,附带明确且可获取的数据使用许可。
R1.2 数据和元数据关联有详细的来源与处理记录。
R1.3 数据和元数据符合相关领域的共同体标准。

重用既需要数据在实际操作中能够被理解,也需要明确的使用条件。一个数据集即使易于下载,如果其变量没有文档说明,或法律授权不明确,仍可能难以重用。

来源与处理记录描述数据如何被采集、处理、转换和汇集,可包括仪器、方法、软件版本、处理参数,以及与源数据集之间的关系。数据血缘则记录数据在处理系统中流转和转换的相关信息。

共同体标准规定了各学科特有的要求。根据领域不同,这些标准可能涉及测量单位、最低报告信息要求、术语、文件结构或实验描述。

FAIR 与开放数据

FAIR 与开放数据有所重叠,但并不等同。

开放数据关注人们是否可以按照适当的开放条款访问、使用、修改和再分发数据。FAIR 则关注使资源能够被发现、获取、解读和重用的属性,也包括机器进行这些操作所需的属性。

因此:

  • 公开可下载的数据,如果缺乏持久标识符、文档、有意义的结构或明确的重用条款,其 FAIR 程度仍可能很低。
  • 访问受限的数据,如果其描述可以被发现、访问程序经过标准化,且获授权用户能够获得足以支持重用的信息,也可以具备 FAIR 属性。
  • 同时开放且符合 FAIR 原则的数据,既能满足广泛访问的目标,也能满足有效重用所需的技术要求。

限制可能源于数据隐私、保密要求、同意范围、合同义务或知识产权。FAIR 不会消除这些限制,也不会为披露数据提供法律依据。将某项资源描述为符合 FAIR 原则,同样不能证明其采集或使用在伦理上具有正当性。

在数据系统中的实施

实施 FAIR 通常需要贯穿数据生命周期的协同工作,而不是仅在发布时采取某一项行动。

典型的实施过程包括:

  1. 规划与描述。 选择相关的共同体标准,定义变量,记录采集方法和预期访问条件。
  2. 标识。 为数据集分配稳定的标识符,并在适当情况下为其版本及相关科研对象分配标识符。
  3. 结构化元数据。 同时提供供人阅读的说明和机器可读的描述。
  4. 存储库服务。 提供标识符解析、可搜索索引、标准化获取方式及持久的元数据记录。
  5. 语义整合。 使用有文档说明的词表和明确的关系连接资源。
  6. 重用文档。 记录许可、来源与处理记录、处理历史及领域特定信息。

应用程序编程接口可以向自动化客户端提供元数据或数据。不过,仅有 API 并不能证明符合 FAIR 原则:其文档、标识符、语义、访问条件和长期维护也同样重要。

同样,将数据集存入数据库或存储库,并不会自动使其符合 FAIR 原则。有些属性取决于存储库基础设施,另一些则取决于数据创建者和整理维护人员提供的信息。

示例

以一个河流水质测量数据存储库为例,其实施措施可以包括:

  • 为每个已发布的数据集版本提供持久标识符。
  • 提供可搜索的元数据,描述地点、采样日期、被测物质和采集方法。
  • 通过标准化协议提供获取服务,并在有正当理由时限制访问。
  • 将变量关联到共享词表,并在适用时使用国际单位制表示单位。
  • 在原始观测值、修正值和处理所用软件之间建立明确的链接。
  • 提供清晰的许可,以及有关仪器校准和测量不确定度的文档。

这些措施分别对应不同的 FAIR 要求。但任何一项措施都不能单独证明测量结果正确,或适用于此后的所有分析。

评估与局限

FAIR 符合程度通常通过指标、问卷、成熟度模型和自动化评估工具来衡量。这些评估考察的属性包括标识符的持久性、元数据的完整性、协议支持情况、许可信息和语义引用。

原始原则并未规定单一的通用评分、固定的实施方式或强制认证程序。因此,不同评估在解释、范围和权重上存在差异。评分只有结合所采用的标准和被评估的资源才有意义。

自动化检查特别适合检测机器可读元数据、可解析的标识符和明确的许可声明,但较难判断文档在科学上是否充分、术语使用是否正确,或来源与处理记录是否包含某种特定重用所需的信息。

以下几项区别限定了 FAIR 评估所能证明的内容:

  • 符合 FAIR 原则不等于数据质量高。 数据质量包括准确性、完整性、一致性和对预定用途的适用性等属性。描述完善的数据集仍可能包含严重错误。
  • 符合 FAIR 原则不等于可复现。 复现结果可能还需要可执行代码、计算环境、依赖项,以及数据集元数据未涵盖的细节。
  • 符合 FAIR 原则不等于通过伦理审批或符合法律要求。 技术上的可访问性和清晰的文档,并不能解决同意、权利或可接受使用等问题。
  • 符合 FAIR 原则不保证永久保存。 长期可用性需要持续的资金、保存工作和机构责任作为支撑。

实施 FAIR 还涉及数据整理、术语维护、基础设施和管护方面的成本。不同研究共同体的标准化程度和支持条件各不相同。因此,有意义的评估需要区分可通过机器检测的特征,与实际重用所需的领域特定信息。