元数据是用于描述、识别其他信息资源、为其提供背景或对其进行管理的信息。常见的例子包括书籍的作者和出版日期、照片的曝光设置、数据库列所声明的数据类型,以及科学数据集的生成过程记录。元数据通常被概括为“关于数据的数据”,但当实物、人物、活动和馆藏等在信息系统中得到表征时,元数据也会对它们加以描述。元数据在信息检索、数据管理以及组织与软件系统之间的信息交换中发挥着核心作用。
元数据使资源脱离其创建时的情境后仍可使用。如果不了解测量的物理量、单位、观测时间以及缺失值的处理方式,就无法可靠地解读一张测量数据表。如果缺少标识符、格式信息、所有权记录及依赖关系,数字文件就可能难以查找或保存。因此,元数据将技术处理与机构实践联系起来:其设计不仅反映计算机如何存储信息,也反映各个群体如何界定证据、归属、访问权限与意义。
范围、边界与主要功能
数据与元数据的区别是相对的,而非绝对的。在照片集合中,位置坐标可以是描述照片拍摄地点的元数据。在研究摄影活动时,同样的坐标则成为主要分析数据。图书馆目录相对于其所描述的图书而言是元数据,但目录本身也是可以检索、复制和研究的数据集。元数据记录也可以有自身的元数据,例如编目日期或负责编写描述的机构名称。
在信息管理的各个领域中,有几类常见的元数据功能。描述性元数据通过标题、名称、主题、摘要和关键词,支持资源的识别与发现。结构性元数据记录各个组成部分如何构成一个更大的对象,例如扫描页面的顺序、文章与其补充文件之间的关系,或一份录音中各音轨的排列方式。管理性元数据为管理工作提供支持,可包括技术特征、访问条件、保留要求和保存措施。这些类别之间存在重叠;例如,文件格式既可以帮助用户选择资源,也可以帮助保存系统确定如何维护资源。
元数据还可用于区分看似相似的资源。仅凭标题通常难以明确识别某一出版物,而结合作者、版次、出版日期和标识符等信息,则可能做到这一点。在计算环境中,数据集的版本、模式和生成时间可用于区分不同的发布版本。这些区别会影响可复现性:两个同名文件可能包含不同的观测数据,而名称不同的副本也可能完全相同。标识符、版本关系和完整性信息分别解决这一问题的不同方面,不能相互替代。
描述可以具有不同的粒度。一个存储库可以描述整个集合、集合中的各个数据集、每个数据集中的表,以及每张表中的变量。集合级元数据所需的投入相对较少,但可能掩盖各个条目之间的重要差异。变量级元数据更为精确,但创建和维护所需的工作量也更大。系统通常会结合多个层级,使一份共同描述适用于多个组成部分,同时在各部分单独记录例外情况。
元数据不一定是对资源的客观或详尽描述。其字段选取的是被认为与特定用途相关的特征。博物馆可能描述一件物品的材料、入藏历史和文化背景,而运输系统则描述其重量、尺寸和搬运要求。两种描述都可能准确,却不能相互替代。因此,要理解元数据,就需要了解其预期用途、所描述资源的范围,以及编写描述时遵循的惯例。
历史发展与机构传统
元数据实践的历史远早于电子计算。图书馆目录、档案清册、手稿检索工具和科学标本登记簿,都将描述信息与被描述的对象分开组织。这些系统旨在解决一些反复出现的问题:如何找到某一对象,如何将其与相似对象区分开来,如何将其与相关材料联系起来,以及如何保存有关背景的知识。卡片目录使标准化描述尤为直观,但其成效取决于名称、题名、主题和排列方式所遵循的共同规则,而非卡片本身。
20世纪的计算技术带来了另一条重要的发展脉络:对程序和数据库所用数据结构的描述。文件布局和数据字典规定了字段名称、记录长度、允许值和编码约定等事项。没有这些描述,就无法可靠地解读存储的一串字符或二进制值。“元数据”一词在这一时期逐渐确立为计算领域的术语;与此同时,更早形成的描述实践也日益被移植到机器可读系统中。
图书馆自动化的一项重大进展是MARC,即机读编目。20世纪60年代,亨丽埃特·阿夫拉姆领导美国国会图书馆的相关工作,建立了以机器可处理形式分发目录记录的框架。MARC记录利用编码字段和子字段,区分题名、名称、出版信息和主题等要素。这使各机构能够交换编目成果,而不必反复为同一出版物创建描述。不过,共享记录格式并未消除编目规则或各机构具体做法之间的差异。
万维网的扩展催生了对更简明描述方式的需求,以便跨不同类型的馆藏使用。都柏林核心倡议始于1995年在美国俄亥俄州都柏林举行的一次研讨会。其广为人知的十五项元素包括题名、创建者、主题、描述、出版者、日期、格式、标识符和权限。它的通用性使其适用于多种资源类型,但当不同领域需要更精确的含义时,也就需要补充相应的约定。
后来的发展更加重视明确的关系、机器可读的语义以及跨机构整合。数字图书馆采用了封装与保存标准;科研资源库发展出面向特定领域的描述方式;企业则建立起涵盖数据库、分析系统和报表工具的目录。网络内容发布者越来越多地在页面中嵌入结构化描述,软件服务则通过机器接口提供元数据。这些发展并未取代早先的传统。当代系统通常将图书馆式描述、数据库模式、文件的技术属性以及自动采集的运行记录结合使用。
由此形成的是一个多元化的格局,而非由某一通用标准主导的体系。不同领域关注的对象和问题各有侧重:档案馆重视背景及保管沿革,实验室重视方法和测量条件,数据库系统则重视结构和执行。互操作性有赖于明确这些背后的假设,而不仅仅是采用共同的文件格式。
数据模型、模式与语义精确性
元数据记录并不只是标签和值的列表。要理解一条记录,需要依赖一个模型,明确存在哪些实体,以及它们之间有何关系。出版系统可能会区分概念层面的作品、具体版本和数字文件。科研存储库可能会区分研究、数据集、数据集的分发形式及其负责机构。如果不作这些区分,“日期”这样的字段就可能含义不明,无法确定它指的是创建、出版、观测、修订还是存入的日期。
元数据模式规定了描述的结构和约束条件。它可以指定可用的属性、预期的值类型、必填字段,以及某个属性是否允许重复出现。创建者字段可以允许填写多个人员和机构,而文件大小字段则可能要求填写以字节为单位的非负整数。模式也可以规定字段之间的关系:例如,禁用期结束日期与记录的最后修改日期具有不同的作用。
精确性既依赖形式结构,也依赖对含义的规范。受控词表将取值限制在一组约定的词语之内,从而减少“United Kingdom”“UK”和“U.K.”这样的表述差异。规范控制系统则更进一步,区分不同实体,并将同一实体的不同名称关联到统一的身份标识。这对区分同名人物、处理更名的机构,以及描述名称随语言而异的地理地点尤为重要。词表还可以表达概念之间的上位、下位和相关关系,而不只是提供一份没有结构的允许用词清单。
本体论可以定义类、属性及其关系,并赋予它们适合计算机处理的语义。在资源描述框架(RDF)中,描述由“主语—谓语—宾语”形式的陈述组成。数据集可以通过各自独立的陈述,与其创建者、许可协议和主题建立联系,并使用标识符来区分所涉及的实体和属性。这类描述可以构成知识图谱,但仅有图结构并不能保证断言正确,也不能保证不同发布者对术语的使用保持一致。
元数据模型还必须处理信息缺失和不确定性。缺失值可能表示“未知”“不适用”“未采集”或“不予公开”。将这些状态一概视为等同,可能导致分析失真。同样,不能仅仅因为系统要求提供精确时间戳,就在没有说明的情况下把大致的创建日期转换成精确时间戳。明确的限定信息、置信度信息以及有文档说明的默认值,能够保留原本可能在处理过程中消失的区别。
一个领域的使用者往往会将多个标准中的术语组合成一份应用纲要。纲要规定哪些属性为必填项、适用哪些词表,以及必须执行哪些本地约束。这种做法支持复用,而不必假定某项通用标准已经提供了实际运行所需的全部规则。应用纲要的文档说明至关重要:两个系统可能使用相同的元素名称,却对其含义或允许的取值提出互不兼容的要求。
标准、序列化与互操作性
元数据标准涉及系统的不同层面。有些标准定义概念实体和属性;另一些则规定编目规则、交换协议、验证约束或文件编码。混淆这些层面会产生不切实际的预期。用 XML 或 JSON 对描述进行编码,可以使其具备机器可读性,但这本身并不能明确“创建者”的含义、日期是否包含时区,或某个标识符指向的是数据集还是单个可下载文件。
领域标准提供了更专门的语义。ISO 19115 针对地理信息元数据,涵盖标识、空间参照、质量和分发等方面。数据文献倡议(Data Documentation Initiative,DDI)支持对社会、行为、经济及相关研究数据进行文档化,包括记录变量和研究背景。DataCite 元数据支持研究成果的标识与引用,通常与数字对象标识符相关联。W3C 数据目录词汇表(Data Catalog Vocabulary,DCAT)描述目录中的数据集和数据服务,使不同发布者提供的描述能够汇集在一起。
数字馆藏标准还满足其他需求。元数据编码与传输标准(Metadata Encoding and Transmission Standard,METS)可以将数字对象的描述性、管理性和结构性信息封装在一起。保存元数据:实施策略(Preservation Metadata: Implementation Strategies,PREMIS)数据字典描述与数字保存相关的实体和事件。这些标准可以配合使用:一种标准可以组织对象的各个组成部分,另一种则记录影响这些组成部分的保存事件。它们的职责相互关联,但并不相同。
互操作性包括语法、结构和语义三个维度。语法互操作性是指接收系统能够解析交换格式。结构互操作性是指接收系统能够识别描述的组织方式。语义互操作性是指接收系统能够以足够兼容的方式理解描述。包含“03/04/2024”的字段在语法上很简单,但如果不知道采用哪种日期惯例,其语义就存在歧义。同样,两个系统都可能记录“覆盖范围”,但一个指的是地理范围,另一个指的却是时间范围。
**交叉映射(crosswalk)**用于建立不同元数据模式中元素之间的对应关系。当两个模式以相近的精细程度表达同一概念时,可以直接建立映射。另一些映射则会造成信息损失。将名字和姓氏合并为一个创建者字符串后,可能就无法可靠地还原原来的各个部分。将若干专门的日期属性映射到一个通用日期属性,会抹去它们之间的区别。因此,交叉映射需要制定转换规则,处理无法映射的值,并记录已知的信息损失。
交换机制也会影响互操作性。开放档案倡议元数据采集协议(Open Archives Initiative Protocol for Metadata Harvesting,OAI-PMH)于 2002 年发布了 2.0 版,允许存储库开放记录供外部采集,并支持根据日期戳和集合进行选择性检索。其他系统则使用应用程序编程接口,或批量分发文件。无论采用何种传输方式,有效的交换都依赖于稳定的标识符、明确的版本信息、一致的删除处理方式,以及明确每项描述以哪个系统为权威来源。
计算系统中的元数据
在数据库中,元数据描述表、列、数据类型、约束、索引、视图和权限。数据库管理系统依据这些描述来解释查询并执行规则。例如,外键约束规定表之间允许存在的关系,而唯一性约束则规定哪些重复值不被允许。这些描述既是文档,也是系统运行所依据的指令:修改它们可能会改变系统接受哪些数据。
数据库目录还包含用于制定执行计划的信息。查询优化器在选择全表扫描还是索引查找时,可能会参考行数、值的分布以及不同值数量的估计值。这些统计信息不同于模式本身。模式定义允许的数据结构,优化器统计信息则概括实际观测到的数据内容。即使存储的数据和模式仍然有效,过时的统计信息也可能导致低效的执行计划。目录信息通常通过系统表提供;在SQL结构化查询语言的实现中,也可以通过其所支持的信息模式部分来获取。
文件系统维护着另一类常见的元数据:文件名、所有者、权限、大小、时间戳和空间分配信息。在类 Unix 系统中,inode(索引节点)存储文件的多种属性,而目录项将名称与 inode 编号关联起来。因此,文件名与文件的底层标识并不是一回事。多个目录项可以通过硬链接指向同一个文件。不同时间戳的含义也各不相同:inode 的变更时间记录的是文件状态发生变化的时间,不一定是文件的创建时间。
计算系统使用结构性元数据来解读所存储数据的格式。PNG 图像除了包含压缩的图像内容外,还包含描述尺寸、颜色表示方式及其他特征的数据块。列式分析格式可以包含模式、行组位置和统计信息,使软件能够跳过文件中不相关的部分。字节顺序标记、字符编码声明或格式版本,都可能决定一个字节序列应如何解码。错误的解读可能产生无法阅读的文本,或看似合理却不正确的值。
在分布式计算中,元数据可能成为关键的协调资源。存储系统可能需要维护逻辑对象到物理位置的映射、跟踪副本,或记录用于解决更新冲突的版本。因此,元数据服务本身也有一致性、可用性和可扩展性要求。即使系统中的数据块完好无损,一旦命名空间或位置信息丢失,也可能无法检索这些数据块。恢复和数据备份方案必须同时考虑存储的内容,以及识别和重建这些内容所必需的元数据。
元数据与内容之间的区别,并不代表重要程度的高低。一条很小的目录记录就可能控制对一个大得多的对象的访问,而一次模式变更则可能影响使用某张表的所有应用程序。因此,元数据出现故障所造成的影响,可能远远超出其存储体量所暗示的程度。
Web、文档与媒体元数据
在 Web 上,元数据既存在于文档内部,也存在于传输文档所用的协议中。超文本标记语言页面可以声明其标题、字符编码、语言和描述性信息。超文本传输协议的响应头会传达媒体类型、缓存指令,以及用于判断资源表示是否发生变化的验证器等属性。这些机制服务于不同的使用者:供人阅读的描述有助于资源发现,而缓存验证器则有助于提高网络运行效率。
嵌入页面的结构化描述能够更明确地表达实体及其关系。Schema.org 为此提供了一套广泛使用的词汇,涵盖人物、组织、产品、事件和创意作品等。发布者可以使用 JSON-LD、RDFa 或微数据(HTML)来表达结构化数据。介绍某项活动的页面可以明确区分活动的开始时间、场地、主办方和售票信息,而不必让软件从自然语言文本中推断这些关系。搜索服务可能会利用这些信息来理解页面,但添加标记并不保证页面会以某种特定方式展示或获得某个排名。
数字图像通常包含可交换图像文件格式元数据。根据设备和设置的不同,这些元数据可能包括曝光时间、光圈、感光度、相机型号、方向、拍摄时间和地理坐标。这些值能够说明图像制作的某些情况,但其真实性并非天然有保障。时钟可能不准,软件可能修改字段,图像处理也可能移除元数据。方向字段还可以在不改变图像像素存储排列方式的情况下影响显示效果。
其他媒体和文档生态系统采用不同的惯例。音频文件可以通过 ID3 等标签格式携带标题、艺术家、专辑和曲目信息。PDF 文档可以包含文档信息字段和嵌入式元数据包。可扩展元数据平台(XMP)提供了一个在多种文件类型中嵌入结构化元数据的框架。专业出版工作流程可能会整合描述性信息、版权信息和编辑信息,不同应用程序则读取或写入其中不同的部分。
元数据可以嵌入资源内部,存储在单独的伴随文件中,也可以由外部存储库管理。嵌入方式使描述与对象紧密相连,但可能增加更新成本,也可能受到文件格式的限制。伴随文件无需改动原始文件,却可能在复制或重命名过程中与原文件分离。外部目录支持集中检索和更丰富的关系表达,但需要可靠的标识符来维持描述与对象之间的关联。
多个副本会带来同步问题。摄影师可能在目录中修改了图片说明,而导出的图像仍保留着先前嵌入的说明。网站显示的发布日期可能与其结构化数据中的日期不同。因此,系统需要制定优先级、更新传播和冲突处理规则。一个字段的存在本身,并不能证明其内容是最新的、具有权威性,或与其他表示形式一致。
科学数据、来源溯源与数字保存
科学元数据说明观测数据和计算结果是如何产生的,以及它们意味着什么。温度测量所需的不只是一个数值:对测量结果的解释可能取决于单位、传感器位置、校准情况、采样间隔和时间基准。地理坐标需要参照系统,而以编码表示的问卷回答则需要说明编码的定义和所提的问题。缺少这些背景信息,即使数据在技术上完好无损,也可能无法用于科学研究,或者很容易被误读。
学科领域的规范承载着通用描述方式难以高效表达的知识。适用于 netCDF 数据的气候与预报(CF)规范,描述了解读环境数据集所需的物理量、坐标、单位及其相互关系。在实验研究中,元数据可以描述仪器、实验方案、样品制备和质量控制程序。适宜的详细程度取决于学科和预期的再利用方式。一条简短的检索记录可以标识一个数据集,却很少能提供重现其生成或分析过程所需的全部信息。
数据来源与溯源记录信息的起源及其转换过程。一个工作流可以将原始观测数据与校正后的测量值、衍生表格以及发表的图件关联起来。有用的溯源记录可以明确输入数据的版本、处理软件、参数、负责的主体和执行时间。W3C PROV 系列规范对实体、活动与主体之间的关系进行建模。溯源记录并不等同于处理日志:日志记录事件,而溯源表示则组织证据,说明特定输出是如何产生的。
2016 年发布的FAIR数据原则提出了使数据可发现、可访问、可互操作和可重用的目标。元数据对每项目标都至关重要。丰富的描述和持久标识符支持数据发现;有文档说明的访问流程解释如何获取数据;共用的语言和词汇表有助于理解;许可协议、溯源信息和领域标准则支持数据重用。FAIR 并不意味着所有数据都必须能够公开下载。数据集的元数据可以供公众检索发现,而访问其内容仍需获得授权。
长期保存所需的信息超出了即时科学解读的需要。存储库可以记录文件格式、依赖项、完整性检查、权利信息,以及对数字对象执行过的操作。密码散列函数生成的摘要可用于检测文件内容的变化。摘要一致可以为字节未发生变化的判断提供依据,但仅凭这一点,无法证明作者身份、科学有效性或某项描述性声明的真实性。这些问题需要额外的证据和信任机制。
保存操作本身也会生成元数据。一次格式迁移可以记录源对象、使用的软件、日期、输出对象和验证结果。保留这些关联关系,有助于区分原始文件与后续生成的其他表示形式。溯源与保存描述还必须明确自身的覆盖范围:即使其余记录十分详尽,一个未记录的处理步骤或一项缺少文档说明的仪器校正,也可能留下重大缺口。
创建、质量控制与组织治理
元数据通过多种过程创建。人们提供标题、主题、说明以及基于背景的判断;仪器和软件采集技术属性;提取工具读取现有结构;统计系统则推断分类或关系。这些方法各有所长。自动提取适合获取文件尺寸或声明的编码,而判断档案文献的历史意义则可能需要专业知识。自动生成的值并不一定正确,不能仅因其生成方式一致就认定其可靠。
质量涉及多个维度,包括完整性、准确性、一致性、符合性和时效性。一条记录即使包含所有必填字段,也可能描述了错误的对象。反之,一条简短的记录可能准确,却不足以满足某种特定用途。符合性检查用于验证形式要求,例如日期是否符合预期格式,或某个值是否属于获准使用的词表。但这类检查通常无法判断所记录的日期是否与实际事件相符。
因此,质量衡量取决于明确界定的要求。如果某个应用配置要求包含 个适用元素,其中 个已填入内容,那么一种简单的完整性度量为
这一指标衡量的是字段是否有内容,而非内容的真实性或实用性。更严格的评估会考察字段之间的关系,将描述与源材料进行比对,或测试用户能否完成资源发现与再利用任务。一个地理边界框可能在形式上有效,却框住了错误的大陆;一个许可字段可能并非空白,但其中的措辞过于含糊,无法据此确定允许的用途。
组织通常会维护数据目录,将技术资产清单与业务定义、责任人、访问流程和数据血缘整合在一起。业务术语表可能会定义“活跃客户”,而技术元数据则指出实现该定义所用的表和转换过程。政策层面的定义与分析中的实现之间存在差异,可能正是两份报告得出不同数字的原因。只有当描述始终与实际系统和职责相联系时,数据目录才能让这些差异清晰可见。
治理明确了创建、审批、修改和停用元数据的权限。数据管护员可能负责维护定义,系统管理员负责管理技术属性,法律团队则负责规定权利信息。版本控制和审计追踪有助于区分有意变更与意外偏移。模式演进尤其需要谨慎:重命名字段与改变其含义并不相同,而保留旧标签却改变其语义,可能会在不知不觉中破坏下游使用。
包括机器学习在内的自动分类方法可以辅助处理大规模集合,但推断得到的元数据具有不确定性。分类器可能会错误地分配主题类别,生成的描述也可能引入缺乏依据的细节。有效的工作流程会区分提取得到的值、明确声明的值和推断得到的值,记录其来源,并允许纠正。因此,元数据维护是一项持续的日常工作,而不是在资源入库时执行一次便告完成的步骤。
隐私、安全与解读的局限
即使不包含消息内容或文档正文,元数据也可能具有敏感性。通信记录可能揭示谁与谁联系、何时联系、联系频率,以及联系时使用的网络或所在位置。图像中的坐标可能暴露家庭住址,文档属性则可能泄露个人姓名、编辑历史或组织内部信息。这些字段的重要性取决于其所处的情境及其组合方式,而不只是它们通常是否被归为元数据。
汇总分析可能揭示孤立记录无法呈现的关联。反复记录的位置可能暴露日常活动规律,而将时间戳与其他数据集结合,则可能把化名活动关联到可识别的个人。删除直接标明身份的姓名,并不一定能消除这些可能性。因此,在数据隐私保护中,元数据需要与实质性内容一并考虑。欧盟《通用数据保护条例》适用于与已识别或可识别的自然人有关的信息;仅仅将这类信息称为元数据,并不能使其脱离这一定义的范围。
访问控制可能需要区分描述信息的可见性与对资源本身的访问权限。资源库可以允许用户发现某个数据集,同时限制访问其内容,但即便是数据集的标题、主题或采集日期,也可能泄露敏感事实。反过来,将元数据完全保密,也可能使合法发现资源和受控访问变得困难。系统可以通过字段级访问限制、将公开记录与内部记录分开,或为不同用户群体提供不同视图,来实现这些区分。
元数据还会影响信息安全,因为应用程序会根据元数据采取行动。文件类型声明、授权属性、对象标识符和来源说明都可能影响处理决策。文件扩展名或声明的媒体类型,并不能确凿证明文件实际包含什么内容。同样,只有由可信流程分配访问控制标签,并由执行机制正确落实,标签才有用。不可信的元数据可能遭到篡改,用来误导用户、扰乱解析器,或触发存在漏洞的软件执行不安全操作。
数字签名有助于确认某一特定形式的元数据由某个密钥持有者签署,且此后未被更改。但它本身并不能证明其中的陈述在签署时属实。长期验证还取决于密钥管理、证书有效性以及签名所覆盖的元数据形式是否得到保存等因素。认证一项陈述的来源、校验其结构,以及核实其事实准确性,是不同的操作。
描述信息也可能保留有争议的分类、过时的术语,或不完整的来源叙述。在图书馆、档案馆和博物馆中,修订这类元数据可能既要保留历史措辞,又要补充背景说明并记录变更。这会引出一些实际问题:描述采用了谁的术语,不同描述如何共存,以及用户如何区分沿用的旧标签与机构当前作出的陈述。元数据系统通过所用词汇、归属标注惯例、版本历史和异议记录机制,将这些选择呈现出来。