数据目录是经过组织、可供搜索的数据资产及其描述性元数据清单。它帮助用户发现有哪些数据,理解数据的含义和来源,确定相关责任人,并了解如何访问或使用这些数据。目录收录的资产可以包括表、文件、数据集、数据服务、报表及其他资源。目录通常存储这些资产的描述和引用,而不是充当数据本身的主要存储位置。
目的与范围
组织的数据往往分散在业务系统、分析平台、各个部门和外部供应商中。知道某个数据集存在,并不一定能判断它是否与需求相关、是否为最新版本、是否可信,或是否可用于某个特定目的。目录将这些背景信息汇集到一个统一的数据发现环境中。
目录可以回答以下问题:
- 哪个数据集包含某项指标或某个业务概念?
- 某个字段是什么意思,又是如何计算的?
- 谁负责维护这个数据集?
- 它最近一次更新是什么时候?
- 它依赖哪些上游来源,又有哪些下游报表依赖它?
- 有哪些使用限制,应如何申请访问权限?
目录为数据管理提供支持,但其覆盖范围各不相同。企业级目录可能涵盖多个系统和业务领域;科研目录可能侧重研究方法、数据溯源、引用方式和复用条件;公共部门目录可能发布开放数据集的描述。特定平台的目录则可能只描述某项服务内部的资产。
发现资产与访问资产是两回事。目录可以披露某项资产的存在,而不授予获取它的权限;不过,即使只是披露其存在,也可能需要加以限制。
收录的信息
目录将从系统自动获取的元数据与人工提供或审核的信息结合起来。
| 元数据类别 | 典型内容 |
|---|---|
| 技术信息 | 资产位置、文件格式、列、数据类型、模式、分区和关系 |
| 业务与语义信息 | 定义、描述、核准术语、计算规则和预期用途 |
| 管理信息 | 所有者、数据管家、联系人、发布状态、许可证和保留要求 |
| 运行信息 | 更新时间、处理状态、使用统计和服务预期 |
| 质量与溯源信息 | 质量度量、已知局限、源系统和转换历史 |
| 安全与策略信息 | 敏感性标签、访问限制和允许用途分类 |
技术描述通常包括数据库模式,而数据血缘则记录来源、转换过程与输出之间的关系。数据质量信息可以描述完整性、有效性或新鲜度,但这些属性都需要明确的定义:最近更新的数据集并不一定准确,也不一定适合所有用途。
业务术语表为“活跃客户”或“净收入”等术语提供定义。将这些术语关联到实际字段,有助于区分业务含义与实现方式。同一个术语在不同领域可能有不同定义,目录必须能够表达这些差异,而不是不加说明地将其视为等同。
架构与运行
元数据获取
目录通过连接器、定期扫描、事件、手动录入和应用程序编程接口获取元数据。连接器可以检查数据库、数据仓库、文件存储库、处理平台和报表系统。
典型的获取活动包括:
- 读取系统元数据,以识别表、列和数据类型。
- 检查文件,以推断其结构和格式。
- 收集处理日志或解析SQL结构化查询语言,以推断依赖关系。
- 导入描述、归属记录和策略标签。
- 对选定数据进行剖析,以生成统计摘要。
数据剖析不同于元数据提取,因为它会检查实际数据值。这可能需要额外权限、产生处理成本,并暴露敏感信息。因此,不同目录的做法有所不同:有的保留样本值,有的只存储汇总结果,有的则完全不检查数据值。
元数据模型与存储
收集到的信息会被映射到元数据模型中,该模型描述资产类型、属性、标识符和关系。稳定的标识符有助于区分名称相似的资产,并在名称或位置发生变化时保留引用关系。
目录可以采用关系型存储、文档存储、图存储,或将这些方式结合使用。有些目录将元数据表示为知识图谱,从而能够从一份报表出发,沿关系查找其底层表、转换过程、所有者及相关业务概念。基于图的实现是一种架构选择,而不是数据目录的必要特征。
确定不同记录是否指向同一资产是一项重大挑战。复制的表、导出的文件和报表可能表达相关信息,但并不是同一项资产。错误地将它们合并,可能掩盖重要差异;将每个副本都视为毫无关联,则可能使搜索结果和血缘关系难以理解。
搜索与交互
目录界面通常提供关键词搜索、筛选、浏览、资产详情页和程序化访问。信息检索技术根据名称、描述、术语及其他信号对结果进行排序。排序也可能考虑使用情况、新鲜度或审核状态,但受欢迎程度并不能证明数据正确。
有些系统使用机器学习来建议分类、检测相似数据集或推断关系。这些建议性元数据仍可能出错,因而可能需要人工审核。
维护
随着源系统演变,元数据也会发生变化。目录维护包括发现新资产、更新描述和关系、停用过时条目,以及保留有用的历史记录。定期采集会使源系统变更与其在目录中的呈现之间产生延迟;事件驱动的更新可以缩短这一延迟,但依赖可靠的系统集成。
即使目录在技术上仍可正常访问,其归属记录、定义或来源引用也可能已经过时,从而降低目录的实用价值。
治理与安全
目录通常通过将资产与明确承担责任的所有者、数据管护流程、分类和策略关联起来,为数据治理提供支持。审核工作流可以区分自动发现的资产,以及文档已针对某一明确用途接受核查的资产。
此类标签需要有明确的判定标准。“已认证”可能表示某项资产已有指定所有者、计算方法已有文档说明,并设有明确的质量检查;它并不意味着该资产适合所有用途。
目录可以与访问控制系统集成,以显示权限或转交访问申请。实际的权限执行仍可能由底层存储或处理平台负责。目录中记录的策略,只有在相关系统或流程实际应用它时,才会产生约束作用。
元数据本身也可能是敏感信息。资产名称、字段名称、血缘关系、查询历史和样本都可能泄露机密活动或个人信息。因此,保护数据隐私不仅涉及控制对底层记录的访问,也涉及控制目录内容的可见性。基于权限的搜索还需要考虑摘要片段、关系视图和汇总结果,因为它们也可能披露受限信息。
与相近系统的关系
一些相关系统与数据目录存在功能重叠,但并不相同:
- 数据库系统目录:数据库管理系统用于管理表、索引、权限等对象的内部元数据。企业级数据目录可以从多个系统收集这些信息。
- **数据字典:**对字段、类型、约束和含义的详细描述,通常限于某个应用程序或数据库。
- **业务术语表:**业务术语的定义及其相互关系,可以独立于实际数据资产存在。
- **元数据存储库:**范围更广的元数据存储类别;数据目录则着重于数据发现和背景信息的理解。
- **数据市场:**在目录式发现功能的基础上,可能进一步提供申请、开通、订阅或商业交易工作流的环境。
目录本身并不必然是查询引擎、备份系统或数据集成平台。产品可以将这些功能组合起来,但列出某项资产,并不意味着目录存储了该资产的内容,或能够对其执行查询。
发展与互操作性
数据目录由多种既有系统发展而来,包括数据库字典、企业元数据存储库、科学数据目录和公共数据门户。随着分析环境扩展到不同平台并跨越组织边界,目录越来越多地将自动发现与业务描述、归属信息和治理工作流相结合。
当元数据需要在目录之间交换,或跨机构汇总时,互操作性十分重要。万维网联盟制定了数据目录词汇表(DCAT),这是一套用于描述目录、数据集、数据服务和分发形式的资源描述框架词汇。分发形式表示数据集的一种可访问形式,例如可下载的文件。
共享词汇有助于信息交换,但不能消除含义上的差异。不同目录在标识符、分类体系、许可条款或数据集的边界上,仍可能存在分歧。应用规范可以为特定社群规定额外的约定。
应用与局限
目录支持分析所需的数据发现、现有数据集的复用、文档编制和影响分析。在数据工程中,血缘和归属信息有助于在修改数据管道或字段之前识别依赖关系。科研和公共数据目录则帮助用户评估数据的来源、覆盖范围和复用条件。
目录的实用性取决于覆盖范围和元数据质量。其主要局限包括:
- **发现不完整:**不受支持的系统、本地文件和人工交换的数据可能仍无法被发现。
- **血缘不完整:**动态代码、外部处理和手动转换可能导致依赖关系记录存在缺口。
- **语义歧义:**名称相似不代表含义相同,模式匹配也不保证数据具有可比性。
- **自动化不可靠:**推断出的描述、分类和关系可能有误。
- **维护负担:**有关定义、归属和适当用途的人类知识需要持续维护。
- **可见性不均:**安全限制可能使用户无法看到足够的背景信息,因而难以评估某项资产。
因此,不能仅以已索引资产的数量衡量目录的成效。相关指标包括元数据新鲜度、资产归属信息的覆盖率、搜索成功率、尚未弥补的文档缺漏,以及用户能否找到适合其具体任务的数据。