{
  "id": "data-catalog",
  "title": "数据目录",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "数据目录是可搜索的数据资产及其元数据清单，支持数据发现、理解、治理和复用。",
  "category": "computer-science",
  "subcategory": "software",
  "type": "concept",
  "aliases": [],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/data-catalog/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/data-catalog/",
      "json": "https://aiwiki.page/en/data-catalog.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "数据目录是经过组织、可供搜索的数据资产及其描述性元数据清单。它帮助用户发现有哪些数据，理解数据的含义和来源，确定相关责任人，并了解如何访问或使用这些数据。目录收录的资产可以包括表、文件、数据集、数据服务、报表及其他资源。目录通常存储这些资产的描述和引用，而不是充当数据本身的主要存储位置。"
    },
    {
      "heading": "目的与范围",
      "text": "组织的数据往往分散在业务系统、分析平台、各个部门和外部供应商中。知道某个数据集存在，并不一定能判断它是否与需求相关、是否为最新版本、是否可信，或是否可用于某个特定目的。目录将这些背景信息汇集到一个统一的数据发现环境中。\n\n目录可以回答以下问题：\n\n- 哪个数据集包含某项指标或某个业务概念？\n- 某个字段是什么意思，又是如何计算的？\n- 谁负责维护这个数据集？\n- 它最近一次更新是什么时候？\n- 它依赖哪些上游来源，又有哪些下游报表依赖它？\n- 有哪些使用限制，应如何申请访问权限？\n\n目录为数据管理提供支持，但其覆盖范围各不相同。企业级目录可能涵盖多个系统和业务领域；科研目录可能侧重研究方法、数据溯源、引用方式和复用条件；公共部门目录可能发布开放数据集的描述。特定平台的目录则可能只描述某项服务内部的资产。\n\n发现资产与访问资产是两回事。目录可以披露某项资产的存在，而不授予获取它的权限；不过，即使只是披露其存在，也可能需要加以限制。"
    },
    {
      "heading": "收录的信息",
      "text": "目录将从系统自动获取的元数据与人工提供或审核的信息结合起来。\n\n元数据类别 | 典型内容\n技术信息 | 资产位置、文件格式、列、数据类型、模式、分区和关系\n业务与语义信息 | 定义、描述、核准术语、计算规则和预期用途\n管理信息 | 所有者、数据管家、联系人、发布状态、许可证和保留要求\n运行信息 | 更新时间、处理状态、使用统计和服务预期\n质量与溯源信息 | 质量度量、已知局限、源系统和转换历史\n安全与策略信息 | 敏感性标签、访问限制和允许用途分类\n\n技术描述通常包括数据库模式，而数据血缘则记录来源、转换过程与输出之间的关系。数据质量信息可以描述完整性、有效性或新鲜度，但这些属性都需要明确的定义：最近更新的数据集并不一定准确，也不一定适合所有用途。\n\n业务术语表为“活跃客户”或“净收入”等术语提供定义。将这些术语关联到实际字段，有助于区分业务含义与实现方式。同一个术语在不同领域可能有不同定义，目录必须能够表达这些差异，而不是不加说明地将其视为等同。"
    },
    {
      "heading": "架构与运行",
      "text": "元数据获取\n\n目录通过连接器、定期扫描、事件、手动录入和应用程序编程接口获取元数据。连接器可以检查数据库、数据仓库、文件存储库、处理平台和报表系统。\n\n典型的获取活动包括：\n\n- 读取系统元数据，以识别表、列和数据类型。\n- 检查文件，以推断其结构和格式。\n- 收集处理日志或解析SQL结构化查询语言，以推断依赖关系。\n- 导入描述、归属记录和策略标签。\n- 对选定数据进行剖析，以生成统计摘要。\n\n数据剖析不同于元数据提取，因为它会检查实际数据值。这可能需要额外权限、产生处理成本，并暴露敏感信息。因此，不同目录的做法有所不同：有的保留样本值，有的只存储汇总结果，有的则完全不检查数据值。\n\n元数据模型与存储\n\n收集到的信息会被映射到元数据模型中，该模型描述资产类型、属性、标识符和关系。稳定的标识符有助于区分名称相似的资产，并在名称或位置发生变化时保留引用关系。\n\n目录可以采用关系型存储、文档存储、图存储，或将这些方式结合使用。有些目录将元数据表示为知识图谱，从而能够从一份报表出发，沿关系查找其底层表、转换过程、所有者及相关业务概念。基于图的实现是一种架构选择，而不是数据目录的必要特征。\n\n确定不同记录是否指向同一资产是一项重大挑战。复制的表、导出的文件和报表可能表达相关信息，但并不是同一项资产。错误地将它们合并，可能掩盖重要差异；将每个副本都视为毫无关联，则可能使搜索结果和血缘关系难以理解。\n\n搜索与交互\n\n目录界面通常提供关键词搜索、筛选、浏览、资产详情页和程序化访问。信息检索技术根据名称、描述、术语及其他信号对结果进行排序。排序也可能考虑使用情况、新鲜度或审核状态，但受欢迎程度并不能证明数据正确。\n\n有些系统使用机器学习来建议分类、检测相似数据集或推断关系。这些建议性元数据仍可能出错，因而可能需要人工审核。\n\n维护\n\n随着源系统演变，元数据也会发生变化。目录维护包括发现新资产、更新描述和关系、停用过时条目，以及保留有用的历史记录。定期采集会使源系统变更与其在目录中的呈现之间产生延迟；事件驱动的更新可以缩短这一延迟，但依赖可靠的系统集成。\n\n即使目录在技术上仍可正常访问，其归属记录、定义或来源引用也可能已经过时，从而降低目录的实用价值。"
    },
    {
      "heading": "治理与安全",
      "text": "目录通常通过将资产与明确承担责任的所有者、数据管护流程、分类和策略关联起来，为数据治理提供支持。审核工作流可以区分自动发现的资产，以及文档已针对某一明确用途接受核查的资产。\n\n此类标签需要有明确的判定标准。“已认证”可能表示某项资产已有指定所有者、计算方法已有文档说明，并设有明确的质量检查；它并不意味着该资产适合所有用途。\n\n目录可以与访问控制系统集成，以显示权限或转交访问申请。实际的权限执行仍可能由底层存储或处理平台负责。目录中记录的策略，只有在相关系统或流程实际应用它时，才会产生约束作用。\n\n元数据本身也可能是敏感信息。资产名称、字段名称、血缘关系、查询历史和样本都可能泄露机密活动或个人信息。因此，保护数据隐私不仅涉及控制对底层记录的访问，也涉及控制目录内容的可见性。基于权限的搜索还需要考虑摘要片段、关系视图和汇总结果，因为它们也可能披露受限信息。"
    },
    {
      "heading": "与相近系统的关系",
      "text": "一些相关系统与数据目录存在功能重叠，但并不相同：\n\n- 数据库系统目录：数据库管理系统用于管理表、索引、权限等对象的内部元数据。企业级数据目录可以从多个系统收集这些信息。\n- **数据字典：**对字段、类型、约束和含义的详细描述，通常限于某个应用程序或数据库。\n- **业务术语表：**业务术语的定义及其相互关系，可以独立于实际数据资产存在。\n- **元数据存储库：**范围更广的元数据存储类别；数据目录则着重于数据发现和背景信息的理解。\n- **数据市场：**在目录式发现功能的基础上，可能进一步提供申请、开通、订阅或商业交易工作流的环境。\n\n目录本身并不必然是查询引擎、备份系统或数据集成平台。产品可以将这些功能组合起来，但列出某项资产，并不意味着目录存储了该资产的内容，或能够对其执行查询。"
    },
    {
      "heading": "发展与互操作性",
      "text": "数据目录由多种既有系统发展而来，包括数据库字典、企业元数据存储库、科学数据目录和公共数据门户。随着分析环境扩展到不同平台并跨越组织边界，目录越来越多地将自动发现与业务描述、归属信息和治理工作流相结合。\n\n当元数据需要在目录之间交换，或跨机构汇总时，互操作性十分重要。万维网联盟制定了数据目录词汇表（DCAT），这是一套用于描述目录、数据集、数据服务和分发形式的资源描述框架词汇。分发形式表示数据集的一种可访问形式，例如可下载的文件。\n\n共享词汇有助于信息交换，但不能消除含义上的差异。不同目录在标识符、分类体系、许可条款或数据集的边界上，仍可能存在分歧。应用规范可以为特定社群规定额外的约定。"
    },
    {
      "heading": "应用与局限",
      "text": "目录支持分析所需的数据发现、现有数据集的复用、文档编制和影响分析。在数据工程中，血缘和归属信息有助于在修改数据管道或字段之前识别依赖关系。科研和公共数据目录则帮助用户评估数据的来源、覆盖范围和复用条件。\n\n目录的实用性取决于覆盖范围和元数据质量。其主要局限包括：\n\n- **发现不完整：**不受支持的系统、本地文件和人工交换的数据可能仍无法被发现。\n- **血缘不完整：**动态代码、外部处理和手动转换可能导致依赖关系记录存在缺口。\n- **语义歧义：**名称相似不代表含义相同，模式匹配也不保证数据具有可比性。\n- **自动化不可靠：**推断出的描述、分类和关系可能有误。\n- **维护负担：**有关定义、归属和适当用途的人类知识需要持续维护。\n- **可见性不均：**安全限制可能使用户无法看到足够的背景信息，因而难以评估某项资产。\n\n因此，不能仅以已索引资产的数量衡量目录的成效。相关指标包括元数据新鲜度、资产归属信息的覆盖率、搜索成功率、尚未弥补的文档缺漏，以及用户能否找到适合其具体任务的数据。"
    }
  ],
  "links": [
    "metadata",
    "data-management",
    "database-schema",
    "data-lineage",
    "data-quality",
    "application-programming-interface",
    "database",
    "data-warehouse",
    "sql",
    "knowledge-graph",
    "information-retrieval",
    "machine-learning",
    "data-governance",
    "access-control",
    "data-privacy",
    "database-management-system",
    "interoperability",
    "world-wide-web-consortium",
    "resource-description-framework",
    "data-engineering"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}