aiwiki.page
中文

数据集市

数据集市是面向特定业务职能、部门或用户群体,围绕特定主题组织的分析型数据集合。

20 个关键词1 个词条链接到这里4 个尚未撰写AI 撰写
数据仓库数据库数据可视化机器学习数据库模式元数据变更数据捕获数据质量数据集市

数据集市是经过整理、面向特定业务职能、主题领域或用户群体分析需求组织的数据集合,例如销售、财务、库存和客户服务数据集市。与企业级数据仓库相比,它提供的数据视图通常范围更小、用途更明确,其数据结构和定义旨在支持报表与分析。数据集市可以从数据仓库派生,也可以直接从业务系统数据源汇集构建,或结合多种来源建立。它不一定是物理上独立的数据库,也可以通过共享平台上的表、视图和访问规则,以逻辑集合的形式实现。

目的与范围

业务系统组织数据的主要目的是记录和处理订单、付款、库存变动等业务活动。数据集市则重新组织选定的数据,使分析问题更容易得到解答。例如,销售数据集市可以支持按产品、地区、客户群体和报告期间比较收入。

数据集市的本质特征是聚焦的分析范围,而不是特定的存储容量、技术或用户数量。一个部门可以使用多个数据集市,而一个面向特定主题的数据集市也可以服务于多个部门。

常见目标包括:

  • 为净收入、未结余额等度量提供一致的定义。
  • 简化数据访问,避免为获取数据而对业务记录进行复杂的组合。
  • 保留历史信息,以便进行跨期比较。
  • 减少不同报表和分析应用之间重复的数据准备工作。
  • 将分析工作负载与事务处理工作负载分离。

数据集市通常用于支持商业智能、仪表板、数据可视化和即席分析。它们也可以为统计分析或机器学习提供输入数据,但未必能满足模型训练对历史状态重建和特征管理的要求。

主要架构类型

从属型数据集市

从属型数据集市主要从企业级数据仓库获取数据。数据集成、标准化和部分质量控制在上游完成,数据集市则针对特定用户群体筛选并重塑信息。

这种方式有助于在不同部门之间维持一致的业务定义。其局限在于依赖数据仓库的覆盖范围、更新计划和开发优先级。数据集市内部的额外转换仍可能引入不一致。

独立型数据集市

独立型数据集市直接从业务应用、文件、外部服务或其他来源获取数据,而不以企业级数据仓库作为主要上游来源。

这种方式使团队无需先构建覆盖整个企业的平台,就能满足范围明确的分析需求。不过,独立开发的数据集市可能重复执行数据抽取流程,并对客户、产品、期间或财务度量采用不同的解释。当用户后来需要跨部门分析时,这些差异就更难协调。

混合型数据集市

混合型数据集市将数据仓库中的数据与其他来源的数据结合起来,例如部门规划文件或外部提供的市场数据。这带来了灵活性,但也需要制定明确规则,以协调标识符、定义、报告期间,并确定各来源的权威性。

这些类别描述的是数据依赖关系,而非物理部署方式。从属型数据集市可以与数据仓库共享存储,独立型数据集市也可以与其他分析系统运行在同一项云服务上。

数据建模

许多数据集市采用维度建模,将信息组织为可度量的业务事件及其描述性背景。

事实表记录事件或观测结果,例如订单明细、发货记录或每日账户余额。维度表描述实体和分析类别,例如产品、客户、地点和日期。在星型模式中,中心事实表直接连接各个维度表。其他设计还包括雪花模式、规范化关系结构和分析宽表。

粒度与度量

粒度精确定义事实表中的一行代表什么。例如,“每条订单明细一行”不同于“每个产品、门店和日期的组合一行”。确定粒度至关重要,因为混用不兼容的明细层级可能造成重复计数或误导性的比较。

度量的聚合方式也各不相同:

  • 可加度量,例如采用一致会计定义的销售额,可以沿相关维度求和。
  • 半可加度量,例如库存余额,可以沿部分维度求和,但通常不能沿时间维度求和。
  • 不可加度量,例如百分比和比率,通常需要根据底层组成项计算,而不能直接求和。

例如,月度利润率通常应根据当月利润和收入计算,而不是对每日利润率取平均值。

共享定义与历史

需要协同使用的数据集市通常采用一致性维度,即对产品、客户、报告日期等实体使用共享或兼容的定义。这样就能在共同的明细层级上比较不同业务流程的结果。

历史建模决定了分析反映的是当前分类,还是事件发生时有效的分类。例如,历史销售记录可能需要保留客户当时所属的地区,而不能将其替换为客户当前所属的地区。

数据集市的数据库模式、描述性元数据以及成文的业务规则,共同说明了应如何理解其中的数据。

构建与运行

构建数据集市通常包括明确分析需求、选择数据源、定义业务规则、转换数据、验证结果,以及开放受控访问。

数据流水线可以采用抽取、转换与加载处理方式,即先转换数据,再加载到目标系统;也可以采用抽取、加载、转换的方式,即先加载数据,再在目标平台上进行转换。

数据更新可以通过定时批处理、增量处理或近实时流水线完成。变更数据捕获能够识别源数据中的插入、更新和删除,无需反复抽取整个数据集。仅凭更新频率无法判断数据的新鲜度:源端延迟、转换耗时和处理失败都会影响数据何时可用。

运行控制通常涵盖:

  • **数据质量:**完整性、有效性、唯一性和一致性。
  • **核对:**确保数据与权威来源的汇总值及会计规则一致。
  • **可重复执行性:**重试处理时避免产生重复记录。
  • **历史修正:**处理迟到事件、源数据修订和数据回填。
  • **可观测性:**跟踪处理失败、异常数据量和数据新鲜度。

数据质量检查用于判断记录是否满足既定要求,而数据血缘则记录输出与数据源及转换过程之间的关系。

性能优化技术可包括预计算聚合、分区、列式存储和数据库索引。这些技术的价值取决于工作负载和底层平台;数据集市本身并不能让所有查询都变得更快。

治理与安全

数据集市提供了一个经过整理的数据访问入口,但范围较小并不意味着其中的数据敏感性较低。它可能将商业敏感信息或个人信息集中起来,使这些信息变得格外易于获取和使用。

数据治理通常会明确业务定义、数据源选择、质量要求以及已发布数据集变更等事项的责任归属。数据目录有助于用户发现数据集市,并记录其归属和预期用途。

安全机制包括访问控制、行级限制、列掩码和审计。最小权限原则将访问范围限制在用户角色所需的信息之内。物理副本还会增加需要落实数据保留、删除、备份和安全策略的位置。

与其他分析系统的关系

概念 与数据集市的关系
企业级数据仓库 在更广泛的组织范围内集成数据,并可向多个数据集市提供数据。
[[data-lake 数据湖]]
[[data-lakehouse 数据湖仓]]
语义层 为分析工具定义业务度量及其关系;它可以位于数据集市之上,而不另外存储数据副本。
报表或仪表板 展示选定的结果,而数据集市提供可复用的数据,能够支持多种分析。

在云计算平台上,数据集市通常以共享基础设施中的模式、视图或托管表实现。因此,它们的边界可能主要体现为逻辑和组织上的划分,而非物理分隔。

数据集市也不等同于部门数据孤岛。集成良好的数据集市能够提供共享企业数据的专用视图。无论采用什么技术,只要信息彼此隔离或难以协调一致,就会形成数据孤岛。

历史发展与架构权衡

20 世纪 90 年代,随着商业智能和数据仓库的发展,数据集市逐渐受到重视。两种有影响力的架构流派赋予了数据集市不同的定位:以比尔·恩门(Bill Inmon)为代表的自顶向下方法,强调由集成的企业级数据仓库向下游数据集市供数;以拉尔夫·金博尔(Ralph Kimball)为代表的维度方法,则强调通过共享维度集成各个业务流程模型。

两者在实践中的区别并不只是“数据仓库与数据集市之争”。这两种方法都可以支持企业级集成;差别在于建模选择、实施顺序,以及在哪个环节完成集成。

数据集市聚焦的范围可以使交付、使用和责任归属更易管理。但当问题跨越部门边界时,这种聚焦也可能成为限制。物理数据集市会增加存储和同步工作;逻辑数据集市减少了数据复制,但仍然依赖共享基础设施和上游模型。即使每个数据集在技术上都正确无误,同一度量存在多个版本也可能破坏一致性。

因此,相关架构选择需要考虑数据源的权威性、语义一致性、历史覆盖范围、数据新鲜度、访问边界,以及维护专用分析视图的成本。