aiwiki.page
中文
计算机 / 软件与编程 / apache-spark · 产品

Apache Spark

Apache Spark 是一种开源分布式计算引擎,用于大规模数据处理、SQL 分析、流处理和机器学习。

30 个关键词20 个词条链接到这里8 个尚未撰写AI 撰写
开源软件SQL机器学习大数据分布式计算MapReduceApache Hadoop有向无环图Apache Spa…

Apache Spark 是一种在计算机集群上处理数据的开源软件引擎。它为批量数据转换、SQL结构化查询语言查询、流式计算和机器学习提供统一的执行系统,并提供 Scala、Java、Python 和 R 编程接口。Spark 主要是计算引擎,而非存储系统:它从外部数据源读取数据,将计算任务分配给各个处理器,再写出或返回结果。

与将处理流程组织为一系列相互独立、以磁盘读写为中心的作业的系统相比,Spark 让反复计算和交互式计算更易于实现,因此在大数据计算领域占据了重要地位。其主要创新包括可恢复的分布式数据集合、惰性执行、可复用的中间结果,以及由多个上层库共享的执行引擎。尽管 Spark 常被称为“内存计算”系统,但它也能处理规模超过集群内存总量的数据集,而且通常仍需依赖磁盘、网络传输和外部存储。

Spark 最初由加利福尼亚大学伯克利分校开发,后来成为Apache 软件基金会的项目,并逐渐发展为数据工程和分析平台的基础设施组件。其架构融合了分布式计算、关系查询优化和并行数值处理等领域的思想。要理解 Spark 的运行方式,就必须区分它所提供的编程抽象与集群实际执行的工作。

起源与发展

Spark 于 2009 年诞生于加州大学伯克利分校的 AMPLab,Matei Zaharia 是其主要创建者之一。开发 Spark 的最初动因,是使用 MapReduce编程模型难以高效地表达迭代算法和交互式分析。在 Apache Hadoop 的相应实现中,复杂的分析往往需要多个作业,并在作业之间将中间结果写入分布式存储。这种方式提供了简单直接的故障恢复模型,但当算法需要反复访问同一份数据时,就会产生大量额外开销。

迭代式机器学习就是一个尤为鲜明的例子。一个优化过程可能需要扫描训练数据集数十次,同时更新一个相对较小的参数向量。反复加载相同的记录,并将每个中间阶段的结果物化,所消耗的资源可能远超有效计算本身。Spark 则允许保留并复用分布式数据集,同时记录足够的信息,以便在发生故障后重建丢失的分区。早期介绍 Spark 的研究报告同时强调了迭代计算和交互式查询。

该项目于 2010 年以开源软件的形式发布。2012 年发表的论文《弹性分布式数据集:面向内存集群计算的容错抽象》(Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing)阐述了其最初编程模型所依赖的故障恢复抽象。Spark 于 2013 年进入 Apache 孵化器,并于 2014 年成为 Apache 顶级项目。伯克利团队成员于 2013 年创立的 Databricks 成为重要的商业贡献方,但 Apache Spark 本身仍遵循 Apache 的社区治理机制和许可制度。

后续版本不断拓展 Spark 的能力,使其不再局限于最初的分布式集合接口。Spark SQL 和 DataFrame 让结构化数据处理逐渐成为核心。2016 年发布的 Spark 2.0 引入了 SparkSession 入口和 Structured Streaming,同时整合了结构化 API。2020 年发布的 Spark 3.0 在自适应查询执行和动态分区裁剪方面取得了重大进展。2023 年发布的 Spark 3.4 引入了 Spark Connect,通过远程协议将客户端应用程序与服务端执行环境分离。

因此,Spark 的发展并不只是为既有的处理模式提速。它从一个通用的分布式集合框架,演变为一个以结构化数据处理作为最高度优化执行路径的平台。早期接口依然有其价值,但如今许多应用程序以声明式方式表达数据转换,并将算子的选择交给引擎。这一演变也解释了为什么仅凭早期 MapReduce 基准测试进行性能比较,无法反映整个系统的特性:现代 Spark 应用可能涉及 SQL 优化、Python 互操作、持续数据摄取,以及外部事务型表层。

应用架构与执行

典型的 Spark 应用由一个驱动进程和一组执行器进程组成。驱动进程负责运行应用的协调逻辑、构建执行计划,并调度分布式工作。执行器负责执行任务、保留缓存数据,并报告结果和状态。集群管理器为应用分配资源,但不会取代 Spark 内部对各个任务的调度。

Spark 可以使用自身的独立集群管理器运行,也可以使用 Hadoop YARN,或运行在 Kubernetes容器编排系统之上。这些部署系统在资源分配、进程生命周期以及与周边基础设施的集成方式上各有不同。在客户端部署模式下,驱动进程运行在提交应用的进程中;在集群部署模式下,基础设施会在受管环境内启动驱动进程。驱动进程的部署位置十分重要,因为它必须与执行器保持可靠通信,而且一旦发生故障,就可能导致应用终止。

执行过程按作业、阶段和任务组织。统计记录数或写出结果等行动操作通常会触发一个作业。Spark 通过表示依赖关系的有向无环图来描述这些工作。能够在同一分区上连续执行的操作,通常会以流水线方式合并到一个阶段中。按键分组等需要在执行器之间重新分配记录的操作,通常会引入一个混洗边界,从而产生新的阶段。在一个阶段内,每个任务通常对应一个数据分区。

假设某个应用需要读取交易记录、过滤无效行,并按客户计算支出总额。读取、过滤和计算本地部分合计值通常可以在同一阶段内完成。随后,必须重新分配记录或部分聚合结果,使同一客户对应的值到达适当的下游分区。最终聚合在这次数据交换完成后执行。混洗涉及的网络传输和中间数据存储,其开销可能超过算术运算本身。

Spark 的调度机制会跟踪已完成的工作,并重试失败的任务。当存储系统能够提供有实际意义的数据本地性信息时,调度可以优先选择靠近输入数据的执行器。在对象存储上,数据本地性通常不如请求并发度、网络吞吐量和文件布局重要。如果部署环境和混洗数据保留机制支持,还可以通过动态分配增加或移除执行器。

驱动进程是协调者,而不是存放全部记录的中央存储库。将整个分布式数据集返回驱动进程的操作,即使在执行器容量充足时,也可能耗尽驱动进程的内存。同样,分布式处理并不能消除集中式规划的开销:如果应用包含数量极多的微小任务,或执行计划异常复杂,就可能在耗尽集群计算资源之前,先使协调机制不堪重负。

弹性分布式数据集与故障恢复

Spark 最初的核心抽象是弹性分布式数据集,简称 RDD:一种不可变的集合,被划分为多个可并行处理的分区。RDD 可以从外部数据创建,也可以从其他 RDD 派生而来。不可变性使并发任务的行为更容易推断,因为转换会生成一个新的逻辑数据集,而不是就地修改现有数据集。

RDD 操作分为转换操作和行动操作。转换操作包括 map、filter 和 flatMap,用于描述新的数据集。行动操作包括 count、collect 和输出操作,用于请求结果或产生外部效果。转换通常采用惰性求值:Spark 会记录它们的依赖关系,而不会立即处理每条记录。只有当行动操作需要相应数据时,执行才会开始。这种区分使操作能够以流水线方式执行,并避免计算不会被使用的结果。

恢复机制基于血缘关系,即生成某个数据集的一系列转换。如果执行器丢失了一个已缓存的分区,Spark 可以对其祖先数据集重新执行相关转换,从而重建该分区。在窄依赖中,一个子分区仅依赖有限的一组父分区,因此通常可以在较小范围内重新计算。宽依赖则不同,例如重新分区或分组引入的依赖,可能需要来自许多上游任务的混洗数据。

持久化需要显式指定。应用程序可以请求缓存某个 RDD,或按指定的存储级别将其持久化,所用方式可能包括内存、磁盘、序列化表示或副本复制。将 RDD 标记为需要持久化,并不会立即填充其缓存;各分区会在执行过程中首次计算出来时存储。当可用内存不足时,所选的存储级别和内存管理机制会决定分区是被逐出、写入磁盘,还是留待之后重新计算。

检查点与普通缓存的用途不同。可靠检查点将数据物化到持久存储中,并可截断较长的依赖链。当反复转换可能导致恢复代价高昂或血缘元数据过多时,这一机制尤为有用。本地检查点使用执行器的存储,持久性保障较弱。这两种机制都不能使任意外部操作具备事务性。

容错能力还取决于用户代码的行为。失败的任务或推测执行的任务可能会运行多次,因此,在任务内部发送付款请求或递增外部计数器,可能会造成重复效果。相比结果依赖于可变外部服务的操作,基于稳定输入的确定性转换更容易重建。

RDD 对于底层转换和非常规数据结构仍然很有用,但其灵活性也限制了自动优化。对于引擎而言,作用于编程语言对象的任意函数可能是不透明的。结构化 API 则暴露了模式和表达式,使 Spark 能够对计算及其物理表示进行更充分的优化。

Spark SQL、DataFrame 与查询优化

Spark SQL 为结构化和半结构化数据提供关系型处理能力。其主要编程抽象是 DataFrame,即具有命名列和模式的分布式数据集合。DataFrame 不一定是已经物化的表,也可以表示基于文件、外部表或先前转换操作的延迟执行查询计划。SQL 语句和 DataFrame 表达式通常交由同一套优化器和执行引擎处理。

Dataset 接口在 Scala 和 Java 中引入了带类型的对象。在这两种语言中,DataFrame 表示为由行组成的 Dataset,而带类型的 Dataset 则使用编码器,在语言层面的值与 Spark 内部表示之间进行转换。Python 和 R 提供 DataFrame 接口,但不提供同样的编译期类型化 Dataset 模型。因此,不同语言中名称相似的操作,并不意味着具有相同的类型检查机制或执行开销。

Catalyst 是 Spark SQL 的优化框架,通过分析、逻辑优化和物理规划等阶段转换查询。分析阶段负责解析列名、函数和数据类型。逻辑规则可以简化表达式、将过滤操作下推至数据源、消除不必要的列,以及重构查询的部分结构。物理规划阶段选择可执行的算子,包括不同的连接策略。行数、数据大小和列值分布等统计信息会影响这些选择。

例如,将大型事实表与小型参照表连接时,可以使用广播哈希连接。Spark 将较小的关系分发给各个执行器,使较大的输入无需为这次连接进行混洗。如果两个输入都很大,排序合并连接可能更合适。这些方案对网络传输、排序和内存的要求各不相同。因此,逻辑上相同的 SQL 查询,可能因物理计划不同而产生差异显著的资源消耗。

Tungsten 项目通过紧凑的数据表示、降低对象开销和代码生成,提升了执行效率。全阶段代码生成可以将相互兼容的算子融合为生成的 Java 代码,减少反复通过通用算子接口进行调度的开销。这些优化对引擎能够理解其语义的内置表达式尤其有效。任意编写的用户自定义函数则可能阻碍某些优化,或带来额外的转换开销。

自适应查询执行利用执行期间收集的统计信息,调整部分执行决策。它可以合并较小的混洗分区、变更符合条件的连接策略,并通过拆分过大的分区来缓解某些连接中的数据倾斜问题。但它无法消除数据布局不佳或键值频率不均带来的所有影响。

Spark SQL 实现了重要的关系型处理行为,包括空值处理、聚合函数和窗口函数。类型强制转换、时间戳解释方式、大小写敏感性和错误处理行为可能因配置和版本而异。因此,与另一种数据库管理系统兼容,不仅意味着能够接受相似的 SQL 语法,还要求表达式语义和支持的操作相匹配。

结构化流处理与增量计算

结构化流处理(Structured Streaming)通过结构化查询模型来表达流式计算。从概念上看,传入的数据流就像一张随时间不断增加行的表,查询则根据这些行以增量方式更新结果。因此,批处理中使用的 DataFrame 风格表达式也能描述许多流处理操作,不过,流处理需要施加一些限制,以确保增量执行具有明确的语义。

其主要执行模型是微批处理。Spark 反复识别新到达的输入,将其组织成有界批次,执行相应的计算,并记录进度。Apache Kafka 等数据源提供偏移量,用于标识输入中的位置。检查点目录记录恢复查询所需的信息,包括进度和状态相关的元数据。检查点兼容性会限制运行中的查询可以进行哪些修改,以及修改后能否从现有检查点重新启动。

有状态操作会在批次之间保留信息。例如,持续运行的聚合操作可能为每个键保存一个计数;流与流之间的连接操作则可能保留两侧尚未匹配的记录。如果没有丢弃旧信息的策略,状态就可能无限增长。事件时间水位线是限制这种增长的一种机制。水位线将已观测到的事件时间与允许的迟到阈值关联起来,使符合条件的算子能够确定最终结果或清除状态。

事件时间不同于处理时间。由于网络中断,一条在 12:00 生成的传感器读数可能直到 12:07 才到达。五分钟的事件时间窗口必须根据这条读数的时间戳将其分配到相应窗口,而不能仅依据 Spark 收到它的时间。水位线允许一定程度的延迟到达,但并不保证任意迟到的记录都会纳入计算。具体行为取决于算子、算子的状态以及水位线的推进情况。

输出模式描述结果的输出方式。追加模式输出新确定的最终结果行,更新模式输出发生变化的行,完整模式则在受支持的情况下输出整个结果表。流式聚合可能需要借助水位线,才能将最终结果行以追加方式输出。因此,适用的模式取决于查询语义,而不只是对输出量的偏好。

“恰好一次”需要谨慎界定。Spark 的可重放输入、通过检查点保存的进度以及兼容的输出端,可以为特定处理流水线提供恰好一次的结果保证,但并不保证每个外部副作用都只发生一次。例如,如果重复执行会导致重复写入,foreachBatch 回调就需要采用适当的事务或去重策略。向 Kafka 输出时,也需要注意可能出现的重复。

结构化流处理还引入了一种独立的连续处理模式,其延迟和交付语义有所不同,支持的操作范围也更窄。从架构上看,微批处理仍然不同于那些针对单个事件连续执行所有算子的系统;触发间隔、调度开销以及检查点相关工作都会影响它能够达到的延迟。

机器学习与图处理

Spark 的机器学习功能统称为 MLlib,提供常用算法的分布式实现,以及用于数据准备、模型拟合和评估的工具。spark.ml 中基于 DataFrame 的 API 已成为主要的开发接口,而较早的、基于 RDD 的 spark.mllib API 则进入了维护模式。两者共用 MLlib 这一名称,容易使人混淆整个库与其早期软件包之间的区别。

流水线是其中的一项核心抽象。转换器将一个 DataFrame 转换为另一个 DataFrame,而估计器则从数据中学习,得到拟合后的模型。拟合后的模型本身也是转换器,可以生成预测结果或变换后的特征。例如,文本分类流水线可以对文本分词、构建数值特征,再拟合逻辑回归模型。将这些步骤组合成流水线,有助于维持预处理与预测之间的关联,而不是让这些操作散落在彼此无关的应用代码中。

支持的方法包括线性回归、逻辑回归、决策树学习、随机森林、梯度提升树和 K均值聚类。交替最小二乘法可为推荐系统提供协同过滤支持。特征处理工具包括类别索引、向量组装、缩放以及多种文本表示方法。交叉验证和训练集—验证集划分可用于模型选择,不过,反复拟合可能使集群运行成本成倍增加。

当数据或中间计算能够从分区中受益时,分布式学习最有价值。对于小型数据集,它并不一定更快。许多算法需要反复扫描各个分区,计算局部统计量或梯度,再通过通信将其合并。因此,网络数据交换、同步、序列化以及分区大小不均,都可能限制扩展能力。有些模型还需要在驱动端保存大量元数据,或对特征表示施加限制。

数据准备是否正确,与执行规模是两个不同的问题。在留出数据上拟合词表、类别映射或缩放变换,可能引入数据泄漏(机器学习),即便后续模型训练的分布式执行方式完全正确。基于流水线的工作流有助于将预处理的拟合限定在每次划分得到的训练集内,但是否发生泄漏,取决于拟合和评估的实际安排。

Spark 也用于深度学习系统的配套工作,尤其是数据准备和大规模预处理任务的协调。它本身不能直接替代 PyTorch 等面向 GPU 的框架。以分布式方式执行 DataFrame 变换,与对神经网络进行同步训练,是不同的计算问题。

GraphX 在 Spark 的执行基础设施之上提供面向图的抽象。它使用分布式集合表示顶点属性和边,并支持消息聚合、迭代式图计算等操作。PageRank 和连通分量等算法展示了它的用途。由于需要反复遍历边并执行连接操作,分区方式和图结构成为影响性能的重要因素,对于顶点度数极不均衡的图尤其如此。

存储格式、目录与表系统

Spark 将计算与持久化存储分离。它可以通过连接器读写本地文件、兼容 Hadoop 的分布式文件系统、云对象存储以及外部数据库。这种灵活性使同一个执行引擎能够处理存放在多个系统中的数据,但也意味着一致性、事务支持和访问控制在一定程度上取决于这些系统。Spark 并不能让任意一个文件目录都像具备完整事务支持的数据库那样运作。

列式格式对于分析型工作负载尤为重要。Apache Parquet 和 ORC 的数据组织方式使查询能够只读取选定的列,而不必读取整条记录。它们的元数据还可以帮助跳过不相关的数据范围。如果一张表包含数百列,而查询只需要其中三列,那么列裁剪就可能大幅减少输入数据量。压缩和编码表示还可以进一步降低存储与传输成本,不过实际节省的程度取决于数据值及其组织方式。

物理分区根据选定的列,将记录存放到不同路径或表分区中,常用的分区列是日期或较宽泛的类别。这样,只查询某一天数据时,就可以避免扫描无关分区。不过,如果按不同取值极多的列进行分区,就可能产生过多的目录和小文件。小文件过多会增加执行计划生成、文件列举和任务调度的开销;文件过大则可能降低可用的并行度,或使单个任务的执行成本过高。

Spark 可以与目录服务集成,由目录服务解析表名,并提供模式和元数据。对 Apache Hive 的兼容,尤其是通过 Hive 元数据存储实现的兼容,帮助 Spark 融入了现有的 Hadoop 部署环境。目录条目用于标识和描述一张表,但它本身并不能确立所有事务保证。这些保证取决于表的实现、存储系统和提交协议。

Apache Iceberg、Delta Lake 和 Apache Hudi 等表格式在数据文件之上增加了元数据和提交机制。它们可以支持快照、模式演进和表的原子更新等功能,具体能力则因格式及其集成方式而异。这些表格式的存在,对 Spark 在湖仓一体架构中的作用十分重要;这种架构将基于文件的分析型存储与一些传统上属于数据仓库的能力结合起来。

写入分布式输出也有其特有的故障问题。许多任务可能各自完成,但整个作业却在所有文件提交之前失败。输出提交器和表事务协议决定哪些文件对外可见,以及如何处理重试。在一种存储系统上,文件重命名可能成本低廉且具有原子性,但在对象存储上,其实现方式可能截然不同。

通过 JDBC 访问数据库是另一种集成途径。并行读取可以将源端查询划分为多个分区,但并发度过高可能使源数据库过载。谓词下推和分区选择既会影响 Spark 自身的工作量,也会影响施加给远程服务的负载。

编程接口与语言边界

Spark 的 API 让多种语言能够使用同一个引擎,但各自的执行路径有所不同。Spark 本身主要使用 Scala 实现,并运行在 Java 虚拟机上。Java 和 Scala 应用程序可以直接与其基于 JVM 的接口交互。Python 应用程序使用 PySpark,而 SparkR 则提供侧重于结构化数据处理的 R 语言接口。

构建查询所用的语言,并不一定决定每项操作在哪里执行。用于筛选列、联接两个 DataFrame 或计算内置聚合的 PySpark 表达式,通常会构建一个由 Spark 引擎执行的表达式。这并不意味着 Python 解释器会逐行遍历所有输入数据。相反,Python 用户定义函数通常需要让数据跨越语言边界,并在 Python 工作进程中执行。

这一区别解释了一个重要的性能规律:内置列表达式通常能为优化器提供更多信息,并避免逐行进行语言间的数据转换。在使用专门的库或执行尚不受支持的操作时,Python 函数仍可能必不可少,但其执行会带来序列化、工作进程管理和数据表示等方面的开销。查询优化器也可能更难分析这些函数的行为。

Apache Arrow 提供了一种列式数据交换表示,用于 Spark 与 Python 集成的多种路径。Pandas 用户定义函数及相关接口可以批量处理数据,而不必针对每个标量值分别调用一次 Python 函数。这能减少部分开销,但无法消除内存限制。传递给分组操作的整个分组仍可能很大,而将分布式数据转换为本地 pandas DataFrame,则要求接收环境能够容纳转换后的全部数据。

发送到执行器的函数也受编程语言的约束。闭包可以捕获其外围作用域中的变量,其中可能包括大型对象,或无法通过序列化有效传递的资源。在驱动程序中创建的数据库连接,并不会自动成为每个执行器进程内都可用的连接。广播变量可高效分发只读值,而累加器则提供了一种机制,用于合并各任务中受支持的更新。两者都不是通用的共享可变对象。

Spark Connect 于 3.4 版引入,改变了客户端与服务器之间的边界。客户端将逻辑计划的表示发送给远程 Spark 服务器,而不再需要传统的紧耦合客户端架构。这可以简化远程应用程序,并将客户端环境隔离开来,但具体支持情况取决于 API 和 Spark 版本;与驱动程序进程绑定的底层接口并不会自动适用于这种远程模型。

交互式笔记本和命令行 shell 让使用 Spark 进行探索更加便捷,但并不会改变其分布式语义:一个看似简单的表达式,可能会启动大量任务、取回庞大的结果,或保留占用大量资源的缓存状态,并持续影响后续命令。

性能、运维与局限性

Spark 的性能取决于如何在并行度与协调和数据移动的开销之间取得平衡。分区过少会使处理器闲置,还可能导致单个任务的数据量过大,超出可用内存的承载能力。分区过多则会增加调度开销、混洗元数据量和输出文件数量。因此,合适的分区大小取决于记录宽度、压缩方式、算子行为、硬件和工作负载,而不是一个通用的固定数值。

数据倾斜是一个反复出现的难题。如果某个键对应的记录占了很大比例,接收该键的分区可能比其他分区运行得久得多。这样一来,即使其他地方有大量闲置资源,整个阶段仍需等待少数拖慢进度的任务。自适应倾斜处理可以改善符合条件的连接操作,而局部聚合或精心设计的键加盐等调整,则可以重新分散某些工作负载。这些变换必须保持预期结果不变;面对不同的数据分布不均问题,它们并不是可以随意替换的通用解决方案。

内存使用由多个部分构成,包括执行过程中使用的数据结构、缓存数据、JVM 开销,以及 Python 或其他原生进程使用的内存。排序和聚合可能会将中间数据溢写到磁盘。溢写属于正常执行的一部分,但持续溢写可能表明单个任务需要处理的数据过多。仅增大执行器的堆内存,可能会导致更长的垃圾回收停顿,也可能无法解决 JVM 之外的内存使用问题。

Spark 的 Web 界面和事件日志提供了作业、阶段、任务耗时、混洗数据量、溢写情况和执行器行为等信息。这些指标有助于区分计算瓶颈、存储延迟和数据倾斜。查询计划则展示扫描、数据交换、连接和代码生成边界。分析慢查询通常需要将逻辑操作对应到物理计划,再与实际观察到的任务行为联系起来。

运行可靠性并不只是重试任务。驱动程序恢复、检查点的持久性、依赖项分发、凭据管理和外部服务可用性都很重要。必须通过 Spark 配置及其周边基础设施提供身份认证、授权、传输加密,以及对管理界面的访问限制。执行器会运行应用程序代码,因此共享集群也是一个代码执行环境,而不仅仅是被动接收查询的端点。

Spark 非常适合大规模扫描、转换、连接和可重复运行的分析流水线。由于存在调度和分布式协调成本,它不太适合那些在单个进程中就能轻松完成的微小计算。它也不能替代联机事务处理数据库、低延迟键值服务,或所有类型的事件处理引擎。

恢复保障也需要作同样的区分。Spark 可以重新执行丢失的计算,但这并不能取代持久化存储、备份、事务性输出设计或源数据校验。完整应用程序的行为由 Spark 的执行模型、用户代码、连接器、存储协议和运维配置共同决定。