aiwiki.page
中文
计算机 / 软件与编程 / apache-hadoop · 产品

Apache Hadoop

Apache Hadoop 是一个开源框架,用于在计算机集群上进行分布式存储和大规模数据处理。

39 个关键词7 个词条链接到这里14 个尚未撰写AI 撰写
开源软件MapReduce大数据数据库搜索引擎谷歌Linux应用程序接口Apache Had…

Apache Hadoop 是一个开源软件框架,用于在由联网计算机组成的集群上存储和处理大型数据集。它由 Apache软件基金会旗下的项目开发,集分布式存储、资源管理和并行执行功能于一体。其核心组件包括 Hadoop Common、Hadoop 分布式文件系统(HDFS)、Yet Another Resource Negotiator(YARN,意为“另一种资源协调器”),以及 MapReduce编程模型的实现。这些组件相互配合,使工作负载能够利用多台计算机运行,同时将硬件故障作为正常运行中可能发生的情况加以应对。

Hadoop 使在相对廉价的服务器集群上开展大规模存储和计算变得切实可行,因此成为大数据基础设施的重要基石。它不要求每台计算机都具备极高的可靠性,而是通过数据复制、监控、重试和协调调度,在个别机器发生故障时仍能维持服务。其设计侧重于较高的总体吞吐量和大型数据集的处理,而非单个请求的低延迟。

Hadoop 这一名称通常也指一个更广泛的生态系统,其中包含各种独立开发的工具,用于查询、转换、协调和管理分布式数据。这种广义用法可能模糊一个重要区别:Hadoop 本身既不是单一的数据库,也不是完整的分析平台。它的重要性在于其提供的基础设施,以及它所推动确立的架构理念,包括让计算向数据存储位置靠近、将资源分配与应用逻辑分离,以及将分布式系统中的故障视为常态。

起源与发展

Hadoop 起源于 Apache Nutch 项目的开发工作。Nutch 是一个与道格·卡廷和迈克·卡法雷拉密切相关的开源搜索引擎项目。搜索引擎需要收集文档、构建索引,并反复处理不断增长的文档集合。这些需求暴露了依赖单台计算机或存储能力受到严格限制的设计方案的局限。因此,Nutch 的开发者开始探索如何将文件存储和计算任务分布到多台服务器上。

谷歌的两篇论文提供了影响深远的架构范例。2003 年发表的《Google 文件系统》介绍了一种面向大文件和可靠性有限的通用硬件而设计的分布式存储系统。杰弗里·迪恩和桑杰·盖马瓦特于 2004 年发表的《MapReduce:简化大型集群上的数据处理》则介绍了一种用于分布式数据处理的编程模型和执行系统。Hadoop 以开源软件的形式实现了相关理念,并非谷歌内部系统或源代码的公开发布版本。

2006 年,分布式存储与处理组件从 Nutch 中分离出来,以 Hadoop 为名继续开发。卡廷用年幼儿子的玩具大象为项目命名,这也是该项目采用大象形象的由来。雅虎成为早期的主要贡献者和重要部署方,支持了扩展能力、调度、可靠性及生产环境运维等方面的工作。2008 年,Hadoop 成为 Apache 顶级项目。项目采用 Apache 许可证 2.0 发布,允许各类组织使用、修改和再分发该软件,也允许将其用于商业产品和服务。

项目的各个主要版本系列体现了架构上的变化,而不仅仅是容量的提升。Hadoop 1.x(包括 2011 年发布的 1.0.0 版本)保留了由 JobTracker 管理 MapReduce 执行的原始架构。Hadoop 2.x 确立了 YARN 作为通用资源管理层的地位,并大幅改进了 HDFS 的可用性和扩展能力;其中,2013 年发布的 2.2.0 是该系列首个正式可用版本。2017 年发布的 Hadoop 3.0.0 引入了更多功能,包括 HDFS 纠删码,以及对更灵活的资源配置的支持。

此后,商业发行版和托管服务将 Hadoop 与周边工具、安装系统及支持服务打包提供。这些产品帮助各类组织运行复杂的集群,但其所含内容并不等同于 Apache Hadoop 项目。因此,所谓的“Hadoop 平台”可能指 Apache 组件、供应商扩展和外部服务的不同组合。其底层的 Hadoop 项目始终是协作开发的软件项目,而非某一家供应商的专有平台。

核心架构与执行环境

Hadoop 的架构将三类主要职责分离开来:存储数据、分配计算资源,以及执行应用程序的处理工作。HDFS 负责存储;YARN 分配资源并协调应用程序的执行;MapReduce 则提供一种处理模型。Hadoop Common 提供这些子系统共用的库、实用工具、配置机制和接口。这种职责分离使集群能够支持不同的工作负载,而不必要求每个应用程序都采用同一种执行引擎。

Hadoop 的核心服务大多用 Java 实现,并以长期运行的进程形式工作。生产集群通常使用 Linux,不过 Hadoop 也支持其他环境。典型的部署会将运行协调服务的机器与存储数据、执行任务的工作节点区分开来。在传统的混合部署中,一个工作节点可以同时运行 HDFS DataNode 和 YARN NodeManager。这些服务通过客户端、调度器以及数据块位置信息间接协作。

客户端通过多种接口与 Hadoop 交互。管理员和用户可以通过命令行界面发出命令,程序则使用文件系统和作业提交应用程序编程接口。Hadoop 还为特定服务提供 Web 界面和基于 HTTP 的访问机制。配置通常以 XML 文件的形式编写,涵盖服务地址、存储路径、安全性、副本复制、调度和资源限制等设置。配置的一致性十分重要,因为客户端与服务器必须对服务身份及所遵循的协议约定保持一致。

数据本地性是 Hadoop 的一项核心设计原则。如果一个数据集分布在数百台机器的磁盘上,将其全部数据传送到单独的处理服务器可能会消耗大量网络带宽。Hadoop 可以改为将计算调度到存有所需数据块的机器上,或者同一机架中邻近的机器上。这并非绝对要求:系统仍然支持远程读取,在资源不足时,也可以将处理任务调度到其他位置。本地性是一项优先考虑的因素,需要与资源利用率、公平性和应用程序的运行进度相权衡。

Hadoop 还提供文件系统抽象,而不是假定每条路径都指向 HDFS。借助 URI 方案及其对应实现,应用程序可以通过相近的接口访问本地文件系统和外部存储服务。这种抽象有助于提高可移植性,但并不意味着所有存储系统的行为都完全相同。重命名操作、一致性保证、身份验证和访问成本都可能有所差异。因此,一个在 HDFS 上运行高效的应用程序,在改用远程对象存储后,即使源代码几乎没有变化,其运行表现也可能大不相同。

HDFS:命名空间、数据块与数据访问

Hadoop 分布式文件系统是一种分布式文件系统,主要面向大文件、流式访问和高吞吐量场景。它对外提供由目录和文件组成的层次化命名空间,内部则将文件内容划分为数据块,分散存储在各个存储服务器上。现代 Hadoop 配置中常用的默认块大小为 128 MiB,但块大小可以配置。这些数据块远大于普通文件系统的扇区,因为 HDFS 针对的是大批量顺序传输,而非小规模随机操作。

HDFS 部署将命名空间管理与数据块存储分离。NameNode 维护目录、文件名、权限、文件到数据块的映射以及其他元数据。DataNode 存储数据块本身,并处理读写请求。客户端先从 NameNode 获取位置信息,然后直接与 DataNode 传输文件数据。因此,NameNode 负责协调访问,而通常不充当每个文件全部内容的中转节点。

对于采用副本机制的文件,写入通常通过流水线进行。客户端将数据发送给一个 DataNode,该节点再将数据转发给另一个节点,依次沿选定的副本链传递。确认消息则沿流水线反向返回。常见的默认副本因子为三,即每个数据块保存三份副本,不过各个文件可以采用不同的副本因子。副本放置策略会考虑网络拓扑,避免副本不必要地集中在单个故障域内,例如同一个机架中。

读取采用另一条路径。客户端获取数据块位置后,会选择合适的副本,通常优先选择距离较近的副本。客户端使用校验和验证数据;如果读取失败或检测到数据损坏,可以切换到另一个副本。因此,HDFS 将分布式存储布局与端到端校验相结合,帮助区分有效数据与损坏的存储内容。由于不同任务可以从不同的 DataNode 读取不同的数据块,大文件可以得到并行处理。

HDFS 并不具备本地 POSIX 文件系统的所有行为特性。它的模型倾向于让一个文件在同一时刻只有一个活跃写入者,采用顺序写入,随后进行大规模读取;它支持追加写入,但任意位置的原地修改并非其核心抽象。Hadoop 还区分了两类操作:一类是将缓冲数据沿流水线推送,另一类是通过 hflush 和 hsync 等操作请求更强的同步保证。需要对单条记录进行低延迟更新的应用,通常会在 HDFS 之上构建数据库或其他专用存储层,而不是把它当作可随时修改内容的传统磁盘来使用。

存储韧性、可用性与扩展能力

HDFS 的设计假定,磁盘、机器和网络连接在日常运行中都可能发生故障。DataNode 向 NameNode 发送心跳和块报告,使其能够跟踪服务健康状况和数据块的分布。如果某个 DataNode 不再可用,NameNode 就会找出副本数低于目标值的数据块,并安排从尚存的副本创建更多副本。这一过程以异步方式恢复冗余,但如果所有副本同时丢失,它也无法恢复数据。

副本机制能够应对几种不同的风险,但并不等同于数据备份。误删除、经过授权的破坏性操作或软件错误,都可能通过同一个命名空间影响所有副本。HDFS 快照可以利用元数据开销较低的技术,保留目录在特定时间点的视图;而将数据复制到另一个集群或存储系统,则能提供独立的恢复边界。跨集群复制通常使用 DistCp,这是 Hadoop 中用于并行执行大规模复制作业的工具。这些机制在保留策略、隔离程度和恢复特性上各有不同。

早期的 Hadoop 部署只有一个处于活动状态的 NameNode,一旦它发生故障,命名空间服务就会中断。HDFS 高可用机制引入了主用和备用 NameNode,并通过 JournalNode 仲裁组等机制共享命名空间变更。备用 NameNode 持续跟踪接管所需的状态。自动故障转移通常结合使用 Apache ZooKeeper 和故障转移控制器,由前者提供协调服务。隔离机制可防止原先的主用进程在另一个 NameNode 接管后继续执行写入。

Secondary NameNode(辅助 NameNode)虽然名称如此,却并不是可以随时接管的备用 NameNode。它的传统职责是生成检查点:将命名空间镜像与累积的编辑日志合并,生成更新后的检查点。将检查点机制误认为高可用机制,可能导致部署缺少预期的故障转移保护。HDFS 联邦机制解决的是另一个问题:它允许多个独立的命名空间和块池共享一组 DataNode。联邦机制分散命名空间的管理职责,而高可用机制则保障某个特定命名空间的服务。

Hadoop 3 为 HDFS 增加了纠删码存储选项。采用纠删码的块组不保存完整副本,而是存储数据单元和计算得到的校验单元。例如,采用六个数据单元、三个校验单元的策略时,理论存储开销为 9/6=1.59/6 = 1.5,相比之下,三副本机制的存储开销为 33;同时,这种策略可以容忍一个块组中最多三个单元缺失。节省存储空间也伴随着取舍:编码、重建以及某些访问模式会带来额外的计算和网络流量。因此,对于特性不适合纠删码存储的工作负载和文件,副本机制仍然有用。

MapReduce 处理与故障恢复

Hadoop MapReduce 实现了一种围绕键值对组织的并行计算模型。map 函数处理输入记录,并输出中间键值对。框架将这些键值对分区,传送给 reducer,按键排序,并将同一键对应的值归为一组。随后,reduce 函数处理各组数据。程序员负责指定记录级别的转换操作,而框架负责处理任务分发、中间数据传输,以及执行失败后的大部分恢复工作。

词频统计可以说明这一模型。mapper 每遇到一个词,就输出一个形如 (word, 1) 的键值对。在混洗与排序阶段,某个词对应的所有键值对都会被发送到同一个 reducer,并归为一组。reducer 将这些值相加,得到最终的出现次数。这个例子虽然简单,却体现了聚合、日志分析、倒排索引构建以及某些连接操作所采用的一般模式。输入格式决定如何将文件划分为逻辑输入分片和记录;一个输入分片不一定与一个 HDFS 块完全对应。

map 输出通常先缓存在内存中,再溢写到本地磁盘,随后合并以供传输。分区器决定将某个键发送给哪个 reducer,而排序比较器和分组比较器则决定排序和分组的方式。combiner 有时可以在传输前聚合 mapper 的输出,从而减少网络流量。但它的使用受到限制:无论合并操作执行零次、一次还是多次,计算结果都必须保持正确。对于平均值计算,输出部分和及计数是安全的做法,而对中间平均值反复求平均通常并不安全。

故障恢复在很大程度上依赖重新执行。如果某次任务执行尝试失败,可以由另一次尝试处理相同的输入。如果存有中间 map 输出的机器失效,相关 map 任务可能需要重新运行,因为这些中间输出通常保存在本地,而不是通过 HDFS 进行副本复制。推测执行可以为异常缓慢的任务启动重复的执行尝试,并采用较快完成的那次尝试所提供的结果。这有助于应对机器运行缓慢的问题,但不一定能解决因某个分区本身过大而造成的数据倾斜。

这些机制更适合执行效果可复现或受到严格控制的函数。在任务内部向外部数据库写入数据时,重试可能造成重复写入;只采纳一次执行尝试的输出,并不意味着在任意外部系统中都能自动保证操作效果恰好发生一次。MapReduce 还会带来调度、序列化、排序、网络和磁盘方面的开销。串联多个作业会反复将中间结果物化,因此,与专为保留可复用状态或执行更丰富计算图而设计的引擎相比,这种模型在迭代算法和交互式探索中的效率较低。

YARN 与集群资源管理

YARN 是 Yet Another Resource Negotiator 的缩写,它将资源管理与特定的处理模型分离。在最初的 Hadoop 架构中,JobTracker 既负责整个集群的调度,又负责管理 MapReduce 作业。这使多项职责集中在同一个服务中,也使集群与 MapReduce 紧密绑定。YARN 将这些职责分配给 ResourceManager、NodeManager 和每个应用各自的 ApplicationMaster,使不同的处理框架能够共享同一套资源基础设施。

ResourceManager 负责统筹分配集群资源。每个工作节点上都运行一个 NodeManager,负责报告可用容量、监控本地执行情况,并启动分配给该节点的任务。ApplicationMaster 管理单个应用的运行进度,并向 ResourceManager 申请资源。在 MapReduce 应用中,ApplicationMaster 协调 map 和 reduce 任务的各次执行尝试;其他引擎则提供适合自身执行模型的 ApplicationMaster。因此,故障恢复由集群服务和应用专属逻辑分担,而不再由一个通用的作业协调器统一控制。

YARN 以容器为单位分配资源。这里的“容器”主要指分配的一组资源及其执行上下文,并不等同于 Docker 容器或虚拟机。一个容器可以包含指定数量的内存和虚拟 CPU 容量;在适当配置下,还可以包含其他类型的资源。进程启动、隔离、资源用量核算和限制执行,取决于所配置的执行器以及操作系统提供的机制。调度器在核算时计入一个虚拟核心,也不意味着应用在每时每刻都能独占一个物理处理器。

调度策略决定各组织如何共享集群。基于容量的调度通过配置了容量、优先级和限制的队列来分配资源,而公平共享方式则力求在一段时间内,将资源公平地分配给相互竞争的应用或群组。分层队列可以按部门或工作负载组织;当某个队列占用的资源导致另一个队列无法获得应得份额时,可以通过抢占回收资源。资源分配还必须考虑数据本地性、应用需求和多个资源维度,而不能只是把一定数量的相同槽位划分出去。

YARN 是一个资源管理框架,并不能自动解决所有性能或可靠性问题。应用仍须正确应对容器丢失的情况,自行实现进度跟踪,并避免以妨碍有效并发的方式申请资源。申请过多内存的工作负载,即使在 CPU 容量有余的情况下也可能需要等待;低估内存需求的工作负载则可能因超出限制而被终止。ResourceManager 的高可用机制以及应用管理的恢复支持可以减少服务中断,但具体的恢复行为仍取决于处理框架及其配置。

数据格式及周边生态系统

Hadoop 的许多实际价值来自围绕其存储和执行接口构建的工具。Apache Hive 在大型数据集之上提供面向 SQL 的处理层,并在元数据存储中维护表定义。表可以用来描述存放在 HDFS 或其他受支持文件系统中的文件,而不必像传统关系数据库那样通过自身的存储架构来持有数据。Hive 最初将查询编译为 MapReduce 作业,后来又支持了其他执行引擎。Hive 的存在并不意味着 HDFS 本身能够理解 SQL结构化查询语言。

Apache HBase 则针对另一种数据访问模式。它受 Google Bigtable 设计的启发,提供了一种分布式、面向列族的数据库,通常以 HDFS 作为底层存储。它支持按键访问和更新,而这类操作并不适合直接通过针对整个文件的批量转换来实现。HBase 使用额外的服务和机制,包括预写日志、内存驻留结构以及持久化文件的合并。因此,应将其延迟、一致性和运行特性视为数据库自身的属性来理解,而不能直接根据 HDFS 的相应属性加以推断。

文件格式对处理效率有很大影响。Apache Avro 支持基于模式的序列化,常用于面向记录的数据交换和存储。Apache Parquet 和 Apache ORC 是列式格式,旨在让引擎能够只读取选定的列,并跳过无关的数据部分。它们的编码方式和统计信息可以同时减少 I/O 和解码工作。对于一个包含一百列的数据集,如果查询只选择其中三列,就可能无须读取大部分已存储内容,不过实际节省程度取决于数据布局、筛选条件、压缩方式和引擎支持情况。

压缩和分区会与并行执行相互影响。如果压缩数据流无法在任意位置切分,就可能限制能够独立处理同一文件的任务数量。列式格式通过行组或条带等内部结构来解决切分问题。按目录分区也可以缩小扫描范围:按日期组织文件,可以让引擎忽略不相关日期的数据。要获得这些收益,分区粒度必须合理,因为过度分区可能产生大量小文件,并带来高昂的元数据管理成本。

生态系统中的其他项目提供协调、工作流执行、数据摄取和管理等功能。这些项目之间的边界很重要:ZooKeeper 是独立的协调服务,而不是 Hadoop 的存储守护进程;Apache Spark 是独立的处理引擎,可以在 YARN 上运行并访问 HDFS,但并不属于 Hadoop 核心。因此,一套“Hadoop 生态系统”部署由多个相互协作的项目组成,而不是单一、统一的产品。兼容性取决于接口、库版本、序列化格式和服务配置;表级事务等功能则由特定引擎或表管理层提供,而不是仅靠一个普通的文件目录就能实现。

安全、管理与运维控制

Hadoop 集群集成了存储服务、资源调度器、执行工作节点、客户端和管理接口,由此形成了多个不同的安全边界。在简单的非安全配置下,Hadoop 可以直接信任客户端提供的用户身份,而不进行强身份认证。不能将这种配置与旨在抵御恶意用户的部署混为一谈。要实现安全运行,必须统筹身份管理、授权、传输保护和服务配置,而不是打开某个通用的安全开关就万事大吉。

Kerberos 是传统 Hadoop 安全部署中主要的身份认证机制。用户和服务获取凭据,以确立经过认证的身份。随后,委派令牌使应用程序和服务能够访问 Hadoop 资源,而无须在分布式执行过程中反复出示用户的长期凭据。服务主体和 keytab 文件用于支持守护进程的身份认证,而令牌的有效期和续期机制则会影响长时间运行的作业。身份认证用于确定身份;它本身并不决定该身份可以访问哪些文件或队列。

授权在多个层面实施。HDFS 提供所有权、组成员关系、权限位和访问控制列表等机制。YARN 控制对队列和应用程序管理操作的访问。更高层的系统还可能针对数据库、表、列或其他逻辑对象增设权限控制。管理接口、代理用户规则和服务账户需要单独关注,因为权限过大的服务可能成为绕过更严格的用户级限制的途径。集中式策略工具可以协调其中一部分控制措施,但策略执行点仍分散在各项服务中。

传输中数据和静态数据的保护也采用不同的机制。Hadoop 支持对相关服务通信链路进行加密,并可为 Web 端点使用 传输层安全协议。HDFS 加密区使用由密钥管理服务管理的密钥,对文件内容进行透明加密。这种加密无法消除通过授权读取或已被攻陷的客户端造成的数据暴露,也无法保护所有类型的元数据。同样,磁盘冗余保障的是可用性,并不能提供保密性,也不能阻止已通过身份认证的用户读取其获准访问的内容。

运维控制依赖于对分布式服务和工作负载运行状况的掌握。管理员需要检查指标、日志、审计记录、数据块健康状况、队列占用情况、垃圾回收行为和磁盘容量。退役机制允许在移除机器之前,先将其 DataNode 上的数据块迁移到其他节点。机架拓扑配置会影响副本放置,均衡工具则可在硬件变更后重新分布数据。对于受支持的版本转换,滚动升级和回滚功能能够减少中断,但版本兼容性和持久化元数据的格式仍然会制约变更。这些任务使集群管理成为一项持续的系统工程工作,而非一次性的安装流程。

工作负载、性能与实际局限

Hadoop 尤其适合需要处理大型数据集中相当一部分数据、且能够容忍以秒、分钟或小时而非毫秒计的执行时间的工作负载。例如,转换事件日志、构建搜索索引、核对大批记录、准备训练数据集,以及为数据仓库定期生成汇总数据。当工作可以分配到多台机器上,且总体吞吐量的价值高于对单次请求即时响应的需求时,Hadoop 的优势最为明显。

性能取决于从存储、执行到输出的完整链路。工作负载可能受限于磁盘吞吐量、网络带宽、解压缩、序列化、CPU 处理能力或调度延迟。只有当瓶颈环节能够利用新增的工作节点时,增加节点才有帮助。简化而言,总耗时可以表示为

T≈Tstartup+Tread+Tcompute+Tshuffle+Twrite,T \approx T_{\text{startup}} + T_{\text{read}} + T_{\text{compute}} + T_{\text{shuffle}} + T_{\text{write}},

不过,实际执行中各阶段往往会相互重叠。这种分解说明了为什么输入规模较小时,启动开销可能占据大部分耗时,而大规模聚合的耗时则主要来自 shuffle 阶段的数据传输。

数据倾斜是经常导致负载不均的原因。如果某个键对应的中间记录占比很大,接收该键的归约任务可能会比其他同类任务运行得久得多。增加归约任务的数量,并不会自动拆分这个键对应的记录组。解决办法可能包括修改算法、引入局部聚合,或有意将数据量很大的键所对应的记录拆分为多个子组,然后再进行一次聚合。当输入分区的大小或计算难度相差悬殊时,也会出现类似的负载不均。

小文件问题同时源于元数据开销和执行开销。每个 HDFS 文件和数据块都会消耗命名空间管理资源,即使文件中只有很少的数据也是如此。因此,大量微小文件可能在磁盘容量耗尽之前,就耗尽 NameNode 的内存,或使文件列举和打开操作产生高昂开销。它们还可能产生大量短任务,其调度成本超过了有效计算本身的成本。合并文件并采用合适的存储格式可以降低这些成本,但适宜的文件大小取决于执行引擎、更新模式和所需的并行度。

Hadoop 并不能普遍替代所有数据库或计算系统。传统事务处理需要基于索引的单点查询、细粒度更新和事务语义等功能,而基础的 HDFS 和 MapReduce 并不提供这些功能。迭代式机器学习算法可能更适合使用能够将数据保留在内存中的引擎,而大量依赖加速器的模型训练还对通信和资源管理提出了额外要求。在这类处理流水线中,Hadoop 仍可用于持久化存储和大规模数据准备,但是否适用,必须针对具体子系统和工作负载来评估,而不能仅凭“大数据”这一宽泛标签来判断。

云端部署与架构角色的演变

传统的 Hadoop 部署将存储与计算放在同一批工作节点上。这种安排使数据本地性具有重要价值,也让各节点的本地磁盘能够共同提供很高的总带宽。不过,存储容量和计算能力也因此往往需要同步扩展:组织需要更多存储空间时,可能不得不增添计算能力并不需要的机器;而临时出现的计算高峰,又可能要求增加工作节点,但这些节点的磁盘却得不到充分利用。硬件采购、容量规划和集群维护由此紧密耦合。

云计算让另一种安排得以广泛落地:需要持久保存的数据可以放在对象存储中,而处理集群则可以独立创建、扩容或移除。Hadoop 文件系统连接器通过 Hadoop 应用熟悉的接口提供对这些存储的访问。这既支持临时计算集群,也允许存储独立增长,但削弱了最初的一项假设,即任务可以在持有数据本地副本的节点上运行。此时,性能转而取决于网络访问、远程请求的行为、连接器的实现、缓存以及对象存储的特性。

在这种环境下,文件系统兼容性体现为功能上的兼容,而非行为完全一致。在 HDFS 上,重命名路径是一项命名空间操作;而在许多对象存储方案中,类似重命名的操作需要复制对象,再删除旧对象。因此,围绕低成本原子重命名设计的输出提交协议,可能变得缓慢或不再适用。针对对象存储设计的提交器及相关协议能够解决这种不匹配。这里的启示并不是远程存储天生较差,而是正确性与效率取决于应用程序的假设是否与存储语义相匹配。

更广泛的数据湖方案也已发展到最初的 Hadoop 技术栈之外。组织可以在共享存储中保留大量结构化和非结构化数据,同时使用多种引擎来运行 SQL、批处理、流处理和机器学习工作负载。目录服务和表管理层在文件之上提供模式、事务、版本管理和维护能力。Hadoop 为这一架构贡献了重要接口和运维经验,但无论是数据湖还是现代分析表,都不一定需要 HDFS、YARN 或 MapReduce。

因此,Hadoop 的各个组件有着不同的部署演进路径。一个系统可以将 HDFS 与非 MapReduce 引擎搭配使用,也可以在 YARN 上运行 Spark,或者仅使用 Hadoop 客户端库来访问外部存储。托管服务可以提供部分 Hadoop 功能,而无需客户管理底层机器。反过来,一些平台会替换整个核心技术栈,同时保留源自其生态系统的格式、约定或软件。准确的描述应当区分这些情况,因为使用兼容 Hadoop 的存储接口,并不等于运行 Hadoop 集群;替换 MapReduce 本身,也不意味着 HDFS 或 YARN 已被移除。