Apache Kafka 是一个由 Apache 软件基金会支持开发的开源软件平台,用于分布式事件流处理。它使应用能够发布、保留、读取和处理连续的记录流,例如购买事件、应用日志、传感器测量数据以及数据库表的变更。其核心抽象是持久化的分区日志:记录按顺序追加,复制到多台服务器,并供消费者读取,而不受记录产生时间的限制。
Kafka 融合了消息系统、分布式存储和流处理的功能。有些系统通常会在接收方确认收到消息后将其删除,而 Kafka 则按照存储策略保留记录,让多个应用能够以不同速度读取同一段历史记录,或在之后重新读取处理。其分区架构支持水平扩展,复制机制则使系统能够抵御服务器故障。
Kafka 最初由 LinkedIn 创建,于 2011 年公开发布,后来成为数据工程基础设施的重要组成部分。它的能力不止于传递消息:该项目还包含集成框架和流处理库,其协议则支撑着由连接器、分析工具和托管服务构成的更广泛生态系统。要理解 Kafka,需要厘清其存储与排序模型、副本复制所提供的保证、客户端行为以及运维方面的限制。
起源与发展
Kafka 源于 LinkedIn 在业务服务、监控系统和分析基础设施之间传输海量活动数据的需求。Jay Kreps、Neha Narkhede 和 Jun Rao 是其早期开发的核心人物。已有方案往往将应用消息传递、日志收集和分析数据的批量导入视为彼此独立的问题。相比之下,Kafka 致力于提供一套通用基础设施,让生产者只需发布一次记录,多个下游系统便可各自独立消费。
2011 年的一篇论文《Kafka:用于日志处理的分布式消息系统》介绍了一种围绕高吞吐量、顺序存储访问和拉取消费模型设计的架构。这些设计选择体现了网站活动跟踪和日志处理的需求:事件数量庞大、订阅者众多,而且当下游应用暂时落后时,仍需保留数据。Kafka 于 2011 年进入 Apache 孵化器,并于 2012 年成为 Apache 顶级项目。它依据 Apache 许可证 2.0 发布。
随着项目的发展,Kafka 的可靠性及其支持的应用模型逐步拓展。2013 年发布的 Kafka 0.8 引入了集群内复制功能,是迈向容错存储的重要一步。2015 年发布的 Kafka 0.9 增加了 Kafka Connect,并引入了身份验证、授权机制等重要安全功能。2016 年的 Kafka 0.10 引入了 Kafka Streams 和记录时间戳。2017 年的 Kafka 0.11 增加了幂等生产者和事务,为在配置得当的 Kafka 工作流中实现恰好一次处理奠定了基础。
早期部署依赖 Apache ZooKeeper 来协调集群元数据和控制器选举。后来,这一依赖被 Kafka 自身基于共识机制的元数据系统 KRaft 取代。2022 年发布的 Kafka 3.3 标志着 KRaft 已可用于新建集群的生产环境。2025 年发布的 Kafka 4.0 移除了对基于 ZooKeeper 运行模式的支持。这一转变改变了控制平面,但并未取代应用程序使用的分区日志抽象。
Kafka 的演进还催生了 Apache 发行版之外的生态系统。2014 年,Kafka 原始开发团队的部分成员创立了 Confluent,围绕 Kafka 开发商业产品和服务;其他供应商也提供托管 Kafka 服务及兼容产品。这些产品提供的功能不一定属于 Apache Kafka 本身。因此,模式注册中心、图形化管理工具、特定连接器和专有存储机制,即便经常与 Kafka 一同部署,也必须与上游项目本身加以区分。
主题、分区与事件日志模型
Kafka 将记录组织到具名的主题中。一个主题可以包含已完成的订单、客户账户的变更或工业设备的读数。每条记录都可以包含键、值、时间戳和标头。键和值以字节序列表示:Kafka 不要求它们遵循特定的业务格式。序列化代码负责将应用对象转换成这些字节,并在记录被消费时将其还原。
一个主题分为多个分区,每个分区都是一个有序的、只能追加的日志。每条记录都会获得一个偏移量,用于标识它在所属分区中的位置。偏移量并不是整个主题范围内的序号,也不能通过比较不同分区的偏移量来推断全局顺序。日志压缩、事务控制记录及其他内部行为,也可能使应用可见的偏移量出现间断。
分区机制将有序性与可扩展性联系起来。生产者可以显式选择分区,也可以使用分区策略。采用常见的基于键的策略时,只要分区数量和相关分区行为保持不变,序列化后的键相同的记录就会被分配到同一个分区。因此,订单管理应用可以使用订单标识符作为键,让同一订单的更新写入同一个有序日志。增加分区数量可能会改变后续带键记录的分区归属,因此,对于依赖同一键的历史记录顺序的应用,这种变更并不一定是透明的。
Kafka 支持具有持久化能力的发布—订阅消息传递。多个消费者组可以订阅同一个主题,而不必相互争夺其中记录的消费权。欺诈检测应用、会计处理流水线和分析服务可以各自维护其在支付主题中的消费进度。消费本身不会删除底层数据;数据保留策略和日志压缩策略决定这些数据能够保留多久。
这一模型不同于传统的消息队列,尽管 Kafka 可以在消费者组内部支持类似队列的任务分发。关键在于区分共享的持久保留日志与各应用在日志中的位置。重放主题不需要生产者重新发送每一个事件,但前提是相关记录仍然存在。
日志模型也有其局限性。有序性仅限于单个分区,并不会自动扩展到整个业务流程。记录的时间戳无法为独立产生的事件确立涵盖所有事件的因果全序。Kafka 可以作为事件溯源的基础设施,但应用仍须定义事件的含义、版本管理规则、聚合边界,以及保留的事件与权威业务状态之间的关系。
代理节点、存储与吞吐量
存储主题分区并为其提供服务的 Kafka 服务器称为代理节点(broker)。集群将分区副本分布在不同的代理节点上,使存储容量和请求处理能力能够通过增加机器来扩展。客户端首先联系一个或多个引导地址,获取集群的元数据,然后与负责所需分区的代理节点通信。引导服务器只是入口,并不是所有流量都必须经过的网关。
每个本地分区副本都以一系列分段文件的形式存储。分段包含记录批次,配套的索引则帮助按偏移量和时间戳定位记录。当分段达到配置的大小或存续时间阈值时,代理节点便会切换到一个新的活动分段。按分段组织数据,可以在不重写整个分区的情况下删除旧数据,同时让索引结构保持在易于管理的规模。因此,Kafka 使用文件系统作为持久化存储,而不是将所有保留的记录视为内存队列。
Kafka 的性能在很大程度上依赖批处理和顺序访问。生产者将记录汇集成批次,代理节点再将这些批次追加到分区日志中。压缩可以同时减少网络流量和存储占用;代价是增加处理开销,而且等待批次形成也可能带来更高的延迟。现代版本的 Kafka 支持多种压缩格式,包括 gzip、Snappy、LZ4 和 Zstandard。压缩效果取决于记录结构、批次大小和工作负载。
操作系统的页缓存发挥着重要作用。最近写入或经常读取的日志数据可以保留在内存缓存中,从而减少对物理存储的读取,而不必由应用程序为每条记录单独管理缓存。在适当的配置下,Kafka 还可以利用操作系统提供的机制,在将文件数据传输到网络套接字时避免不必要的数据复制。这些优化能否生效取决于具体条件:加密、存储架构以及具体的请求路径,都会影响哪些机制可用。
数据保留策略可以基于经过的时间、累积的数据大小,或多种策略的组合。删除操作通常针对符合条件且已关闭的分段,而不是在每条记录各自的保留期限届满时立即将其删除。因此,配置的保留时长并不等于每条记录的精确删除期限。另有一种称为日志压实的机制,它按键保留较新的值,而不是简单地保留一个连续时间窗口内的数据。
存储需求可以根据摄取速率、保留时长、压缩情况和副本数量来估算。如果压缩后的输入以每秒 字节的速率到达,保留 秒,且复制因子为 ,则包含副本在内的基本有效载荷存储量约为
实际容量还必须考虑索引、分段开销、临时重复数据、分区大小不均,以及运维所需的空闲空间。高吞吐量并不意味着没有资源限制:磁盘带宽、网络带宽、处理器时间和分区分布都可能成为瓶颈。
复制、领导者与集群协调
Kafka 通过分区复制,在不同的 broker 上保存记录的多个副本。每个分区都有一个领导者和一组跟随者。生产者通常将写入请求发送给领导者,跟随者则从领导者拉取记录。客户端一般从领导者读取数据,不过,对于重视数据访问局部性的部署,Kafka 也支持通过配置从跟随者拉取数据。因此,领导者职责以分区为单位:一个 broker 可以担任某些分区的领导者,同时担任其他分区的跟随者。
同步副本集合通常简称为 ISR,其中包含按照 Kafka 的复制规则,已充分追上领导者进度的副本。它并不是分配给某个分区的全部副本所构成的固定列表。跟随者如果落后过多,可能会退出 ISR,并在追上进度后重新加入。高水位标记了普通消费者可读取的已复制数据边界;超出这一边界的记录尚不能作为正常已提交的日志数据供消费者读取。
写入的持久性取决于多项设置的共同作用。使用 acks=all 的生产者会根据分区当前的同步副本情况等待确认。broker 配置项 min.insync.replicas 规定了此类写入成功所需的最少可用同步副本数。当复制因子为三、最小 ISR 数量为二时,使用这种确认模式的写入在一个副本不可用后仍可继续,但一旦 ISR 数量降至二以下,写入就应失败。仅设置 acks=all,并不意味着必须始终获得最初分配的副本中某个固定多数的确认。
领导者发生故障后,Kafka 可以选举另一个合适的副本。在系统假设成立的前提下,选举同步副本可以保留已复制的历史记录。允许不同步的副本成为领导者,传统上称为非同步副本领导者选举(unclean leader election),可以恢复可用性,但代价是可能丢失该副本中不存在的记录。这体现了分布式计算中可用性与一致性之间的实际矛盾,并不意味着所有配置都必然作出相同的权衡。
集群元数据的管理独立于普通主题的复制。在 KRaft 模式下,控制器仲裁组使用基于 Raft共识算法的协议,维护一份复制的元数据日志。其中一个活动控制器负责集群级决策,其他控制器则维护元数据历史,并可参与选举继任控制器。仲裁组需要多数成员可用才能继续推进;三个控制器可以容忍一个控制器故障,五个则可以容忍两个。
KRaft 并不会将每个数据分区都变成独立的 Raft 组。分区数据仍然使用 Kafka 的领导者与 ISR 复制模型。在诊断故障时,区分这两者十分重要:控制器仲裁组失去多数成员、分区领导者丢失以及同步数据副本不足,影响的是系统的不同部分,不一定会表现出相同的症状。
生产者、事务与交付保证
Kafka 生产者将应用数据转换为序列化的记录,选择分区,将记录组成批次,并向代理节点发送请求。其行为涉及延迟、吞吐量与故障处理之间的权衡。较大的批次可以分摊请求开销并提高压缩效率,而非零的批处理等待时间则可以提高吞吐量,代价是发送前需要等待更久。交付超时、重试设置以及未完成请求数量的限制,都会影响代理节点响应缓慢或暂时不可用时的处理行为。
确认设置决定生产者需要等待什么。使用 acks=0 时,生产者不等待代理节点的确认。使用 acks=1 时,首领副本在本地追加记录后即返回确认,无须等待所有同步的跟随副本。使用 acks=all 时,确认过程涉及同步副本集(ISR),并受代理节点配置中最小 ISR 要求的约束。不应将这些模式误解为一种无条件保证,即每条已确认的记录都已在每个副本上同步强制写入物理存储介质。
重试会带来结果不确定性。如果代理节点已存储一个批次,但确认消息丢失,生产者仅凭这次超时无法判断追加操作是否已经发生。在不去重的情况下重发该批次,可能产生重复记录。Kafka 的幂等生产者通过生产者标识符、纪元和分区级序列号来解决这一问题,使代理节点能够识别重传。这可以防止受支持的生产者重试造成重复记录,但不会仅仅因为两个独立提交的业务事件恰好具有相同的载荷,就将它们去重。
事务将这一模型扩展到跨分区、跨主题的协调写入。事务性生产者可以写入多个批次,然后提交或中止事务。Kafka 还可以将消费者偏移量更新纳入同一个事务,使“消费—转换—生产”型应用能够同时提交输出和输入处理进度。事务协调器维护事务状态;当替代实例接管原实例的事务身份时,生产者纪元机制可以将过时的生产者实例隔离,阻止其继续操作。
配置为 isolation.level=read_committed 的消费者会排除已中止事务中的记录,也不会越过尚未确定结果的事务边界继续读取。使用 read_uncommitted 的消费者无须等待事务提交即可读取事务性记录,其中也包括随后被中止的事务中的记录。此设置并不意味着消费者可以越过正常的复制边界,任意读取尚未复制的数据。
因此,Kafka 的“恰好一次”能力有其适用范围。它可以在事务性处理流程中,使 Kafka 输入偏移量与 Kafka 输出记录保持一致,但不会自动确保外部支付、电子邮件发送或数据库事务恰好执行一次。外部副作用需要自身的协调机制或幂等机制。“至多一次”“至少一次”和“恰好一次”描述的是在明确假设下可观察到的处理行为,而不是同一个生产者开关上可以互换的标签。
消费者、偏移量与工作分配
Kafka 消费者通常批量拉取记录,而不是在每个事件发生时被动接收推送。拉取机制让应用能够自行控制读取速度,并实现高效的批量传输。只要集群有足够的存储空间,且所需记录尚未过期,较慢的消费者就可以积压记录,而不必立即让生产者等待。这种缓冲机制使生产者的可用性不再受每个订阅者即时处理能力的直接制约。
在传统的消费者组模型中,同一时刻,每个分区最多只能分配给组内的一个消费者。一个消费者可以负责多个分区,但消费者数量超过分区数量后,继续增加消费者并不能提高分配层面的并行度。如果一个主题有十二个分区,一个包含四个消费者的组可以让每个消费者各负责三个分区;而一个包含二十个消费者的组,则无法通过常规分区分配让所有成员都有任务可做。不同的消费者组各自独立地接收同一条逻辑记录流。
消费者的当前位置与其已提交偏移量是两个不同的概念。随着记录被拉取并通过消费者接口交付,当前位置会不断前进。已提交偏移量则记录了消费者组在重新分配或重启后应从何处恢复读取。按照惯例,它指向下一条要读取的记录,而不是最后一条已处理的记录。Kafka 将消费者组的偏移量存储在内部采用日志压缩的主题 __consumer_offsets 中,并通过组协调服务进行管理。
提交偏移量的时机会影响故障发生后的行为。如果应用先提交再处理,那么发生崩溃后,重启时可能会跳过部分记录。如果先处理再提交,那么在这两个步骤之间发生崩溃,就可能导致重复处理。后一种模式通常对应至少一次投递语义。自动定期提交虽然方便,但其本身并不能为应用处理工作或对外部系统产生的副作用建立事务边界。
消费者组成员的变化会触发重新分配,通常称为再均衡。新消费者加入、现有消费者离开、发生故障,或订阅的分区发生变化,都可能改变分区归属。心跳机制和与轮询相关的超时机制,有助于区分活跃成员与已故障或停滞的成员。急切式分配协议可能在再均衡期间撤销所有现有分配;协作式协议则通过逐步迁移分区来减少干扰。当实例以稳定的身份标识重启时,静态成员机制也能减少不必要的重新分配。
消费者滞后量通常以分区末端位置与消费者组已提交位置之间的差值来衡量。它是一个有用的运维指标,但不能直接反映处理延迟的时长。同样是积压一百万条小记录,在某种工作负载下可能只需几秒钟就能处理完,在另一种工作负载下却可能需要数小时。滞后量还可能包含已经处理但尚未提交偏移量的记录。基于时间戳计算的延迟、处理吞吐量、再均衡频率,以及应用特定的完成情况指标,可以提供补充信息。
日志压缩、表与有状态流处理
Kafka 支持两种重要的主题数据保留方式。基于删除的保留方式在指定的时间或容量限制内保留记录,并最终删除较旧的日志段。日志压缩则力求为每个键至少保留其最新的可用值。因此,包含客户资料更新的压缩主题可以保留每位客户的当前资料,而不必无限期保留所有历史更新。
日志压缩是异步执行的后台工作,而不是立即进行的原地替换。在符合条件的日志段被清理之前,同一个键的多个版本可以同时存在;活跃日志段也不会在每次更新时都被重写。保留下来的记录仍使用原来的偏移量,因此偏移量出现空缺是正常现象。带有键且值为 null 的记录充当墓碑记录,表示删除。墓碑记录本身也受保留规则约束;消费者在重建状态时,必须在适用的保留条件允许的范围内读取到相关删除信息。
流与表之间的关系是 Kafka 处理模型的核心。流表示一系列事件,而表表示由事件推导出的当前状态。账户变动流可以聚合为余额表;该表的变化又可以表示为流。压缩主题通过保留可用于重建物化视图的状态更新,使这种关系在实际运行中发挥作用。
Kafka Streams 是 Kafka 项目附带的 Java 库。它在应用程序内部运行,无须单独管理一个处理集群。应用程序通过定义拓扑来组织过滤、映射、分组、连接和聚合等操作。该库根据 Kafka 分区分配处理任务,并支持本地状态存储,状态变化通常由 Kafka 变更日志主题提供持久化保障。发生故障或任务重新分配后,任务可以从保留的相关数据中重建状态。
有状态处理需要明确考虑时间因素。事件时间取自事件的时间戳,而处理时间反映的是应用程序处理该事件的时刻。由于重试、缓冲、网络延迟或生产者彼此独立等原因,记录可能不会按事件时间顺序到达。窗口聚合将事件划分到有界的时间区间中;宽限期决定某些迟到事件在多长时间内仍可用于更新结果。不同的窗口类型适用于不同的问题,包括固定时间区间、相互重叠的时间区间,以及按不活动时段划分的会话。
连接操作也依赖数据的组织方式。基于键的流—表连接或流—流连接通常要求采用兼容的分区方式;当上游操作改变键时,可能会创建重分区主题。精确一次处理模式会协调 Kafka 输出、偏移量和状态相关更新,但这并不意味着可以不再考虑迟到数据、重复的业务事件或外部服务。Kafka Streams 提供处理机制,而什么样的结果才算有效,仍取决于应用程序的语义。
连接器、模式与数据集成
Kafka Connect 是 Kafka 用于在 Kafka 与外部系统之间传输数据的框架。源连接器将数据导入 Kafka,接收器连接器则将记录导出到数据库、搜索索引和对象存储等目标系统。Connect 为配置、任务分配、偏移量跟踪和状态报告提供了通用机制,减少了各个连接器需要自行实现的基础设施功能。
Connect 可以在独立模式或分布式模式下运行。独立模式的协调机制简单,适合小规模部署。分布式模式使用一组工作进程,共同承担连接器和任务的职责,并将配置、状态和偏移量信息存储在 Kafka 主题中。连接器定义集成方式,任务则执行连接器所划分出的工作单元。提高连接器的任务数上限不一定能提高实际并行度:工作可以拆分到什么程度,取决于外部系统和连接器的实现。
一种重要的集成模式是变更数据捕获(CDC)。CDC 系统并不反复读取整张表,而是通过数据库的变更机制(通常是事务日志)捕获插入、更新和删除操作。Debezium 是一个知名的开源项目,为多种数据库系统提供这类连接器,通常通过 Kafka Connect 运行。由此产生的事件可用于向搜索索引、分析型存储、缓存和下游服务提供数据,而不必让每个消费者都去查询原始数据库。
当应用程序分别执行数据库更新和事件发布时,数据库集成就会面临一致性问题。如果两项操作之间发生崩溃,就可能出现一项已完成、另一项未完成的情况。事务性发件箱模式通过在同一个数据库事务中写入业务数据和一条发件箱记录,再由单独的进程或 CDC 流水线发布发件箱变更,来解决这一问题。这可以避免一类双写不一致问题,不过下游消费者可能仍需处理重复事件。
Kafka 本身存储的是字节,并不强制整个应用程序采用统一的记录模式。生产者和消费者可以使用 JSON、Apache Avro、Protocol Buffers 或其他格式。模式注册中心可以将记录与模式关联起来,并强制执行兼容性策略,但它是生态系统中的独立组件,而不是 Kafka 代理必须提供的服务。向后兼容、向前兼容和完全兼容描述了新旧读写端之间的不同关系;具体规则取决于序列化格式和注册中心配置。
集成的可靠性取决于具体连接器。向支持幂等键或事务性批量操作的系统写入数据的接收器,与执行非幂等请求的接收器相比,可能具有不同的故障恢复行为。Kafka Connect 框架提供的能力,并不会自动使每个连接器都具备恰好一次语义。对于模式变更、毒丸记录、重试和死信目标的处理,都需要明确规定其语义;当必须避免格式错误的事件在无声无息中无限期阻塞整个分区时,这一点尤为重要。
部署、安全与运维管理
Kafka 可以运行在物理服务器、虚拟机、容器平台或托管的云计算服务上。无论采用哪种部署模式,都必须妥善处理分区放置、存储、网络和故障域之间的关系。如果所有机器都依赖同一个可能发生故障的机架、供电域或可用区,那么仅将副本放在不同机器上并不足以提供保护。机架感知设置可以让副本分配考虑这些拓扑因素,但最终的故障抵御能力仍取决于实际基础设施。
容量规划不能只考虑平均数据写入速率。副本复制会产生内部网络流量,消费者组会增加出站流量,而故障恢复或分区重新分配可能在短时间内占用大量磁盘和网络容量。分区数量过多,会在元数据、文件句柄、调度、恢复和客户端协调方面带来额外开销。反之,分区过少则可能限制并行处理能力,或导致流量集中。某个异常活跃的键可能造成分区热点,而仅仅增加其他代理节点并不能自动解决这一问题。
运维监控通常涵盖请求延迟、请求失败、磁盘利用率、副本不足的分区、不可用分区、同步副本集(ISR)变化、控制器仲裁组的健康状况以及消费者滞后。各项指标的意义取决于具体情境:受控重启期间暂时出现副本不足,与磁盘饱和导致副本持续落后,性质并不相同。分区重新分配用于重新分布副本,而首选领导者选举可以重新平衡领导者的分布,不一定需要迁移所有底层数据。这两种操作都可能影响正在处理的流量。
Kafka 支持使用传输层安全协议建立加密连接并进行基于证书的身份认证,也支持通过 SASL 机制进行身份认证。访问控制可以限制对主题、消费者组和事务标识符等资源的操作。监听器配置允许通过不同的网络端点满足不同客户端或代理节点间通信的需求。身份认证用于确认身份,授权用于确定允许执行的操作,加密则用于保护传输流量;启用其中一项,并不意味着其他各项也已正确配置。
多租户集群还需要资源隔离。配额可以限制生产者和消费者的流量,或限制请求的资源消耗,从而降低单个客户端耗尽共享容量的风险。管理权限、连接器凭据以及对内部主题的访问都需要单独关注。静态数据加密通常由存储、操作系统或云平台设施提供,不能因为启用了保护传输中数据的 TLS,就认定静态数据也已加密。
副本复制并不等同于数据备份或灾难恢复。经授权的删除操作、应用程序错误或不恰当的保留策略变更,都可能影响所有副本。包括 MirrorMaker 2 在内的跨集群复制工具可以支持迁移和异地恢复,但异步复制会存在滞后,也不会自动保留应用程序状态的所有方面。恢复计划不仅要确保存在记录副本,还必须涵盖消费者位置、主题配置、访问策略和外部依赖。
架构用途与实际局限
Kafka 广泛用作连接服务与数据平台的共享事件骨干。在微服务架构中,一个服务可以发布业务事件,其他服务则独立响应,从而减少直接的同步依赖。这种解耦不仅体现在结构上,也体现在时间上:消费者可以短暂不可用,随后从保留的数据中恢复消费。不过,服务之间仍然通过事件含义、键、模式,以及对顺序和交付的预期相互耦合。
分析流水线是另一个主要用途。Kafka 可以持续摄取业务运行中产生的事件,并将其送入数据仓库、搜索系统、监控应用和流处理引擎。Apache Spark 和 Apache Flink 可以消费 Kafka 数据,同时提供不同于 Kafka Streams 的处理模型。Kafka 通常充当持久化传输层和重放层,而下游系统则负责查询执行、大规模计算或专用存储。
当新应用需要根据历史事件构建状态,或现有计算需要修正时,重放尤其有价值。重放的有效性取决于数据保留、模式演进和可复现性。用今天的业务规则解读历史事件,未必能够重现多年前最初产生的结果。重放记录还可能重复触发外部副作用,除非应用将状态重建与账户扣款、发送通知等操作分离。
Kafka 不会仅仅因为能够持久存储数据,就成为通用数据库。它不支持对所有记录进行任意索引查询,不支持按需对已存储的不同主题进行关系连接,也不支持不受限制的记录级更新。日志压缩支持基于键重建状态的模式,但它并不是同步查询服务。需要交互式查询的应用通常会在其他数据库中维护物化视图,或通过处理应用对外提供部分本地状态的访问接口。
Kafka 本身也并不具备作业调度器或传统企业消息系统的全部功能。严格的优先级队列、任意延迟投递、逐条记录路由,以及独立的确认或重新投递策略,可能需要通过应用逻辑或不同的消息代理模型来实现。对负载较高的键保持有序,也可能与并行处理发生冲突:如果所有更新都必须保留在同一个分区中,那么在不改变应用协调模型的情况下,增加消费者也无法让它们独立并行地处理该分区。
因此,最重要的设计边界在于:哪些内容必须有序,哪些内容必须保留,以及怎样才算处理成功。经过日志压缩的客户状态主题、不可变的审计流和短暂保留的遥测流水线,可以共用 Kafka 基础设施,但需要不同的数据保留、安全、复制和消费策略。平台提供持久化日志与协调机制;业务系统则定义权威状态、可接受的故障行为,以及重放或丢失事件的后果。