{
  "id": "stream-processing",
  "title": "流处理",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "流处理持续计算陆续到达的数据，借助时间、状态和恢复机制，从可能无界的输入中及时产出结果。",
  "category": "computer-science",
  "subcategory": "software",
  "type": "concept",
  "aliases": [
    "数据流处理",
    "流式处理"
  ],
  "generated_at": "2026-11-03",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/stream-processing/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/stream-processing/",
      "json": "https://aiwiki.page/en/stream-processing.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "流处理是一种计算方式，在数据可用时就以增量方式进行处理，而不是等到数据收集成完整的数据集后才开始处理。其输入通常代表各类事件，例如金融交易、传感器测量、网站交互、应用程序日志或数据库记录的变更。流处理应用可以转换单个事件、维护持续更新的聚合结果、关联多个数据源，或检测跨越一段时间的模式。\n\n凡是结果的价值取决于其能在相关活动发生后多快产出的场景，流处理都十分重要。例如，运行监控、欺诈检测、实时分析，以及衍生数据的持续维护。尽管流处理经常与低延迟和大数据联系在一起，但极高的数据量和即时响应都不是其定义所必需的条件。它的核心特征是对陆续到达的数据持续进行计算，而且往往没有预先设定的终点。\n\n现代流处理系统融合了数据库、分布式计算和增量算法的思想。其主要难点源于时间、可变状态、并行执行与故障之间的相互作用：事件可能延迟到达或乱序到达，机器可能在完成部分工作后发生故障，而看似已经确定的最终结果，也可能需要在更多信息到达后加以修正。"
    },
    {
      "heading": "计算模型与边界",
      "text": "流可以建模为一系列记录，每条记录都包含载荷，通常还包含键、时间戳和源位置。载荷描述观测结果或变化；键标识账户、设备等实体；时间戳将事件置于时间背景中；源位置则标识记录在输入序列中的位置。这些字段各有用途。源偏移量可以支持恢复，却不一定能准确描述事件发生的时间；事件时间戳可以支持时间分析，却不一定能唯一标识一条记录。\n\n流处理与批处理的主要区别在于如何对待输入。批处理作业处理的是范围已知的有界数据集合，例如分配给某份日报的全部文件。流式计算则被设计为持续接收输入，这一过程可能无限延续。有界与否并不取决于数据规模：包含一万亿条记录的存档是有界的，而一个低频上报数据的温度传感器却可能产生无界流。许多现代引擎使用相近的执行机制来实现这两种处理形式。\n\n流处理程序通常表示为由算子组成的图。过滤算子筛选记录，映射算子转换记录内容，分组操作将键相同的记录路由到一起，聚合操作则维护一个值，例如持续更新的计数。与对静态表执行的一次性查询不同，连续查询会保持运行，并随着输入的变化不断产出结果。有些输出是仅追加的事实，另一些则是对先前结果的更新或撤回。当后续到达的数据改变了聚合结果，或使先前报告的某个条件不再成立时，这一区别就至关重要。\n\n流处理与几种相近的方法有所交集，但并不等同。事件驱动架构关注软件组件如何通信以及如何响应事件；由事件触发的服务不一定执行持续分析。复杂事件处理侧重于识别有意义的事件模式，通常会使用时间约束。响应式编程提供了传播变化和协调异步工作的抽象，但它完全可以只在单个进程内运行。同样，音视频流传输主要关注连续媒体的传输与播放，而不是对事件记录进行分析计算。\n\n“实时”需要进一步界定。流式系统通常可能在几毫秒内响应，却仍不保证延迟上限。硬实时系统要求严格遵守截止期限，超期即视为失败；这是一项更强的要求，需要对调度和资源行为施加严格的边界约束。分布式流处理服务通常更注重实测延迟、可用性和恢复能力，而非硬性的时限保证。"
    },
    {
      "heading": "历史发展",
      "text": "流处理并非源于某一项单独的发明，而是从多个领域的技术传统中发展而来。电信系统以增量方式处理通话记录和网络测量数据，工业系统监测持续变化的信号，金融应用则维护快速更新的市场活动视图。数据库研究提出了常驻查询的概念：查询注册后持续有效，并处理后续更新。主动数据库和事件—条件—动作规则方面的研究，也探索了由数据变化触发的计算，而非依靠反复显式发起查询。\n\n20 世纪 90 年代末至 21 世纪初，数据流管理系统研究对无界输入和有限内存所带来的问题进行了形式化描述。斯坦福大学的 STREAM 项目研究了连续查询，并开发了通常简称为 CQL 的连续查询语言。其形式化框架区分了流与随时间变化的关系，并描述了在二者之间进行转换的算子。Aurora 于 2002 年在研究论文中提出，着重研究数据流网络、算子调度和服务质量要求。其后继项目 Borealis 则研究了分布式运行、修订数据的处理等问题。\n\n随后，大规模数据基础设施改变了流处理的工程环境。Jeffrey Dean 和 Sanjay Ghemawat 于 2004 年介绍的 MapReduce编程模型，推动了面向有界数据集的容错并行处理的普及。然而，对于需要频繁更新的应用，反复执行大型批处理作业并不合适。2011 年公开发布的 Apache Storm 等分布式事件处理系统，提供了长期运行的拓扑，用于逐个处理事件，并在故障后恢复处理工作。持久化消息系统，尤其是 Apache Kafka，帮助实现了事件生产与消费的解耦，也使重放成为常规运维能力。\n\n另一个颇具影响力的方向是以小批次作为流式执行的单位。Spark Streaming 在 2013 年一篇关于离散化流的研究论文中提出，将流表示为一系列短小且具备容错能力的批次。这种方法复用了 Apache Spark 的设计思想，使流处理更容易与现有的分布式数据处理操作结合。它也表明，要提供持续运行的服务，并不一定需要独立调度每条记录。\n\n对时间和正确性的研究有助于将这些方法统一起来。谷歌于 2013 年发表的 MillWheel 论文描述了一种采用持久化状态和低水位线机制的容错流处理方法。2015 年的 Dataflow Model 论文区分了事件时间与处理时间，并阐明了正确性、延迟和成本之间的权衡。随后，Apache Beam 提供了一种受这项研究影响的编程模型，而 Apache Flink 则成为集有状态流处理、事件时间处理和基于检查点的恢复于一体的代表性引擎。这些进展使关注重点从单纯快速处理事件，转向明确结果在乱序、重放和故障情况下的含义。"
    },
    {
      "heading": "执行架构与事件传输",
      "text": "典型的部署由数据源、处理图和输出端组成。数据源从持久化日志、消息代理、网络连接、文件或数据库变更流中获取记录。处理算子对这些记录进行转换和组合。输出端将结果写入数据库、分析存储、对象存储、监控系统或后续的事件流。这种分离使各部分能够独立扩缩容和维护，但每个组件边界都会带来缓冲、排序、身份验证和故障处理等问题。\n\n持久化事件日志与临时通信通道的区别在于，它会保留记录，供后续读取。消费者维护自己在日志中的读取位置，并可在重启后从这些位置继续读取。多个应用可以独立处理同一段历史数据，新应用也可以通过重放保留的事件来重建自身状态。不过，保留策略仍会带来限制：如果日志在七天后删除旧记录，那么仅靠这份日志，就无法完成需要一个月历史数据的状态重建。日志压缩按键保留选定的记录，其提供的历史数据保证与普通的基于时间的保留策略不同。\n\n并行处理通常依赖分区。输入主题或数据流被划分为多个分区，由不同的处理任务并发消费。按键重分布会将某个键对应的所有事件路由至同一个逻辑算子实例，使该实例能够维护一致的账户余额、设备状态或会话历史。顺序通常只在单个分区或单个键的范围内得到保证，而不是在整个分布式系统中全局保证。建立单一的全局全序可能造成瓶颈，而且对许多应用而言并无必要。\n\n不同执行引擎的调度粒度有所不同。逐条处理引擎让事件流经持续运行的算子，而微批处理引擎则定期针对新到达的数据调度处理任务。算子链可以将相邻的转换操作放在同一任务中，避免序列化和网络传输。任务间的数据交换为并行处理创造了机会，但也需要缓冲、通信和协调。因此，增加工作节点数量并不一定能降低延迟：当每条记录所需的计算量很小时，额外开销可能超过并行处理带来的收益。\n\n架构设计中另一个需要关注的问题是背压，即下游容量限制向上游生产者或算子传递。如果输出端每秒只能接收 20,000 条记录，而上游任务每秒产生 30,000 条，那么多出的记录就必须积压、丢弃，或迫使上游减慢处理速度。有界队列和流量控制协议可以防止内存占用无限增长，而持久化日志可以缓冲暂时的供需失衡。但这些机制无法消除持续存在的容量缺口。因此，流处理不仅依赖计算速度，还依赖对整个流水线中工作流动的协调控制。"
    },
    {
      "heading": "时间、乱序与窗口语义",
      "text": "流处理系统通常区分三种时间。事件时间表示事件发生的时间，以事件源记录的时间或赋予事件的业务含义为准。摄取时间表示基础设施首次接收该事件的时间。处理时间则是算子处理该事件时的时钟时间。例如，移动设备可能在 10:00 记录一笔购买，在恢复连接后于 10:20 上传，再于 10:21 由系统处理。统计 10:00 至 11:00 期间购买情况的报表通常需要使用事件时间；衡量处理系统活动情况时，则可能使用处理时间。\n\n由于无界输入通常无法聚合到一个最终完成的状态，许多计算会使用窗口。滚动窗口将时间划分为互不重叠的区间，例如连续的五分钟时段。滑动窗口可以覆盖过去一小时，并每分钟向前推进一次，因此一条记录可能归入多个窗口。会话窗口将相邻活动间隔不超过指定阈值的活动归为一组；新到达的事件可能将原本分开的两个会话连接起来。窗口也可以按记录数量或应用特定的边界划分，而不以时钟时间为依据。\n\n难点在于如何确定已经到达的输入是否足够。水位线是对事件时间进度的声明。通俗地说，位于时间 \\(w\\) 的水位线表示，系统预计此后正常到达的输入中，不会再有时间戳早于 \\(w\\) 的记录。这一声明究竟是严格保证，还是启发式估计，取决于数据源和具体实现。因此，水位线并不等同于当前的实际时钟时间。对于多输入算子，进度往往取决于相关输入中最慢的一路，而空闲分区则需要显式处理。\n\n触发器决定窗口何时输出结果。应用可以每秒输出一次初步估计，在水位线越过窗口边界时再输出一次结果，并在额外的保留期内针对迟到记录发布修正。允许迟到时长决定了相关窗口状态会保留多久，以便进行这些修正。丢弃严重迟到的数据、将其发送到单独的输出，或修订历史结果，是含义各不相同的策略。使用事件时间戳本身并不意味着会自动采用其中任何一种策略。\n\n例如，一个五分钟销售窗口最初可能报告 100 笔交易，随后在延迟上传的设备重新连接后，将结果改为 103 笔。如果只追加的输出中同时包含这两个数字，而下游使用者不知道第二个是否替代第一个，就会产生歧义。因此，系统会区分累积输出、增量更新和撤回。若不对数据到达情况作出假设，就无法同时实现精确结果、低延迟和有限的资源消耗：只要记录可以任意晚到，就始终可能推翻此前已关闭的事件时间窗口的结果。"
    },
    {
      "heading": "有状态计算、连接与增量视图",
      "text": "无状态操作可以独立处理每条记录。有状态操作则依赖于先前记录中保留下来的信息，例如累计总和、最近一次观测到的设备状态、尚未完成的事件模式，或等待另一侧输入中匹配记录的记录。状态可以由某个算子在本地维护，也可以按键分区。状态的存续时间和规模是设计时需要考虑的核心属性。为每个活跃账户维护一个计数，所需状态规模可能不大；但如果保留每个账户的所有历史事件，状态就会无限增长，除非应用定义了过期或压缩规则。\n\n增量聚合可以避免每次都根据全部历史数据重新计算结果。对于累计求和，新到达的值 \\(x\\) 会将状态从 \\(s\\) 变为 \\(s+x\\)。计算平均值需要同时维护总和与计数，仅保留上一次的平均值并不够。不同聚合在合并结果和移除数据方面的难易程度各不相同。当记录进入或离开滑动窗口时，计数与总和都可以随之更新；而精确计算中位数则需要更复杂的数据结构。满足结合律的聚合允许独立计算各部分结果，再将其合并，这是并行计算的重要基础。\n\n连接尤其需要谨慎管理状态。流与表的连接使用已存储的关系来补充每个事件的信息，例如为订单添加客户信息。流与流的连接则缓存两侧输入的记录，等待潜在的匹配记录到达。如果交易与确认记录只有在十分钟内才能匹配，那么结合时间范围限制和水位线，最终就可以确定何时能够删除未匹配的记录。两个无界流之间若进行不受限制的连接，可能需要保留任意规模的历史数据，因为任何旧记录都有可能与未来的记录匹配。\n\n时态连接还引入了另一层区别：使用最新已知的维度值进行匹配，并不等同于使用事件发生时有效的值进行匹配。客户更改地址之前下的订单，即使在地址变更后才被处理，也可能仍然需要使用原来的地址。要支持这种语义，就必须维护带版本的状态，并明确事件时间戳、更新的有效期与所保留历史之间的关系。因此，不能仅仅把流式连接理解为执行得更频繁的普通连接。\n\n持续查询与物化视图密切相关。物化视图存储查询结果，并在底层数据发生变化时更新结果。在流式表示中，插入、删除和更新可以编码为变更日志。这样，分组汇总值就能通过增量变化来更新，而无须完整重算。通过变更数据捕获接入数据库，可以将这一模型扩展到仅追加事件之外：记录的更新和删除也成为一等输入。要正确维护结果，就必须以一致的方式解读这些变更，其中也包括在相关场景下正确处理主键和事务边界。"
    },
    {
      "heading": "故障恢复与处理保证",
      "text": "故障恢复必须协调两方面的进度：哪些输入记录已被消费，以及这些记录产生了什么状态。只记录输入位置，可能会丢失状态变更；只记录算子状态，则可能导致输入被再次应用。一个协调一致的恢复点，会将数据源位置与计算过程的一致性快照关联起来。检查点机制会定期创建这样的恢复点，使执行过程能够重新启动，而不必重放全部可用历史数据。\n\n分布式快照需要协调，因为记录可能仍在算子之间传输。有些引擎会向输入流中插入屏障，以标记检查点边界。接收多个输入的算子可以对齐各路输入的屏障，使其快照对应计算过程中的一个一致性切面。其他设计则会捕获传输中的数据，或采用其他协调策略。在存在背压时，屏障对齐可能增加延迟；而捕获传输中的缓冲数据，则可能增大检查点的体积。应采用哪种方法，取决于吞吐量、状态大小、网络状况和恢复目标。\n\n处理保证描述了系统在重试和故障情况下的行为，但其适用范围同样重要。至多一次处理允许丢失记录，而不进行重试。至少一次处理会在无法确定是否完成时重试记录，因此可能产生重复。恰好一次处理通常意味着，每个逻辑输入对指定状态或输出只产生一次实际贡献，即使底层计算可能执行多次。这并不意味着网络绝不会重复传递消息，也不意味着处理器在实际执行中只会处理每条记录一次。\n\n与跨任意外部系统实现恰好一次的效果相比，实现恰好一次的状态恢复更容易。如果一个算子更新了纳入检查点的状态，又单独发送一封电子邮件，那么在这两个动作之间发生崩溃就会带来不确定性：重新处理输入可能导致邮件发送两次，而跳过输入则可能导致邮件漏发。协调式数据库事务、事务型输出端、幂等写入，或利用稳定的事件标识符去重，都可以解决特定情形下的问题。幂等操作无论重复执行多少次，效果都相同，例如将某一行设置为带有指定版本的值，而不是不加判断地对其递增。\n\n处理保证还取决于数据源。如果设备将同一测量结果发送了两次，却没有提供稳定的标识符，处理器就可能无法可靠地区分这是重复数据，还是两次真实测量。反之，如果持久化数据源具有稳定的位置标识，就可以通过重放实现精确恢复，即使工作节点反复发生故障也不例外。因此，在描述系统运行特性时，需要明确处理保证的边界：是内部算子状态、某个特定输出端，还是整个应用程序。恢复的正确性还必须考虑非确定性代码、不断变化的外部查询结果，以及软件升级；这些因素都可能使重放与原始执行产生不同结果。"
    },
    {
      "heading": "编程模型与查询语言",
      "text": "流处理接口涵盖从底层事件处理程序到声明式查询的不同层次。在底层接口中，程序可以接收每个事件，读取和修改按键组织的状态，注册定时器，并输出结果。这使程序能够精细控制时间相关逻辑和应用特有的行为，但也要求程序员承担更多责任，包括限制状态规模、管理事件顺序，以及避免与恢复机制发生不正确的交互。更高层的接口则提供分组、开窗、连接和模式识别等算子。\n\n数据流应用程序编程接口将计算表示为相互连接的变换。引擎可以分析这张图，确定哪些地方需要重新分区、哪些操作可以串联执行，以及哪些地方必须管理状态。用户定义函数在框架控制的执行模型中提供应用逻辑。这不同于一组独立编写的服务，后者的协调关系主要体现在消息格式和部署配置中。显式的计算图让优化器或运行时能够获得更多关于整个计算过程的信息。\n\nSQL结构化查询语言 提供了一种声明式的选择。流式 SQL 查询可以持续按地区对新到达的购买记录进行分组，或将交易记录与参考表连接起来。不过，普通 SQL 语法本身并未定义流处理的全部语义。具体实现必须明确时间属性、窗口定义、更新行为，以及如何处理无界连接或排序。如果一个查询要求按时间戳对所有记录排序，那么除非引入额外的假设或边界条件，使计算能够向前推进，否则它无法输出最终的、全局有序的无界结果。\n\n流与表之间的关系提供了一个有用的语义基础。仅追加流可以描述向关系中插入数据的操作；变更日志则可以描述一个随更新和删除而不断变化的关系。反过来，持续维护的表中的变更也可以作为流输出。这使关系推理能够扩展到持续运行的应用，但也揭示了各种输出模式之间的差异。与反复修订已有行的查询相比，只产生新行的查询更容易将结果发送到仅支持追加的文件输出端。\n\nApache Beam 等可移植性框架将应用模型与执行引擎分离，后者通常称为运行器。可移植性并不意味着性能完全相同，也不意味着所有特性都能得到普遍支持。定时器行为、状态支持能力、连接器和运维工具都可能有所不同。另一些系统则倾向于与某个运行时紧密集成。无论采用哪种方式，静态检查和查询规划都能识别出一些无效操作，但重要的正确性属性仍取决于语义：时间戳是否代表预期的事件，连接的时间区间是否符合业务规则，以及下游消费者是否正确理解修订结果。"
    },
    {
      "heading": "流式算法与资源界限",
      "text": "流处理既是一门系统学科，也是算法设计的一个领域。理论上的数据流模型研究的是：在所用内存远小于输入规模的条件下，扫描一遍或少数几遍数据，能够完成哪些计算。这一条件比持续运行传统算法更为严格。无限增长的输入通常无法完整存储，而某些精确结果所需的内存，与已遇到的不同取值或记录的数量成正比。\n\n近似摘要可以应对这一限制。格雷厄姆·科莫德和 S. 穆图克里希南于 2005 年提出的 Count–Min 草图使用多个哈希函数和计数器数组来估计各项的出现频次。在其标准的非负更新设定下，哈希冲突会导致高估而非低估，误差的概率界限由草图的维度控制。2007 年发表的 HyperLogLog 则利用从哈希值生成的紧凑寄存器摘要，估计不同元素的数量。当为每个项保存精确状态所需的存储空间大到难以承受时，这类结构就很有价值。\n\n蓄水池抽样能够在数据流最终长度未知的情况下，维护一个均匀随机样本。对于容量为 \\(k\\) 的蓄水池，一种标准算法会保留前 \\(k\\) 条记录；对于第 \\(n>k\\) 条记录，以 \\(k/n\\) 的概率将其纳入样本，如果纳入，则替换蓄水池中均匀随机选出的一条记录。处理完 \\(n\\) 条记录后，每条记录被包含在样本中的概率均为 \\(k/n\\)。这一过程说明，精心设计的增量算法无需保留完整输入，也能维持特定的统计性质。\n\n资源规划也依赖基本的排队关系。如果记录以平均速率 \\(\\lambda\\) 到达，并在稳定系统中平均停留 \\(W\\) 的时间，那么根据利特尔定律，系统内的平均记录数为 \\(L=\\lambda W\\)。因此，当每秒到达 100,000 条记录、平均停留时间为两秒时，系统内平均约有 200,000 条记录。这并不能确定内存峰值，因为记录大小、流量的突发性、保留的状态以及序列化开销也都需要考虑。但它确实说明了，延迟增加为何往往意味着需要缓冲更多数据。\n\n即使总处理能力看似充足，键分布倾斜仍可能成为决定性能的主要因素。如果某个客户或设备占据了很大比例的流量，将该键的所有记录都路由到同一个任务，就会形成热点。局部聚合、对高频键进行专门处理，或拆分可合并的计算，都可能有所帮助，但并非任意有状态逻辑都能安全地拆分。同样，事件速率有界并不保证状态规模有界：每小时新增一百万个键，即使每个键只出现一次，也可能使内存用量持续增长。因此，过期策略和近似表示属于计算语义的一部分，而不只是基础设施调优的手段。"
    },
    {
      "heading": "应用与集成模式",
      "text": "运维监控是流处理的一种常见应用，因为即使尚未形成完整的历史数据集，新到达的测量数据也已经具有使用价值。流水线可以计算近期各时间段的错误率，分析故障与部署之间的关联，并检测服务延迟的变化。时钟的选择很重要：基于处理时间的指标描述监控基础设施当前观测到的情况，而基于事件时间的指标则可以还原底层故障实际发生的时间。延迟到达的遥测数据可能使这两种视角呈现出显著差异。\n\n在金融和商业系统中，流式计算用于持续更新特征、识别异常序列，以及将交易与账户历史关联起来。支付风险应用可能会将当前交易与近期按账户和设备统计的交易次数结合起来。随后，异常检测便可使用规则、统计阈值或训练好的模型进行判断。流处理引擎负责及时更新特征，并确保事件处理过程可复现；它本身并不能判定模型是否准确，也不能判定告警是否意味着确实存在违规行为。\n\n工业和传感器应用利用流处理来整合高频测量数据、检测阈值越界情况，并计算滚动统计量。在靠近数据源的位置进行处理可以减少通信需求，而集中处理则可以关联不同站点的活动。设备断连和链路不可靠使得数据延迟到达和乱序到达成为常态。具有严格时限要求的本地控制回路与分布式分析流水线，通常属于不同的工程问题，即使两者使用的是同一设备的测量数据。\n\n持续数据集成是另一项主要用途。数据库中的变更可以用于更新搜索索引、分析表、缓存和下游服务，而无需反复进行全量抽取。事务日志可以成为多种独立维护的数据表示的共同来源。此时，正确性取决于能否以一致的方式处理删除、模式变更和初始快照，并使其与后续变更保持一致。如果快照与实时数据流存在重叠，流水线就需要明确的交接流程，以避免遗漏记录或重复应用记录。\n\n有两种架构模式描述了历史计算与持续计算在更大范围内的组合方式。Lambda 架构维护彼此独立的批处理路径和快速处理路径，前者提供全面的重新计算，后者提供近期结果。其代价是逻辑重复，以及需要协调两条路径的输出。Kappa 架构则强调使用一条流处理路径，通过重放保留的输入来重建其状态。基于重放的设计减少了一类重复，但要求保留足够的历史数据、确保模式兼容，并具备足够的处理能力以赶上当前进度。这两种模式都不能免除对事件语义、修正策略以及运维职责归属作出明确定义的必要性。"
    },
    {
      "heading": "运维、演进与实际局限",
      "text": "在生产环境中，必须将流处理服务视为一个持续变化的系统来监测，而不能仅仅将其看作一项终将完成的作业。重要的监测指标包括输入速率、输出速率、处理延迟、事件时间滞后、消费者积压量、检查点生成耗时、检查点失败率和状态大小。这些指标不能相互替代。一个服务可能很快就能处理每个新收到的事件，却仍比持久化输入日志落后数小时；也可能按处理时间来看已跟上进度，但事件时间的推进却因某个数据源而停滞。\n\n衡量延迟时，需要明确测量的起点和终点。从生产者到接收端的延迟包括处理引擎之外的延迟，而算子执行时间只涵盖整条路径的一部分。百分位数能揭示平均值掩盖的情况：平均延迟很低，并不意味着在生成检查点、垃圾回收或输入突增期间不会出现严重的尾部延迟。水位线滞后也不同于记录延迟，因为它衡量的是基于假设的进度，而非任何单个事件的完成时间。\n\n有状态应用的扩缩容比增加无状态工作节点更复杂。并行度变化时，按键划分的状态必须迁移到新的负责节点，传输中的记录也必须送达正确的任务。大规模状态迁移可能暂时增加延迟，或延长恢复时间。检查点间隔还涉及另一项权衡：频繁生成快照会消耗存储和网络资源，但能减少故障后需要重放的工作量。增量快照可以减少对未变化状态的重复传输，但其效果取决于状态后端和工作负载。\n\n软件和模式的演进会带来长期的兼容性要求。保留了数月的事件可能是按旧版字段定义写入的，而恢复时使用的检查点可能包含旧版状态表示。即使新版应用能够成功编译，重命名算子、更改键的选择方式或修改序列化数据类型，也可能影响恢复。因此，测试需要使用包含重复事件、延迟到达、事件乱序、数据源中断以及提交边界附近发生故障等情况的历史记录。在外部输入受到控制的前提下，重放测试尤其适合用来比较新旧逻辑。\n\n数据保留与复制也会带来治理方面的影响。事件日志、检查点和派生状态可能在多个位置保存个人信息或敏感信息。访问控制、加密、删除流程和数据隐私要求必须覆盖所有这些副本，而不能仅适用于主数据库。删除源表中的一条记录，并不会自动从保留的日志或历史检查点中移除先前的事件。与此同时，减少历史数据的保留量可能限制审计和重建能力。这些约束直接决定了可用的恢复策略、状态模型以及允许的重放行为。"
    }
  ],
  "links": [
    "big-data",
    "database",
    "distributed-computing",
    "event-driven-architecture",
    "mapreduce",
    "apache-kafka",
    "apache-spark",
    "message-broker",
    "parallel-computing",
    "change-data-capture",
    "database-transaction",
    "sql",
    "algorithm",
    "anomaly-detection",
    "access-control",
    "data-privacy"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}