从嵌入式状态管理到云原生架构：Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025—— 实时分析专场中的主题分享。
引言
Apache Flink 已成为实时处理领域的事实标准，在分布式大规模流式环境中展现出卓越的性能表现。但究竟是什么支撑了 Flink 在流计算领域中的先进性？答案在于其状态管理系统——这是让流式应用能够“记住过去事件”并影响未来处理过程的“记忆机制”。
在本文中，我们将深入探索 Flink 状态管理的演进历程：从最初的核心设计，到 Flink 2.0 革命性的云原生存算分离架构，再到未来展望基于流批一体存储的下一代增量计算。
理解 Flink 中的“状态”
流式处理中的“状态”是什么？
“状态”代表了无限流式计算的记忆，它是使应用程序能够精确的记住过去事件，并利用这些历史上下文来影响未来处理决策的基础机制。如果没有状态管理，流式系统将只能执行简单的 ETL 操作，无法完成现代实时应用所需的复杂关联与分析。早期的流计算系统只能借助外部数据库来进行关联操作，不仅效率低下而且有复杂的系统维护以及数据一致性问题，以至于流计算一直作为大数据领域的二等公民直到 Flink 的一致性状态管理出现。
状态在流式应用中以多种形式存在。它可以表示窗口聚合中的累计值，例如总和、计数、平均值；也可以存储用于流与历史数据关联的 Join 参数；在复杂事件处理（CEP）中用于维护交易历史以进行欺诈检测；还能保存机器学习模型参数，支持实时推理。
变革性突破：有状态计算的引入
Flink 引入强大的状态管理机制，标志着流式处理能力的一次根本性跃迁，并于 2017 年在 VLDB 数据库顶会发表这一关键成果，成为 Flink 乃至一致性状态管理的奠基之作。在此之前，开发者不得不依赖外部数据库来实现历史数据的关联，这带来了部署复杂、维护成本高以及数据一致性难以保障等问题。
Flink 的自维护状态管理机制彻底改变了这一局面——系统可以在内部自主记忆信息，无需依赖外部存储，同时确保数据的正确性与一致性。
现实复杂性：阿里巴巴物流场景的实践案例
我们来看一个复杂的实际案例：阿里巴巴菜鸟的实时物流追踪系统。
该系统处理来自多个电商平台（天猫、淘宝、速卖通）的订单包裹，通过一个复杂的处理流程：
合并与去重：通过聚合操作将不同来源的订单合并并去重；
双流驱动 Join：将物流更新信息与订单数据关联以及订单更新信息和物流信息关联，生成最新的物流状态；
复杂事件处理（CEP）：基于 CEP 检测物流异常；
实时分析：按订单来源聚合来计算准时送达率等指标。
Flink 状态管理的核心能力
Flink 的状态管理系统提供了四项关键能力
Exactly-Once 语义
Flink 通过全局检查点机制，确保在整个分布式拓扑中创建一致的状态快照。当发生故障时，系统执行原子恢复，保证数据一致性。通过在所有节点间协调状态快照，Flink 实现了端到端的数据完整性保障。
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025—— 实时分析专场中的主题分享。
引言
Apache Flink 已成为实时处理领域的事实标准，在分布式大规模流式环境中展现出卓越的性能表现。但究竟是什么支撑了 Flink 在流计算领域中的先进性？答案在于其状态管理系统——这是让流式应用能够“记住过去事件”并影响未来处理过程的“记忆机制”。
在本文中，我们将深入探索 Flink 状态管理的演进历程：从最初的核心设计，到 Flink 2.0 革命性的云原生存算分离架构，再到未来展望基于流批一体存储的下一代增量计算。
理解 Flink 中的“状态”
流式处理中的“状态”是什么？
“状态”代表了无限流式计算的记忆，它是使应用程序能够精确的记住过去事件，并利用这些历史上下文来影响未来处理决策的基础机制。如果没有状态管理，流式系统将只能执行简单的 ETL 操作，无法完成现代实时应用所需的复杂关联与分析。早期的流计算系统只能借助外部数据库来进行关联操作，不仅效率低下而且有复杂的系统维护以及数据一致性问题，以至于流计算一直作为大数据领域的二等公民直到 Flink 的一致性状态管理出现。
状态在流式应用中以多种形式存在。它可以表示窗口聚合中的累计值，例如总和、计数、平均值；也可以存储用于流与历史数据关联的 Join 参数；在复杂事件处理（CEP）中用于维护交易历史以进行欺诈检测；还能保存机器学习模型参数，支持实时推理。
变革性突破：有状态计算的引入
Flink 引入强大的状态管理机制，标志着流式处理能力的一次根本性跃迁，并于 2017 年在 VLDB 数据库顶会发表这一关键成果，成为 Flink 乃至一致性状态管理的奠基之作。在此之前，开发者不得不依赖外部数据库来实现历史数据的关联，这带来了部署复杂、维护成本高以及数据一致性难以保障等问题。
Flink 的自维护状态管理机制彻底改变了这一局面——系统可以在内部自主记忆信息，无需依赖外部存储，同时确保数据的正确性与一致性。
现实复杂性：阿里巴巴物流场景的实践案例
我们来看一个复杂的实际案例：阿里巴巴菜鸟的实时物流追踪系统。
该系统处理来自多个电商平台（天猫、淘宝、速卖通）的订单包裹，通过一个复杂的处理流程：
合并与去重：通过聚合操作将不同来源的订单合并并去重；
双流驱动 Join：将物流更新信息与订单数据关联以及订单更新信息和物流信息关联，生成最新的物流状态；
复杂事件处理（CEP）：基于 CEP 检测物流异常；
实时分析：按订单来源聚合来计算准时送达率等指标。
Flink 状态管理的核心能力
Flink 的状态管理系统提供了四项关键能力
Exactly-Once 语义
Flink 通过全局检查点机制，确保在整个分布式拓扑中创建一致的状态快照。当发生故障时，系统执行原子恢复，保证数据一致性。通过在所有节点间协调状态快照，Flink 实现了端到端的数据完整性保障。