Spark和Flink差异
核心哲学与流处理模型
这是两者最根本的区别。
| 维度 | Apache Spark | Apache Flink |
|---|---|---|
| 核心哲学 | 批处理为首，流是批的特例 | 流处理为首，批是流的特例 |
| 流处理模型 | 微批处理 | 真正的流处理 |
| 工作原理 | 将连续的数据流切分成一系列小的、离散的批处理作业，然后按批次处理。 | 数据像水流一样逐个事件地被处理，无需将其切分成批次。 |
| 形象比喻 | 轮渡：每隔一段时间（批次间隔）运送一批货物（数据）。 | 自来水管道：水（数据）是连续不断地流动和处理的。 |
这个根本差异导致了它们在延迟、状态管理和容错语义上的不同。
详细对比表格
| 特性 | Apache Spark | Apache Flink | 解释与影响 |
|---|---|---|---|
| 数据处理模型 | 微批处理 |