流处理和批处理
流处理和批处理是两种核心的数据处理模式，其定义和特点如下：
流处理（Stream Processing）
- 定义：流处理是对连续产生的实时数据进行即时处理的技术，数据以事件流的形式逐条(flink)或按小批次(spark)处理，无需等待完整数据集就绪。
- 特点：
- 实时性：延迟低至毫秒级，适用于需要快速响应的场景（如金融交易、实时监控）。
- 动态数据：直接处理流动中的“动态数据”，支持过滤、聚合等实时操作。
- 框架工具：常用Apache Flink、Kafka Streams等。
批处理（Batch Processing）
- 定义：批处理是对静态数据集按固定批次（如每小时/每天）进行离线处理的技术，遵循“先存储后处理”模式。
- 特点：
- 高吞吐量：适合大规模历史数据分析，但延迟较高（分钟到小时级）。
- 自动化：通过脚本或命令序列批量执行任务，减少人工干预。
- 应用场景：数据备份、报表生成等重复性任务。
关键差异对比
| 维度 | 流处理 | 批处理 |
|---|