flink部署选型方案以及flink-on-k8s部署
一、简介
Apache Flink 是一个开源的分布式流处理框架,专注于有状态的流式计算。它能够以低延迟和高吞吐量处理无限的数据流。
其中长期支持版本 Flink 1.20 版本在 Kubernetes 集成方面带来了多项重要改进,使得在 K8s 上运行 Flink 作业更加稳定和高效。本文将深入探讨两种主要的部署方式:原生 Flink-on-K8s 和 Flink Operator,并提供详细的实践指南。
二、部署方案选型
| 对比维度 | 本地部署 | Standalone 集群 | YARN 部署 | Kubernetes 原生部署 | Kubernetes Operator 部署 |
|---|---|---|---|---|---|
| 架构特点 | 单节点,JobManager 和 Tas |
