Kafka 和 Flink的讲解

一、Kafka：分布式消息队列

1. 核心概念

• ​​角色​​：Kafka 是一个分布式、高吞吐量的​​消息队列​​（Pub-Sub 模型），用于实时传输数据流。
• ​​关键术语​​：
  • ​​Producer​​（生产者）：发送数据的客户端（如传感器、应用日志）。
  • ​​Consumer​​（消费者）：接收和处理数据的客户端（如 Flink、Spark）。
  • ​​Broker​​：Kafka 集群中的单个节点，负责存储和转发消息。
  • ​​Topic​​：数据流的分类名称（如 user_click_events）。
  • ​​Partition​​：Topic 的分区，每个分区是一个有序的、不可变的消息队列。
  • ​​Offset​​：消息在分区中的唯一位置标识。
  • ​​Consumer Group​​：一组消费者协同消费一个 Topic 的数据。

2. 核心特性

• ​​高吞吐​​：支持每秒百万级消息传输。
• ​​持久化​​：消息持久化存储（可配置保留时间）。
• ​