Kafka Consumer Group

Kafka 消费者组（Consumer Group） 是 Kafka 的核心机制之一！理解它对你掌握 Kafka 的高可用、高吞吐、负载均衡等能力非常关键。下面我来给你完整讲一讲👇

🧠 什么是 Kafka 消费者组（Consumer Group）？

消费者组是一组协同工作的消费者（Consumer 实例），它们共同消费一个或多个 Topic 的数据，并且每条消息只被组内一个消费者处理一次。

🧩 一张图理解：

📦 Kafka Topic（3 分区）
    ├── Partition 0
    ├── Partition 1
    └── Partition 2

👥 Consumer Group A
    ├── Consumer A1 → 读 Partition 0
    ├── Consumer A2 → 读 Partition 1
    └── Consumer A3 → 读 Partition 2

✅ 每个分区只会被 组内一个消费者处理，不重复，不遗漏

🔄 为什么要用消费者组？

能力	说明
✅ 负载均衡	多个消费者可以并行消费同一个 Topic，不抢活干
✅ 高吞吐	结合 Topic 分区机制，实现并发消费
✅ 容错性高	某个消费者宕机，Kafka 自动将它的分区分配给组内其他消费者（重平衡）
✅ 消息语义明确	每条消息只会被一个消费者消费一次（组内）

🧪 多组消费同一个 Topic 会怎样？

Kafka 支持 多个 Consumer Group 并行独立消费 同一个 Topic。

举个例子：

👥 Group A - 用于实时订单系统
👥 Group B - 用于日志分析系统

两组消费同一个 topic（orders），互不干扰

每组维护自己的一份 offset，相互独立，不冲突

⚙️ 消费者组的工作机制

1. Group ID：每个消费者组有一个唯一的 ID（比如 group.order-service）
2. Kafka Broker 维护 offset：Kafka 会记录每个 group 在每个分区的 offset（进度）
3. Rebalance：当组内消费者数量变化（上线/宕机）时，Kafka 会重新分配分区给消费者
4. 协调器（Coordinator）机制：Kafka Broker 充当协调者，帮助组内消费者完成协商和分区分配

🧠 实际应用举例：

场景	Group 名称	作用
实时下单服务	order-consumer-group	处理用户下单的事件
日志系统	log-sync-group	异步记录日志
数据仓库同步	etl-consumer-group	批量同步到 Hive/ClickHouse
报警系统	alert-group	只关心异常消息，消费独立分组

⚠️ 注意事项

问题	说明
❗ 分区数 < 消费者数	有的消费者会空跑（分区只能绑定一个）
❗ 同组多个消费者不能同时消费同一分区	一个分区同一时刻只给一个组内消费者
❗ 不同组之间的 offset 互不影响	所以多个组可以独立消费同一份数据
❗ rebalance 会中断消费	避免频繁上下线消费者，否则影响吞吐和延迟

✅ 总结一句话：

Kafka 消费者组 = 协作消费机制，通过组内分工协作实现高并发、高可用、不重复的消费，
是 Kafka 实现弹性消费、横向扩展、任务容错的关键组件。