Kafka 消费模型

1. 一个消费者组中只有 1 个消费者

假设我们有一个 TopicT1，它包含 4 个分区（partition），并且有 1 个消费者组（consumer group），这个消费者组中只有 1 个消费者（consumer）。此时，唯一的消费者订阅了 TopicT1，会被分配到 所有的 4 个分区，负责读取这些分区中的全部消息。这个场景可以用下图表示：

2. 一个消费者组中有 2 个消费者

下面扩展一下上面的场景，同样是 TopicT1，但同一个消费者组中有 2 个消费者。在这种情况下，Kafka 会自动将 不同的分区分配给不同的消费者。例如：

• Consumer1 被分配读取分区 0 和 2
• Consumer2 被分配读取分区 1 和 3

问：Kafka 如何保证在同一个消费者组内，一条消息不会被多个消费者重复消费？
答：在同一个消费者组内，Kafka 会自动将 每个分区分配给 唯一一个消费者，确保一个分区只会被一个消费者读取。由于同一个 Topic 的不同分区中存储的是 不同的消息序列，因此两个消费者之间 不会读取到相同的消息，从而避免了重复消费。

3. 消费者数量 > 分区数量

如果消费者组中的消费者数量 多于 Topic 的分区数量，会发生什么呢？假设 TopicT1 依然有 4 个分区，但此时消费者组中有 5 个消费者，那么：

• 前 4 个消费者会各自被分配到一个分区；
• 多余的消费者（例如 Consumer5）会处于空闲状态，因为没有多余的分区可以分配给它。
  

4. 多个消费者读取同一个分区

对于 多个消费者同时读取同一个分区的需求，不能通过同一个消费者组实现，因为 Kafka 的原则是：同一个分区在同一个消费者组中只能被一个消费者消费。

解决方案是：

• 将这些消费者 放到不同的消费者组中；
• 然后让这些消费者组都 订阅同一个 Topic。

例如：

• 在 ConsumerGroup1 中的 Consumer1 会读取 TopicT1 的 Partition0；
• 在 ConsumerGroup2 中的 Consumer1 也会读取 TopicT1 的 Partition0。
  这样，两个不同消费者组中的消费者可以同时读取同一个分区中的消息。

5. 消费者放入消费者组

5.1 何时放入同一个消费者组

如果需求是：提高消费吞吐量，或 加快消息消费速度，应该将多个消费者 放到同一个消费者组中，并让该消费者组订阅同一个 Topic。若TopicT1 有 4 个分区，如果消费者组中有 4 个消费者，那么每个消费者会各自消费一个分区中的消息，达到 并行消费的效果。

5.2 何时放入不同的消费者组

如果需求是：让多个消费者读取同样的消息，需要将消费者放在 不同的消费者组中。每个消费者组都会 独立地消费同一个 Topic 中的所有消息，不会互相影响。