Kafka Consumer工作流程

 Kafka Consumer工作流程图

 

• 1、启动与加入组

  • 消费者启动后，会向 Kafka 集群中的某个 Broker 发送请求，请求加入特定消费者组。这个 Broker 中的消费者协调器（Consumer Coordinator）负责管理消费者组相关事宜。

• 2、组内分区分配（Rebalance)

  • 消费者协调器会对消费者组内的消费者进行分区分配。一个消费者组订阅某个 Topic 时，该 Topic 的每个分区只能由组内一个消费者消费 ，但一个消费者可消费多个分区数据 。比如图中TopicA的不同分区，会分配给组内不同消费者。当组内消费者数量变化，或 Topic 分区数量改变时，会触发 Rebalance，重新分配分区。

• 3、确定消费位置(获取 Offset）

  • 消费者从系统主题__consumer_offsets中获取自己上次提交的偏移量（Offset ），它标识着消费者在分区中上次消费到的位置。若首次消费或没有可查询的偏移量记录，可能从分区起始位置（最早消息 ）或最新位置（最新消息 ）开始消费，这取决于配置策略。

• 4、消息拉取

  • 消费者根据分配到的分区，向对应分区的 Leader 副本所在 Broker 发起拉取请求（如向图中broker0上的TopicA - partition0 - leader拉取 ）。消费者可配置每次拉取消息的最大数量、最大字节数等参数。若 Broker 当前没有新消息，消费者可能收到空响应，也可设置等待策略，直到有新数据才返回 。

• 5、消息处理

  • 反序列化：拉取到的消息通常是序列化的字节数组，消费者利用配置的key.deserializer和value.deserializer进行反序列化，将其转换为程序可处理的对象格式。
  • 业务逻辑处理：对反序列化后的消息，依据具体业务需求进行处理，如写入数据库、进行计算分析等。处理过程中要兼顾可靠性和性能，防止消息积压。

• 6、偏移量提交

  • 消费者处理完消息后，需将当前消费到的偏移量提交到__consumer_offsets 。可选择自动提交（配置enable.auto.commit=true ，默认每 5 秒提交一次 ），优点是简单，但可能导致重复消费或消息丢失；也可手动提交，开发者在确保消息处理完成后提交，能更精准控制消费位置，保证消息准确消费 。