公益网站建设方案友情链接qq群
1. Kafka消息消费流程
kafka的消费流程，首先是producer生产消息经过处理后放入到Broker服务器中，然后进入到内存中，内存再进行刷盘到磁盘中，kafak提供了两种刷盘策略，同步刷盘(flush.message 一次IO刷盘多少消息)和异步刷盘(flush.ms多长时间刷盘一次)
随后，消费者首先建立连接到网卡，到Broker服务器中获取消息，Broker调用sendFile函数进行零拷贝，将磁盘中的数据首先由DMA拷贝到内核态，进而零拷贝到网卡中，最后消费端还要维护一个Offset记录一下消息消费的位置，更新消费进度。
2. Offset的维护
Offset由上面我们了解到主要就是消费端消费消息的一个标记值，那么究竟是怎么存储的呢?值又是怎么更新的呢?
2.1 存储Offset信息
Offset是用于记录消费组中消费者的位置
__consumer_offsets(Topic)存储结构
__consumer_offsets中主要存储两种对象: groupMetadata(消费者信息、消费者编号 从这里知道消费者是消费哪个组的)、OffsetAndMetadata(分区以及offset)
2.2 找不到Offset
比如我们新加了一个消费者，这个消费者跟之前的Broker都没有建立连接，那么我们Broker中的Topic的Partion没有Offset记录怎么办?消费者从哪里开始消费?
在消费者中的API提供了一个参数的几种配置
auto.offset.reset=latest （默认值）消费最新的，不去消费历史记录auto.offset.reset=earliest 消费最早的，可消费历史信息auto.offset.reset=none 消费者组在服务端找不到 offset ，则报错
2.3 更新Offset值
消费者的Offset是储存在Broker中的，由消费者上报给Broker
提交Offset的方式分为两种方式
- enable.auto.commit=true 自动提交
- auto.commit.interval.ms=5000 （默认值5秒钟）自动提交的频率
Offset若不提交或提交失败，Broker的Offset就不会更新，消息会被重复消费
3. 消费者消费策略
我们从博客MQ之初识kafka-CSDN博客中已经了解到了有一个消费者组的概念，kafka中使用消费者组，主要是为了提升消费效率和吞吐量。同一个Group中的消费者，不能消费想通过的Partition
从上图中，我们可以看出，消费者组中的消费者数量是不一定的，在topic中分区partition的数量也是不确定的，那么究竟采取怎样的策略去进行消费的呢?
3.1 范围策略
范围策略就是按范围连续分配，如下图所示，假如我们的消费者组订阅的主题中有5个分区，但是消费者只有两个，那么就会对消费者进行一个简单的排序，在前面的就多消费一个
3.2 轮询策略
轮询策略就是消费者排好序后你一个我一个
4. ReBalance分区再平衡机制
分区再平衡本质上是一种协议，用来管理Consumer与Partition的匹配关系
那么何时会发生Rebalance呢?
- 消费者组的消费者数量发生变化
- Topic的分区数发生变更
那么ReBlance是谁来执行的呢?执行流程又是怎么样的呢? kafka中提供了一个协调者Coordinator机制进行协调，具体执行流程如下:
- Broker集群中的各个服务器会先初始化一个GroupCoordinator服务
- Consumer Group中的每个消费者也会初始化一个consumerCoordinator属性
- 在集群中找到一个话事人，具体计算公式是 partitionId=Math.abs(groupId.hashCode() % offsetsTopicPartitionCount) 计算出分区后，然后这个分区对应的leader所在的broker就是话事人
- 之后消费者开始到话事人处进行签到，让话事人知道有几个消费者
- 这个协调者会在消费者中选一个组长出来
- 这个组长上报一个partition的分配方案
- 由协调者最后通知各个消费者的这个分区方案
整体流程图如下:
5. 总结
本文主要讲了消费者消费消息的流程，使用offset保证消息消费的正确性，以及offset的存储，offset如果找不到的话的策略配置，还有offset的更新。随后又介绍了消费者组中的消费者和主题中的分区之间的消费策略，最后当消费者数量发生变化，或者分区增加的情况下，kafka采用分区再平衡机制进行维护，利用Coordinator协调者机制，来维护分区和消费者数量的一个平衡。