当前位置: 首页 > news >正文

Kafka知识补充

如何避免 Rebalance
最简单粗暴的就是 : 减少组成员数量发生变化

每个 Consumer 实例都会定期地向 Coordinator 发送心跳请求,表明它还存活着。如果某个 Consumer 实例不能及时地发送这些心跳请求,Coordinator 就会认为该 Consumer 已经“死”了,从而将其从 Group 中移除,然后开启新一轮 Rebalance。Consumer 端有个参数,叫 session.timeout.ms,就是被用来表征此事的。该参数的默认值是 10 秒,即如果 Coordinator 在 10 秒之内没有收到 Group 下某 Consumer 实例的心跳,它就会认为这个 Consumer 实例已经挂了。可以这么说,session.timout.ms 决定了 Consumer 存活性的时间间隔。

除了这个参数,Consumer 还提供了一个允许你控制发送心跳请求频率的参数,就是 heartbeat.interval.ms。这个值设置得越小,Consumer 实例发送心跳请求的频率就越高。频繁地发送心跳请求会额外消耗带宽资源,但好处是能够更加快速地知晓当前是否开启 Rebalance,因为,目前 Coordinator 通知各个 Consumer 实例开启 Rebalance 的方法,就是将 REBALANCE_NEEDED 标志封装进心跳请求的响应体中。

除了以上两个参数,Consumer 端还有一个参数,用于控制 Consumer 实际消费能力对 Rebalance 的影响,即 max.poll.interval.ms 参数。它限定了 Consumer 端应用程序两次调用 poll 方法的最大时间间隔。它的默认值是 5 分钟,表示你的 Consumer 程序如果在 5 分钟之内无法消费完 poll 方法返回的消息,那么 Consumer 会主动发起“离开组”的请求,Coordinator 也会开启新一轮 Rebalance。

如何避免 Rebalance
最简单粗暴的就是 : 减少组成员数量发生变化

每个 Consumer 实例都会定期地向 Coordinator 发送心跳请求,表明它还存活着。如果某个 Consumer 实例不能及时地发送这些心跳请求,Coordinator 就会认为该 Consumer 已经“死”了,从而将其从 Group 中移除,然后开启新一轮 Rebalance。Consumer 端有个参数,叫 session.timeout.ms,就是被用来表征此事的。该参数的默认值是 10 秒,即如果 Coordinator 在 10 秒之内没有收到 Group 下某 Consumer 实例的心跳,它就会认为这个 Consumer 实例已经挂了。可以这么说,session.timout.ms 决定了 Consumer 存活性的时间间隔。

除了这个参数,Consumer 还提供了一个允许你控制发送心跳请求频率的参数,就是 heartbeat.interval.ms。这个值设置得越小,Consumer 实例发送心跳请求的频率就越高。频繁地发送心跳请求会额外消耗带宽资源,但好处是能够更加快速地知晓当前是否开启 Rebalance,因为,目前 Coordinator 通知各个 Consumer 实例开启 Rebalance 的方法,就是将 REBALANCE_NEEDED 标志封装进心跳请求的响应体中。

除了以上两个参数,Consumer 端还有一个参数,用于控制 Consumer 实际消费能力对 Rebalance 的影响,即 max.poll.interval.ms 参数。它限定了 Consumer 端应用程序两次调用 poll 方法的最大时间间隔。它的默认值是 5 分钟,表示你的 Consumer 程序如果在 5 分钟之内无法消费完 poll 方法返回的消息,那么 Consumer 会主动发起“离开组”的请求,Coordinator 也会开启新一轮 Rebalance。

kafak副本同步机制

ISR,Controller,HW(高水位,主副本的最大offset才能被消费)

Kafka副本同步机制_kafka 副本同步-CSDN博客

什么时候副本会被移到OSR

replica.lag.max.messages Fllower落后leader消息数量

replica.lag.time.max.ms Fllower没有相应leader时间

Kafka副本同步机制理解-CSDN博客

相关文章:

  • springboot 配置 filter
  • Hive的文件合并
  • Flink 中kafka broker缩容导致Task一直重启
  • Spring5应用之事务处理
  • 基于JavaWeb的图书售卖网站(源码+部署+LW)
  • 保姆级微服务部署教程
  • 机器视觉在自动驾驶汽车中的应用与挑战
  • 如何在 Spring Boot 中进行数据备份
  • 使用antd-pro脚手架搭建react ts项目
  • 面试准备-软件工程
  • Git相关知识(1)
  • Ceph介绍与部署
  • AF_UNIX和127.0.0.1(AF_INET)回环地址写数据速度对比(二)
  • 数据结构—顺序表
  • 读书笔记—《如何阅读一本书》
  • 查看和分析 IIS 日志文件以增强 Web 服务器安全性
  • 2023年【危险化学品生产单位安全生产管理人员】及危险化学品生产单位安全生产管理人员模拟考试题
  • PostgreSQL limit 语法
  • ROS-PX4仿真笔记_1
  • 电脑散热——液金散热
  • 4月金融数据前瞻:受去年低基数因素影响,社融增量有望同比大幅多增
  • 上海杨浦:优秀“博主”购房最高可获200万补贴
  • 康子兴评《文明的追求》|野人脚印:鲁滨逊的恐惧与文明焦虑
  • 洛杉矶奥组委确认2028年奥运会和残奥会开闭幕式场地
  • 谜语的强制力:弗洛伊德与俄狄浦斯
  • 上海一中院一审公开开庭审理被告人胡欣受贿案