Kafka03-知识速记

Kafka03-知识速记

原博客地址：https://mp.weixin.qq.com/s/iY–vQC-Q-wErd59n7ThNQ

---

1. 基础概念

知识点	一句话答案
1. 消息中间件	基于队列的“快递站”，帮分布式系统异步、可靠地传数据。
2. Kafka 定位	高吞吐、可持久化、分布式流式处理平台 = 消息系统 + 存储系统 + 流计算源。

2. 整体架构

知识点	一句话答案
3. 架构组成	Producer → Broker → Consumer，ZooKeeper/KRaft 做集群元数据管理。
4. 副本管理	AR=全部副本；ISR=同步副本；OSR=落后副本；只有 ISR 可竞选 Leader。

3. 读写与消费

知识点	一句话答案
5. 可读位置	分区 HW=min(ISR 的 LEO)，消费者只能读 ≤ HW 的消息。
12. 消费模式	拉模式：点对点（同组竞争）与发布订阅（不同组广播）。

4. 生产者端

知识点	一句话答案
6. 发送模式	fire-and-forget / sync(get) / async(callback)。
7. 分区策略	轮询(key=null)、按 key hash、自定义 Partitioner、直接指定分区。
21. 丢失场景①	acks=0 或 =1 且未同步就宕机；Broker 刷盘前断电；消费者自动提交后崩溃。

5. 负载均衡

知识点	一句话答案
8. 读写分离	不支持，避免数据不一致与延迟。
9. 负载均衡手段	主写主读 + 分区分散到各 broker，自然均摊读写。
10. 不均衡原因	分区/leader 分配倾斜、生产者或消费者热点、副本切换后 leader 堆积。

6. 可靠性与副本

知识点	一句话答案
11. 可靠性保证	acks=all + ISR 副本 + 手动提交 offset + 副本 LEO 决定 HW。
14. Leader 选举	优先副本(AR 第一个)选举，尽量让负载回到初始均衡状态。
13. 分区再分配	手动或自动把副本迁移到新 broker，解决扩容/节点下线后的负载与可用性问题。

7. 性能与调优

知识点	一句话答案
15. 分区数	非越多越好；内存、句柄、复制线程、fail-over 时间都会随分区数线性增加。
16. 提升消费	增加分区并扩容同组消费者数；单消费者内多线程并发处理。
20. 快的原因	顺序写盘 + Page Cache + 零拷贝 + 分区分段索引 + 批量读写压缩。

8. 消费组分配策略

知识点	一句话答案
17. 分配策略	Range（按主题均分易倾斜）、RoundRobin（全局轮询）、Sticky（均衡+粘性减少重分配）。

9. 控制器

知识点	一句话答案
18. 控制器角色	集群唯一，负责 Leader 选举、ISR 变更通知、分区重分配。
19. 选举机制	抢注 ZooKeeper /controller 临时节点；epoch 版本号防脑裂。