Kafka 漏消费和重复消费问题
Kafka 虽然是一个高可靠、高吞吐的消息系统，但如果使用不当，**“漏消费”和“重复消费”**问题是非常容易发生的，尤其在业务系统中会造成数据丢失、重复写库等严重问题。
🎯 一句话理解：
Kafka 本身提供 “至多一次”、“至少一次” 和 “精确一次” 消费语义，
而漏消费和重复消费问题的根本，都是出在offset 的提交时机 和 消费逻辑的幂等性 上。
✅ 一、什么是“漏消费”？
📌 定义：
消息已经被 Kafka 成功发送、存储，但消费端没有处理这个消息 ➜ 数据丢了。
😱 常见原因：
| 原因 | 解释 |
|---|---|
| ❌ 消费端宕机后 offset 已经提交 | offset 提交 早于 实际业务处理，程序崩了，消息还没处理，Kafka 以为处理了，就不再发了 |
| ❌ 没有提交 offset，重启后从更晚位置开始消费 | 比如 Kafka 设置 auto.offset.reset=latest，重启时跳过中间数据 |
| ❌ 代码异常、消息被跳过 | 比如 try/catch 没处理好，某些消息被 catch 后 silently skip 掉了 |
| ❌ 手动 seek 到错误位置 | 人为调整 offset 导致跳过 |
✅ 如何避免漏消费？
| 方法 | 操作建议 |
|---|---|
| 🕐 “先处理，再提交 offset” | 在消费逻辑 执行成功后再提交 offset（手动提交） |
| 🧠 幂等写入逻辑 | 业务处理要有“可重复执行能力”，即使重试也不会出错 |
⚙️ 设置 enable.auto.commit=false | 避免自动提交 offset 导致“假消费” |
| 🧪 加日志 & 监控 | 每次消费都打印 offset / partition / key，方便排查是否跳过 |
✅ 二、什么是“重复消费”？
📌 定义：
同一条 Kafka 消息被消费端 重复消费了多次（可能是程序重启、故障、重试导致），
在业务层面就可能导致“重复下单、重复写库、重复通知用户”等问题。
😱 常见原因：
| 原因 | 解释 |
|---|---|
| ❌ 消费端处理成功但 offset 未提交，下次又拉一遍 | 比如网络闪断、服务宕机、offset 提交代码没执行到 |
| ❌ 业务处理超时/失败，Kafka 自动重试 | Kafka 不知道你业务是否处理成功，offset 没提交前会一直重发 |
| ❌ 手动回滚/重新消费历史消息 | 如：使用 --from-beginning，或者重置 offset |
✅ 如何避免重复消费？
| 方法 | 操作建议 |
|---|---|
| ✅ 业务逻辑保持幂等性 | 比如用唯一 id 去重（数据库主键、Redis SETNX、状态表） |
| ✅ 使用事务机制（数据库 / Kafka Exactly Once） | 如 Kafka 的事务生产 + 消费保证“精确一次”语义（需要代价较高） |
| ✅ offset 和处理“放在一个原子操作中” | 比如使用“消费 ➜ 写库 ➜ 手动提交 offset”顺序控制 |
✅ 设置合理的 max.poll.records 和超时 | 避免消息拉多处理不完，被重复投递 |
🎯 Kafka 消费语义快速对比
| 消费语义 | 说明 | 漏消费风险 | 重复消费风险 |
|---|---|---|---|
| 至多一次（at most once） | 先提交 offset，再处理 | ✅ 可能漏消费 | ❌ 不重复 |
| 至少一次（at least once） | 先处理，再提交 offset | ❌ 不漏消费 | ✅ 可能重复 |
| 精确一次（exactly once） | Kafka + 下游系统一体事务 | ❌ 不漏消费 | ❌ 不重复（代价高） |
在实际中，至少一次 + 幂等处理 是最推荐、最落地的做法 💡
🧠 实战建议：你该怎么设计避免问题？
| 模块 | 最佳实践 |
|---|---|
| KafkaConsumer 配置 | enable.auto.commit=false，自己控制提交 |
| 消费逻辑 | 处理成功后再提交 offset（提交失败时记得记录日志） |
| 业务处理 | 幂等设计：如订单号唯一，消息去重标识 |
| 监控告警 | consumer lag 监控、offset 提交率、处理失败率监控 |
✅ 总结一句话：
Kafka 中“漏消费”通常是 offset 提交太早，
“重复消费”则是 offset 提交太晚/失败 + 业务无幂等。
你要做的是：消费逻辑成功后再提交 offset，业务处理幂等安全。