当前位置: 首页 > news >正文

消息顺序、消息重复问题

消息顺序、消息重复问题

消息的顺序问题

在这里插入图片描述

关键问题暴露点
  1. 消息顺序乱序风险
    • M1(先发)→ S1 → 消费者1
    • M2(后发)→ S2 → 消费者2
    • 若消费者2处理速度 > 消费者1,则 M2 结果先于 M1 生效 → 业务状态错乱
    • 典型场景:订单创建(M1)和支付(M2),若先执行支付将报错
  2. 消息重复消费可能
    • 图中虚线通知环节 隐含风险:
      • 通知:M1收到 因网络抖动丢失
      • S1 触发 M1 重发 → 消费者1 重复处理

完整解决方案
消息顺序问题:分区保序方案
M1 订单ID:001
M2 订单ID:001
Hash订单ID %3
Hash订单ID %3
生产者
路由层
队列1
消费者1-单线程消费

技术落地

  • RabbitMQ:使用 一致性Hash交换器 + 单队列单消费者

  • Kafka/RocketMQ:指定 Message Key=订单ID,保证同Key进同一分区

  • 代码示例(Spring Boot + RabbitMQ)

    // 发送时绑定订单ID到路由Key
    rabbitTemplate.convertAndSend("order_exchange", "order_001", message);// 消费者配置:队列绑定单个消费者
    @RabbitListener(queues = "queue_order_001", concurrency = "1")
    public void handleOrder(Message message) { ... }
    

消息重复问题:三层幂等拦截

在这里插入图片描述

技术落地

  • Redis原子锁(防并发重复)

    Boolean isDuplicate = redisTemplate.opsForValue().setIfAbsent("msg:"+messageId, "1", 10, TimeUnit.MINUTES);
    if (Boolean.FALSE.equals(isDuplicate)) return;
    
  • 数据库去重表

    CREATE TABLE msg_uniq (id VARCHAR(64) PRIMARY KEY COMMENT '消息ID',biz_id VARCHAR(32) COMMENT '业务ID',create_time DATETIME DEFAULT CURRENT_TIMESTAMP
    );
    
  • 业务层乐观锁

    UPDATE orders SET status='paid' 
    WHERE order_id='001' AND status='unpaid'  // 仅状态匹配才更新
    
消息零丢失方案(增强架构图)
1. 事务消息
2. 镜像队列
2. 镜像队列
2. 镜像队列
3. 手动ACK
生产者
RabbitMQ集群
S1 Master
S2 Slave
S3 Slave
消费者

关键配置

  • 生产者端

    // RabbitMQ 发送确认
    rabbitTemplate.setConfirmCallback((correlationData, ack, cause) -> {if (!ack) log.error("消息未抵达Broker: {}", cause);
    });
    
  • MQ端

    # RabbitMQ镜像队列策略
    rabbitmqctl set_policy ha-all "^order" '{"ha-mode":"all"}'
    
  • 消费者端

    // 关闭自动ACK
    @RabbitListener(queues = "queue", ackMode = "MANUAL")
    public void handle(Message message, Channel channel) {try {process(message); // 业务处理channel.basicAck(deliveryTag, false); // 手动确认} catch (Exception e) {channel.basicNack(deliveryTag, false, true); // 重试}
    }
    

生产级架构建议

消费者集群
MQ集群
生产者集群
1. 带Key的消息
Hash Key路由
Hash Key路由
镜像复制
镜像复制
单线程消费
单线程消费
ACK确认
ACK确认
防重:Redis+DB
防重:Redis+DB
消费者1
消费者2
MQ
队列1
队列2
队列1副本
队列2副本
路由层
生产者
分布式锁
各组件职责说明
组件关键职责
路由层根据业务Key(如订单ID)哈希选择队列,保证同业务消息顺序性
镜像队列主从实时同步,任一节点宕机不影响消息可用性(RabbitMQ需部署磁盘节点)
单线程消费每个队列仅允许一个消费者,避免并发导致顺序混乱(注意:消费者内部用线程池并行会破坏顺序!)
分布式锁Redis锁控制消费幂等性入口,去重表兜底

http://www.dtcms.com/a/309672.html

相关文章:

  • 在VScode里运行并调试C++程序
  • SpringMVC的拦截器
  • Mermaid流程图可视化系统:基于Spring Boot与Node.js的三层架构实现
  • gradio作为原型工具
  • 专业餐饮直播如何激发食欲与购买欲?
  • zabbix的PostgreSQL监控模板中文环境采集问题处理
  • 【BFS】P7555 [USACO21OPEN] Maze Tac Toe S|普及+
  • Java向量化
  • C语言使用GmSSL库实现sm3、sm4算法
  • SH3001六轴传感器应用(二)(IIC驱动开发)
  • Linux---编辑器vim
  • JAVA结合AI
  • Linux 硬盘分区管理
  • 工程化(一):Vite vs. Webpack:从“打包”到“服务”,构建工具的范式转移
  • 鸿蒙系统下的动态负载均衡实战:让分布式任务调度更智能
  • 灵敏度,精度,精确度,精密度,精准度,准确度,分辨率,分辨力——概念
  • 谈谈对反射的理解?
  • AJAX 解析与高频问题
  • 在 MEF 中处理多个 Tab 页对应同一模块的不同实例
  • python进程、线程、协程
  • 第二十三天(数据结构:链表补充【希尔表】)
  • 海外商城 app 系统架构分析
  • 电子电气架构 --- 软件项目变更管理
  • Corrosion2靶机攻略
  • 第七章 愿景12 小萍分享《人性的弱点》
  • 大模型推理引擎总结
  • AIGC(生成式AI)试用 35 -- 用AI解析句子结构
  • 力扣-最大单词长度乘积
  • 守护数字核心:主机安全的重要性与全方位防护指南
  • .NET 如何实现ChatGPT的Stream传输