【踩坑实录】RabbitMQ 高并发异常“爆仓”事故还原与配置优化实战指南

【踩坑实录】RabbitMQ 高并发异常“爆仓”事故还原与配置优化实战指南

1. 背景还原：一场由“默认配置+程序缺陷”引发的 RabbitMQ 队列事故

今早生产环境突发一场 RabbitMQ 发送阻塞事故，几乎所有充电桩设备数据停止上报，后台接口响应超时，排查发现是RabbitMQ 被“磁盘告警”卡死了——罪魁祸首居然是一个被忽略的默认配置！

本系统基于 RabbitMQ 搭建，主要用于接收多个厂商的充电桩报文：

• 设备上报频率高、数据量大
• 实时性要求强，需毫秒级分发
• 各厂商协议不一致，消息解码逻辑复杂

而正是因为某家厂商的协议处理服务的某段解码逻辑的处理效率低下，导致大部分消息积压。最终触发了 RabbitMQ 的磁盘保护机制，直接将所有生产者（所有正常产商）的消息发布操作阻塞，引发连锁故障！

本篇将从实际事故入手，详细讲解：

• 如何快速定位报错日志与核心触发条件
• RabbitMQ 默认配置的隐形“陷阱”
• 如何正确配置 disk_free_limit 避免再踩坑
• 批量设置 TTL 和长度限制策略，防止队列爆炸
• 最后附带一段批量为所有 vhost 应用策略的脚本

👉 适用于所有 RabbitMQ 用户，特别是 高并发设备数据接入场景

---

1.1 常见场景复现

1.1.1 报错日志特征

RabbitMQ控制台或日志中会出现类似以下的告警信息：

Free disk space is insufficient. Free bytes: 47935488. Limit: 50000000
Publishers will be blocked until this alarm clears

👉 如下图：

1.1.2 核心问题定位

• 报错触发条件：磁盘剩余空间小于 disk_free_limit 配置值
• RabbitMQ 的应对策略：
  • 某个队列异常 某产商队列异常（紧急处理：控制台清空队列恢复正常）
  • 启动 磁盘资源限制告警机制
  • 自动阻塞所有生产者的消息发布，防止服务继续写满磁盘

1.2 默认配置的隐患

如果你从未手动配置 disk_free_limit，默认值大概率是：

• 20MB（老版本）或50MB（新版本）
• 这是非常危险的生产设置，因为一旦磁盘短时间波动，RabbitMQ 直接触发“写保护”！
  安装时使用默认配置，如下图：
  

常见诱因包括：

• 消息消费不及时，队列堆积
• 日志文件不断膨胀
• 系统 临时文件增长迅猛

---

2. 配置优化实战：修改 disk_free_limit

接下来我们通过修改配置文件，把限制从几十 MB 提升到 1GB 或更高，确保生产环境稳定运行。

2.1 配置文件定位

2.1.1 常见路径

RabbitMQ 配置文件可能存在如下路径之一：

/etc/rabbitmq/rabbitmq.config
/etc/rabbitmq/rabbitmq.conf

2.1.2 查找方法

如果你不确定路径，通过执行以下指令显示配置位置：

sudo rabbitmq-diagnostics status

👉 配置文件路径截图:

2.2 配置修改示例

2.2.1 使用 .config（Erlang Term格式）

[{rabbit, [{tcp_listeners, [{"0.0.0.0", 51091}]},{disk_free_limit, 50000000} ]},{rabbitmq_management, [{listener, [{port, 59876}, {ssl, false}]}]}
].

2.2.2 使用 rabbitmq.conf（现代格式）

listeners.tcp.default = 0.0.0.0:51091
management.listener.port = 59876
management.listener.ssl = false
disk_free_limit.absolute = 5GB

2.3 重启服务使配置生效

修改完配置后需要重启 RabbitMQ 服务：

sudo systemctl restart rabbitmq-server

---

3. 配置验证与监控

确保配置成功加载，避免“修改了没生效”的尴尬。

3.1 验证配置加载

3.1.1 查看配置加载状态

sudo rabbitmq-diagnostics status | grep -i disk

👉 已生效的配置加载验证截图：

---

4. 进阶设置：统一管理队列参数（TTL 和队列长度）

为了进一步优化资源使用，我们可以设置队列参数策略，限制每条消息的生命周期（TTL）及最大队列长度，防止消息无限堆积。

4.1 单条命令设置所有队列策略

经查阅官方文档找到设置策略指令：

具体命令如下：

rabbitmqctl set_policy all-queues-default ".*" '{"message-ttl":2592000, "max-length":5000000}' --apply-to queues

说明：

• message-ttl：单位为毫秒，这里设置为 30 天（2592000 秒）
• max-length：队列最大消息数为 500 万

查证执行结果

 rabbitmqctl list_policies --formatter=pretty_table --silent

👉 策略效果图

注意：执行 rabbitmqctl list_policies 时查到的是根虚拟机的数据其它虚拟机的是不会显示出来的，如果需要查询其它虚拟机需要加入 --vhost 虚拟机名称 参数

rabbitmqctl list_policies --vhost dongba   --formatter=pretty_table --silent

如下图：

4.2 批量为所有 vhost 设置策略

RabbitMQ 中存在多个 vhost 时，你需要逐个设置。以下 Bash 脚本可自动遍历设置：

#!/bin/bash# 策略参数
POLICY_NAME="all-queues-default"
PATTERN=".*"
DEFINITION='{"message-ttl":2592000,"max-length":5000000}'
APPLY_TO="queues"
PRIORITY=0# 获取所有 vhost
vhosts=$(rabbitmqctl list_vhosts --quiet)# 遍历设置策略
for vhost in $vhosts; doecho "设置策略到 vhost: $vhost"rabbitmqctl set_policy --vhost "$vhost" \--priority $PRIORITY \--apply-to $APPLY_TO \"$POLICY_NAME" "$PATTERN" "$DEFINITION"
done

👉 执行上面的脚本后，策略批量应用执行成功截图如下：

5. 高并发场景下必须加上的 RabbitMQ 配置建议

高频率、长链路的设备通信系统中，仅靠磁盘限制和长度控制并不足以兜底。你还应考虑：

5.1 为每个队列设置死信转发机制（Dead Letter Exchange）

当消息被拒绝、超时或队列满了时，它们可以被转发到**死信队列（DLQ）**中，防止直接丢失。

5.1.1 设置方式（x-dead-letter-exchange）

rabbitmqctl set_policy dlx-policy "^queue_prefix.*" \'{"dead-letter-exchange":"dlx.exchange"}' \--apply-to queues

说明：

• 所有以 queue_prefix 开头的队列会在出错时把消息转发到 dlx.exchange
• 你需要提前声明好对应的死信交换机和死信队列

5.1.2 示例队列参数绑定（使用代码或声明）

{"x-dead-letter-exchange": "dlx.exchange","x-dead-letter-routing-key": "dlx.queue"
}

5.2 配置合理的消息 TTL，避免“陈年老消息”

TTL（Time-To-Live）确保长时间未消费的消息自动过期，不会无限堆积。

5.2.1 每条消息设置 TTL（代码级）

{"expiration": "60000"  // 单位毫秒，消息生存60秒
}

5.2.2 队列级 TTL（策略方式）

rabbitmqctl set_policy ttl-policy ".*" \'{"message-ttl":60000}' --apply-to queues

建议：

• 对设备上报类队列设定 30 秒 ~ 5 分钟的 TTL
• 配合死信队列使用，不丢数据

5.3 队列“满载”预防：max-length + max-length-bytes

除了 TTL，还可限制队列中最大消息数或最大占用内存：

rabbitmqctl set_policy length-limit ".*" \'{"max-length":100000, "max-length-bytes":104857600}' --apply-to queues

---

6. 小结：务必加上的三类配置

别再迷信默认设置了！在高并发设备数据接入系统中，务必关注以下几点：

1. 磁盘空间阈值不要留默认！ 推荐设置为 1GB 以上
2. 修改配置后一定要重启服务，并验证生效
3. 为队列设置 TTL 和最大长度，避免无限堆积（保证不会因一个厂商问题影响所有厂商）

---

希望本教程能帮你解决 RabbitMQ 队列“莫名卡死”的问题。如果你有更多实战经验，欢迎留言交流！