四平市住房和城乡建设部网站outlook企业邮箱
目录
- 1. 核心组件
- (1) NameServer
- (2) Broker
- (3) Producer
- (4) Consumer
- 2. 消息流转流程
- 3. 高可用机制
- 4. 扩展性与负载均衡
- 5.容错机制
- 5. 特殊功能支持
- 6. 典型部署架构
- 总结
RocketMQ 是一款高性能、高可靠的分布式消息中间件，其运行架构设计为分布式、可扩展、高可用的模式。以下是 RocketMQ 的核心运行架构及组件说明：
1. 核心组件
RocketMQ 的架构主要由以下四个核心组件构成：
(1) NameServer
- 角色：轻量级的服务发现与路由管理组件（无状态，节点间不通信）。
- 功能：
- 管理 Broker 的注册与心跳检测，维护 Topic 与 Broker 的路由关系。
- 为 Producer 和 Consumer 提供 Topic 的路由信息查询。
- 特点：
- 多个 NameServer 实例组成集群，避免单点故障。
- Broker 启动时向所有 NameServer 注册，并定时发送心跳。
(2) Broker
- 角色：消息存储与传输的核心节点，负责消息的持久化、投递和查询。
- 功能：
- 消息存储：采用顺序写盘（Commit Log）和索引（Consume Queue）结合的方式，保证高性能。
- 主从架构：
- Master：处理读写请求，支持同步/异步复制数据到 Slave。
- Slave：备份数据，仅处理读请求（如消费落后时的消息拉取）。
- 支持事务消息、延迟消息、重试队列等功能。
- 特点：
- 通过 Broker 集群实现水平扩展和高可用。
- 每个 Topic 划分为多个队列（Queue），分散到不同 Broker。
(3) Producer
- 角色：消息生产者，向 Broker 发送消息。
- 功能：
- 根据 NameServer 提供的路由信息选择目标 Broker 和 Queue。
- 支持同步、异步、单向发送模式。
- 支持消息发送重试机制。
- 特点：
- 支持消息 Sharding（如按 Key 哈希选择 Queue）。
- 可通过事务消息保证分布式事务的最终一致性。
(4) Consumer
- 角色：消息消费者，从 Broker 拉取消息并处理。
- 功能：
- 根据消费模式（集群消费或广播消费）订阅消息。
- 支持 Push 模式（长轮询）和 Pull 模式。
- 维护消费进度（Offset），支持顺序消费。
- 特点：
- 消费者组（Consumer Group）内负载均衡，组内消费者分摊 Queue。
- 消费失败时触发重试机制，最终进入死信队列（DLQ）。
2. 消息流转流程
-
启动与注册：
- Broker 启动时向所有 NameServer 注册。
- Producer/Consumer 启动时从 NameServer 获取路由信息。
-
消息发送：
- Producer 根据路由信息选择 Broker 和 Queue，发送消息到 Broker。
- Broker 将消息写入 Commit Log，并生成索引（Consume Queue）。
-
消息消费：
- Consumer 从 Broker 拉取消息，处理成功后提交 Offset。
- 若消费失败，消息进入重试队列，多次失败后进入死信队列。
3. 高可用机制
- Broker 主从同步：
- 同步复制（Master-Slave 数据强一致）或异步复制（高性能）。
- Master 故障时，Slave 可切换为新的 Master（需人工或自动触发）。
- NameServer 集群：多节点部署，无状态设计，任一节点故障不影响服务。
- 消息持久化：消息写入磁盘，防止数据丢失。
4. 扩展性与负载均衡
- Topic 分片：将 Topic 划分为多个 Queue，分散到不同 Broker。
- 消费者负载均衡：同一 Consumer Group 内的消费者分摊 Queue。
- Broker 集群扩展：通过增加 Broker 节点提升吞吐量。
5.容错机制
- 自动重试机制（消息发送/消费）：
- 故障broker转移
- 消费者自动重新平衡队列分配
5. 特殊功能支持
- 事务消息：通过两阶段提交（半消息 + 事务状态回查）实现分布式事务。
- 顺序消息：通过锁定特定 Queue 保证消息顺序。
- 延迟消息：支持预设延迟级别，消息定时投递。
- 消息过滤：基于 Tag 或 SQL 表达式过滤消息。
6. 典型部署架构
[Producer] --> [NameServer Cluster]↑ ↓ ↖
[Broker Master] ←→ [Broker Slave]↙ ↓ ↘
[Consumer] --> [NameServer Cluster]
总结
RocketMQ 的架构通过 NameServer 实现解耦，Broker 主从设计保障高可用，生产者与消费者的分布式部署支持水平扩展。其高性能、可靠性和丰富的功能（如事务、顺序消息）使其适用于电商、金融等对消息一致性要求高的场景。