消息队列与RocketMQ
1. 消息队列的作用
1.1 解耦
消息队列的一个重要作用是解耦,解耦的意思是将消息的发送者和接收者解耦,使得消息的发送者和接收者不需要知道对方的存在,只需要知道消息队列的存在即可。
系统的耦合性越高,容错性就越低。以电商应用为例,用户创建订单后,如果耦合调用库存系统、物流系统、支付系统,任何一个子系统出了故障或者因为升级等原因暂时不可用,都会造成下单操作异常,影响用户使用体验。
使用消息队列解耦合,系统的耦合性就会提高了。比如物流系统发生故障,需要几分钟才能来修复,在这段时间内,物流系统要处理的数据被缓存到消息队列中,用户的下单操作正常完成。当物流系统回复后,补充处理存在消息队列中的订单消息即可,终端系统感知不到物流系统发生过几分钟故障。”
1.2 流量削峰
流量削峰是指在高并发的情况下,通过消息队列将请求分散到不同的时间段,从而避免瞬时的高并发。
应用系统如果遇到系统请求流量的瞬间猛增,有可能会将系统压垮。有了消息队列可以将大量请求缓存起来,分散到很长一段时间处理,这样可以大大提高系统的稳定性和用户体验。
1.3 数据分发
通过消息队列可以让数据在多个系统之间进行流通。数据的产生方不需要关心谁来使用数据,只需要将数据发送到消息队列,数据使用方直接在消息队列中获取数据即可。
1.4 优缺点
-
系统可用性降低
系统引入的外部依赖越多,系统稳定性越差。一旦MQ宕机,就会对业务造成影响。如何保证MQ的高可用? -
系统复杂度提高
MQ的加入大大增加了系统的复杂度,以前系统间是同步的远程调用,现在是通过MQ进行异步调用。如何保证消息没有被重复消费?怎么处理消息丢失情况?那么保证消息传递的顺序性? -
一致性问题
A系统处理完业务,通过MQ给B、C、D三个系统发送消息数据,如果B系统、C系统处理成功,D系统处理失败。如何保证消息数据处理的一致性?
2. RocketMQ
-
Producer:消息的发送者;举例:发信者
-
Consumer:消息接收者;举例:收信者
-
Broker:暂存和传输消息;举例:邮局
-
NameServer:管理Broker;举例:各个邮局的管理机构
-
Topic:区分消息的种类;一个发送者可以发送消息给一个或者多个Topic;一个消息的接收者可以订阅一个或者多个Topic消息
-
Message Queue:相当于是Topic的分区;用于并行发送和接收消息”
2.1 消息类型
2.1.1 同步消息
a. 同步发送,线程阻塞,投递complete阻塞结束
b. 如果发送失败,会在默认的超时时间3秒内进行重试,最多重试2次
c. 投递complete不代表投递成功,要check SendResult.sendStatus来判断是否投递成功
d. SendResult里面有发送状态的枚举:SendStatus,同步的消息投递有一个状态返回值的”
注意事项:发送同步消息且Ack为SEND_OK,只代表该消息成功的写入了MQ当中,并不代表该消息成功的被Consumer消费了
2.1.2 异步消息
a. 异步调用的话,当前线程一定要等待异步线程回调结束再关闭producer啊,因为是异步的,不会阻塞,提前关闭producer会导致未回调链接就断开了
b. 异步消息不retry,投递失败回调onException()方法,只有同步消息才会retry,源码参考
DefaultMQProducerImpl.class
c. 异步发送一般用于链路耗时较长,对 RT 响应时间较为敏感的业务场景,例如用户视频上传后通知启动转码服务,转码完成后通知推送转码结果等。
2.1.3 单向发送
a. 消息不可靠,性能高,只负责往服务器发送一条消息,不会重试也不关心是否发送成功
b. 此方式发送消息的过程耗时非常短,一般在微秒级别