分布式消息队列技术(原理相关):Kafka
基本概念
Kafka 是 LinkedIn 开源的一个分布式流式处理平台
,一款功能全面的高性能消息队列
流式处理平台具有三个关键功能:
消息队列:发布和订阅消息流,这个功能类似于消息队列
,这也是 Kafka 也被归类为消息队列的原因。容错的持久方式存储记录消息流
:Kafka 会把消息持久化到磁盘,有效避免了消息丢失的风险。流式处理平台: 在消息发布的时候进行处理
,Kafka 提供了一个完整的流式处理类库
Kafka 是一个分布式系统,由通过高性能 TCP 网络协议进行通信的服务器和客户端组成
,可以部署在在本地和云环境中的裸机硬件、虚拟机和容器上。
Kafka 2.8 之后,引入了基于 Raft 协议的 KRaft 模式
,不再依赖 Zookeeper,大大简化了 Kafka 的架构