kafka3.9集群部署-kraft模式

准备给测试环境部署一个三节点的kafka集群
环境：openEuler 24.03 LTS、kafka 3.9.0
ip：192.168.33.33、192.168.33.34、192.168.33.35

1. 安装jdk

#安装最新的21版本jdk
yum -y instsall java-latest-openjdk java-latest-openjdk-devel

2. 下载安装包并分发到其余相同节点目录

ls /data/kafka/ 
/data/kafka/
├── kafka
│   ├── bin
│   ├── config
│   ├── data
│   ├── libs
│   ├── LICENSE
│   ├── licenses
│   ├── NOTICE
│   └── site-docs

3.修改config/kraft/server.properties的内容,完成后复制到其他节点，注意修改对应参数

$ grep -vE '^$|#' config/kraft/server.properties# 指定这个 Kafka 节点在集群中扮演的角色
## broker: 负责存储和提供消息，是消息的生产者和消费者交互的对象
## controller: 负责管理集群的元数据，如主题、分区和副本状态。在 Kraft 模式下，一个集群只有一个活动的控制器。
process.roles=broker,controller# 集群中每个节点的唯一标识符
# 每个节点单独配置
node.id=1# 定义所有控制器仲裁的所有成员。需要写上所有节点的node.id@ip:port
controller.quorum.voters=1@192.168.33.33:19092,2@192.168.0.34:19092,3@192.168.0.35:19092# 定义了 Kafka 节点监听的网络接口和端口，用于接受客户端或集群内部的连接
# 每个节点单独配置
listeners=PLAINTEXT://192.168.0.33:9092,CONTROLLER://192.168.0.33:19092# 指定 Broker 之间相互通信时使用的监听器名称
inter.broker.listener.name=PLAINTEXT# 告诉外部客户端（包括其他 Broker）如何连接到这个节点
# 每个节点单独配置
advertised.listeners=PLAINTEXT://192.168.0.33:9092,CONTROLLER://192.168.0.33:19092# 指定哪些监听器用于控制器仲裁之间的通信
controller.listener.names=CONTROLLER# 将监听器名称映射到其安全协议
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL# 用于处理所有网络请求的线程数
num.network.threads=3# 用于磁盘 I/O 的线程数
num.io.threads=8# TCP 套接字发送/接收缓冲区的大小
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400# # 单个请求的最大大小
socket.request.max.bytes=104857600# 存储 Kafka 所有日志文件（包括消息数据和元数据）的目录
# 每个节点单独配置
log.dirs=/data/kafka/node1/data# 为每个新创建的主题设置的默认分区数
num.partitions=1
num.recovery.threads.per.data.dir=1
# 存储消费者偏移量的内部主题的副本数
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# 日志数据保留的小时数
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
# 自动创建topic
auto.create.topics.enable=true

4.生产UUID

cd /data/kafka/
KAFKA_CLUSTER_ID="$(./bin/kafka-storage.sh random-uuid)"

5.初始化数据目录，需要在每个节点执行

cd /data/kafka/
./bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c ./config/kraft/server.properties

6.启动服务,每个节点单独执行

cd /data/kafka/
./bin/kafka-server-start.sh -daemon ./config/kraft/server.properties

7.进行测试查看服务是否正常

#开两个终端，一个启动生产者，另一个启动消费者，指定topic为testtopic。如果生产者终端输入的字符在消费者终端也能看到，说明搭建成功。# 启动生产者
./bin/kafka-console-producer.sh --broker-list 192.168.0.33:9092,192.168.0.34:9092,192.168.0.35:9092 --topic testtopic# 启动消费者
./bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.33:9092,192.168.0.34:9092,192.168.0.35:9092 --topic testtopic