kafka集群配置操作

1、配置节点标识

以三节点集群为例，在各服务器上kafka目录依次执行以下命令：

• [ kafka-1 执行 ]

sed -i 's#^broker\.id=.*#broker.id=0#g' config/server.properties

• [ kafka-2 执行 ]

sed -i 's#^broker\.id=.*#broker.id=1#g' config/server.properties

• [ kafka-3 执行 ]

sed -i 's#^broker\.id=.*#broker.id=2#g' config/server.properties

如果是单机部署的伪集群，那么还需要修改各个kafka配置文件中的listeners选项来修改端口，log.dirs选项来修改数据目录。

2、统一zookeeper地址

将各kafka连接的zookeeper地址配置成一样。

3、验证

• 在kafka1上创建topic

kafka1=192.168.1.1:9092
bin/kafka-topics.sh --create --bootstrap-server ${kafka1} --replication-factor 3 --partitions 1 --topic test-cluster-topic

• 在kafka2和kafka3上获取主题，如果能获取到，那么集群就建立了

kafka2=192.168.1.2:9092
kafka3=192.168.1.3:9092
bin/kafka-topics.sh --list --bootstrap-server ${kafka2}
bin/kafka-topics.sh --list --bootstrap-server ${kafka3}

生产消息命令

kafka1=192.168.1.1:9092
bin/kafka-console-producer.sh --bootstrap-server ${kafka1} --topic test-cluster-topic

消费消息命令

kafka2=192.168.1.2:9092
bin/kafka-console-consumer.sh --bootstrap-server ${kafka2} --topic test-cluster-topic --from-beginning