当前位置: 首页 > news >正文

Windows安装Apache Kafka保姆级教程(图文详解+可视化管理工具)

文章目录

  • 一、前言
  • 二、环境准备
    • 2.1 系统要求
    • 2.2 安装Java环境
  • 三、下载与解压Kafka
    • 3.1 下载Kafka
    • 3.2 解压Kafka
  • 四、配置Kafka
    • 4.1 目录结构说明
    • 4.2 修改配置文件
  • 五、启动Kafka服务
    • 5.1 启动Zookeeper
    • 5.2 启动Kafka服务器
    • 5.3 解决wmic命令问题
  • 六、测试Kafka功能
    • 6.1 创建Topic
    • 6.2 查看Topic列表
    • 6.3 测试生产者和消费者
  • 七、设置为Windows服务(可选)
    • 7.1 下载NSSM工具
    • 7.2 创建Zookeeper服务
    • 7.3 创建Kafka服务
    • 7.4 启动服务
  • 八、验证安装
    • 8.1 检查服务状态
    • 8.2 安装Kafka Tool可视化工具
  • 九、常见问题解决
    • 9.1 端口占用问题
    • 9.2 内存不足问题
    • 9.3 路径问题
    • 9.4 防火墙问题
  • 十、总结

一、前言

Apache Kafka是一个分布式流处理平台,广泛用于构建实时数据管道和流应用程序。本教程将详细介绍如何在Windows系统上安装和配置Kafka,适合初学者跟随操作。
在这里插入图片描述

二、环境准备

2.1 系统要求

  • Windows 7/8/10/11 (64位)
  • 至少4GB内存
  • 至少2GB可用磁盘空间

2.2 安装Java环境

Kafka需要Java 8或更高版本支持。

  1. 访问Oracle官网下载JDK 8或以上版本
  2. 选择Windows版本下载

💡 提示:可以参考这篇博客来安装JDK 8:JDK8保姆级安装教程

三、下载与解压Kafka

3.1 下载Kafka

  1. 访问Kafka官网:https://kafka.apache.org/downloads
  2. 选择最新稳定版本的二进制文件
  3. 推荐下载Scala 2.13版本

⚠️ 注意:本教程使用kafka_2.13-3.5.1版本,该版本自带ZooKeeper。进入官网下载页面后下拉,找到kafka_2.13-3.5.1版本下载。

下载页面

文件名类似:kafka_2.13-3.5.1.tgz

3.2 解压Kafka

  1. 将下载的文件解压到简单路径,如:C:\kafka
  2. 避免路径中包含空格和中文字符

解压目录

四、配置Kafka

4.1 目录结构说明

解压后的Kafka目录包含以下重要文件夹:

  • bin/windows/ - Windows批处理脚本
  • config/ - 配置文件
  • libs/ - 依赖库
  • logs/ - 日志文件(启动后生成)

4.2 修改配置文件

编辑server.properties

  1. 进入config目录
  2. 用记事本打开server.properties文件

配置文件

  1. 修改以下关键配置:
# 数据存储目录(改为Windows路径格式)
log.dirs=C:/kafka/kafka_2.13-3.5.1/kafka-logs# 监听地址
listeners=PLAINTEXT://localhost:9092# Zookeeper连接地址
zookeeper.connect=localhost:2181

配置修改1
配置修改2
配置修改3

五、启动Kafka服务

5.1 启动Zookeeper

Kafka依赖Zookeeper进行集群协调。

  1. 打开命令提示符
  2. 切换到Kafka安装目录:
    cd C:\kafka\kafka_2.13-3.5.1
    
  3. 启动Zookeeper:
    bin\windows\zookeeper-server-start.bat config\zookeeper.properties
    

启动Zookeeper

看到"binding to port 0.0.0.0/0.0.0.0:2181"表示启动成功。

5.2 启动Kafka服务器

  1. 新开一个命令提示符窗口
  2. 切换到Kafka目录:
    cd C:\kafka\kafka_2.13-3.5.1
    
  3. 启动Kafka服务器:
    bin\windows\kafka-server-start.bat config\server.properties
    

5.3 解决wmic命令问题

如果遇到'wmic' 不是内部或外部命令错误,说明wmic不在系统PATH环境变量中。

解决方案一:添加wmic到PATH

  1. 打开文件资源管理器,导航到 C:\Windows\System32\Wbem
  2. 检查是否存在wmic.exe
  3. 如果存在,将该目录添加到PATH环境变量中,不存在的话使用解决方案二:安装wmic工具

添加方式:

  • 打开环境变量设置
  • 在系统变量中找到Path,点击编辑
  • 点击新建,添加:C:\Windows\System32\Wbem

环境变量1
环境变量2

解决方案二:安装wmic工具

如果上述目录中不存在wmic.exe

  1. 进入Windows设置页面
  2. 点击系统可选功能
  3. 点击查看功能
  4. 搜索wmic,勾选后点击下一步
  5. 点击添加,等待安装完成

安装wmic1
安装wmic2
安装wmic3
安装wmic4

安装完成后测试:
测试wmic

重新启动Kafka:
重新启动

看到"started (kafka.server.KafkaServer)"表示启动成功。

六、测试Kafka功能

6.1 创建Topic

  1. 新开第三个命令提示符窗口
  2. 创建测试Topic:
    cd C:\kafka\kafka_2.13-3.5.1
    bin\windows\kafka-topics.bat --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
    

创建Topic

6.2 查看Topic列表

bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092

查看Topic

6.3 测试生产者和消费者

启动消费者:

bin\windows\kafka-console-consumer.bat --topic test-topic --from-beginning --bootstrap-server localhost:9092

启动生产者(新窗口):

bin\windows\kafka-console-producer.bat --topic test-topic --bootstrap-server localhost:9092

在生产者窗口输入消息,消费者窗口应该能实时接收到。

测试消息

七、设置为Windows服务(可选)

⚠️ 注意:执行此步骤前,请关闭所有之前打开的Zookeeper和Kafka窗口,防止端口占用。

7.1 下载NSSM工具

  1. 下载NSSM(Non-Sucking Service Manager):NSSM官网
  2. 解压到C:\nssm目录

NSSM下载
NSSM解压

7.2 创建Zookeeper服务

cd C:\nssm\nssm-2.24\win64
nssm install ZookeeperService

在弹出界面中配置:

  • Path: C:\kafka\kafka_2.13-3.5.1\bin\windows\zookeeper-server-start.bat
  • Arguments: C:\kafka\kafka_2.13-3.5.1\config\zookeeper.properties

配置Zookeeper服务

7.3 创建Kafka服务

nssm install KafkaService

配置参数:

  • Path: C:\kafka\kafka_2.13-3.5.1\bin\windows\kafka-server-start.bat
  • Arguments: C:\kafka\kafka_2.13-3.5.1\config\server.properties

配置Kafka服务

7.4 启动服务

  1. 打开"服务"管理器(Win + R,输入 services.msc)
  2. 找到"ZookeeperService"和"KafkaService"服务
  3. 先启动ZookeeperService,再启动KafkaService
  4. 可设置启动类型为"自动",实现开机自启

Zookeeper服务
Kafka服务

八、验证安装

8.1 检查服务状态

cd C:\kafka\kafka_2.13-3.5.1
bin\windows\kafka-broker-api-versions.bat --bootstrap-server localhost:9092

验证安装

8.2 安装Kafka Tool可视化工具

  1. 访问下载页面:https://www.kafkatool.com/download.html
  2. 下载并安装offsetexplorer_64bit.exe

Kafka Tool下载

安装步骤:

  • 双击安装文件
  • 选择"I accept the agreement"
  • 自定义安装目录
  • 完成安装

安装步骤1
安装步骤2
安装步骤3

配置连接:

  1. 启动Kafka Tool
  2. 点击File → Add New Connection
  3. 配置连接参数:
    • Cluster name: Local Kafka
    • Kafka Cluster Version: 3.5
    • Bootstrap servers: localhost:9092
  4. 点击Test测试连接

配置连接
连接成功
管理界面

九、常见问题解决

9.1 端口占用问题

现象: 启动时报错"Address already in use"

解决方案:

# 检查端口占用
netstat -ano | findstr :9092
netstat -ano | findstr :2181

结束占用进程或修改端口配置

9.2 内存不足问题

现象: 启动时内存溢出

解决方案:
修改bin\windows\kafka-server-start.bat文件中的JVM参数:

set "KAFKA_HEAP_OPTS=-Xmx512M -Xms512M"

9.3 路径问题

现象: 找不到文件或目录

解决方案:

  • 确保路径不包含中文和空格
  • 使用正斜杠"/“代替反斜杠”"
  • 检查配置文件中的路径设置

9.4 防火墙问题

现象: 远程无法连接Kafka

解决方案:
在Windows防火墙中开放9092和2181端口

十、总结

通过本教程,我们成功在Windows系统上完成了Apache Kafka的完整安装和配置,包括Java环境准备、Kafka下载解压、配置文件修改、服务启动、功能测试以及可选的Windows服务配置。现在已经拥有了一个完全可用的Kafka环境,可以开始构建实时数据流应用程序,进行消息队列的生产和消费操作。

http://www.dtcms.com/a/473788.html

相关文章:

  • java集合类的底层类是哪个
  • Arbess从入门到实战(13) - 使用Arbess+GitLab+Gradle实现Java项目自动化部署
  • 类与对象--2
  • socket 传输结构体数据,另一端进行恢复
  • 2025年数据治理平台解决方案:让数据真正可用、可信、可运营
  • 网站建设公司 长春广州购物网站建设
  • Linux ARM QT FrameBuffer
  • 静态网站特点阿里云wordpress在哪里设置
  • MATLAB完整问卷调查数据分析(附完整代码)
  • Claude Code学习笔记(四)-助你快速搭建首个Python项目
  • 济南 制作网站 公司哪家好文登seo排名
  • Chrome 插件开发入门
  • 天津专业网站制作wordpress 多域名登陆
  • Docker简介及部署
  • 字符数组和字符串
  • 【TIDE DIARY 3】dify: chatflow; docker: exec
  • Docker Compose学习
  • 从iBizPMS到iBizPLM:一场研发管理平台的四年级架构革命
  • KingbaseES SQL Server模式扩展属性管理:三大存储过程实战指南
  • 5118网站怎么做的登录贵州省住房和城乡建设厅网站
  • 开源 C++ QT QML 开发(十六)进程--共享内存
  • 密码学系列 - 零知识证明(ZKP) - MSM运算
  • 厦门网站制作推广友链是什么
  • 大的网站建设公司好赣州章贡区最新招聘信息
  • 总结Vue.js等成功项目的生态建设经验
  • 西安北郊网站开发wordpress上传附件
  • mysql读写分离中间件——Atlas详解
  • jndi使用druid,在tomcat中配置druid监控
  • tomcat 默认编码的设置
  • 【mybatisPlus详解】