当前位置: 首页 > news >正文

在 Ubuntu 上安装和配置 Kafka

消息代理是一种软件,充当在不同应用程序之间发送消息的中介。它的功能类似于服务器,从一个应用程序(称为生产者)接收消息,并将其路由到一个或多个其他应用程序(称为消费者)。消息代理的主要目的是确保不同系统之间进行稳健可靠的通信,而无需这些系统始终可用或直接连接。这使得应用程序可以异步工作,提供容错能力和实时操作能力。消息代理可以接受来自多个来源的消息,并高效地将其路由到合适的接收者。根据所需的业务逻辑,消息可以分组到主题或队列中。

市面上有很多不同的消息代理,每种都有各自的特性和优势。本文我们将重点介绍 Kafka。

Apache Kafka 是一个快速且可扩展的消息代理,每秒能够处理数百万条消息。它尤其因其高容错能力和长时间存储数据的能力而备受推崇。Kafka 最初由 LinkedIn 开发,现已成为消息代理领域最受欢迎的开源解决方案,并获得了 Apache 软件基金会的许可。它被广泛用于构建实时数据管道和流式传输应用程序。在系统或应用程序之间移动和处理数据流是一项关键任务,而 Kafka 擅长帮助用户以最小的延迟实时处理数据流。作为一个分布式系统,Kafka 分布在多个服务器上,这些服务器可以并行存储和处理数据流。这种分布使 Kafka 能够为许多不同的数据源提供实时数据处理,从而确保可靠性和对系统故障的弹性。

在本文中,我们将探讨如何在 Ubuntu 上安装和配置 Kafka,以便您可以在项目中充分利用它。  

 系列文章:

1、在 Docker 上安装和配置 Kafka、选择用于部署 Kafka 的操作系统
https://blog.csdn.net/hefeng_aspnet/article/details/148921848

2、在 MacOS 上安装和配置 Kafka
https://blog.csdn.net/hefeng_aspnet/article/details/148921644

3、在 Ubuntu 上安装和配置 Kafka
https://blog.csdn.net/hefeng_aspnet/article/details/148921303

4、在 Windows 上安装和配置 Kafka
在 Windows 上安装和配置 Kafka-CSDN博客

在 Ubuntu 上安装 Kafka 的步骤与其他 Linux 发行版的步骤非常相似。主要区别在于每个操作系统的软件包管理器和一些细微的细节。这些步骤也类似于 Windows 的安装过程,因此即使您使用的是 Linux,也可以参考 Windows 的安装过程。

下载并安装 Java 开发工具包 (JDK)

如前所述,Apache Kafka 在 Java 上运行,因此第一步是安装 JDK。但是,在执行此操作之前,建议使用以下命令更新软件包列表并升级软件包版本:

sudo apt update
sudo apt upgrade

在Linux系统中,可以通过终端输入以下命令轻松完成安装:

sudo apt install default-jre
sudo apt install default-jdk

下载并解压 Kafka

您可以从官方网站下载 Apache Kafka 。选择产品的最新稳定版本。使用控制台中的 wget 实用程序下载它:

wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz

要提取下载的文件,请使用以下命令:

tar xzf kafka_2.13-3.7.0.tgz

请注意,当您阅读本文时,Kafka 的版本可能有所不同,因此命令(尤其是链接中的数字)可能看起来有所不同。完成上述步骤后,您应该在存档旁边看到一个包含产品的文件夹。使用以下命令导航到此文件夹:

cd kafka_2.13-3.7.0

验证功能

其余步骤与 Windows 系统类似,建议从该部分第三点开始阅读说明。要启动 Zookeeper,请输入以下命令:

bin/zookeeper-server-start.sh config/zookeeper.properties

然后,在新的终端窗口中启动 Kafka:

bin/kafka-server-start.sh config/server.properties

这涵盖了基本的安装和配置。您可以为生产环境配置各种参数,例如多个备份、网络配置、数据分区等,但此过程更加耗费人力且复杂。

在 Ubuntu 和其他 Linux 发行版上安装 Kafka 的常见问题

    • 权限问题:Linux 中访问某些文件或目录时,有时会出现权限问题。为了避免这种情况,您可以使用sudo导致问题的命令。但是,请谨慎操作,因为该命令sudo会授予完全管理员访问权限,这可能会导致安全问题。

    • Java 内存错误:如果您在使用 Kafka 时遇到 Java 内存问题,请尝试使用-Xmx标志增加分配给 JVM 的最大内存。您需要将此标志添加到配置文件中/bin/kafka-server-start.sh。但是,请确保为系统上的其他进程留出足够的内存。如果 JVM 开始使用所有可用资源,增加最大 JVM 内存可能会降低系统速度。

    • 版本管理:使用 Linux 时可能会出现版本问题。请务必检查 Kafka 及所有相关工具(例如 Zookeeper)的版本,以确保兼容性。

    • 正确关闭 Kafka 和 Zookeeper:要在 Linux 上关闭 Kafka 和 Zookeeper,可以使用以下命令:

kafka-server-stop.sh
zookeeper-server-stop.sh

建议始终正确停止这些服务以避免数据丢失。

    • 日志记录问题:Kafka 会生成大量日志。请确保您有足够的磁盘空间,并且已启用日志轮转功能。

    • 端口和文件限制:确保您拥有打开必要数量的文件或套接字的权限。Linux 系统本身就存在限制,您可以根据需要进行调整。

如果您喜欢此文章,请收藏、点赞、评论,谢谢,祝您快乐每一天。 

http://www.dtcms.com/a/272267.html

相关文章:

  • 下一代防火墙-终端安全防护
  • 普林斯顿大学DPPO机器人学习突破:Diffusion Policy Policy Optimization 全新优化扩散策略
  • Eigen 几何模块深拆:Isometry3d vs Affine3d + 变换矩阵本质详解
  • OSPF协议:核心概念与配置要点解析
  • 虚拟项目[3D物体测量]
  • 从真人到数字分身:3D人脸扫描设备在高校数字人建模教学中的应用
  • 强化学习 MDP
  • Selenium 4 教程:自动化 WebDriver 管理与 Cookie 提取 || 用于解决chromedriver版本不匹配问题
  • 《PyQt6-3D:开启Python 3D开发新世界》
  • Windows Edge 播放 H.265 视频指南
  • OpenAI正准备推出一款搭载人工智能功能的网络浏览器,试图直接挑战Alphabet旗下
  • 前端面试专栏-算法篇:21. 链表、栈、队列的实现与应用
  • NAT技术(网络地址转换)
  • 【实战】使用 ELK 搭建 Spring Boot Docker 容器日志监控系统
  • OSPF实验以及核心原理全解
  • 【SkyWalking】配置告警规则并通过 Webhook 推送钉钉通知
  • HP EVA SAN 数据恢复利器:Data recovery plugin for HP StorageWorks EVA
  • 前端项目集成husky + lint-staged + commitlint
  • Web-Bench:基于web标准和框架的benchmark
  • Fiddler中文版全面评测:功能亮点、使用场景与中文网资源整合指南
  • 什么是强化学习(RL)--2
  • 如何在VMware里的飞牛OS访问主机里面图片文件夹
  • 【运维实战】解决 K8s 节点无法拉取 pause:3.6 镜像导致 API Server 启动失败的问题
  • 【EGSR2025】材质+扩散模型+神经网络相关论文整理随笔(三)
  • 华为昇腾NPU与NVIDIA CUDA生态兼容层开发实录:手写算子自动转换工具链(AST级代码迁移方案)
  • 缓存穿透与击穿多方案对比与实践指南
  • 设计模式的六大设计原则
  • AI问答之手机相机专业拍照模式的主要几个参数解释
  • 【笔记】使用 html 创建网址快捷方式
  • 达梦数据库DMDRS搭建单向dm8-dm8数据同步