当前位置: 首页 > news >正文

docker compose快速部署kafka-connect集群

 先部署kafka集群,启动

参考:docker compose部署kafka集群-CSDN博客

创建timezone文件,内容填写Asia/Shanghai

再部署kafka-connect集群

networks:
  net:
    external: true

services:
  kafka-connect1:
    restart: always
    image: debezium/connect:3.0.0.Final
    container_name: kafka-connect1
    hostname: kafka-connect1
    #ports:
    #  - '8083:8083'
    environment:
      - GROUP_ID=kafka-connect-cluster
      - BOOTSTRAP_SERVERS=kafka1:9092,kafka1:9093,kafka1:9094
      - CONFIG_STORAGE_TOPIC=connect-config
      - OFFSET_STORAGE_TOPIC=connect-offset
      - STATUS_STORAGE_TOPIC=connect-status
      - OFFSET_FLUSH_TIMEOUT_MS=1000
      - HEAP_OPTS=-Xmx8G
      - CONNECT_KEY_CONVERTER_SCHEMAS_ENABLE=false
      - CONNECT_VALUE_CONVERTER_SCHEMAS_ENABLE=false
    volumes:
      - /etc/localtime:/etc/localtime
      - /home/sumengnan/apache/kafka/timezone:/etc/timezone
      - /home/sumengnan/apache/kafka/kafka-connect1/logs:/kafka/logs
    networks:
      - net
  kafka-connect2:
    restart: always
    image: debezium/connect:3.0.0.Final
    container_name: kafka-connect2
    hostname: kafka-connect2
    #ports:
    #  - '8084:8083'
    environment:
      - GROUP_ID=kafka-connect-cluster
      - BOOTSTRAP_SERVERS=kafka1:9092,kafka1:9093,kafka1:9094
      - CONFIG_STORAGE_TOPIC=connect-config
      - OFFSET_STORAGE_TOPIC=connect-offset
      - STATUS_STORAGE_TOPIC=connect-status
      - OFFSET_FLUSH_TIMEOUT_MS=1000
      - HEAP_OPTS=-Xmx8G
      - CONNECT_KEY_CONVERTER_SCHEMAS_ENABLE=false
      - CONNECT_VALUE_CONVERTER_SCHEMAS_ENABLE=false
    volumes:
      - /etc/localtime:/etc/localtime
      - /home/sumengnan/apache/kafka/timezone:/etc/timezone
      - /home/sumengnan/apache/kafka/kafka-connect2/logs:/kafka/logs
    networks:
      - net
  kafka-connect3:
    restart: always
    image: debezium/connect:3.0.0.Final
    container_name: kafka-connect3
    hostname: kafka-connect3
    #ports:
    #  - '8085:8083'
    environment:
      - GROUP_ID=kafka-connect-cluster
      - BOOTSTRAP_SERVERS=kafka1:9092,kafka1:9093,kafka1:9094
      - CONFIG_STORAGE_TOPIC=connect-config
      - OFFSET_STORAGE_TOPIC=connect-offset
      - STATUS_STORAGE_TOPIC=connect-status
      - OFFSET_FLUSH_TIMEOUT_MS=1000
      - HEAP_OPTS=-Xmx8G
      - CONNECT_KEY_CONVERTER_SCHEMAS_ENABLE=false
      - CONNECT_VALUE_CONVERTER_SCHEMAS_ENABLE=false
    volumes:
      - /etc/localtime:/etc/localtime
      - /home/sumengnan/apache/kafka/timezone:/etc/timezone
      - /home/sumengnan/apache/kafka/kafka-connect3/logs:/kafka/logs
    networks:
      - net
 

  kafka-connect-ui:
    restart: always
    image: landoop/kafka-connect-ui:0.9.7
    container_name: kafka-connect-ui
    hostname: kafka-connect-ui
    ports:
      - '8000:8000'
    environment:
      - CONNECT_URL=http://kafka-connect1:8083,http://kafka-connect2:8083,http://kafka-connect3:8083
    volumes:
      - /etc/localtime:/etc/localtime
    networks:
      - net

 kafka-connect-ui为kafka-connect的可视化web界面,访问8000端口。

相关文章:

  • rdian是一个结构体,pdian=^Rdian,list泛型做什么用?
  • macOs安装nvm
  • 【Android开发】安卓手机APP使用机器学习进行QR二维码识别(完整工程资料源码)
  • 计算机网络结课设计:通过思科Cisco进行中小型校园网搭建
  • Jenkins 新建配置Pipeline任务 三
  • 计算机网络-MPLS转发原理
  • 【ISO 14229-1:2023 UDS诊断全量测试用例清单系列:第六节】
  • 查询语句来提取 detail 字段中包含 xxx 的 URL 里的 commodity/ 后面的数字串
  • Leetcode:学习记录
  • Javaweb中,使用Servlet编写简单的接口
  • leetcode 347. 前 K 个高频元素
  • C++STL(六)——list模拟
  • 左移架构 -- 从攒批,湖仓到使用数据流的实时数据产品
  • NPDP学习笔记 -产品经理(第二版)-第一章 战略
  • Linux——stdio
  • [MySQL]MySQL数据类型
  • Python实现随机森林(Random Forest)算法​
  • wordpress模板文件结构超详解
  • XZ_Mac电脑上本地化部署DeepSeek的详细步骤
  • 大语言模型入门
  • 网页设计与网站建设课程报告/seo关键字怎么优化
  • 代做设计的网站/软文发布的平台与板块
  • 网站建设怎么学习/企业网络搭建
  • 网站建设先进技术/直通车怎么开才有效果
  • 160 作者 网站建设/国外外链平台
  • 西部数码网站管理助手 v3.0/搜索优化引擎