学习kafka和flink

kafka

kafka安装一套流程

方法一：启动需安装zookeeper和kafka

【Kafka】Windows下安装Kafka（图文记录详细步骤）
安装Tzq@2018写的上面链接安装的，一切很顺利，除了zookeeper的环境变量不管如何配置都不管用，只能手动双击zkServer.cmd启动zookeeper了

方法二：启动只需安装kafka

首先通过上面链接下载kafka压缩包，解压到D盘（其他盘也可以）根目录下
如D:\kafkaCluster

将解压得到的文件夹命名为kafka-zookeeper（这是因为3.5版本以上自带了zookeeper启动，只是需要一些额外配置）

最后，我们会得到这样一个文件

修改kafka-zookeeper/config/zookeeper.properties中dataDir=后面的路径，改为D:\kafkaCluster\kafka-zookeeper\logs\zk（这里的路径都是基于上面kafka解压后的路径，大家如果想要修改的可以自行全部替换）

接着将kafka-zookeeper文件夹复制三份，分别重命名为kafka-broker-1、kafka-broker-2、kafka-broker-3，得到如下文件结构

接下来以kafka-broker-1举例进行如下操作，这些操作均要在kafka-broker-2、kafka-broker-3中进行
在D:\kafkaCluster\kafka-broker-1下创建logs文件夹
接着进入D:\kafkaCluster\kafka-broker-1\config，打开server.properties
修改broker.id=0改为broker.id=1
在#listeners=PLAINTEXT://:9092下面新增一行
listeners=PLAINTEXT://localhost:9091
将”log.dirs=“后面的内容改为D:\kafkaCluster\kafka-broker-1\logs
同理，在kafka-broker-2中，id改为2，9092，kafka-broker-2；在kafka-broker-3中，id改为3，9093，kafka-broker-3

最后封装启动代码

在D:\kafkaCluster目录下新建
cluster.cmd
将以下内容复制进去

cd kafka-zookeeper
start zk.cmd
ping 127.0.0.1 -n 10 >nul
cd ../kafka-broker-1
start kfk.cmd
cd ../kafka-broker-2
start kfk.cmd
cd ../kafka-broker-3
start kfk.cmd

在D:\kafkaCluster目录下新建
cluster-clear.cmd
将以下内容复制进去

cd kafka-zookeeper
rd /s /q data
cd ../kafka-broker-1
rd /s /q data
cd ../kafka-broker-2
rd /s /q data
cd ../kafka-broker-3

第一次启动时将前面创建的所有logs和zk文件夹保持为空文件夹状态
启动时，双击cluster.cmd，等几秒就成功了
启动第一秒出现如下内容

等几秒会出现

说明启动成功！