Azkaban集群搭建

1. 前置工作

集群安装需要的环境：

1. MySQL

2. 三台CentOS机器

3. Azkaban安装包：链接：https://share.weiyun.com/uMc9SYel 密码：xkk55y

   • azkaban-db-3.84.4.tar.gz

   • azkaban-exec-server-3.84.4.tar.gz

   • azkaban-web-server-3.84.4.tar.gz

2. 配置MySQL

1. 解压缩 azkaban-db-3.84.4.tar.gz

   tar -zxf azkaban-db-3.84.4.tar.gz
   

   

2. 创建数据库

   create database azkaban
   

3. 执行SQL脚本 create-all-sql-3.84.4.sql

   

3. 配置Executor Server

1. 解压缩 executor

   tar -zxvf azkaban-exec-server-3.84.4.tar.gz
   

   

2. 修改azkaban.properties文件

   # 时区
   default.timezone.id=Asia/Shanghai
   # 服务器URL
   azkaban.webserver.url=http://localhost:8081
   # executor运行起来之后的端口号
   executor.port=12321
   # 修改MySQL配置信息：主机、数据库、用户、密码
   mysql.host=localhost
   mysql.database=azkaban
   mysql.user=root
   mysql.password=root
   

4. 启动

1. 三台机器分别执行启动命令(必须进入到…/azkaban-exec安装目录执行)：

   bin/start-exec.sh
   

   如果在安装目录下看到executor.port文件，表示启动成功

   

2. 下面激活executor，对于三台机器分别执行：

   curl -G "机器1的IP地址:12321/executor?action=activate" && echo
   curl -G "机器2的IP地址:12321/executor?action=activate" && echo
   curl -G "机器3的IP地址:12321/executor?action=activate" && echo
   

   如果返回success的JSON信息，则表示激活成功

   

5. 配置Web Server

Azkaban Web Server 处理项目管理，身份验证，计划和执行触发。

1. 解压缩azkaban-web-server-3.84.4.tar.gz

   tar -zxvf azkaban-web-server-3.84.4.tar.gz
   

   

2. 修改 azkaban-web-server-3.84.4/conf/azkaban.properties配置文件

   # 时区
   default.timezone.id=Asia/Shanghai
   # MySQL连接配置信息
   mysql.port=3306
   mysql.host=hadoop1
   mysql.database=azkaban
   mysql.user=root
   mysql.password=root
   # 过滤器(去掉MinimumFreeMemory, 如果开启这个配置项的话，如果你的机器内存小于6个G，azkaban会认为集群资源不足)
   azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
   

3. 修改 azkaban-users.xml 文件，添加管理员用户

   

​ 新增一个admin管理用户，用户名和密码都是admin，角色也是admin

4. 访问 部署机器IP:8081

   

   输入配置的用户名和密码：admin/admin

   

   即可登陆成功

​