当前位置: 首页 > news >正文

kettle从入门到精通 第101课 ETL之kettle DolphinScheduler调度kettle

1、下载DolphinScheduler

DolphinScheduler官网下载安装包,选择合适的版本进行下载,地址为

https://dolphinscheduler.apache.org/zh-cn/docs/3.1.9/guide/installation/standalone

 2、启动 DolphinScheduler Standalone Server

我这里仅仅为了测试使用,启动的是Standalone模式且数据库是H2。注意重启服务后数据会清空。

命令如下:

# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server

 3、登录 DolphinScheduler

浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。默认的用户名和密码是 admin/dolphinscheduler123

 4、租户配置

海豚调度中的租户必须是操作系统的用户,不能随意填写,否则执行工作流时会失败。

 5、用户配置租户

admin用户默认是没有租户的,点击编辑按钮关联我们设置的租户。

 6、创建项目

海豚调度顶层资源隔离是项目,我们这里创建一个项目,名称为Java小金刚测试项目。

 7、创建工作流

点击项目名称即可创建工作流,一个项目有多个工作流。

我这里演示的是使用http调用kettle中的job,job名字为test.kjb,主要设置参数有Authorization、Content-Type、rep、job、level。

 点击保存,然后关联我们之前创建的租户。此时工作流默认状态为下线是无法运行的,点击红色按钮即可上线&运行。

8、查看运行记录

点击任务实例可以查看运行的记录,状态为成功。

 点击2查看详细的运行日志

 查看carte日志,也是运行成功

 写在最后

海豚调度支持quarzt cron方式,使用的时候可以自己摸索下。

另外在使用shell方式调度kettle的时候,提示jdk路径错误,有可能因为我使用电脑我mac的原因,有使用shell方式调度的欢迎评论区留言。

+0000 - -> /opt/java/openjdk
/Users/xxx/Documents/kettle/pdi/pdi-ce-9.3.0.0-428/data-integration/spoon.sh: line 278: /opt/java/openjdk/bin/java: No such file or directory

http://www.dtcms.com/a/276599.html

相关文章:

  • RAG进阶之术:用“父子Chunk”策略破解复杂查询的“上下文迷局”
  • Win11怎样进入WinRE恢复环境
  • 并发--Callable vs Runnable
  • 深入理解 Boost.Asio 中的异步核心 boost::asio::io_context
  • AI智能体|扣子(Coze)搭建【裸眼3D著名故事动画视频】工作流
  • NOIP普及组|2005T1淘淘摘苹果
  • 常用控件QWidget
  • 部署Harbor私有仓库
  • 第五章 RAG知识库进阶
  • Java项目2——增强版飞机大战游戏
  • Linux:信号
  • Redis持久化机制:RDB和AOF
  • 【面试八股文】2025最新软件测试面试
  • 多模态数据解压-Parquet
  • 【数据结构初阶】--顺序表(三)
  • 咨询导览,AI发展趋势
  • 三维点云Transformer局部感受野构建:理论、方法与挑战
  • 【图像处理基石】如何入门大规模三维重建?
  • 宁德时代2025年社招入职Verify测评语言理解数字推理考点及SHL测评真题整理
  • Augmented Nested Arrays With Enhanced DOF and Reduced Mutual Coupling
  • C++面试问题集锦
  • Linux系统编程——目录 IO
  • C++ 算法题常用函数大全
  • 独立开发第二周:构建、执行、规划
  • 数智管理学(三十二)
  • ATE-市场现状及趋势
  • AI:机器人行业发展现状
  • 用 Jpom 10 分钟搭好一套轻量级 CICD + 运维平台
  • 傅里叶方法求解偏微分方程2
  • 【C/C++】迈出编译第一步——预处理