当前位置: 首页 > news >正文

Apache DolphinScheduler系列1-单节点部署及测试报告

文章目录

  • 整体说明
  • 一、部署环境
  • 二、版本号
  • 三、部署方案
  • 四、部署步骤
    • 4.1、上传部署包
    • 4.2、创建外部数据库
    • 4.3、修改元数据库配置
    • 4.4、上传MySQLl驱动程序
    • 4.5、初始化外部数据库
    • 4.6、启停服务
    • 4.7、访问页面
  • 五、常见问题及解决方式
    • 5.1、时间不一致
    • 5.2、异常终止
    • 5.3、大量日志
    • 5.4、数据源中心连接Hive失败
    • 5.5、SQL脚本使用Hive UDF
  • 六、测试报告
    • 6.1、 测试结论
    • 6.2、兼容性要求及评估结果
    • 6.3、性能指标及评估
    • 6.4、安全指标及评估
      • 6.4.1、测试指标
      • 6.4.2、修复方法
      • 6.4.3、 测试结论

摘要: Apache DolphinScheduler系列1-单节点部署及测试报告

关键词: Apache DolphinScheduler、单节点部署、测试报告

整体说明

从部署环境的简介,到部署方案的介绍,以及实际的部署步骤,到解决具体的常见问题,最后给出简单的测试报告,简单图示如下:

一、部署环境

  • Java版本: 1.8.0_181

  • 操作系统: CentOS Linux release 7.6.1810

  • MySQL库版本: 5.7.22-22-log

  • MySQL驱动程序版本: 8.0.16

二、版本号

  • 版本: 3.2.0

  • 备注说明: DolphinScheduler 3.2.0 版本兼容更多类型数据库,国产化支持Damen数据库,项目中有国产化需求,所以选择此版本

  • 下载地址:https://dolphinscheduler.apache.org/zh-cn/download/3.2.0

三、部署方案

  • 平台只做数据质量监控告警发送不存在高并发相关需求场景,所以采用单机部署

  • 因为该系统需要持续使用,所以要采用配置外部数据库

四、部署步骤

官网部署步骤地址:https://dolphinscheduler.apache.org/zh-cn/docs/3.2.0/guide/installation/standalone

4.1、上传部署包

上传程序到服务目录,apache-dolphinscheduler-3.2.0-bin.tar.gz

解压文件:

tar -xvzf apache-dolphinscheduler-3.2.0-bin.tar.gz

4.2、创建外部数据库

创建外部数据库实例、账号,并对账号授权库的全部权限;

备注说明: 其中 user 和 passwd 为自己安装好的数据库的用户名和密码

mysql-uroot –p
mysql>CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULTCOLLATE utf8_general_ci;
mysql>GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%' IDENTIFIEDBY '{password}';
mysql>GRANT ALL PRIVILEGES ON dolphinscheduler.* TO

相关文章:

  • ASP.NET Core 8.0学习笔记(二十八)——EFCore反向工程
  • React + TypeScript 复杂布局开发实战
  • 存储引擎、索引、SQL优化(MySQL笔记第四期)
  • Dashboard-frps
  • 【Azure 架构师学习笔记】- Azure Databricks (12) -- Medallion Architecture简介
  • 算法-数据结构(图)-DFS深度优先遍历
  • Cesium@1.126.0,创建3D瓦片,修改样式
  • 微信小程序网络请求与API调用:实现数据交互
  • Part-DB部署
  • 探索浮点数在内存中的存储(附带快速计算补码转十进制)
  • 网易云音乐分布式KV存储实践与演进
  • 博客系统完整开发流程
  • 观成科技:海莲花“PerfSpyRAT”木马加密通信分析
  • RK3399 Android10双WiFi功能实现
  • ubuntu+aarch64+dbeaver安装【亲测,避坑】
  • low rank decomposition如何用于矩阵的分解
  • Jenkins protoc: command not found
  • Redis面试题----Redis 的持久化机制是什么?各自的优缺点?
  • 计算机毕业设计SpringBoot+Vue.js中小型医院网站(源码+文档+PPT+讲解)
  • Go语言中的信号量:原理与实践指南
  • 国家防汛抗旱总指挥部对15个重点省份开展汛前实地督导检查
  • 阿里上财年营收增6%,蒋凡:会积极投资,把更多淘宝用户转变成即时零售用户
  • 350种咖啡主题图书集结上海,20家参展书店买书送咖啡
  • 人民网三评“网络烂梗”:莫让低级趣味围猎青少年
  • 证券日报:降准今日正式落地,年内或还有降准空间
  • 光明日报:家长孩子共同“息屏”,也要保证高质量陪伴