当前位置: 首页 > news >正文

实时开发IDE部署指南

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。
✨杭州奥零数据科技官网:http://www.aolingdata.com
✨AllData开源项目:https://github.com/alldatacenter/alldata
✨Gitee组织:https://gitee.com/alldatacenter

摘要:实时开发IDE基于开源项目Dinky建设,提供了轻量化部署、智能化开发体验、高效任务管理与运维以及丰富的生态集成与扩展性等功能特点。内容主要为以下五部分:

一、在线演示环境
二、功能简介
三、源码编译部署安装
四、访问实时开发IDE页面
五、常见问题与解决方案

💡Tips:关注「公众号」大数据商业驱动引擎

在这里插入图片描述
🔹AllData数据中台线上正式环境:http://43.138.156.44:5173/ui_moat/
请联系市场总监获取账号密码
在这里插入图片描述

在这里插入图片描述
2.1 实时开发IDE基于开源项目Dinky建设
实时开发IDE(Dinky)是一款基于Apache Flink构建的一站式实时计算平台。
提供了轻量化部署、智能化开发体验、高效任务管理与运维以及丰富的生态集成与扩展性等功能特点,适用于边缘计算、IoT设备等资源受限场景,以及市场趋势预测、用户行为实时响应、产品性能动态监控等多种实时计算场景。

🔹Dinky开源项目:https://github.com/DataLinkDC/dinky
🔹Dinky文档地址:https://www.dinky.org.cn

2.2 实时开发IDE功能特点

  • 轻量化与开箱即用
  • 智能化开发体验
  • 高校任务管理与运维
  • 生态集成与扩展性
  • 企业级应用场景

💡部署步骤:

3.1 环境准备

🔹操作系统要求:
推荐 Linux(CentOS 7+/Ubuntu 20.04+)或 macOS。

🔹网络要求:
确保服务器网络通畅,能够访问所需资源。

🔹依赖工具:
JDK 1.8+Maven 3.6+GitMySQL 5.7+(用于存储元数据和作业信息)Node.js(如需前端编译)

3.2 稳定版本
–Dinky集成版本opensource.version=1.2.1

3.3 源码编译部署获取安装包
在这里插入图片描述

在这里插入图片描述
4.1 功能概览
在这里插入图片描述

4.2 数据开发
在这里插入图片描述

4.3 数据同步-M2Sql
在这里插入图片描述

4.4 数据开发-实时ETL
在这里插入图片描述

4.5 数据同步-批处理任务SQL开发
在这里插入图片描述

4.6 数据开发-实时ETL
在这里插入图片描述
在这里插入图片描述

4.7 Dinky测试单表离线同步(Mysql2Doris)
在这里插入图片描述
在这里插入图片描述

4.8Dinky测试整库同步+实时增量同步(Mysql2Doris)

🔹源数据库6条数据库
在这里插入图片描述
🔹目标Doris数据库6条数据库
在这里插入图片描述

🔹源数据库6条数据库,新增2条,目标数据库实时同步增加2条,合计8条数据
在这里插入图片描述

🔹Doris目标数据库实时同步增加2条,合计8条数据,验证通过✅
在这里插入图片描述

🔹Flink Runtime Web
在这里插入图片描述
在这里插入图片描述

4.9 实时开发IDE-运维中心
在这里插入图片描述
在这里插入图片描述

4.10 运维中心-任务版本信息
在这里插入图片描述

4.11 运维中心-SQL血缘
在这里插入图片描述

4.12 注册中心-Flink实例
在这里插入图片描述

4.13 注册中心-集群管理
在这里插入图片描述

4.14 创建集群配置
在这里插入图片描述

4.15 注册中心-数据源管理
在这里插入图片描述

4.16 创建数据源
在这里插入图片描述

4.17 注册中心-告警策略管理
在这里插入图片描述

4.18 创建告警实例
在这里插入图片描述

4.19 创建告警组
在这里插入图片描述

4.20 告警模版
在这里插入图片描述

4.21 创建模版
在这里插入图片描述

4.22 告警策略
在这里插入图片描述

4.23 新建告警策略
在这里插入图片描述

4.24 文件
在这里插入图片描述

4.25 创建文档
在这里插入图片描述

4.26 创建全局变量
在这里插入图片描述

4.27 Cit 项目(Beta)
在这里插入图片描述

4.28 创建项目
在这里插入图片描述

4.29 注册中心-UDF模版管理
在这里插入图片描述

4.30 注册UDF
在这里插入图片描述

4.31 认证中心
在这里插入图片描述

4.32 认证中心-菜单管理
在这里插入图片描述

4.33 添加用户
在这里插入图片描述

4.34 修改用户
在这里插入图片描述

4.35 分配角色
在这里插入图片描述

4.36 修改密码
在这里插入图片描述

4.37 角色
在这里插入图片描述

4.38 创建角色
在这里插入图片描述

4.39 菜单
在这里插入图片描述

4.40 行权限-创建行权限
在这里插入图片描述

4.41 租户
在这里插入图片描述

4.42 创建租户
在这里插入图片描述

4.43 令牌-创建Token
在这里插入图片描述

4.44 配置中心
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.45 配置中心-Metrics配置管理
在这里插入图片描述

4.46 配置中心-类加载器管理-服务依赖检测
在这里插入图片描述

4.47 配置中心-系统日志-Root Logs
在这里插入图片描述

4.48 配置中心-系统日志-Log List
在这里插入图片描述

4.49 配置中心-类加载器 Jars
在这里插入图片描述

4.50 看板-创建仪表盘
在这里插入图片描述

在这里插入图片描述
5.1 依赖冲突
确保 JDK 和 Maven 版本与项目要求一致。
使用 mvn dependency:tree 解决依赖冲突。

5.2 数据库连接失败
检查 application.yml 中的数据库配置是否正确。确保 MySQL 服务可访问。

5.3 端口冲突
如果 8888 端口被占用,可在配置文件中修改 server.port 参数。

5.4 版本不匹配
确保 Dinky 版本与 Flink 版本对应,依赖包放置在正确的目录下。

http://www.dtcms.com/a/269517.html

相关文章:

  • Tomcat与IIS:核心差异及接口调用实战解析
  • paddlehub环境搭建和测试
  • 【PTA数据结构 | C语言版】在顺序表 list 的第 i 个位置上插入元素 x
  • C语言使用Protobuf进行网络通信
  • HTTP/3.0的连接迁移使用连接ID来标识连接为什么可以做到连接不会中断
  • 【论文阅读】基于 GAN 和深度迁移学习的频谱预测:一种跨带数据增强框架
  • 函数-1-字符串函数
  • Python文件操作(五分钟小白从入门到精通)
  • 微算法科技(NASDAQ MLGO)研究非标准量子预言机,拓展量子计算边界
  • 【QT】-隐式转换 explicit用法
  • linux常用管路命令
  • 【1-快速上手】
  • 部署并运行Spike-Driven-Transformer或QKFormer
  • 香港站群服务器与普通香港服务器对比
  • 算法设计与分析:分治、动态规划与贪心算法的异同与选择
  • 【计算机网络】第三章:数据链路层(下)
  • 89104 PCIe Switch芯片国产替代 - PCIE5.0国产AI服务器高性能扩展,支持海光/龙芯/飞腾等
  • 【零基础学AI】第30讲:生成对抗网络(GAN)实战 - 手写数字生成
  • 从SEO到GEO:优化策略如何应对传统搜索与AI搜索的巨变
  • SpringAI编码实战:使用本地免费部署的大语言模型跑起来
  • NuxtJS中网络请求模块的封装与最佳实战
  • leetcode202.快乐数
  • 算法设计与分析 知识总结
  • Puppeteer 库简介:背景、用法与原理
  • LeetCode--42.接雨水
  • 什么是RAG?
  • 深入解析Java中的“128陷阱“:Integer缓存机制源码分析
  • 容器技术入门之Docker环境部署
  • Docker快速部署Hive服务
  • 【技术应用】CUTTag应用实例解析:比ChIP-seq更精准高效的DNA-蛋白互作研究