离线开发平台-HTTP数据同步到Doris数仓能力演示
🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。
✨杭州奥零数据科技官网：http://www.aolingdata.com
✨Github项目：https://github.com/alldatacenter/alldata
✨Gitee项目：https://gitee.com/alldatacenter/alldata
✨AllData官方手册：https://www.yuque.com/aolingdata/product
✨AllData正式环境：http://43.138.156.44:5173/ui_moat
一、离线开发平台基于开源项目DolphinScheduler建设
DolphinScheduler 是一个功能强大的分布式任务调度平台，支持复杂工作流编排、任务监控与告警，适用于离线数据处理场景。
1.1 可视化操作
提供直观的可视化界面，用户通过简单的拖拽和配置操作，就能轻松创建复杂的工作流任务，无需编写大量代码，降低了使用门槛，提高了工作效率。
1.2 任务调度与依赖管理
支持多种任务类型，如 Shell、SQL、Python 等，能满足不同数据处理场景的需求。可灵活设置任务之间的依赖关系，确保任务按照预定顺序执行，有效处理复杂的数据处理流程。
1.3 资源管理
能够对计算资源进行统一管理和分配，根据任务的资源需求合理调度，提高资源利用率，避免资源浪费。
1.4 监控与告警
实时监控任务的执行状态，包括任务进度、运行时长、资源使用情况等。当任务出现异常时，能及时发出告警通知，方便运维人员快速响应和处理问题，保障数据处理的稳定性和可靠性。
1.5 多租户支持
支持多租户模式，不同租户可以在同一个平台上独立进行任务开发和管理，实现资源隔离和权限控制，满足企业内不同部门或团队的使用需求。
🔹DolphinScheduler开源项目：
https://github.com/apache/DolphinScheduler
🔹文档地址：
https://dolphinscheduler.apache.org/zh-cn/docs/3.2.1/guide/homepage
二、离线开发平台功能特点
分布式易扩展架构
可视化DAG工作流编排
多租户与权限管理
任务类型丰富
高可靠性与容错机制
灵活的调度策略
任务状态监控与日志
数据源集成能力
版本控制与状态管理
生态兼容性
💡部署步骤：
一、源码获取
二、环境准备
2.1 操作系统要求：
支持 Linux 或 macOS 系统（推荐使用 Ubuntu/CentOS 或 macOS）。
确保系统已安装基础依赖工具（如git、curl、wget等）。
2.2 Java 环境：
安装 JDK 1.8 或更高版本（推荐使用 JDK 11）。
配置环境变量JAVA_HOME，并将$JAVA_HOME/bin添加到PATH。
验证安装：java -version
2.3 Maven 环境：
安装 Maven 3.6 或更高版本。
配置环境变量MAVEN_HOME，并将$MAVEN_HOME/bin添加到PATH。
验证安装：mvn -v
2.4 数据库：
支持MySQL或PostgreSQL。
创建数据库用户并授予权限，例如：
2.5 其他依赖：
确保系统已安装 Node.js（用于前端构建，可选）。
确保系统已安装 Python（用于部分脚本执行，可选）。
三、编译构建
3.1 编译后端代码：
进入项目根目录，执行以下命令进行编译：
编译完成后，生成的二进制包位于 dolphinscheduler-assembly/target 目录下，例如：
3.2 编译前端代码（可选）：
如果需要修改前端界面，可以编译前端代码：编译完成后，前端静态文件会生成到 ui_ds/ui_ds 目录。
四、部署与安装
4.1 解压二进制包
将编译生成的二进制包解压到部署目录：
4.2 配置数据库
修改数据库配置文件 conf/application.yaml，例如：
4.3 配置 ZooKeeper
修改 ZooKeeper 配置文件 conf/zookeeper.properties，例如：
4.4 配置 Zookeeper
修改 ZooKeeper 配置文件 conf/zookeeper.properties，例如：
4.5 初始化数据库
脚本会自动执行 dolphinscheduler-dao/src/main/resources/sql 目录下的 SQL 文件。
4.6 启动服务
启动Zookeeper（如果尚未启动）：
启动DolphinScheduler服务：
验证服务是否启动成功：
一、离线开发平台-功能概览
二、离线开发平台-项目管理
三、进入工作流页面
四、首先从数据共享平台-数据服务平台获取Http接口
4.1 （可选）使用API共享平台配置接口
4.2 （可选）使用数据服务平台配置接口
4.3 配置接口如下
http://43.138.156.44:5173/api/data/api/services/v2/test/v1?pageNum=1&pageSize=20
4.4 接口返回数据
五、确保接口正常返回数据
六、Http导入Doris的案例
七、可视化集成Seatunnel任务
八、配置Http同步到Doris的Yaml
九、Http数据同步到Doris实时数仓配置详情
十、Http数据同步到Doris实时数仓，启动Http到Doris任务同步工作流
十一、Http数据同步到Doris实时数仓，上线Http到Doris同步任务工作流
十二、Http数据同步到Doris实时数仓，定时抽取Http数据到Doris数据仓库
十三、Http数据同步到Doris实时数仓任务执行成功，同步数据成功
十四、Http数据同步到Doris实时数仓任务日志，查看同步操作记录
十五、Http数据同步到Doris实时数仓结果查看，成功从Http同步8条数据到Doris
十六、数据源平台查看数据
一、编译失败
- 确保 Maven 版本符合要求（3.6+）。
- 确保网络环境良好（可能需要配置 Maven 镜像）。
- 如果遇到依赖冲突，可以尝试清理本地 Maven 仓库：
二、数据库连接失败
- 检查数据库配置是否正确。
- 确保数据库服务已启动，并且用户权限配置正确。
- 检查防火墙是否放行了数据库端口（默认 3306）。
三、ZooKeeper 连接失败
- 检查 ZooKeeper 服务是否已启动。
- 检查 ZooKeeper 配置是否正确。
- 检查防火墙是否放行了 ZooKeeper 端口（默认 2181）。
四、服务启动失败
- 检查日志文件 logs/dolphinscheduler-*.log 获取详细错误信息。
- 确保系统资源充足（内存、CPU 等）。
- 确保端口未被占用（默认端口：12345、25333、50050 等）。