当前位置： 首页 > news >正文

docker部署WeDataSphere开源大数据平台

news 来源：原创 2025/5/14 14:57:18

在这里插入图片描述
GitHub：https://github.com/WeBankFinTech/WeDataSphere

**WDS容器化版本是由Docker构建的一个能够让用户在半小时内完成所有组件安装部署并使用的镜像包。**无需再去部署Hadoop等基础组件，也不需要部署WDS的各功能组件，即可让您快速体验 WDS 所有开源组件的能力，包括 DataSphere Studio 的数据应用开发能力，Apache Linkis的计算能力，Schedulis的任务调度能力，Qualitis的数据质量检测能力，Visualis的可视化能力和Exchangis的数据转换能力。

**只需一台内存大小为32G、磁盘大小为100G的服务器，并且操作系统为CentOS或Red Hat，您就能够根据我们提供的部署文档快速完成部署。**通过使用预先构建的Docker镜像包，您无需繁琐地安装和配置各个组件，节省了宝贵的时间和精力。

WDS容器化版本的优势不仅在于快速部署，还在于其灵活性和扩展性。您可以根据实际需求，灵活选择和配置所需的组件，试用属于自己的大数据平台。同时，我们提供了各组件升级文档，能够轻松完成升级和维护。通过使用WDS容器化版本，您可以快速部署和试用一个强大和高效的大数据平台。

不过由于该容器化版本Hadoop等基础组件均是单节点形式部署在容器中，因此稳定性较差，不推荐用于生产。
四、下载使用
1、镜像包
https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/wedatasphere.tar.gz

2、WeDataSphere组件容器化部
部署步骤
查看是否存在名称为wedatasphere的镜像，存在的话建议修改已有镜像的名称

docker images

在服务器上加载镜像包(预计需要五分钟左右)和查看是否加载成功
#加载镜像包

docker load -i wedatasphere.tar

#查看是否存在REPOSITORY名称为wedatasphere的镜像

docker images

将镜像运行在容器中 （请确保没有相同名称的container在运行）

docker run -itd --name='wedatasphere' --privileged -p 8085:8085 -p 8087:8087 -p 8083:8083 -p 9500:9500 -p 9400:9400 -p 8090:8090 -p 8080:8080 -p 50070:50070 -p 8088:8088 -p 9001:9001 wedatasphere init

进入容器

docker exec -it wedatasphere /bin/bash

在容器中切换到hadoop用户和切换目录到/data/docker下

su hadoop
cd /data/docker

执行脚本docker_start_all.sh，无报错的情况下就可以去登录DSS并使用

sh docker_start_all.sh

在页面登录的ip为所在服务器的ip，端口为8085，用户名和密码均为hadoop/hadoop
停止服务可执行docker_stop_all.sh脚本

sh docker_stop_all.sh

3、Docker版本使用指南
本文档主要介绍在使用Docker镜像包启动WeDataSphere所有组件后该如何使用

需要注意，由于镜像中部署的Hadoop, Spark等基础组件均是单节点的，稳定性必然不高，因此Docker版本无法用于生产

容器中各组件安装包均在/data/docker/Install目录下，除Streamis的配置文件在/data/docker/Install/streamis/streamis-server/conf目录，其他组件配置文件均在/data/docker/config目录下，日志均在/data/docker/logs目录，
Linkis和Visualis的前端包分别在目录/data/docker/Install/web/dss/linkis和/data/docker/Install/web/dss/visualis；DSS前端包在/data/docker/Install/web/dist；Schedulis前端包在/data/docker/Install/schedulis/schedulis-web/；Qualitis前端包在目录/data/docker/config/qualitis/dev/static；Exchangis前端包在目录/data/docker/Install/exchangis/frontend；Streamis前端包在/data/docker/Install/streamis/streamis-server/frontend
镜像中提供了两个简单Demo项目TestDemoDocker和TestStreamis，用户登录后选择首页在默认工作空间bdapWorkspace下能够看到
项目TestDemoDocker中有工作流TestDemo，该工作流主要包含DataSphereStudio中常用的节点，您可以选择执行并查看执行结果，并且可以将该工作流发布到调度中心，再从左侧菜单栏进入Schedulis调度中心，查看发布过去的工作流，对其进行调度
项目TestStreamis是流式生产中心的Demo，您打开项目后需要在从开发中心切换到流式生产中心，启动作业名称为flink-cdc的作业。该作业的功能是读取数据库streamis_test中表streamis_source_table的binlog信息，写到表streamis_sink_table中
除已有的两个项目外，您也可以选择自己创建项目和工作流，进行简单测试和演示，但是需要主要的是由于基础引擎对资源要求较高，若部署镜像的机器可用内存只有32G，执行复杂的任务会出现OOM异常
4、Docker中组件升级指南：（镜像中使用的是Open JDK）
本文档主要用于如何对镜像中的WDS组件进行升级，升级前请确保组件版本适配

DataSphereStudio
由于DataSphereStudio使用的已是最新版本v1.1.1，后续新版本发布后会提供相应升级文档

Apache Linkis
在升级前请确保新的版本已适配DataSphereStudio v1.1.1，后可按照如下步骤进行升级

停止服务

sh ${LINKIS_HOME}/sbin/linkis-stop-all.sh

替换后端lib包。用户首先需要将L I N K I S H O M E / l i b / l i n k i s − e n g i n e c o n n − p l u g i n s 中定制化的插件包备份，再用新版本的 l i b 替换 {LINKIS_HOME}/lib/linkis-engineconn-plugins中定制化的插件包备份，再用新版本的lib替换LINKIS
OME/lib/linkis−engineconn−plugins中定制化的插件包备份，再用新版本的lib替换{LINKIS_HOME}/lib，最后将备份的插件包拷贝到${LINKIS_HOME}/lib/linkis-engineconn-plugins中
替换前端包。在目录/data/docker/Install/web/dss/linkis
根据Apache Linkis的升级文档修改配置文件，配置文件目录在/data/docker/config/linkis-config
启动服务

sh ${LINKIS_HOME}/sbin/linkis-start-all.sh

Schedulis
在升级前请确保已适配DataSphereStudio v1.1.1，后可按照如下步骤进行升级

停止服务

cd /data/docker/Install/schedulis/schedulis-exec/
bin/shutdown-exec.sh
cd /data/docker/Install/schedulis/schedulis-web/
bin/shutdown-web.sh
isSuccess "stop Schedulis"

替换lib包。 首先需要备份jar包/data/docker/Install/schedulis/schedulis-exec/lib/derby.jar，再替换新版本的lib包在目录/data/docker/Install/schedulis/schedulis-exec/，后将备份的derby.jar拷贝到该目录lib下
替换前端包。替换目录/data/docker/Install/schedulis/schedulis-web/，后将上一步备份的derby.jar拷贝到lib下
修改配置文件。 根据Schedulis升级文档按需进行修改，配置文件目录在/data/docker/config/schedulis-config
启动服务

cd /data/docker/Install/schedulis/schedulis-exec/
bin/start-exec.sh
cd /data/docker/Install/schedulis/schedulis-web/
bin/start-web.sh

Visualis
在升级前请确保已适配DataSphereStudio v1.1.1，后可按照如下步骤进行升级

停止服务

sh /data/docker/Install/visualis/visualis-server/bin/stop-visualis-server.sh

替换lib包。直接用新的lib包替换/data/docker/Install/visualis/visualis-server/lib
替换前端包。直接用新的前端包替换/data/docker/Install/web/dss/visualis
修改配置文件。根据Visualis升级文档按需进行修改，配置文件目录在/data/docker/config/visualis
启动服务

sh /data/docker/Install/visualis/visualis-server/bin/start-visualis-server.sh

Qualitis
在升级前请确保已适配DataSphereStudio v1.1.1，后可按照如下步骤进行升级

停止服务

sh /data/docker/Install/qualitis/qualitis_dev/bin/stop.sh

替换lib包。直接用新的lib包替换/data/docker/Install/qualitis/qualitis-dev/lib
替换前端包。直接用新的前端包替换/data/docker/config/qualitis/dev/static
修改配置文件。根据Qualitis升级文档按需进行修改，配置文件目录在/data/docker/config/qualitis
启动服务

sh /data/docker/Install/qualitis/qualitis_dev/bin/start.sh

Exchangis
在升级前请确保已适配DataSphereStudio v1.1.1，后可按照如下步骤进行升级

停止服务

cd /data/docker/Install/exchangis/background/sbin
./daemon.sh stop server

替换lib包。直接用新的lib包替换/data/docker/Install/exchangis/background/lib
替换前端包。直接用新的前端包替换/data/docker/Install/exchangis/frontend/dist
修改配置文件。根据Exchangis升级文档按需进行修改，配置文件目录在/data/docker/config/exchangis-config
启动服务

sh /data/docker/Install/exchangis/background/sbin/daemon.sh start server

Streamis
在升级前请确保已适配DataSphereStudio v1.1.1，后可按照如下步骤进行升级

停止服务

sh /data/docker/Install/streamis/streamis-server/bin/stop-streamis-server.sh

替换lib包。直接用新的lib包替换/data/docker/Install/streamis/streamis-server/lib
替换前端包。直接用新的前端包替换/data/docker/Install/streamis/frontend/dist
修改配置文件。根据Streamis升级文档按需进行修改，配置文件目录在/data/docker/Install/streamis/streamis-server/conf
启动服务

sh /data/docker/Install/streamis/streamis-server/bin/start-streamis-server.sh
stop-streamis-server.sh

替换lib包。直接用新的lib包替换/data/docker/Install/streamis/streamis-server/lib
替换前端包。直接用新的前端包替换/data/docker/Install/streamis/frontend/dist
修改配置文件。根据Streamis升级文档按需进行修改，配置文件目录在/data/docker/Install/streamis/streamis-server/conf
启动服务

sh /data/docker/Install/streamis/streamis-server/bin/start-streamis-server.sh

相关文章：

  • redis数据结构-10（ZREM、ZSCORE、ZINCRBY）
  • 以价值为导向的精准数据治理实践，赋能业务决策
  • 移动端前端开发调试工具/webkit调试工具/小程序调试工具WebDebugX使用教程
  • 第十五届蓝桥杯国赛Python A组题解
  • 【认知思维】沉没成本谬误：为何难以放弃已投入的资源
  • 山东大学软件学院计算机图形学2025期末考题回忆版
  • 使用bitNet架构
  • 普通IT的股票交易成长史--20250513复盘
  • CAN（控制器局域网络）协议详解
  • Confusion2（Python反序列化+JWT）
  • 【前端】【JavaScript】【总复习】四万字详解JavaScript知识体系
  • 【数据结构】栈
  • 【MyBatis-8】MyBatis对象关联查询详解：高效处理复杂关系映射
  • Altium Designer AD如何输出PIN带网络名的PDF装配图
  • 内存中的“BANK”
  • 深入理解Python逻辑判断、循环与推导式（附实战案例）
  • Shell脚本与Xshell的使用、知识点、区别及原理
  • 演员评论家算法
  • 缺乏需求变更的影响评估，如何降低项目风险
  • Linux操作系统之进程（一）：进程属性与进程创建
  • 遭“特朗普关税”冲击，韩国今年经济增长预期“腰斩”降至0.8%
  • 一个多月来上海交大接连“牵手”三区，在这些方面进行区校合作
  • 气候多米诺：厄尔尼诺与东南亚跨境害虫或威胁中国粮食安全
  • 中巴续签双边本币互换协议，进一步深化金融战略合作
  • 巴方：印度上周导弹袭击造成至少40名平民死亡
  • 中国创面修复学科发起者之一陆树良教授病逝，享年64岁