当前位置: 首页 > news >正文

宁波网站建设是哪家便宜如何建个使用自己帐户的网站

宁波网站建设是哪家便宜,如何建个使用自己帐户的网站,建湖网站优化公司,wordpress报名系统文章目录 Standalone集群部署 一、节点划分 二、搭建Standalone集群 1、将下载好的Spark安装包上传解压 2、配饰spark-env.sh 3、配置workers 4、将配置好的安装包发送到node2、node3节点上 5、启动Standalone集群 三、提交任务测试 Standalone集群部署 Standalone 模…

文章目录

Standalone集群部署

一、节点划分

二、搭建Standalone集群

1、将下载好的Spark安装包上传解压

2、配饰spark-env.sh

3、配置workers

4、将配置好的安装包发送到node2、node3节点上

5、启动Standalone集群

三、提交任务测试


Standalone集群部署

Standalone 模式是 Spark 自带的资源调度系统,无需依赖外部集群管理器。在此模式下,集群角色包含主节点(Master)、工作节点(Worker)、Client组成。各角色作用如下:

  • Master节点:负责集群资源管理和任务调度。
  • Worker节点:负责执行具体的计算任务。
  • Client负责:向Standalone集群中提交任务。

一、节点划分

这里搭建Standalone集群选择一台Master和两台Worker以及一台Client,按照如下节点划分在各个节点上部署各个角色。

#Spark安装包中各个目录和文件作用如下 
[root@node1 software]# ll spark-3.5.5 
drwxr-xr-x bin:包含管理Spark的可执行脚本。 
drwxr-xr-x conf:包含Spark的配置模板文件。 
drwxr-xr-x data:包含示例应用程序所需的数据集,通常用于GraphX、MLlib和Streaming的示例。 
drwxr-xr-x examples:包含Spark的示例代码和JAR包,供用户参考和测试。 
drwxr-xr-x jars:存放Spark运行时所需的所有JAR包,包括Spark自身的JAR以及其依赖项。 
drwxr-xr-x kubernetes:包含与Kubernetes集成相关的资源和配置。 
-rw-r--r-- LICENSE:Spark的许可证文件,说明了软件的许可条款。 
drwxr-xr-x licenses:包含Spark所依赖的第三方库的许可证文件。 
-rw-r--r-- NOTICE:关于Spark的一些法律声明和通知。 
drwxr-xr-x python:包含PySpark(Spark的Python API)相关的文件和资源。 
drwxr-xr-x R:包含SparkR(Spark的R API)相关的文件和资源。 
-rw-r--r-- README.md:提供关于Spark的简要介绍和使用说明。 
-rw-r--r-- RELEASE:包含当前Spark版本的发布说明。 
drwxr-xr-x sbin:包含用于启动和停止Spark集群的脚本。 
drwxr-xr-x yarn:包含与Hadoop YARN集成相关的jar包。

二、搭建Standalone集群

1、将下载好的Spark安装包上传解压

将“spark-3.5.5-bin-hadoop3-scala2.13.tgz”上传至node1节点,进行解压并修改名称。

[root@node1 ~]# cd /software/ [root@node1 software]# tar -zxvf ./spark-3.5.5-bin-hadoop3-scala2.13.tgz 
[root@node1 software]# mv spark-3.5.5-bin-hadoop3-scala2.13 spark-3.5.5

#Spark安装包中各个目录和文件作用如下 
[root@node1 software]# ll spark-3.5.5 drwxr-xr-x bin:包含管理Spark的可执行脚本。 
drwxr-xr-x conf:包含Spark的配置模板文件。 
drwxr-xr-x data:包含示例应用程序所需的数据集,通常用于GraphX、MLlib和Streaming的示例。 
drwxr-xr-x examples:包含Spark的示例代码和JAR包,供用户参考和测试。 
drwxr-xr-x jars:存放Spark运行时所需的所有JAR包,包括Spark自身的JAR以及其依赖项。 
drwxr-xr-x kubernetes:包含与Kubernetes集成相关的资源和配置。 
-rw-r--r-- LICENSE:Spark的许可证文件,说明了软件的许可条款。 
drwxr-xr-x licenses:包含Spark所依赖的第三方库的许可证文件。 
-rw-r--r-- NOTICE:关于Spark的一些法律声明和通知。 
drwxr-xr-x python:包含PySpark(Spark的Python API)相关的文件和资源。 
drwxr-xr-x R:包含SparkR(Spark的R API)相关的文件和资源。 
-rw-r--r-- README.md:提供关于Spark的简要介绍和使用说明。 
-rw-r--r-- RELEASE:包含当前Spark版本的发布说明。 
drwxr-xr-x sbin:包含用于启动和停止Spark集群的脚本。 
drwxr-xr-x yarn:包含与Hadoop YARN集成相关的jar包。

2、配饰spark-env.sh

进入$SPARK_HOME/conf,配置spark-env.sh,配置如下内容:

[root@node1 ~]# cd /software/spark-3.5.5/conf/
[root@node1 conf]# mv spark-env.sh.template spark-env.sh
[root@node1 conf]# vim spark-env.sh
export SPARK_MASTER_HOST=node1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=3g
export SPARK_WORKER_WEBUI_PORT=8081
  • SPARK_MASTER_HOST:必配项,master的ip。
  • SPARK_MASTER_PORT:提交任务的端口,默认7077。
  • SPARK_MASTER_WEBUI_PORT:Spark WebUI端口,默认8080。
  • SPARK_WORKER_CORES:每个worker从节点能够支配的core的个数,默认是对应节点上所有可用的core。
  • SPARK_WORKER_MEMORY:每个worker从节点能够支配的内存大小,默认1G。
  • SPARK_WORKER_WEBUI_PORT:worker WebUI 端口。

3、配置workers

进入$SPARK_HOME/conf,配置workers,写入node2、node3节点:

[root@node1 ~]# cd /software/spark-3.5.5/conf/
[root@node1 conf]# mv workers.template workers
[root@node1 conf]# vim workers
node2
node3

4、将配置好的安装包发送到node2、node3节点上

[root@node1 software]# cd /software/
[root@node1 software]# scp -r ./spark-3.5.5 node2:`pwd`
[root@node1 software]# scp -r ./spark-3.5.5 node3:`pwd`

5、启动Standalone集群

进入$SPARK_HOME/sbin,指定如下命令启动standalone集群。

[root@node1 software]# cd /software/spark-3.5.5/sbin
[root@node1 sbin]#./start-all.sh

注意:启动SparkStandalone集群的命令“start-all.sh”与启动HDFS集群的命令“start-all.sh”命令一样,这里不再单独配置Spark环境变量。

Standalone集群启动完成后,在浏览器输入“http://node1:8080”查看Spark Standalone集群信息。

 

注意:如果Standalone集群没有正常运行,可以通过查看各个节点的$SPARK_HOME/logs目录中的日志错误来解决。

三、提交任务测试

这里向Standalone集群中提交Spark Pi任务为例,来测试集群是否可以正常提交任务。向Standalone集群中提交任务需要准备Spark客户端。

Spark客户端主要就是向Spark集群中提交任务,只要一台节点上有Spark安装包,就可以向Spark集群中提交任务,这里在node4节点上单独再搭建Spark提交任务的客户端,只需要将Spark安装包解压放在node4节点即可。

[root@node4 ~]# cd /software/ 
[root@node4 software]# tar -zxvf ./spark-3.5.5-bin-hadoop3-scala2.13.tgz 
[root@node4 software]# mv ./spark-3.5.5-bin-hadoop3-scala2.13 spark-3.5.5

注意:任何一台Spark Standalone集群中的节点都可以作为客户端向Standalone集群中提交任务,这里只是将node4节点作为提交任务客户端后续向Standalone集群中提交任务。

在node4节点上向Standalone集群中提交任务命令如下:

[root@node4 ~]# cd /software/spark-3.5.5/bin/
[root@node4 bin]# ./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.13-3.5.5.jar 100

任务提交后,可以看到向Standalone集群中提交任务并执行100个task,最终输出pi大致结果。


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨
http://www.dtcms.com/a/496485.html

相关文章:

  • wordpress视频网站采集器网站设计师和ui设计师
  • 网站后台优化网站建的创新点
  • 网络故障排查:丢包、延迟、MTU 问题诊断与修复方法
  • 公司网站制作怎么弄灵犀科技 高端网站建设
  • 内网搭建邮件服务,打通 IDMP 通知途径
  • 东莞市电商网站建设直播营销策略有哪些
  • 做企业网站哪家公司专业南通seo网站价格
  • 前端最新Vue2+Vue3基础入门到实战项目全套教程
  • 陪诊陪护就医 APP 前端功能设计:简化就医流程,守护就医安心
  • 汉网可以建设网站不易订货小程序怎么收费
  • 张家港seo建站西宁最好网站建设公司哪家好
  • 必须网站的访问量华大基因 建设网站
  • 源同步输出延迟时序路径(八)
  • PostgreSQL Certified Master 个人专访 | 第五期 张海荣
  • 网站运营这么做为什么做的网站搜不出来的
  • 用户管理,权限管理
  • 专门做app网站18成禁人养成游戏手游
  • 网站开发与维护工资多少wap网站开发培训
  • phpmysql网站开发技术项目式教程梦织做网站
  • 卷积神经网络搭建实战(二)——基于PyTorch框架和本地自定义图像数据集的食物分类案例(附输入图片预测功能)
  • PS基本教学(三)——像素与分辨率的关系以及图片的格式
  • JAVA:Spring Boot3 集成 OpenAI 实现智能对话与文本生成
  • 全国房地产网站企业网站管理源码
  • 个人做信息分类网站需备案吗网站开发 chrome gimp
  • 计算机操作系统——固态硬盘
  • 西宁电商网站建设免费企业网站cms
  • 个人业务网站后台东莞专业网站推广公司
  • 安全月考评哪个网站做彩票网站开发多少钱
  • 火柴人遗产战争五
  • 学校网站建设代码怎么自己制作网页