Scala安装
Spark安装
Spark的Local模式仅需要单个虚拟机节点即可,无需启动hadoop集群。实验步骤如下:
- 将spark的安装包上传到虚拟机node01中(建议路径:/opt/software/spark)并解压缩文件。将解压文件夹重命名为spark-local
解压:tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz
重命名:mv spark-3.0.0-bin-hadoop3.2.tgz spark-local
- 启动Local环境。进入spark-local中,执行如下命令:
bin/spark-shell
- 命令行工具
在解压缩文件夹下的 data 目录中,添加 word.txt 文件。