iis配置网站无法访问百度官方网页
一、实验目的
- 掌握Spark本地模式的安装与配置方法
- 验证Spark本地环境是否搭建成功
- 了解Spark基本操作和运行原理
二、实验环境准备
- 操作系统：Linux（推荐ubuntu）
- Java环境：JDK 1.8或以上版本
- 内存：至少4GB（推荐8GB以上）
- 磁盘空间：至少2GB可用空间
三、实验步骤
1. 安装Java环境
# 检查Java是否已安装
java -version
注意：如果没有安装JDK请先学习
2. 下载Spark安装包
访问Spark官网下载页面：官网下载地址
选择最新稳定版本（如Spark 3.x），包类型选择"Pre-built for Apache Hadoop 2.7"或更高版本，具体如下：
3. 安装Spark
利用Finalshell工具将Spark安装包上传至Linux：
#进入安装包所在目录cd /home/wll/下载
# 解压安装包至指定文件夹/usr/local
sudo tar -zxf spark-3.5.6-bin-hadoop3.tgz -C /usr/local
#修改文件权限
sudo chown -R wll /usr/local/spark-3.5.6-bin-hadoop3
4. 配置环境变量
编辑~/.bashrc文件：
vim ~/.bashrc
在~/.bashrc文件中添加如下代码：
export SPARK_HOME=/usr/local/spark-3.5.6-bin-hadoop3
export JAVA_HOME=/usr/local/jdk1.8.0_161
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$PATH:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin
使配置生效
source ~/.bashrc
5. 验证安装
# 检查Spark版本
spark-submit --version# 启动Spark shell（Scala）
spark-shell
打开Spark的Web UI页面：http://192.168.0.105:4040
出现以上界面，则基于Linux的Spark本地（Local）模式的环境搭建成功！
没有安装Hadoop！