wordpress文章地图定位百度seo规则最新
前言
在大数据时代，Hadoop 和 Spark 是两种非常重要的分布式计算框架。本文将详细介绍如何在 CentOS7 + JDK8 的虚拟机环境中搭建 Hadoop + Spark 分布式集群，包括 Spark Standalone 和 Hadoop + Spark on YARN 两种模式，并提供具体的代码示例。
一、CentOS7 + JDK8 虚拟机安装与基础配置
1. 虚拟机准备
使用已安装好的 CentOS7 操作系统虚拟机文件，克隆出三台虚拟机，分别命名为 CentOS7_x64-vm01、CentOS7_x64-vm02、CentOS7_x64-vm03，并使用 root 账户登录。
2. 配置 IP 地址
通过 VMware 的“虚拟网络编辑器”查看网络配置信息，确保虚拟机的 IP 地址固定且不冲突。在每台虚拟机中，修改 /etc/sysconfig/network-scripts/ifcfg-eth0 文件，配置静态 IP 地址，例如：
BOOTPROTO=static
IPADDR=192.168.163.201
NETMASK=255.255.255.0
GATEWAY=192.168.163.2
DNS1=8.8.8.83. 修改主机名和 hosts 文件
在每台虚拟机中，使用以下命令修改主机名：
hostnamectl set-hostname CentOS7_x64-vm01编辑 /etc/hosts 文件，添加所有虚拟机的主机名与 IP 地址的映射关系：
192.168.163.201 CentOS7_x64-vm01
192.168.163.202 CentOS7_x64-vm02
192.168.163.203 CentOS7_x64-vm034. 测试网络连通性
在每台虚拟机上执行以下命令，测试与其他虚拟机的网络连通性：
ping -c 4 CentOS7_x64-vm02
ping -c 4 CentOS7_x64-vm035. 配置免密登录
在每台虚拟机上生成 SSH 密钥对，并将公钥添加到其他虚拟机的 ~/.ssh/authorized_keys 文件中，实现免密登录：
ssh-keygen -t rsa
ssh-copy-id root@CentOS7_x64-vm02
ssh-copy-id root@CentOS7_x64-vm036. 安装 JDK
下载并安装 JDK 8，配置环境变量：
wget https://example.com/jdk-8uXXX-linux-x64.rpm
rpm -ivh jdk-8uXXX-linux-x64.rpm编辑 /etc/profile 文件，添加以下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_XXX
export PATH=$JAVA_HOME/bin:$PATH执行以下命令使配置生效：
source /etc/profile
java -version二、Hadoop + Spark Standalone 分布式集群环境搭建
1. 软件包准备
将 Hadoop 和 Spark 的安装包（如 hadoop-2.6.5.tar.gz 和 spark-2.4.8-bin-withouthadoop.tgz）上传到 vm01 虚拟机的 /root 目录下。
2. 解压软件包
在 vm01 虚拟机上，将 Hadoop 和 Spark 的安装包解压到 /usr/local 目录下：
tar -zxvf hadoop-2.6.5.tar.gz -C /usr/local/
tar -zxvf spark-2.4.8-bin-withouthadoop.tgz -C /usr/local/3. 配置环境变量
编辑 /etc/profile 文件，添加以下内容：
export HADOOP_HOME=/usr/local/hadoop-2.6.5
export SPARK_HOME=/usr/local/spark-2.4.8
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$PATH执行以下命令使配置生效：
source /etc/profile4. 配置 HDFS
修改 Hadoop 的 core-site.xml 和 hdfs-site.xml 文件，配置 HDFS 的存储路径、副本数量等参数：
<!-- core-site.xml -->
<configuration><property><name>fs.defaultFS</name><value>hdfs://vm01:9000</value></property>
</configuration><!-- hdfs-site.xml -->
<configuration><property><name>dfs.replication</name><value>3</value></property>
</configuration>5. 配置 Spark
修改 Spark 的 spark-defaults.conf 文件，配置 Spark Standalone 模式下的主节点地址、内存分配等参数：
spark.master spark://vm01:7077
spark.executor.memory 2g
spark.executor.cores 26. 分发配置文件
将配置好的 Hadoop 和 Spark 文件夹从 vm01 虚拟机分发到 vm02 和 vm03 虚拟机上：
scp -r /usr/local/hadoop-2.6.5 root@vm02:/usr/local/
scp -r /usr/local/hadoop-2.6.5 root@vm03:/usr/local/
scp -r /usr/local/spark-2.4.8 root@vm02:/usr/local/
scp -r /usr/local/spark-2.4.8 root@vm03:/usr/local/7. 启动集群
在 vm01 虚拟机上，启动 HDFS 和 Spark 集群服务：
start-dfs.sh
start-master.sh
start-slaves.sh8. 测试集群
在 vm01 虚拟机上，通过提交 SparkPi 计算任务和启动 PySparkShell 来测试集群的配置是否正常：
spark-submit --class org.apache.spark.examples.SparkPi \/usr/local/spark-2.4.8/examples/jars/spark-examples_2.11-2.4.8.jar 10
pyspark三、Hadoop + Spark on YARN 分布式集群环境搭建
1. 软件包准备与解压
与 Hadoop + Spark Standalone 模式类似，将 Hadoop 和 Spark 的安装包上传到 vm01 虚拟机并解压到 /usr/local 目录下。
2. 配置环境变量
编辑 /etc/profile 文件，添加 Hadoop 和 Spark 的环境变量。
3. 配置 HDFS、MapReduce 和 YARN
修改 Hadoop 的 core-site.xml、hdfs-site.xml、mapred-site.xml 和 yarn-site.xml 文件，配置 HDFS、MapReduce 和 YARN 的相关参数：
<!-- core-site.xml -->
<configuration><property><name>fs.defaultFS</name><value>hdfs://vm01:9000</value></property>
</configuration><!-- hdfs-site.xml -->
<configuration><property><name>dfs.replication</name><value>3</value></property>
</configuration><!-- mapred-site.xml -->
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration><!-- yarn-site.xml -->
<configuration><property><name>yarn.resourcemanager.hostname</name><value>vm01</value></property>
</configuration>4. 分发配置文件
将配置好的 Hadoop 和 Spark 文件夹从 vm01 虚拟机分发到 vm02 和 vm03 虚拟机上。
5. 启动集群
在 vm01 虚拟机上，启动 HDFS 和 YARN 集群服务：
start-dfs.sh
start-yarn.sh6. 配置 Spark on YARN
修改 Spark 的 spark-defaults.conf 文件，配置 Spark 在 YARN 集群