当前位置：首页 > wzjs >正文

做网站技术支持抓获互助广州seo网站推广平台

wzjs 2025/8/22 23:02:21

做网站技术支持抓获互助,广州seo网站推广平台,有网站加金币的做弊器吗,wordpress模板chinazAnaconda中配置Pyspark的Spark开发环境目录 1.在控制台中测试ipython是否启动正常2.安装好Java3.安装Spark并配置环境变量4.PySpark配置5.修改spark\conf下的spark-env文件6.测试Pyspark是否安装成功 1.在控制台中测试ipython是否启动正常 anaconda正常安装这里先检查ipyt…

Anaconda中配置Pyspark的Spark开发环境

1.在控制台中测试ipython是否启动正常

anaconda正常安装

这里先检查ipython是否正常，cmd命令窗口，输入，ipython，如下就证明可用。
在这里插入图片描述

2.安装好Java

测试
在这里插入图片描述

3.安装Spark并配置环境变量

spark 官网地址：https://spark.apache.org/downloads.html

选择需要的版本后安装
在这里插入图片描述

解压：

在这里插入图片描述
配置环境变量

在这里插入图片描述
添加到Path:

4.PySpark配置

在这里插入图片描述

增加：

%SPARK_HOME%\python\lib\py4j;%SPARK_HOME%\python\lib\pyspark;

在这里插入图片描述

5.修改spark\conf下的spark-env文件

在这里插入图片描述

这里路径，写自己的anaconda路径

export PYSPARK_PYTHON=/C:/ProgramData/anaconda3
export PYSPARK_DRIVER_PYTHON=/C:/ProgramData/anaconda3
export PYSPARK_SUBMIT_ARGS=‘–master local[*]’

在这里插入图片描述

拷贝pyspark到site-packages文件夹下

在这里插入图片描述
拷贝到自己的anaconda文件下：

在这里插入图片描述

6.测试Pyspark是否安装成功

输入

jupyter notebook

在这里插入图片描述

from pyspark import SparkContext,SparkConfconf = SparkConf()data = ["猪八戒","20001"]sc = SparkContext(conf = conf)rdd = sc.parallelize(data)print(rdd.collect())