0.pyspark的windows7环境搭建
参考pyspark的windows7环境搭建,搭建windows7的环境
1.安装Maven,配置环境变量
(1).从Maven官网下载地址下载zip格式的软件包apache-maven-3.5.4-bin.zip
将压缩包解压到D盘某目录下即可(D:\Maven\apache-maven-3.5.4)。

(2).配置环境变量
设置MAVEN_HOME变量:新建系统变量,变量名输入:MAVEN_HOME,变量值输入:D:\Maven\apache-maven-3.5.4
设置Path变量,找到Path变量,点击编辑,变量值输入: %MAVEN_HOME%\bin;
2.安装python组件
Settings->Plugins->搜索python

3.新建Python工程
Create New Project->Python

4.配置环境
run->Edit Configurations->Templates->Python,在右侧找到Environment->Environment Variables

添加两个环境变量:
变量名:PYTHONPATH,变量值:C:\spark\spark-2.1.0-bin-hadoop2.7\python
变量名:SPARK_HOME,变量值: C:\spark\spark-2.1.0-bin-hadoop2.7

5.关联源码
file->project structure->modules,点击最右侧加号:

选择第一个JARs or directories,找到PYTHONPATH下的lib文件夹,C:\spark\spark-2.1.0-bin-hadoop2.7\python\lib,直接添加进来即可,弹出的窗口选择Jar Directory。

至此便可以用intellij idea运行测试pyspark程序了。
本文详细介绍了如何在Windows7环境下,使用IntelliJ IDEA搭建PySpark开发环境。步骤包括安装Maven并配置环境变量,安装Python组件,新建Python工程,配置环境变量PYTHONPATH和SPARK_HOME,以及关联PySpark源码。
405

被折叠的 条评论
为什么被折叠?



