1.安装jdk并配置JAVA_HOME以及添加到环境变量中。
2.首先在本地安装spark的运行环境,如果是纯粹使用spark,那么本地可以不配置hadoop_home。
python调用pyspark的环境配置
下载好压缩文件之后进行解压,本地新建spark_home文件夹,之后配置环境变量SPARK_HOME,在PATH中添加%SPARK_HOME%\bin。
3.使用pyspark之前首先安装python,这里安装了python,但是为了方便管理包,这里使用anaconda+pycharm的方式跑python代码。新建环境变量PYTHONPATH添加pyspark到环境变量中去。
python调用pyspark的环境配置
4.验证连接pyspark运行成功。
python调用pyspark的环境配置

相关文章:

  • 2021-07-24
  • 2022-12-23
  • 2022-12-23
  • 2021-11-08
  • 2022-12-23
  • 2021-04-30
  • 2021-05-19
猜你喜欢
  • 2021-12-27
  • 2021-06-20
  • 2021-05-22
  • 2022-12-23
  • 2021-12-19
  • 2022-12-23
  • 2021-04-03
相关资源
相似解决方案