本文介绍在单节点下如何设置pyspark所调用的python的版本。
环境：已在centos7中安装了spark2.4.0和python3.6
1.修改spark安装目录下的conf/spark-env.sh文件，在末尾添加export PYSPARK_PYTHON=/opt/python36/python3.6
2.修改spark安装目录下的bin/pyspark文件，修改下图红色方框的位置，将原来PYSPARK_PYTHON=python改成PYSPARK_PYTHON=python3.6
3.启动pyspark，可看到python的版本为3.6
多节点的设置可参考：https://blog.csdn.net/abc_321a/article/details/82589836