Spark yarn-client模式Python版

Question

我正在尝试在纱线客户端模式下使用 PySpark 运行 python 模块。我的集群上的默认 python 是 2.6.6，我想使用安装在我的集群上的路径 $/apps/anaconda/4.3.1/3/bin/python3.6 下的 python 3。当我通过下面的 spark2-submit 运行 Spark 模块时，它失败，说明正在使用错误的 Python 版本。当我使用 yarn-cluster 在集群模型中运行相同的代码时，它成功了。我的问题：我该如何解决这个问题？如何使用 python 3.6 使其在 yarn-client 模式下工作？

spark2-submit --master yarn --deploy-mode client --conf 'spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON=/apps/anaconda/4.3.1/3/bin/python3.6' --conf 'spark.yarn.appMasterEnv.PYSPARK_PYTHON=/apps/anaconda/4.3.1/3/bin/python3.6'  --queue=queue-name --py-files custom-python-code.zip file.py

Answer 1

代替

spark.yarn.appMasterEnv.PYSPARK_PYTHON=/apps/anaconda/4.3.1/3/bin/python3.6

使用

spark.executorEnv.PYSPARK_PYTHON=/apps/anaconda/4.3.1/3/bin/python3.6

前一种只适用于集群模式。