spark 独立集群是否支持部署模式 = python 应用程序的集群？答案

【问题标题】：Does spark standalone cluster supports deploye mode = cluster for python applications?spark 独立集群是否支持部署模式 = python 应用程序的集群？
【发布时间】：2017-01-29 09:16:42
【问题描述】：

我正在浏览 spark guide 2.1.0 并看到以下行在http://spark.apache.org/docs/latest/submitting-applications.html 目前，单机模式不支持 Python 应用的集群模式。

但在下面他们有一个例子在具有监督的集群部署模式下在 Spark 独立集群上运行

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

现在我很困惑...他们说集群模式不支持用于 python 应用程序的 spark 独立集群，但另一方面，他们给出了一个示例，他们有 deploye-mode = cluster for python 应用程序带火花独立集群如果我的解释有误，谁能纠正我？？

【问题讨论】：

是的，它支持。 --deploy-mode 仅特定于驱动程序位置。它不会影响语言和集群管理器。 check this post

标签： apache-spark

【解决方案1】：

根据documentation，

独立模式不支持 Python 应用程序的集群模式。

和

对于 Python 应用程序，只需传递 .py 文件代替 JAR，然后使用 --py- 将 Python .zip、.egg 或 .py 文件添加到搜索路径文件。

您发布的示例是针对 scala 应用程序的。文档本身给出了 python 的示例。

# Run a Python application on a Spark standalone cluster
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  examples/src/main/python/pi.py \
  1000

【讨论】：