错误：必须指定主要资源（JAR 或 Python 文件）- Spark 提交 Python 应用程序答案

【问题标题】：Error: Must specify a primary resource (JAR or Python file) - Spark submit Python app错误：必须指定主要资源（JAR 或 Python 文件）- Spark 提交 Python 应用程序
【发布时间】：2015-05-04 16:55:59
【问题描述】：

我想完成一项简单的任务。我有一组工人。我想部署 zip-archive，其中包含一组 python files。然后，我想发送一些command，过一段时间，我想得到结果。

无论如何，我将我的文件提交给工人：

spark-submit --master spark://User-PC:7077 --py-files deploy.zip --name ParserExecutor

我有错误：

Error: Must specify a primary resource (JAR or Python file)
Run with --help for usage help or --verbose for debug output
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

deploy.zip 包含 ParserExecutor.py。

【问题讨论】：

标签： python deployment apache-spark pyspark

【解决方案1】：

试试这个>> spark-submit --master spark://User-PC:7077 --py-files deploy.zip --name ParserExecutor ParserExecutor.py

【讨论】：

我认为这行不通。我得到[Errno 2] No such file or directory。

【解决方案2】：

使用 Spark 1.3.0+ 你也可以执行：

./spark-submit ParserExecutor.py

【讨论】：