从 pycharm 运行 spark-submit

Question

我想弄清楚如何在 PyCharm 中开发 apache-spark 程序。 我关注了link 中的文章。 我定义了 SPARK_HOME 并将 pyspark 添加到 Python 路径。没有错误 在导入 pyspark 模块和自动完成时工作正常。

但是，当我在 PyCharm 中运行程序时，我在定义 SparkContext 时遇到错误。

Error: Must specify a primary resource (JAR or Python or R file)
Run with --help for usage help or --verbose for debug output
...
...
Exception: Java gateway process exited before sending the driver its port number

我设法使用 submit-spark 在终端上运行程序。 我是否需要更改 PyCharm 上的配置或是否有运行 在 PyCharm 中提交火花而不是 python？

Answer 1

如果你在终端 submit-spark 上没问题，你可以 add a run configuration 为你做到这一点。否则，您也可以在Edit Run/Debug Configurations 窗口中看到一些配置。 This post in particular你能带你到那里吗？