在 pyspark 中运行脚本时缺少应用程序资源答案

【问题标题】：Missing application resource while running script in pyspark在 pyspark 中运行脚本时缺少应用程序资源
【发布时间】：2017-05-11 10:01:50
【问题描述】：

我一直在尝试通过 pyspark 执行脚本 .py，但我不断收到此错误：

11:55 $ ./bin/spark-submit --jars spark-cassandra-connector-2.0.0-M2-s_2.11.jar --py-files example.py
Exception in thread "main" java.lang.IllegalArgumentException: Missing application resource.
    at org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241)
    at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitArgs(SparkSubmitCommandBuilder.java:160)
    at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:276)
    at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildCommand(SparkSubmitCommandBuilder.java:151)
    at org.apache.spark.launcher.Main.main(Main.java:86)

我可以通过这样做轻松地执行它：

 11:57 $  pyspark --jars spark-cassandra-connector-2.0.0-M2-s_2.11.jar

然后将代码逐块粘贴到 IPython (interactive shell) 中。但我想将脚本放在一个 cronjob 中，以便它可以自动执行。我需要一个命令来输入 cronjob 并且 spark-submit 不工作。有什么想法吗？

【问题讨论】：

jar 是在当前目录还是路径上的其他任何位置？
@Prathik Helloo 之前有人问过我的问题！

标签： python cassandra cron pyspark ipython

【解决方案1】：

您需要再次将 python 文件放在末尾。

./bin/spark-submit --jars spark-cassandra-connector-2.0.0-M2-s_2.11.jar --py-files example.py example.py

【讨论】：