通过 DataProc UI 提交 Spark Streaming 作业答案

【问题标题】：Submit Spark Streaming job via DataProc UI通过 DataProc UI 提交 Spark Streaming 作业
【发布时间】：2018-07-06 22:04:53
【问题描述】：

如何在 DataProc UI 上指定多个 jar 文件（我的意思是在 Web 浏览器上）。例如，我可以从命令行开始工作：

export SPARK_MASTER=local[8]
export DEPENDENCIES=/home/xxx/.ivy2/cache/org.apache.bahir/spark-streaming-twitter_2.11/jars/spark-streaming-twitter_2.11-2.0.1.jar,/home/xxx/.ivy2/cache/org.twitter4j/twitter4j-core/jars/twitter4j-core-4.0.4.jar,/home/xxx/.ivy2/cache/org.twitter4j/twitter4j-stream/jars/twitter4j-stream-4.0.4.jar
/usr/bin/spark-submit \
      --master $SPARK_MASTER \
      --jars $DEPENDENCIES \
      --class me.baghino.spark.streaming.twitter.example.TwitterSentimentScore \
      target/scala-2.11/spark-twitter-stream-example_2.11-1.0.0.jar

我将所有这些文件复制到我在 Google Storage 上的存储桶中，然后在 Jar 文件下输入：

gs://mybucket/testdata/spark-twitter-stream-example_2.11-1.0.0.jar:gs://mybucket/testdata/spark-streaming-twitter_2.11-2.0.1.jar:gs://mybucket/testdata/twitter4j-core-4.0.4.jar:gs://mybucket/testdata/twitter4j-stream-4.0.4.jar

也尝试使用逗号：

gs://mybucket/testdata/spark-twitter-stream-example_2.11-1.0.0.jar,gs://mybucket/testdata/spark-streaming-twitter_2.11-2.0.1.jar,gs://mybucket/testdata/twitter4j-core-4.0.4.jar,gs://mybucket/testdata/twitter4j-stream-4.0.4.jar

我还尝试在 Arguments 下添加 --jars。那也没用。

【问题讨论】：

没有人回答！我是不是做错了什么？

标签： apache-spark google-cloud-platform google-cloud-dataproc

【解决方案1】：

希望这个答案仍然有帮助。在仪表板“提交作业”的“Jar 文件”字段中，您必须为每个条目输入一个文件。这意味着您需要键入 Enter 键，就像 Arguments 字段的行为一样。我在文档中找到了这条线索：“按为每个附加参数打开一个新文本框。” 这是你的罐子的一个例子：

【讨论】：