如何在 linux 终端中运行 spark scala 程序？

Question

我在 scala 中编写了一个 spark 程序。现在我想在终端中运行我编写的脚本。在 pyspark 中，我将 spark-submit 用于 python 文件。现在我想为我的 scala 程序做同样的事情。我不想使用 Intellij 或在 spark-shell 中编写我的程序。我只想在编辑器中编写代码并在终端中使用命令运行它。那可能吗？ 提前谢谢你

Answer 1

为您的代码创建一个 JAR 文件（jar 名称为 HelloWorld.jar）say .您可以使用 HDFS 或本地路径，如下例所示。

您可以在下面的命令中添加很多选项，您可以在 cmets 中 philantrovert 给出的 url 中找到这些选项。

在本地模式下运行。

spark-submit --class path.to.YourMainClass  --master local[*] /path/to/your/jar/HelloWorld.jar

以集群模式运行。

spark-submit --deploy-mode cluster --class path.to.YourMainClass  --master yarn hdfs://nameservice1/hdfsPath/to/your/jar/HelloWorld.jar