如何在 Hortonworks VM 上的 Spark 上运行 .jar？

Question

我是 Hortonworks VM 的新手，我很困惑。我正在尝试在 Spark 上运行 .jar 文件。通常我通过运行在 Windows 上进行本地测试

spark-submit --driver-memory 4g --class en.name.ClassName %CODE%/target/program.jar

但由于我需要 Hive，我想我会转移到 Hortonworks VM 以进行本地测试。现在，我已经通过 Hortonworks 的 Ambari 的 HDFS 文件 GUI 将我的 .jar 和输入文件上传到了 HDFS（到 /tmp/my_code 目录）。接下来是什么？我还找到了命令行，但是如何从 VM 的命令行访问 HDFS 上的 .jar？我正在尝试运行

spark-submit --driver-memory 4g --class en.name.ClassName /tmp/my_code/program.jar 来自沙盒 condole（默认情况下在 http://127.0.0.1:4200/ 上运行的，root@sandbox“Shell in a Box”），它不起作用。它说 .jar 不存在。如何让 VM 在 HDFS 上使用 .jar？ 谢谢！

Answer 1

JAR 应该在本地文件系统上，而不是在 hdfs 中。只有输入文件应该在hdfs 中。所以/tmp/my_code/program.jar 路径应该是本地的，这就是您看到该错误的原因：the .jar does not exists

如果你运行这个命令：

>spark-submit --help

你会看到：

 --jars JARS   Comma-separated list of local jars to include on the driver
               and executor classpaths.

更新： 根据Documentations：

application-jar：包含您的应用程序和的捆绑 jar 的路径 所有依赖项。该 URL 必须在您的内部全局可见 集群，例如 hdfs:// 路径或 file:// 路径 存在于所有节点上。

所以，

如果 jar 在 hdfs 上：

spark-submit --driver-memory 4g --class en.name.ClassName hdfs://target/program.jar

如果 jar 在本地：

spark-submit --driver-memory 4g --class en.name.ClassName /target/program.jar

或

spark-submit --driver-memory 4g --class en.name.ClassName file://target/program.jar