YARN 上 Spark 提交和 Flink 的 HDFS 路径

Question

我使用 cloudera live vm，我有一个 hadoop 和 spral 独立集群。 现在我想用 spark submit 和 flink run 脚本提交我的工作。这也有效。但我的应用程序可以在 hdfs 中找到输入和输出文件的路径。 我将路径设置为：hdfs://127.0.0.1:50010/user/cloudera/outputs 我从中得到的来自港口的信息：

如何在java中设置hdfs的路径？？

最好的问候， 保罗

Answer 1

您不必设置 DataNode 主机的路径。在“概述”页面上，您将看到 NameNode 的连接信息，这也是您必须连接的地方。