spark-submit 文件从本地传输到集群

Question

我正在使用 spark-submit 集群模式将作业从本地提交到 spark 集群。我需要在本地机器和 Spark 集群之间来回传输输入文件、输出文件和作业日志文件。

任何使用文件传输的推荐方法。有没有未来计划让 spark 支持从集群到本地的文件传输，反之亦然。

Answer 1

使用 HDFS 在集群上共享文件。它是 Spark 使用最广泛的分布式文件系统。

您可以将文件从本地机器上传到远程 HDFS 集群。