使用 Spark Submit 从集群中的特定节点读取远程文件

Question

是否有可能从 spark-submit 执行的特定节点获取特定文件？

我的第一种方法是通过套接字使用 spark-submit 获取集群中每个节点的列表，这是第一部分，现在，我想直接连接到特定节点以获取特定文件，这个文件是不是 HDFS 文件是该远程节点上的本地文件。

我无法使用 ftp，因为我没有这些凭据，它们执行直接连接。

文本文件不工作，我想指定文件的节点名称和路径。

Ej.

文本文件（remoteNodeConnectedToMyCluster:///path/file.txt）

我希望清楚。

提前致谢。

Answer 1

除了在节点上安装服务器（例如 FTP、HTTP）来提供文件或在节点上运行脚本以将其复制到分布式文件系统（例如 HDFS）之外，没有其他方法可以实现。

请注意，正确指定的 URL 的格式为 protocol://host/path/to/file.txt。