SparkJob 在远程服务器上生成文件答案

【问题标题】：SparkJob generate file on remote serverSparkJob 在远程服务器上生成文件
【发布时间】：2018-01-18 18:26:15
【问题描述】：

对于以下问题，我需要一些建议：

我有一个带有 Cassandra 的 Spark 集群。我需要编写一个 spark 作业（使用 Scala）从 Cassandra 中提取一些信息。我需要生成一个包含结果的文件并将其放在另一台服务器上（没有 Spark）。

我的问题是：最好的解决方案是什么？ 1. 在与 spark 相同的服务器上生成文件，然后执行 scp 将其复制到我的目标服务器上？ 2.是否有另一种方法可以在我的目标服务器上生成文件？

谢谢。

【问题讨论】：

【解决方案1】：

这样做的更好方法是计算结果并将它们存储在 HDFS 中的某个目录中（带有 spark 的服务器），然后 nfs 将该目录安装到目标服务器中的某个路径（没有 spark 的服务器）。

如果这有帮助，请告诉我。干杯。

【讨论】：

我忘了提：我需要将文件复制到 2 个远程服务器（我还有一些其他分布式的东西）。是否可以将 HDFS 挂载到 2 个远程服务器？
你的想法不错，但我想从你的想法开始，也许我会使用 rsync 代替。我认为这对我需要的东西会更好
rsync 旨在通过网络发送数千个小文件。 NFS 不是。 NFS 被设计为就像一个本地文件系统一样，它必须与远程主机通信才能进行大多数操作。使用 rsync 您基本上是在目标服务器上创建所有这些文件的副本。我相信这是你不想做的事情，所以我没有建议。
实际上在我的目标服务器上，我有可以上传这些文件的水壶作业。所以基本上我需要每个目标服务器上的文件。