【问题标题】:How To Sync the contents to all nodes如何将内容同步到所有节点
【发布时间】:2014-03-31 20:44:18
【问题描述】:

我正在关注这个tutorial,试图在我的集群上安装和配置 Spark。 我的集群(5 个节点)托管在 AWS 上并从 Cloudera Manager 安装。

教程中提到“将/etc/spark/conf的内容同步到所有节点”。修改配置文件后。

我真的很想知道实现这一点的简单方法是什么。我读了一篇与我的HERE 有类似问题的帖子。根据我的理解,对于hadoop、hdfs ...等的配置文件。由 zookeeper 或 cloudera manager 监控。这可能是使用 CM deploy 或 zookeeper 来实现的情况。

但是,Spark 的配置文件完全超出了 zookeeper 的范围。如何“同步”到其他节点..

非常感谢!

【问题讨论】:

标签: hadoop amazon-web-services apache-spark


【解决方案1】:

您为什么不 mount the same EBS via NFS 到 /etc/spark/conf 或其父级之一,以便自动同步文件?

【讨论】:

    猜你喜欢
    • 2021-12-19
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-10-18
    • 2021-08-11
    • 1970-01-01
    • 2015-07-20
    • 2020-08-21
    相关资源
    最近更新 更多