【发布时间】:2014-03-31 20:44:18
【问题描述】:
我正在关注这个tutorial,试图在我的集群上安装和配置 Spark。 我的集群(5 个节点)托管在 AWS 上并从 Cloudera Manager 安装。
教程中提到“将/etc/spark/conf的内容同步到所有节点”。修改配置文件后。
我真的很想知道实现这一点的简单方法是什么。我读了一篇与我的HERE 有类似问题的帖子。根据我的理解,对于hadoop、hdfs ...等的配置文件。由 zookeeper 或 cloudera manager 监控。这可能是使用 CM deploy 或 zookeeper 来实现的情况。
但是,Spark 的配置文件完全超出了 zookeeper 的范围。如何“同步”到其他节点..
非常感谢!
【问题讨论】:
-
如何使用 EMR 轻松设置:aws.amazon.com/articles/4926593393724923
标签: hadoop amazon-web-services apache-spark