如何在 hadoop 工作机器之间同步配置答案

【问题标题】：How to sync configuration between hadoop worker machines如何在 hadoop 工作机器之间同步配置
【发布时间】：2019-08-20 09:13:59
【问题描述】：

我们有巨大的 hadoop 集群，我们安装了一个协调器 preso 节点和 850 个 presto 工作节点。现在我们要更改文件中的值 - config.properties 但这应该在所有工作人员身上完成！

所以下

  /opt/DBtasks/presto/presto-server-0.216/etc

文件是这样的

[root@worker01 etc]# more config.properties
#
coordinator=false
http-server.http.port=8008
query.max-memory=50GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery.uri=http://master01.sys76.com:8008

我们想把它改成

coordinator=false
http-server.http.port=8008
query.max-memory=500GB
query.max-memory-per-node=5GB
query.max-total-memory-per-node=20GB
discovery.uri=http://master01.sys76.com:8008

但这仅在第一个节点 - worker01 上完成，但我们也需要在所有工作节点上执行此操作。好吧 - 我们可以通过 scp 将此文件复制到所有其他工作人员，但如果 root 受到限制，但我想知道的是，如果 presto 已经考虑更优雅的方法，在我们设置后同步所有工作人员节点上的配置我们还需要重新启动 presto loucer 脚本的新值

dose presto 有解决办法吗？

我必须告诉我我的集群是受限的 root ，所以我们不能通过 ssh 复制文件

【问题讨论】：

serverfault.com 是这个问题的更好论坛。 StackOverflow 用于编程问题，而 ServerFault 涵盖管理和网络相关问题，这是一个配置管理问题，适合管理相关问题。

标签： linux hadoop redhat presto

【解决方案1】：

Presto 无法同步配置。这是您需要在外部管理的事情，例如使用像 Ansible 这样的工具。还有项目命令行工具 presto-admin (https://github.com/prestosql/presto-admin) 可以帮助跨集群部署配置。

此外，如果您使用 AWS 等公共云，Starburst (https://www.starburstdata.com/) 的商业解决方案也可以帮助管理配置。

【讨论】：