对 Kafka 和 Mesos 使用相同的 zookeeper 的问题

Question

我正在尝试在我们的 8 个节点集群上使用 Mesos 设置 Kafka 和 Spark，但在使用 Mesos 主节点的 zookeeper 端点启动/启动 Mesos 代理时遇到问题。

1. 在 3 个节点（server00、server01、server02）上安装和设置 Zookeeper（通过 $KAFKA_HOME/config/zookeeper.properties）

2. 在所有 8 个节点上安装 Kafka 代理（并通过在其 $KAFKA_HOME/config/server.properties 中设置以下属性将其指向 3 个动物园管理员）

   zookeeper.connect=server00:2181,server01:2181,server02:2181

3. 在 3 个节点（server00、server01、server02）上安装 Mesos 主节点并使用以下行更新 /etc/mesos/zk：

   zk://server00:2181,server01:2181,server02:2181/mesos

4. 在所有 8 个节点上安装 Mesos 代理。

5. 在所有其他服务器上编辑 /etc/mesos/zk 文件以具有以下行。

   zk://server00:2181,server01:2181,server02:2181/mesos

6. 如下在所有 3 台主服务器上启动 Mesos 主服务器（通过启动 http://server00:5050/#/、http://server01:5050/#/、http:/ 验证所有 Mesos 主服务器都在运行且可用/server02:5050/#/

   sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos

7. 在所有 8 台服务器上启动 Mesos 代理。 在 server00 上启动的示例：

sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=zk://server00:2181,server01:2181,server02:2181/mesos --ip=9.1.69.150 但上面没有启动代理。

但是下面的命令让我觉得也许主 mesos 没有在 zookeepers 中注册。

sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=server00:5050 --ip=9.1.69.150 

谁能解释一下

1. 我的配置不正确或
2. 如果我必须为 Mesos 集群设置单独的 zookeeper？
3. 如何验证 Mesos 主服务器是否已向 Zookeeper 注册？

一旦这个设置开始工作，我打算在所有 8 个节点上运行 Spark。

Answer 1

在 Ubuntu 上，至少 /etc/mesos/zk 和 /etc/mesos 下的其他配置文件只能由 /usr/bin/mesos-init-wrapper 读取。因此你的主人没有看到你的 zk 配置。

您需要使用 init 脚本 (service mesos-master start) 启动它，手动运行包装器，或者使用 -zk 选项到 mesos-master：

sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos --zk=zk://server00:2181,server01:2181,server02:2181/mesos

`