【问题标题】:Configuring Twister on multiple node cluster在多节点集群上配置 Twister
【发布时间】:2016-08-02 17:29:57
【问题描述】:

我找到的关于如何在多个节点上设置 Twister 的唯一说明是 these。 我是分布式编程和 map reduce 范式的新手,所以我可以使用一些更详细的文献(教程、文章、示例、堆栈溢出问题等)。

假设我有一个包含两台计算机的小型集群。两台计算机都可以运行我在本地主机上编写的 Twister 应用程序。它们连接在同一个 LAN 中,地址例如192.168.0.11192.168.0.18。 假设192.168.0.11 将是 ma​​ster 节点 - 我想从中运行我的应用程序的节点。让我们称其他计算机为 slave

计算机可以通过SSH进行通信,无需提示密码(master可以对slave和自己进行无密码SSH;slave可以对master和自己进行无密码SSH)。

我还了解到,在主节点上,应该在 $TWISTER_HOME/bin/nodes 文件中命名所有 IP 节点的地址;所以,在这种情况下:

192.168.0.11
192.168.0.18

接下来是什么?还有更多配置吗?是否应该更改从属计算机的配置? Narada 和 Twister 应该在两台计算机上运行,​​还是只在 master 上运行? 这些步骤在我看来很模糊。

另外,我非常感谢任何相关的文章或类似的东西。

谢谢。

【问题讨论】:

  • OP 和 answerer 是否都相同但帐户不同?两个关于个人资料中提供的Linkedin个人资料指向Branislava Šandrih

标签: java hadoop ssh mapreduce


【解决方案1】:

在奴隶上:

  1. 运行 narada(该节点的 ip)

在主人身上:

  1. 运行 narada(两个节点)
  2. 运行捻线机
  3. 运行应用程序

【讨论】:

    猜你喜欢
    • 2019-07-22
    • 2013-04-24
    • 2015-08-12
    • 1970-01-01
    • 1970-01-01
    • 2017-05-07
    • 1970-01-01
    • 2021-04-27
    • 1970-01-01
    相关资源
    最近更新 更多