多节点集群 Hadoop 设置答案

【问题标题】：Multi Node Cluster Hadoop Setup多节点集群 Hadoop 设置
【发布时间】：2013-04-04 10:02:43
【问题描述】：

伪分布式单节点集群实现

我正在使用带有 CYGWIN 的 window 7 并成功安装了 hadoop-1.0.3。我仍然在端口（localhost：50030，localhost：50060和localhost：50070）上启动服务作业跟踪器，任务跟踪器和namenode。我已经完成了单节点实现。

现在我想实现伪分布式多节点集群。不明白如何通过网络ip来划分主从系统？

【问题讨论】：

hai ruchi，我也想做同样的事情，即使在单个节点本身也有问题，我关注ebiquity.umbc.edu/Tutorials/Hadoop/00%20-%20Intro.html，请帮助我或分享两种配置的设置教程
hii，如果你有任何关于单节点的问题请问我，你也关注了：ruchi0711.blogspot.in/2013/04/…
感谢 Ruchi，我将从单节点开始。你还在尝试集群节点吗？杰后 ;)
hadoop 你用的是哪个版本的？用 1.2.0 可以吗
我正在使用 hadoop-1.0.3 和 hbase 0.94。是的，因为它很好，但只需检查兼容性。

标签： hadoop cygwin

【解决方案1】：

对于您的 ssh 问题，只需点击单节点集群的链接即可：

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

是的，你需要在conf文件中指定master和slave的ip 为此，您可以参考此网址： http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

我希望这会有所帮助。

【讨论】：

【解决方案2】：

尝试创建要添加到集群中的虚拟机数量。确保这些虚拟机具有相同的 hadoop 版本。找出每个 VM 的 IP。您将在 $HADOOP_HOME/conf 中找到名为 master 和 slaves 的文件，将 VM 的 IP 提到要视为 master 的 conf/master 文件，并对 conf/slaves 执行相同操作与从节点 IP。

确保这些节点具有无密码 ssh 连接。格式化你的namenode，然后运行start-all.sh。

谢谢，

【讨论】：

感谢回答。实际上我有两个系统在相同的 n/w 中使用 ips（192.167.1.1 和 192.167.1.2）和系统名称 hadop@master 和 hadoo@slave。我正在做与你一样的工作，但问题是从属访问主机但主机给出了异常（ssh：连接到主机从属 PC 端口 22：连接超时）。我也是 chk 端口 22 正在运行请建议现在有什么问题。我正在关注教程hayesdavis.net/2008/06/14/running-hadoop-on-windows
这是一个 ssh 配置问题。确保 hadoop@master 的 id_dsa.pub 必须复制到 hadoop@slaves .ssh/authorized_keys 中，反之亦然。这只是意味着两台机器的 .ssh/authorized_keys 看起来相同。
先生，当我将 id 从 master 复制到 slave 时，它会给出（ssh：连接到主机 slave-pc 端口 22：连接超时）但是当从 slave 复制 id 到 master 时它可以正常工作并建立连接。我们可以通过命令（ssh hadoop@master）进行切换。请提出主电脑中的问题，以便它给出连接问题。
你可以从slave连接master然后连接它并用slave的.ssh/authorized_keys替换master的.ssh/authorized_keys文件。它肯定会起作用。
先生，正如你所说，我现在再次在从机上工作，但主机出现异常：hadoop@hadoop-master ~ $ scp ~/.ssh/id_dsa.pub hadoop@hadoop-slave： ~/.ssh/master-key.pub ssh：连接到主机hadoop-slave端口22：连接超时丢失连接