【发布时间】:2015-12-22 05:20:40
【问题描述】:
我是 Hadoop/Pig 初学者。
我正在尝试构建一个 hadoop 集群。一个数据节点和一个主节点也作为数据节点。 我已按照以下说明进行操作:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/
当我尝试运行示例 hadoop 示例时。我收到“太多的获取失败”。
我在主机和从机的 /etc/hosts 中配置了主机和主机的所有名称。 我还把 somaxconn 的值改成了 1024。
我在这里缺少什么?请帮忙。
【问题讨论】:
-
由于某种原因,reducer 无法从 HDFS 获取文件。检查这是否有帮助 - zepvn.com/blog/?p=90.
-
谢谢普拉文。您看到任何配置问题吗?我已经完成了博客中提到的所有事情。还是网络问题?
-
看起来更像是网络问题。
-
你能发布一些你的 reducer 任务尝试的日志吗?还确认您可以 curl/wget tasktracker http 端口从一个节点到另一个节点 - 这可能是两个节点之间的防火墙问题
标签: hadoop apache-pig hdfs