【问题标题】:Too many fetch failures on HadoopHadoop 上的获取失败太多
【发布时间】:2015-12-22 05:20:40
【问题描述】:

我是 Hadoop/Pig 初学者。

我正在尝试构建一个 hadoop 集群。一个数据节点和一个主节点也作为数据节点。 我已按照以下说明进行操作:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

当我尝试运行示例 hadoop 示例时。我收到“太多的获取失败”。

我在主机和从机的 /etc/hosts 中配置了主机和主机的所有名称。 我还把 somaxconn 的值改成了 1024。

我在这里缺少什么?请帮忙。

【问题讨论】:

  • 由于某种原因,reducer 无法从 HDFS 获取文件。检查这是否有帮助 - zepvn.com/blog/?p=90.
  • 谢谢普拉文。您看到任何配置问题吗?我已经完成了博客中提到的所有事情。还是网络问题?
  • 看起来更像是网络问题。
  • 你能发布一些你的 reducer 任务尝试的日志吗?还确认您可以 curl/wget tasktracker http 端口从一个节点到另一个节点 - 这可能是两个节点之间的防火墙问题

标签: hadoop apache-pig hdfs


【解决方案1】:

这是一个已知问题。检查 HDFS 错误数据库以了解此错误的状态及其修复。 解决方法是使用/替换 jetty.jar 最新或更高版本 > 1.26 其他选项是在 mapred-site.xml 中增加获取尝试

【讨论】:

  • 你有错误报告的链接吗?
  • 最好提供您在回答中提到的资源的链接。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-08-18
  • 1970-01-01
  • 2011-08-12
  • 2013-06-05
  • 2017-02-06
  • 1970-01-01
相关资源
最近更新 更多