【问题标题】:Mapreduce Tasktracker blacklistedMapreduce Tasktracker 被列入黑名单
【发布时间】:2014-06-03 14:00:35
【问题描述】:

我们正在使用 CDH 4.2 和 CM 5.0

最近我们表示注意到其中一个 Tasktracker 被列入黑名单,然后我不得不重新启动它以将其带回池中。所有机器具有相同的配置和容量。但是一台特定机器上的 tasktracker 会反复被列入黑名单。

为了找出根本原因,我挖掘了日志并找到了

9:32:28.117 AM 错误 org.mortbay.log /mapOutput java.lang.IllegalStateException:在 org.mortbay.jetty.Response 的 org.mortbay.jetty.Response.resetBuffer(Response.java:1023) 处提交。 sendError(Response.java:240) at org.apache.hadoop.mapred.TaskTracker$MapOutputServlet.doGet(TaskTracker.java:4283) at javax.servlet.http.HttpServlet.service(HttpServlet.java:707) at javax.servlet .http.HttpServlet.service(HttpServlet.java:820) 在 org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511) 在 org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java :1221) 在 org.apache.hadoop.http.HttpServer$QuotingInputFilter.doFilter(HttpServer.java:1068) 在 org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1212) 在 org.apache。 hadoop.http.NoCacheFilter.doFilter(NoCacheFilter.java:45) 在 org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1212) 在 org.apache.hadoop.http.NoCacheFilter.doFilter(NoCacheFilter.雅va:45) 在 org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1212) 在 org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:399) 在 org.mortbay.jetty .security.SecurityHandler.handle(SecurityHandler.java:216) 在 org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182) 在 org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766) ) 在 org.mortbay.jetty.webapp.WebAppContext.handle(WebAppContext.java:450) 在 org.mortbay.jetty.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:230) 在 org.mortbay.jetty.handler.HandlerWrapper。 org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542) org.mortbay.jetty.HttpConnection 的 org.mortbay.jetty.Server.handle(Server.java:326) 的句柄(HandlerWrapper.java:152) $RequestHandler.headerComplete(HttpConnection.java:928) at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549) at org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212) t org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404) 在 org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410) 在 org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool .java:582)

完整日志:http://pastebin.com/BrM47DZu

任何形式的帮助都将不胜感激

谢谢

【问题讨论】:

    标签: hadoop mapreduce cloudera


    【解决方案1】:

    由于使用hadoop命令格式化namenode,hadoop2.2.0已弃用。 所以停止所有hadoop进程,然后通过hdfs命令格式化namenode: bin/hdfs 名称节点-格式

    【讨论】:

      猜你喜欢
      • 2019-12-05
      • 1970-01-01
      • 2021-01-06
      • 1970-01-01
      • 2019-05-12
      • 1970-01-01
      • 2020-01-11
      • 1970-01-01
      • 2011-07-26
      相关资源
      最近更新 更多