有没有人在 hadoop 流作业中使用 mapred.job.tracker=local ？答案

【问题标题】：Has anyone use mapred.job.tracker=local in hadoop streaming job?有没有人在 hadoop 流作业中使用 mapred.job.tracker=local ？
【发布时间】：2012-12-23 01:38:48
【问题描述】：

在过去的几周里，我们每天使用 hadoop 流计算一些报告。最近我们对我们的程序做了一个改动，如果输入大小小于10MB，我们会在JobConf中设置mapred.job.tracker=local，那么job就会在本地运行。

但昨晚，许多作业都失败了，runningJob.getJobState() 返回了状态 3。不知道为什么，stderr里面什么都没有。

我无法在谷歌上搜索与此问题相关的任何内容。所以我想知道我是否应该在生产模式下使用 mapred.job.tracker=local ？也许这只是hadoop提供的开发中的调试解决方案。

有人知道吗？任何东西，任何信息，谢谢。

【问题讨论】：

标签： hadoop streaming local

【解决方案1】：

我相信设置mapred.job.tracker=local 与您的错误无关，因为local 是默认值。此配置参数定义 MapReduce 作业跟踪器运行的主机和端口。如果设置为“本地”，则作业将作为单个 map 和 reduce 任务在进程内运行。

请参考here。

【讨论】：

谢谢。由于情况无法重播，下次出现我会仔细检查。