【问题标题】:Hadoop MapReduce not running 0%Map and ReduceHadoop MapReduce 未运行 0%Map 和 Reduce
【发布时间】:2016-09-15 22:17:29
【问题描述】:

我正在尝试在我的机器上运行 Hadoop Map Reduce 示例,并且在运行作业时,我在终端中看到以下消息。我不知道这是什么意思。

O/P

hadoop@anuvrattiku-Inspiron-13-7368:/usr/local/lib/hadoop-2.7.0/bin$ ./hadoop jar /home/anuvrattiku/Downloads/CardDriver.jar CardDriver input_dir output_dir
16/09/15 00:40:41 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
16/09/15 00:40:42 INFO input.FileInputFormat: Total input paths to process : 1
16/09/15 00:40:42 INFO mapreduce.JobSubmitter: number of splits:1
16/09/15 00:40:43 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1473915692030_0002
16/09/15 00:40:43 INFO impl.YarnClientImpl: Submitted application application_1473915692030_0002
16/09/15 00:40:43 INFO mapreduce.Job: The url to track the job: http://anuvrattiku-Inspiron-13-7368:8088/proxy/application_1473915692030_0002/
16/09/15 00:40:43 INFO mapreduce.Job: Running job: job_1473915692030_0002
16/09/15 00:40:49 INFO mapreduce.Job: Job job_1473915692030_0002 running in uber mode : false
16/09/15 00:40:49 INFO mapreduce.Job:  map 0% reduce 0%
hadoop@anuvrattiku-Inspiron-13-7368:~$ logout
You have new mail in /var/mail/root
root@anuvrattiku-Inspiron-13-7368:/usr/local/lib/hadoop-2.7.0/etc/hadoop# 

请帮忙

【问题讨论】:

标签: hadoop mapreduce hadoop2 hadoop-streaming


【解决方案1】:

我怀疑您提交 mapreduce 作业的方式。如果您使用job.submit() 提交了作业,它显然会提交作业并返回控制权。我认为这就是你的情况。

如果您使用job.waitForCompletion 提交了作业,它将等待作业完成后再返回控件,您可以在控制台上看到作业处理。

检查您提交作业的方式。

【讨论】:

    【解决方案2】:

    这是因为你的 map reduce 没有得到正确的队列来提交作业。检查你提交作业的队列。如果你使用集群,那么它必须在默认队列中获取,你可以在纱线用户界面。 在提交作业时设置队列名称,如

    -Dmapreduce.job.queuename=yourqueuename 在你的 jar 之后。

    或在应用程序中像

    hbaseConf.set("mapreduce.job.queuename", "yourquename");
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2020-02-16
      • 2012-07-07
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多