【问题标题】:what is the basic difference between jobconf and job?jobconf 和 job 之间的基本区别是什么?
【发布时间】:2013-08-26 11:27:24
【问题描述】:

嗨,我想知道jobconf和job对象之间的基本区别,目前我正在提交我的工作

JobClient.runJob(jobconf);

我看到了像这样提交工作的其他方式

Configuration conf = getConf();
Job job = new Job(conf, "secondary sort");
job.waitForCompletion(true);     
return 0;

我如何使用 jobconf 为作业指定 sortcomarator 类?

谁能解释一下这个概念?

【问题讨论】:

    标签: hadoop mapreduce bigdata


    【解决方案1】:

    简而言之:JobConforg.apache.hadoop.mapred 包中的所有其他内容是用于编写 hadoop 作业的旧 API 的一部分,Joborg.apache.hadoop.mapreduce 包中的所有内容都是新的和首选 API 的一部分编写 hadoop 作业。两种 API 通常都提供等效的核心功能。

    如果您不熟悉 hadoop,只需开始使用新的 API(即 JobConfiguration 而不是 JobConf)。确保不要从 mapred 包中导入任何内容。当您在 Internet 上找到使用旧 API 的示例时,您可以使用 this presentationthis guide 将其转换为新 API。

    【讨论】:

      【解决方案2】:

      在旧 API 中,作业配置由 JobConf 对象完成。在新的 API 中,作业配置是通过 Configuration 对象完成的。

      作业控制是通过新 API 中的 Job 类来执行的,而不是旧的 JobClient,新 API 中不再存在。

      【讨论】:

        猜你喜欢
        • 2014-05-22
        • 2016-03-03
        • 2012-06-14
        • 1970-01-01
        • 2017-05-11
        • 1970-01-01
        • 2014-09-04
        • 2011-11-04
        • 1970-01-01
        相关资源
        最近更新 更多