【问题标题】:How to set number of Map tasks in hadoop Job class [duplicate]如何在hadoop Job类中设置Map任务的数量[重复]
【发布时间】:2016-02-18 03:11:31
【问题描述】:

我在通过 Java 将映射器数量设置为 1 时遇到问题。我正在使用作业和配置类。我知道我们可以通过 mapred.map.tasks 使用旧的不推荐使用的 API 来设置减速器的数量。

有没有办法指定使用作业和配置类。我尝试使用FileInputFormat.setMinInputSplitSize(FullFilesize)增加输入文件拆分大小

但是,我想知道我们是否有任何与新 API 中的 mapred.map.tasks 等效的方法,或者您如何通过其他方式指定

【问题讨论】:

  • 您是希望所有输入都转到一个映射器还是一次只运行一个映射器?
  • @vishnuviswanath 是的,这就是我手头的问题所需要的
  • 以上2个中的哪一个?所有输入到 1 个作业或一次只运行一个映射器
  • 我只想运行一个映射器(完全)
  • 你有多少个输入文件?

标签: java hadoop mapreduce mapper


【解决方案1】:

给定作业的映射任务数由输入拆分数驱动,而不是由 mapred.map.tasks 参数驱动

请参阅以下堆栈溢出问题 Setting the number of map tasks and reduce tasks

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2011-10-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-12-11
    相关资源
    最近更新 更多