【发布时间】:2016-02-18 03:11:31
【问题描述】:
我在通过 Java 将映射器数量设置为 1 时遇到问题。我正在使用作业和配置类。我知道我们可以通过 mapred.map.tasks 使用旧的不推荐使用的 API 来设置减速器的数量。
有没有办法指定使用作业和配置类。我尝试使用FileInputFormat.setMinInputSplitSize(FullFilesize)增加输入文件拆分大小
但是,我想知道我们是否有任何与新 API 中的 mapred.map.tasks 等效的方法,或者您如何通过其他方式指定
【问题讨论】:
-
您是希望所有输入都转到一个映射器还是一次只运行一个映射器?
-
@vishnuviswanath 是的,这就是我手头的问题所需要的
-
以上2个中的哪一个?所有输入到 1 个作业或一次只运行一个映射器
-
我只想运行一个映射器(完全)
-
你有多少个输入文件?
标签: java hadoop mapreduce mapper