【发布时间】：2017-01-13 06:39:35
【问题描述】：
需要了解mapreduce.job.reduces = -1的目的。我理解属性 mapreduce.job.reduces 将文件输出减少到配置的值，但是 -1 是什么意思。
【问题讨论】：
标签： mapreduce hadoop-yarn
【发布时间】：2017-01-13 06:39:35
【问题描述】：
mapred.reduce.tasks 默认值：-1
添加于：Hive 0.1.0每个作业的默认减少任务数。通常设置为接近可用主机数量的素数。当 mapred.job.tracker 为“本地”时忽略。 Hadoop 默认将此设置为 1，而 Hive 使用 -1 作为其默认值。通过将此属性设置为 -1，Hive 将自动计算出减速器的数量。
设置reducer的数量比设置输出文件的数量要多得多。它以某种方式定义了并行度，即并行运行多少个reduce任务。如果使用 1 个 reduce 任务，则无法实现并行性。如果使用 2 个 reduce 任务，理想情况下，您希望将每个 reduce 任务的工作量（和执行时间）减半。映射器的数量也是如此，但设置起来比较棘手。
【讨论】：