Hadoop MapReduce 各个阶段产生的中间数据存放在哪里？

Question

学习hadoop mapreduce有一段时间了，大家知道的，hadoop使用hdfs将数据文件存储在硬盘上，当我们运行mapreduce的时候，progran从hdfs中获取数据，但是mapreduce的每个阶段，数据从哪里获取存储？我得到了一些答案

1. hsfs
2. 运行 mapreduce 的本地硬盘

Answer 1

通常map和reduce任务生成的中间数据文件存储在本地磁盘上运行MapReduce的目录（位置）中。该目录包含：

• map 任务生成的输出文件用作 reduce 任务的输入。
• reduce 任务生成的临时文件。

临时数据位置由mapreduce.cluster.local.dir 属性控制。您可以为 map 和 reduce 任务生成的中间数据配置一个或多个位置。

在某些情况下，ExecutorNode 没有足够的空间来存储中间数据，它也可以存储在另一个有足够空间的磁盘上。

此link 有助于了解更多信息。