【发布时间】:2015-03-07 04:01:16
【问题描述】:
我在伪分布式 hadoop 设置上运行 mapreduce 作业。我在哪里可以找到映射器、分区器和组合器的输出文件?有没有办法检查每个操作的输出?
【问题讨论】:
我在伪分布式 hadoop 设置上运行 mapreduce 作业。我在哪里可以找到映射器、分区器和组合器的输出文件?有没有办法检查每个操作的输出?
【问题讨论】:
MapReduce 中的中间输出存储在运行任务的节点上的本地临时存储中(而不是在 HDFS 中)。
您可以在 Hadoop conf 中查找本地临时目录所在的位置,然后逐个节点手动检查它们。
一般来说,通过日志消息或计数器,可能会有更好的方法来做您认为自己想做的事情。您可以做的另一件事是关闭减速器,以便您的映射器直接写入 HDFS,以便您可以检查它。
【讨论】: