【问题标题】:where does hadoop store the output files of mapper, partitioner and combiner?hadoop在哪里存储mapper、partitioner和combiner的输出文件?
【发布时间】:2015-03-07 04:01:16
【问题描述】:

我在伪分布式 hadoop 设置上运行 mapreduce 作业。我在哪里可以找到映射器、分区器和组合器的输出文件?有没有办法检查每个操作的输出?

【问题讨论】:

    标签: hadoop mapreduce


    【解决方案1】:

    MapReduce 中的中间输出存储在运行任务的节点上的本地临时存储中(而不是在 HDFS 中)。

    您可以在 Hadoop conf 中查找本地临时目录所在的位置,然后逐个节点手动检查它们。

    一般来说,通过日志消息或计数器,可能会有更好的方法来做您认为自己想做的事情。您可以做的另一件事是关闭减速器,以便您的映射器直接写入 HDFS,以便您可以检查它。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2022-07-03
      • 1970-01-01
      • 2014-01-28
      • 2022-01-03
      • 2011-03-06
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多