【问题标题】:How to get the mapper output byte counter如何获取映射器输出字节计数器
【发布时间】:2026-01-20 11:05:01
【问题描述】:

我将未确定数量的 map reduce 作业链接在一起,用于并行 BFS 最短路径算法,当无法确定路径时,我的作业将无限循环,而不会产生任何记录。我认为检查这一点的最佳方法是获取由 hadoop 维护的 Map Output Bytes 计数器。

我如何才能访问此计数器?

【问题讨论】:

    标签: hadoop counter chaining


    【解决方案1】:

    要获取作业生成的地图输出字节计数器,请使用

    long outputBytes = job.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_OUTPUT_BYTES").getValue();
    

    查看http://lintool.github.io/Cloud9/docs/content/counters.html了解更多计数器组和名称

    【讨论】: