【发布时间】:2026-01-20 11:05:01
【问题描述】:
我将未确定数量的 map reduce 作业链接在一起,用于并行 BFS 最短路径算法,当无法确定路径时,我的作业将无限循环,而不会产生任何记录。我认为检查这一点的最佳方法是获取由 hadoop 维护的 Map Output Bytes 计数器。
我如何才能访问此计数器?
【问题讨论】:
我将未确定数量的 map reduce 作业链接在一起,用于并行 BFS 最短路径算法,当无法确定路径时,我的作业将无限循环,而不会产生任何记录。我认为检查这一点的最佳方法是获取由 hadoop 维护的 Map Output Bytes 计数器。
我如何才能访问此计数器?
【问题讨论】:
要获取作业生成的地图输出字节计数器,请使用
long outputBytes = job.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_OUTPUT_BYTES").getValue();
查看http://lintool.github.io/Cloud9/docs/content/counters.html了解更多计数器组和名称
【讨论】: