【发布时间】:2015-03-13 01:49:27
【问题描述】:
我的应用程序中需要一个全局计数器。当所有 reduce 任务完成后,我必须打印全局计数器。
我在Here 中找到了解决方案。但是,我想知道在使用 C++ 编写应用程序时是否可以将全局计数器与 Hadoop 流或管道一起使用。
【问题讨论】:
标签: hadoop mapreduce hadoop-streaming
我的应用程序中需要一个全局计数器。当所有 reduce 任务完成后,我必须打印全局计数器。
我在Here 中找到了解决方案。但是,我想知道在使用 C++ 编写应用程序时是否可以将全局计数器与 Hadoop 流或管道一起使用。
【问题讨论】:
标签: hadoop mapreduce hadoop-streaming
可以使用流处理的stderr输出。
我发现了这个 Jira 问题: https://issues.apache.org/jira/browse/HADOOP-1328
它的补丁很少,我想你可以在那些关于如何做全局计数器的文章中找到。
【讨论】: