【问题标题】:Hadoop MapReduce global counterHadoop MapReduce 全局计数器
【发布时间】:2015-03-13 01:49:27
【问题描述】:

我的应用程序中需要一个全局计数器。当所有 reduce 任务完成后,我必须打印全局计数器。

我在Here 中找到了解决方案。但是,我想知道在使用 C++ 编写应用程序时是否可以将全局计数器与 Hadoop 流或管道一起使用。

【问题讨论】:

    标签: hadoop mapreduce hadoop-streaming


    【解决方案1】:

    可以使用流处理的stderr输出。

    我发现了这个 Jira 问题: https://issues.apache.org/jira/browse/HADOOP-1328

    它的补丁很少,我想你可以在那些关于如何做全局计数器的文章中找到。

    【讨论】:

    • 我需要一个全局计数器。所以,我不知道该怎么办。
    • 如何使用 Python 检索 Hadoop Streaming 中的计数器值?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-04-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-10-24
    相关资源
    最近更新 更多