【问题标题】:How to know how many keys did map-reduce job processed?如何知道 map-reduce 作业处理了多少键?
【发布时间】:2016-02-01 04:50:13
【问题描述】:

map-reduce 作业如何生成关于它已处理多少键的指标并提供如下数据?

% 的键属于此特定值。

【问题讨论】:

    标签: mapreduce elastic-map-reduce


    【解决方案1】:

    在 reduce 方法中使用自定义计数器,并在每次调用 reduce 方法时递增。请注意,对于给定的键,reduce 方法只调用一次。作业成功完成后,此自定义计数器将出现在日志中。

    【讨论】:

    • 已经有 reduce_input_groups 计数器可以做到这一点,但这不是我认为 OP 要求的,即使问题不是很清楚
    猜你喜欢
    • 1970-01-01
    • 2016-11-16
    • 1970-01-01
    • 2021-11-26
    • 2016-05-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多