有什么好的 Pig Accumulator 接口实现的例子吗？答案

【问题标题】：Any good examples of Pig Accumulator Interface implementation that works?有什么好的 Pig Accumulator 接口实现的例子吗？
【发布时间】：2013-02-17 17:46:06
【问题描述】：

我需要从 HDFS 读取数百万条记录，丰富它们并将它们作为 XML 文件存储在每个 XML 文件 10K 条记录的批次中。

我一直在试验 Accumulator 接口，并将我的 pig.accumulative.batchsize 设置为 2 进行测试。

但是，被调用的方法是“exec()”而不是 Accumulator 的“accumulate”方法。

我的UDF类大纲如下：

public class MyAccUDF extends EvalFunc <Tuple> implements Accumulator <Tuple>{

    public Tuple exec(Tuple input) throws IOException {
        //..
    }

    public void accumulate(Tuple b) throws IOException {
        //...
    }

    public void cleanup() {
        //..
    }

    public Tuple getValue() {
        //..
    }
}

【问题讨论】：

标签： performance apache-pig udf

【解决方案1】：

累加器接口不保证每次都被执行。本书编程猪outlines where the accumulator interface won't be honoured：

只要有可能，Pig 将选择使用 UDF 的代数实现而不是蓄能器。这是因为累加器有助于避免将记录溢出到磁盘，但它不会降低网络成本或帮助平衡减速器。如果一个中的所有 UDF foreach 实现 Accumulator 和至少一个不实现 Algebraic，Pig 会使用蓄能器。如果至少有一个不使用累加器，Pig 将不会使用累加器。这是因为 Pig 已经将整个包读入内存才能通过到不实现累加器的UDF，所以不再有任何值在累加器中。

您的 UDF 必须在 exec() 和 accumulate() 中实现其逻辑。在the COUNT UDF 中可以找到这种重复功能的简单示例。

【讨论】：