将嵌套元组取消嵌套到单个术语

Question

我编写了一个 udf (extends EvalFunc<Tuple>)，其中包含带有内部元组（嵌套）的输出元组。

例如转储看起来像：

(((photo,photos,photo)))
(((wedg,wedge),(audusd,audusd)))
(((quantum,quantum),(mind,mind)))
(((cassi,cassie),(cancion,canciones)))
(((calda,caldas),(nova,novas),(rodada,rodada)))
(((fingerprint,fingerprint),(craft,craft),(easter,easter)))

现在我想处理每个术语，区分它并给它一个 id (RANK)。为此，我需要去掉括号。一个简单的FLATTEN在这种情况下没有帮助。

最终的输出应该是这样的：

1 photo
2 photos
3 wedg
4 wedge
5 audusd
6 quantum
7 mind
....

我的代码（不是 udf 部分，也不是原始解析）：

tags = FOREACH raw GENERATE FLATTEN(tags) AS tag;
tags_distinct = DISTINCT tags;
tags_sorted = RANK tags_distinct BY tag;
DUMP tags_sorted;

Answer 1

我认为您的 UDF 是返回不是您的工作流程的最佳选择。与其返回具有可变数量字段（即元组）的元组，不如返回一袋元组更方便。

代替

(((wedg,wedge),(audusd,audusd)))

你会有

({(wedg,wedge),(audusd,audusd)})

您将能够将该包压平以： 1. 与众不同 2. 给标签排序

为此，请像这样更新您的 UDF：

class MyUDF extends EvalFunc <DataBag> {

    @Override
    public DataBag exec(Tuple input) throws IOException {
        // create DataBag
    }
}