如果存在多个值，Apache Pig Group by 和过滤器？

Question

我正在尝试对具有相同 ID 的多行进行分组，然后检查组中的每个元组是否包含两个值，例如：

(10461 , 55 )
(10435 , 17 )
(10435 , 11 )
(10435 , 72 )
(10437 , 11 )
(10830 , 72 )

在我将其分组后：groupedData = group dataPoints by data_id;

我明白了：

(10461 ,{(10461 , 55)})


(10435 ,{(10435 , 17),(10435 , 11),(10435 , 72)})

如果包含17 和11，我想过滤并获取10435 的值。

Answer 1

您可以使用嵌套的FOREACH 过滤袋子，然后检查空袋子。请注意，我不确定您用数字（55、17、11 等）将字段称为什么，所以这是下面代码中的 value - 根据需要替换！

filteredBags = FOREACH groupedData {
    seventeen = FILTER dataPoints BY value == 17;
    eleven = FILTER dataPoints BY value == 11;
    GENERATE
    group AS data_id,
    seventeen,
    eleven;
}

nonNullBags = FILTER filteredBags BY NOT IsEmpty(seventeen) AND NOT IsEmpty(eleven);

finalIds = FOREACH nonNullBags GENERATE data_id;