Flink 是否支持 map 端聚合？ （批）

Question

Spark 具有 map-side combine 的概念，因此您可以执行部分​​聚合，从而减少（双关语意外）洗牌。

在 Flink 中有没有等价的东西？

Answer 1

是的。 Flink 提供了多个接口来定义（map-side）组合器。

• GroupCombineFunction<IN, OUT> 将一组输入类型 IN 的子集组合成一个或多个 OUT 类型的组合值
• CombineFunction<IN, OUT> 将一组输入类型IN 的子集组合成一个OUT 类型的值
• ReduceFunction<T> 将 T 类型对组合成 T 类型的单个值。该函数自动用于合并（预聚合）和归约（完全聚合）。