GCP Dataflow 抛出异常 Shuffle key too large

Question

我有一段代码对我的数据进行分组，但在我输出时它会引发异常。

这个类作为KV中的key

class CKey {
    private Long id;
    private Long subId;
}

这是我的数据流工作的一部分

TupleTag<CItem> itemsTuple = //...
TupleTag<CMeta> metaTuple = //...

//...

PCollection<KV<CKey, CItem>> items = null;
PCollection<KV<CKey, CMeta>> meta;

KeyedPCollectionTuple.of(itemsTuple, items).and(metaTuple, meta.next())
        .apply(CoGroupByKey.create())
        .apply(new CustomGroupPairsFn());

加入数据的自定义函数

class CustomGroupPairsFn extends DoFn<KV<CKey, CoGbkResult>, MyCustomObject> {

        @ProcessElement
        public void processElement(@Element KV<CKey, CoGbkResult> element, OutputReceiver<MyCustomObject> out) {
            CoGbkResult pair = element.getValue();
            Iterator<CItem> citem = pair.getAll(ITEMS).iterator();
            Iterator<CMeta> cmeta = pair.getAll(METADATA).iterator();
            try {
                out.output(new MyCustomObject(citem.next(), cmeta));
            } catch (Exception e) {
                log.error("Error occurred", e);
            }
        }
    }

try里面只有1行代码，里面抛出异常，异常：

我该如何解决这个问题？

Answer 1

发生此错误是因为您正在改组一个太大的键。

这是什么意思？在 Dataflow 中，流式管道允许的最大 shuffle key 为 1.5 MB。您似乎有一个比这更大的元素键。

也许您的管道在某个意想不到的地方有一个 GroupByKey/Shuffling 操作，因此最好了解它的更多详细信息。