Apache Beam python 管道在 groupbykey() 之后没有继续

Question

我在管道中执行 GroupByKey，键是字符串，值是字典。我想对它们进行分组并对它们进行处理。 如果我删除 GroupByKey，我可以进入下一步，但不能使用它。

(parseout_interim | beam.Map(lambda row: (row['prefix'] + row['report_id'], row))
                                                # | beam.GroupByKey()
                                                | beam.ParDo(ParseSegmentsDoFn()).with_outputs(ParseSegmentsDoFn.OUTPUT_TAG_TRADELINE,
                                                                                              main = 'parseout'))

如果我评论 GroupByKey，数据到达下一步。

我完全错过了什么吗？

另外，在旁注中 - 是否建议不要在 ParDo 内旋转管道？还是完全没问题？如果没问题，我就不用使用 groupbykey 了

Answer 1

正如您在评论中暗示的那样，这必须是流式传输管道。

考虑流式传输管道不断接收事件。当您想要在该管道中分组 事件时，系统需要知道在对事件进行分组时它应该等待多长时间进入。这有意义吗？

因此，您需要为管道设置窗口和触发策略，否则它将永远等待，以对流中的所有元素进行分组。