【发布时间】：2021-02-06 15:09:58
【问题描述】：
我创建了一个在数据流上运行的光束管道。 该管道包含 4 个步骤：
- 读取文件内容
- 将文件内容转换为json
- 转换 json 条目
- 将转换后的 json 条目保存到 GCS 中
问题是第 3 步和第 4 步被阻塞，等待第 1 步和第 2 步完成读取所有文件。有没有解释为什么最新的步骤不只处理流中的每个文件数据？
【问题讨论】：
标签： google-cloud-dataflow apache-beam dataflow
【发布时间】：2021-02-06 15:09:58
【问题描述】：
批处理数据流管道分阶段运行，每个阶段在开始之前等待其输入。有关 Dataflow 如何将管道划分为阶段的信息，请参阅https://cloud.google.com/dataflow/docs/guides/deploying-a-pipeline#fusion-optimization。
【讨论】：