如何在 GCP 上同时处理数据流两个批处理文件

Question

我想同时处理从 gcp 到数据流的两个文件。

我认为如果在侧输入中再添加一个文件是可能的。

但是，在这种情况下，我认为它会每次都被处理，而不仅仅是一次。

例如）如何同时读取和处理file1和file2（我必须将两个文件放在一个文件中并按照路径吗？）

如果您能给我一个很好的例子或建议，我将不胜感激。

谢谢。

Answer 1

如果您从一开始就知道这 2 个文件，您可以简单地拥有一个带有 2 个条目 (fileIO) 的管道

我不懂你的语言，但按照设计你可以这样做

     PCollection1                        PCollection2
          |                                   |
   FileIO(readFile1)                   FileIO(readFile2)
          |                                   |
    Transform file                       Transform file
          |                                   |
    WriteIO(sink)                        WriteIO(sink)

您可以想象侧面输入、展平、分组、...一切都取决于您的需求。