如何获取多个文件作为 apache 光束输入？答案

【问题标题】：How to get muliple files as apache beam input?如何获取多个文件作为 apache 光束输入？
【发布时间】：2021-05-26 14:32:52
【问题描述】：

我正在处理这种情况：在 Google Cloud Storage 中，我的文件存储在这种结构中：

PS*：这两个文件在同一个文件夹中（这是一个缩进错误）

我想做的是：

1] 每天读取 2 个文件“client_info.csv”+“client_events.csv”

2] 根据每个文件内的公共列连接列以获得 1 个 pcollection

3] 进行转换

4] 将数据加载到 bigquery

我写了一个只能从 1 个日期读取的代码，它运行良好，但我无法解决所有日期的迭代部分

如果您有任何建议，请提供。

【问题讨论】：

【解决方案1】：

一种解决方案可能是考虑合并两个分支的管道。在每个分支中，您分别考虑一个输入文件，然后加入它们。

请查看插图和可用的示例代码here

【讨论】：