如何在 GCS 中附加具有相同架构的文件？

Question

有什么办法可以在 GCS 中附加两个文件，假设文件一个是完整的 加载和第二个文件是增量加载。那么我们可以追加什么方式 两个？
其次，使用 gsutil compose 将附加两个文件，包括属性 名字也一样。所以，在最终的文件中我想要两个文件的数据。

Answer 1

您可以在 Google Cloud Shell 中附加两个单独的文件 using compose，并将输出文件重命名为第一个文件，如下所示：

gsutil compose gs://bucket/obj1 [gs://bucket/obj2 ...] gs://bucket/obj1

此命令适用于并行上传，其中您将大型对象文件划分为较小的对象。它们会上传到 Google Cloud Storage，然后您可以附加它们以获取原始文件。您可以在Composite Objects and Parallel Uploads.找到更多信息

我提出了两种可能的解决方案：

谷歌云函数解决方案

我会选择使用云函数。执行以下操作：

1. 创建一个空存储桶，例如 append_bucket。
2. 上传第一个文件。
3. 创建一个云函数为triggered by new uploaded files 桶。
4. 上传第二个文件。
5. 阅读第一个和第二个文件（您必须先download them as string）。
6. 进行追加操作。
7. 将结果上传到存储桶。

谷歌数据流解决方案

您也可以使用 Dataflow for BigQuery 进行操作（请记住，它仍处于测试阶段）。

1. 创建 BigQuery 数据集和表。
2. 创建一个 Dataflow 实例，从模板 Cloud Storage Text 到 BigQuery。
3. 使用转换文本的逻辑创建一个 Javascript 文件。
4. 将 Json 格式的文件上传到存储桶。
5. Dataflow 将读取 Json 文件，执行 Javascript 代码并将新数据附加到 BigQuery 数据集。
6. 最后，将 BigQuery 查询结果导出到 Cloud Storage。