【问题标题】:GCP pipilene between Storage and BigQueryStorage 和 BigQuery 之间的 GCP pipilene
【发布时间】:2021-01-29 00:19:04
【问题描述】:

当数据添加到 GCP 存储分区时,我如何处理这些数据?我需要使用自己的 API 处理每个文件并将其添加到 BigQuery。我正在寻找一种在每次将数据添加到存储桶时触发端点的方法。

【问题讨论】:

    标签: java spring-boot google-cloud-platform pipeline


    【解决方案1】:

    可以使用函数Cloud Storage Trigger,具体是事件类型finalize,这个事件在write或者overwrite对象时触发您的存储桶已成功完成。当执行其中一项操作时,该函数将被执行,并且您已经可以在其中执行您想要的操作,例如将数据发送到 BigQuery。

    这是一个教程,你可以implement and deploy your trigger

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2020-09-18
      • 2022-06-16
      • 2022-07-22
      • 1970-01-01
      • 2023-02-09
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多