【发布时间】:2021-01-29 00:19:04
【问题描述】:
当数据添加到 GCP 存储分区时,我如何处理这些数据?我需要使用自己的 API 处理每个文件并将其添加到 BigQuery。我正在寻找一种在每次将数据添加到存储桶时触发端点的方法。
【问题讨论】:
标签: java spring-boot google-cloud-platform pipeline
当数据添加到 GCP 存储分区时,我如何处理这些数据?我需要使用自己的 API 处理每个文件并将其添加到 BigQuery。我正在寻找一种在每次将数据添加到存储桶时触发端点的方法。
【问题讨论】:
标签: java spring-boot google-cloud-platform pipeline
可以使用函数Cloud Storage Trigger,具体是事件类型finalize,这个事件在write或者overwrite对象时触发您的存储桶已成功完成。当执行其中一项操作时,该函数将被执行,并且您已经可以在其中执行您想要的操作,例如将数据发送到 BigQuery。
这是一个教程,你可以implement and deploy your trigger。
【讨论】: