【发布时间】:2026-01-02 01:20:03
【问题描述】:
我创建了一个数据流管道,它从 GCS 存储桶中读取文件并对其进行处理。当我从本地执行作业时它正在工作。
我使用 storage.object.create 上的触发器在 Cloud Run 中部署了数据流作业。
但是当我在 GCS 存储桶中上传任何文件时,日志中没有显示触发消息或未执行数据流作业。
触发器配置
Ingress:Allow traffic
Authentication:Allow authentication
Event source:Cloud Storage
Event type:google.cloud.audit.log.v1.written
Create time:2021-02-12 (16:05:25)
Receive events from:All regions (global)
Service URL path:/
Service account:sdas-pipeline@sdas-demo-project.iam.gserviceaccount.com
Service name:storage.googleapis.com
Method name:storage.objects.create
我在这里缺少什么?请提出建议。
【问题讨论】:
-
没有的可以查看这篇文章medium.com/@aishwarya.gupta3/…
-
嗨,OP,请提供更多详细信息。你的触发器配置是什么?您的存储桶的区域/位置是什么?我们如何重现您的问题?另外,请注意,事件弧触发器在创建后最多可能需要 10 分钟才能工作。能再触发一次吗?
-
我并没有真正理解数据流和云运行之间的关系。您是否在 Cloud Run 中运行数据流直接运行程序?
-
@guillaumeblaquiere 制作图像后,我正在将我的 dataflowrunner 管道作业部署到云运行中。我需要在 gcs 存储桶中上传文件时触发此作业。
-
@DonnaldCucharo 创建触发器后我等了 10 分钟,但触发器不适用于 gcs 对象创建。问题描述中更新了触发器配置。
标签: google-cloud-storage google-cloud-dataflow google-cloud-run dataflow