如何安排 gcloud dataflowsql 命令答案

【问题标题】：how to schedule a gcloud dataflowsql command如何安排 gcloud dataflowsql 命令
【发布时间】：2021-03-05 04:40:02
【问题描述】：

我想安排我的数据流 sql 作业。这是我的 gcloud 命令

gcloud 数据流 sql 查询“我的 SELECT 查询”--job-name dfsql-2d7a0189-177fc4f9444 --region us-east4 --bigquery-write-disposition write-truncate --bigquery-project dev-dp- myproject --bigquery-dataset mydataset --bigquery-table mytable --service-account-email dataflow-run @myserviceaccount.iam.gserviceaccount.com --subnetwork https://www.googleapis.com/compute/v1/projects/mysubnetwork

如何安排此 gcloud 命令，使其每 15 分钟运行一次。

【问题讨论】：

标签： google-cloud-dataflow gcloud schedule dataflow google-cloud-scheduler

【解决方案1】：

另一种解决方案是，您可以通过 Apache Beam Dataflow 运行程序运行查询。由于可以根据您的要求通过 Cron/Google Scheduler/Google Composer 轻松安排 Dataflow 作业。一个sample Apache beam的代码，你可以参考它并进行相应的定制。

【讨论】：

【解决方案2】：

Cloud Shell 并非旨在用作生产环境一部分的工具，在这种情况下，建议您使用 GCP 产品本身提供的工具，而不是运行 gcloud 命令。

您可以在this tutotial 中找到如何使用 Cloud Scheduler 安排数据流作业的示例，我相信这就是您正在寻找的。p>

【讨论】：

感谢您的回复。您共享的链接对于使用 JAVA sdk 编写的 Dataflow 作业很有用。我正在使用 DATAFLOW SQL 创建作业，但不确定如何为该作业创建模板，用于调度
我认为上面Vibhor提出的解决方案在这种情况下会是一个不错的选择。