更改 GCP 数据流作业网络

Question

需要更改超过 1000 个dataflow 工作的网络。现在它们正在默认网络中运行，我们需要将作业更改为使用 custom/shared VPC 。我想过使用下面的gcloud dataflow 支持--network parameter 来更改网络，但它可能不适用于所有工作。

gcloud dataflow jobs run wc --gcs-location gs://dataflow-templates-us-central1/latest/Word_Count --region us-central1 --subnetwork regions/us-east1/subnetworks/newkube --disable-public-ips

我主要担心的是，如果我使用上述命令更改网络，那么它也会调用dataflow 作业，这意味着作业使用的资源将再次启动。这对我来说只是为了改变网络而夸大了成本。

在不运行作业的情况下更改现有作业的网络的任何建议，以便在下次运行时在新网络上运行。

Answer 1

您无需运行作业即可更改网络。无论您当前使用什么编排工具来触发这些数据流作业，您都需要进行更改以添加network 和subnetwork（如果需要）。

当编排工具执行数据流作业时，它将使用network 参数来启动该 VPC 中的工作程序。每次作业运行时，它都会检查这些配置并相应地启动工作机器。