在云数据流中指定网络的问题答案

【问题标题】：Problem in specifying the network in cloud dataflow在云数据流中指定网络的问题
【发布时间】：2019-07-30 10:03:48
【问题描述】：

我没有配置项目，并且每当我运行我的作业时都会收到此错误'网络默认没有打开 TCP 端口 1-65535 以与其他 VM 进行内部连接的规则。仅适用具有目标标记“数据流”或空目标标记集的规则。如果您不指定这样的规则，任何具有多个混洗数据的工作人员的管道都将挂起。原因：没有与您的网络关联的防火墙规则。'

google_cloud_options = p_options.view_as(GoogleCloudOptions)
google_cloud_options.region = 'europe-west1'
google_cloud_options.project = 'my-project'
google_cloud_options.job_name = 'rim'
google_cloud_options.staging_location = 'gs://my-bucket/binaries'
google_cloud_options.temp_location = 'gs://my-bucket/temp'
p_options.view_as(StandardOptions).runner = 'DataflowRunner'
p_options.view_as(SetupOptions).save_main_session = True
p_options.view_as(StandardOptions).streaming = True
p_options.view_as(WorkerOptions).subnetwork = 'regions/europe-west1/subnetworks/test'
p = beam.Pipeline(options=p_options)

我尝试在命令行中指定 --network 'test' 因为它不是默认配置

【问题讨论】：

标签： google-cloud-dataflow apache-beam vpc

【解决方案1】：

您的默认防火墙规则似乎已被修改，数据流检测到这一点并阻止您的作业启动。您能否验证您的项目中没有修改您的防火墙规则？请查看documentation here。您还会在此处找到恢复防火墙规则的命令：

gcloud compute firewall-rules create [FIREWALL_RULE_NAME] \
    --network [NETWORK] \
    --action allow \
    --direction ingress \
    --target-tags dataflow \
    --source-tags dataflow \
    --priority 0 \
    --rules tcp:1-65535

为防火墙选择一个名称，并提供一个网络名称。然后在启动数据流作业时使用 --network 传入网络名称。如果您有一个名为“默认”的网络，数据流将尝试自动使用它，因此您无需传入 --network。如果您已删除该网络，您可能希望重新创建它。

【讨论】：

【解决方案2】：

截至目前，直到 apache beam 版本 2.19.0。数据流没有规定为其虚拟机设置网络标签。相反，在创建防火墙规则时，我们应该为数据流添加一个标签。

gcloud compute firewall-rules create FIREWALL_RULE_NAME \
    --network NETWORK \
    --action allow \
    --direction DIRECTION \
    --target-tags dataflow \
    --source-tags dataflow \
    --priority 0 \
    --rules tcp:12345-12346

查看此链接了解更多详情 https://cloud.google.com/dataflow/docs/guides/routes-firewall

【讨论】：