【问题标题】:Why are the Dataflow workers not honouring the new Sydney region?为什么 Dataflow 工作人员不尊重新的悉尼地区?
【发布时间】:2017-06-21 22:10:49
【问题描述】:

我正在尝试将我的 Dataflow (Java SDK 2.0.0) 管道的区域设置为 australia-southeast1-aaustralia-southeast1-baustralia-southeast1-c 之一(即悉尼的区域之一):

public static void main(String... args) {
        DataflowPipelineOptions options = PipelineOptionsFactory
                .fromArgs(args)
                .withValidation()
                .as(DataflowPipelineOptions.class);
        options.setRunner(DataflowRunner.class);
        options.setJobName("sydney-dataflow-pipeline");
        options.setStagingLocation("gs://<redacted>/jars");
        options.setTempLocation("gs://<redacted>/jars");
        options.setRegion("australia-southeast1-a"); //<<--trying to set region to Sydney
        options.setMaxNumWorkers(3);
        Pipeline pipeline = Pipeline.create(options);
        pipeline.apply
        [..]
        pipeline.run(); //run it
    }

但是,工作器池中的 GCE 实例在美国地区(us-central1-f)不断增加:

为什么工人没有在指定区域旋转?

【问题讨论】:

    标签: google-cloud-platform google-compute-engine google-cloud-dataflow apache-beam


    【解决方案1】:

    Javadoc将此方法列为@Hidden@Experimental,并附注:

    “Cloud Dataflow 服务尚不支持此设置。但是, 添加服务支持后,此 SDK 的用户将能够 控制区域。”

    setZone 方法仍可用于控制工作人员位置。

    【讨论】:

      猜你喜欢
      • 2017-09-13
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-05-31
      • 1970-01-01
      • 2014-12-27
      • 2020-05-22
      相关资源
      最近更新 更多