【问题标题】:Dataflow job on Java SDK 2.11.0 does not scaleJava SDK 2.11.0 上的数据流作业无法扩展
【发布时间】:2019-08-29 06:28:06
【问题描述】:

我有一个流式作业,它从 pubsub 读取并写入 pubsub,在中间进行一些基本处理。
在使用 SDK 2.5.0 并“直接”执行时,它按预期工作,并根据需要从 1 个工作人员扩展到应有的工作人员数量。 尝试升级到最新版本 2.11.0,并尝试使用模板 - 它工作正常,但无法扩展。
附件是两个作业的管道选项。
有什么建议吗?我缺少的这两个版本之间可能发生了什么变化?
谢谢,
书树

澄清
即使我设置了 20 个工人 - 我只得到 1 个。

【问题讨论】:

    标签: java google-cloud-platform google-cloud-dataflow apache-beam autoscaling


    【解决方案1】:

    numWorkers 设置为 20。因此,当作业开始时,将根据该值分配 20 个工人。

    maxNumWorkers 也设置为 20。因此,分配的工作人员不会超过 20 个。

    如果需要将作业扩展到最初的 20 个工作人员之外,请修改 maxNumWorkers 值。

    【讨论】:

    • 问题是我只有 1 名工人。总是。使用 SDK 2.11.0 和模板时。
    • 尝试使用较小的机器类型来强制限制资源,从而导致处理滞后。如果有足够的延迟,它应该可以扩展。
    猜你喜欢
    • 2020-01-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-07-15
    • 2019-12-20
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多