【问题标题】:Where is FlexRS type in dataflow part of batch or stream processing?批处理或流处理的数据流部分中的 FlexRS 类型在哪里?
【发布时间】:2020-12-03 05:27:07
【问题描述】:

在查看 Google Cloud Platform 的数据流时,我有一个关于 FlexRS 类型的问题。 :)

据我所知,dataflow 支持批处理和流,但我很想知道有 FlexRS 类型。

仅仅理解 FlexRS 很难在文档中识别出来,只是它比典型的工作流程更便宜。

我可以请你解释一下 FlexRS 吗?

谢谢。

【问题讨论】:

    标签: google-cloud-platform dataflow


    【解决方案1】:

    Dataflow 是一项完全托管的批处理和流式分析服务,可通过自动缩放将延迟和处理时间降至最低。

    对于 Dataflow 的 FlexRS,您可以将其用于对时间要求不严格的批处理管道,例如可以在特定时间窗口内完成的每日或每周作业。通常,Dataflow 使用抢占式和普通工作人员来执行您的工作。它考虑了抢占式虚拟机的可用性,并根据documentation向您收费。

    另一方面,FlexRS 为批处理的 CPU 和内存定价提供折扣价。它可以在 6 小时的窗口内延迟您的 Dataflow 批处理作业,以根据资源的可用性确定启动作业的最佳时间点。启用后,FlexRS 默认为工作器池中 90% 的工作器选择抢占式 VM。

    因此,FlexRS 仅用于非时间关键型批处理工作负载。

    【讨论】:

      猜你喜欢
      • 2017-02-01
      • 1970-01-01
      • 2019-02-21
      • 1970-01-01
      • 2018-01-11
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2022-08-10
      相关资源
      最近更新 更多