【发布时间】:2020-12-03 05:27:07
【问题描述】:
在查看 Google Cloud Platform 的数据流时,我有一个关于 FlexRS 类型的问题。 :)
据我所知,dataflow 支持批处理和流,但我很想知道有 FlexRS 类型。
仅仅理解 FlexRS 很难在文档中识别出来,只是它比典型的工作流程更便宜。
我可以请你解释一下 FlexRS 吗?
谢谢。
【问题讨论】:
标签: google-cloud-platform dataflow
在查看 Google Cloud Platform 的数据流时,我有一个关于 FlexRS 类型的问题。 :)
据我所知,dataflow 支持批处理和流,但我很想知道有 FlexRS 类型。
仅仅理解 FlexRS 很难在文档中识别出来,只是它比典型的工作流程更便宜。
我可以请你解释一下 FlexRS 吗?
谢谢。
【问题讨论】:
标签: google-cloud-platform dataflow
Dataflow 是一项完全托管的批处理和流式分析服务,可通过自动缩放将延迟和处理时间降至最低。
对于 Dataflow 的 FlexRS,您可以将其用于对时间要求不严格的批处理管道,例如可以在特定时间窗口内完成的每日或每周作业。通常,Dataflow 使用抢占式和普通工作人员来执行您的工作。它考虑了抢占式虚拟机的可用性,并根据documentation向您收费。
另一方面,FlexRS 为批处理的 CPU 和内存定价提供折扣价。它可以在 6 小时的窗口内延迟您的 Dataflow 批处理作业,以根据资源的可用性确定启动作业的最佳时间点。启用后,FlexRS 默认为工作器池中 90% 的工作器选择抢占式 VM。
因此,FlexRS 仅用于非时间关键型批处理工作负载。
【讨论】: