【问题标题】:Reading from Datastore in Dataflow pipeline is slow从 Dataflow 管道中的 Datastore 读取速度很慢
【发布时间】:2017-03-27 18:14:35
【问题描述】:

在我的 Dataflow 管道中从 Datastore 中读取数据时,该作业似乎没有分配到我为我的作业设置的可用工人数量上。 Dataflow 是对 Datastore 数据的读取进行并行处理,还是使用单个 worker 来执行?

【问题讨论】:

    标签: google-cloud-dataflow


    【解决方案1】:

    通常,DatastoreIO 进行的读取使用多个工作器并行读取。但是,并非所有查询都可以根据文档进行并行化。例如,指定限制或使用不等式过滤器的查询。这些查询需要使用单个工作人员来确保正确性。

    https://cloud.google.com/dataflow/model/datastore-io#reading-from-datastore

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-05-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多