如何使用 Dataflow 迁移 Cloud Datastore 实体？答案

【问题标题】：How can I perform migration of Cloud Datastore entities using Dataflow?如何使用 Dataflow 迁移 Cloud Datastore 实体？
【发布时间】：2015-09-15 10:53:37
【问题描述】：

我目前正在使用单台机器执行迁移，该机器按顺序运行并从命名空间中读取实体，这对我来说很痛苦。是否可以使用 Google Cloud Dataflow 更轻松地执行迁移？

【问题讨论】：

嗨 Chandra，您能稍微扩展一下您的用例吗？这是不同 Datastore 架构之间的一次性数据迁移，还是其他？
嗨@SamMcVeety 很抱歉回复晚了，这是数据存储区中的一次性数据迁移，例如，向实体添加新列并将数据从实体转换为另一个。

标签： google-cloud-datastore google-cloud-dataflow

【解决方案1】：

您应该能够使用DatastoreIO 来操作记录并并行处理它们。

PCollection<Entity> entities = p.apply(
     Read.from(DatastoreIO.read()
         .withDataset(datasetId)
         .withQuery(query)
         .withHost(host)));
p.apply(<Your transform>)
p.apply(DatastoreIO.writeTo(dataset));
p.run();

从 Dataflow SDK for Java 1.2.0 开始，已添加对查询和写入 Datastore Entities in namespaces 的支持。

【讨论】：