如何在 Java 中将 Datastore 实体转换为 BigQuery TableRow 对象？

Question

我有以下 DoFN 函数可以做到这一点，但没有我能找到有关它的问题的文档。

• 问题 1 是如何自动转换键，以便它们在 BigQuery 中以与导入表单数据存储备份文件时 BigQuery 相同的方式构建？
• 问题二是如何处理时间戳？下面的代码通过以下消息打破了管道：

为非记录字段指定的 JSON 对象：时间戳

这是我写的代码：

public class SensorObservationEntityToRowFn extends DoFn<Entity, TableRow> {
    /**
     * In this example, put the whole string into single BigQuery field.
     */
    @Override
    public void processElement(ProcessContext c) {
        Map<String, Value> props = getPropertyMap(c.element());
        TableRow row = new TableRow();
        row.set("id", c.element().getKey().getPathElement(c.element().getKey().getPathElementCount()-1).getId());
        if (
                props.get("property1") != null &&
                props.get("property2") != null
                ) {
            // Map data from the source Entity to the destination TableRow
            row.set("property1", props.get("property1").getStringValue());
            row.set("property2", props.get("property2").getStringValue());
        }
        row.set("source_type", props.get("source_type").getStringValue());
        DateTime dateTime = new DateTime(props.get("timestamp").getTimestampMicrosecondsValue()/1000L);
        row.set("timestamp", dateTime);
        // Output new TableRow only if all data is present in the source
        c.output(row);
    }
}

Answer 1

我的期望是在帮助类中找到一些东西，但我没有成功。猜猜谷歌仍在为其 API 添加新的位。也许在下一个版本中。 最大的问题是 API 有点不直观，与其他部分不一致。实体的键应该有它自己的访问器方法，而不是像这样在祖先路径中挖掘（获取路径数组的最后一个元素）：

getKey().getPathElement(c.element().getKey().getPathElementCount()-1).getId()

时间戳的第二个问题：也有点不雅。我在文档中找不到任何地方，如何从 API 的角度（数据类型、字段长度、其格式等）格式化 Datastore 或 BigQuery 中的时间戳。现在有效的解决方案需要第三方库（“joda”）：

import org.joda.time.DateTime;
import org.joda.time.format.ISODateTimeFormat;

以及下面的数据翻译。您必须记住，它在一个地方以毫秒为单位，在另一个地方以微秒为单位。另一个不必要的混乱。

DateTime dateTime = new DateTime(props.get("timestamp").getTimestampMicrosecondsValu‌​e()/1000L);

row.set("timestamp", ISODateTimeFormat.dateTime().print(dateTime));

希望这有助于其他使用 Dataflow 并将数据从一个地方移动到另一个地方的人。