来自 Dataflow 的 BigQuery 流式插入 - 没有结果

Question

我有一个 Dataflow 管道，它从 PubSub Lite 读取消息并将数据流式传输到 BigQuery 表中。该表按天分区。查询表时：

SELECT * FROM `my-project.my-dataset.my-table` WHERE DATE(timestamp) = "2021-10-14"

BigQuery 用户界面告诉我 This query will process 1.9 GB when run。但是当实际运行查询时，我没有得到任何结果。我的管道现在运行了一整周，过去两天我得到了相同的结果。但是，对于 2021-10-11 和之前的几天，我看到了实际结果。

我目前使用的是 Apache Beam 2.26 版，我的数据流编写器如下所示：

return BigQueryIO.<Event>write()
    .withSchema(createTableSchema())
    .withFormatFunction(event -> createTableRow(event))
    .withCreateDisposition(CreateDisposition.CREATE_NEVER)
    .withWriteDisposition(WriteDisposition.WRITE_APPEND)
    .withTimePartitioning(new TimePartitioning().setType("DAY").setField("timestamp"))
    .to(TABLE);

为什么 BigQuery 花了这么长时间将值提交到分区，但同时告诉我实际上有可用数据？

编辑 1：

Answer 1

BigQuery 正在处理数据并且不返回任何行，因为它还处理流式缓冲区中的数据。缓冲区上的数据最多可能需要 90 分钟才能提交到分区表中。

查看此stack 以及可用文档here 中的更多详细信息。

When streaming to a partitioned table, data in the 
streaming buffer has a NULL value for the _PARTITIONTIME pseudo column.

如果您在 BigQuery 中从 pubsub 写入数据时遇到问题，我建议您使用数据流中可用的模板。

使用 GCP 中可用的 Dataflow 模板将数据从 PubSub 写入 BigQuery：

有一种将数据从 pubsub 主题写入 bigquery 的模板，并且它已经处理了可能的极端情况。

我对其进行了如下测试并且效果很好：

• 在你里面创建一个subscriptionPubSub topic;
• 创建bucket 用于临时存储；
• 按如下方式创建作业：
• 为了测试，我只是以json格式向主题发送了一条消息，并在输出表中添加了新数据：

gcloud pubsub topics publish test-topic --message='{"field_dt": "2021-10-15T00:00:00","field_ts": "2021-10-15 00:00:00 UTC","item": "9999"}'

如果您想要更复杂的东西，您可以从 github 的模板代码中分叉并根据需要进行调整。