如何从 BigQuery 作为流读取

Question

我正在使用 Java + Apache Beam SDK for Java 2.0.1-SNAPSHOT

场景：

从 BigQuery(BQ) 中读取数据 -> 数据流中的 ETL 过程 -> 将数据写入 BQ 表中

问题是管道在 BQ 中执行插入之前尝试处理所有数据。

在这种情况下有没有办法执行流插入？我已经尝试在从 BQ 提取时为元素设置 时间戳，但它没有没用。

或者是否可以设置 BatchLoads 使其不时插入大量数据？

Answer 1

我会看看this link to Googles Solution。话虽如此，BigQuery 听起来像是被视为有界源，但这不应该成为将数据下沉到数据流中的问题，请参阅here。