如何使用 BigQuery Storage Read API 在 Apache Beam 中定义最大流数答案

【问题标题】：How to define max number of streams in Apache Beam using BigQuery Storage Read API如何使用 BigQuery Storage Read API 在 Apache Beam 中定义最大流数
【发布时间】：2021-05-01 17:09:43
【问题描述】：

我想从 BigQuery 读取数据并将其发布到 Pubsub。为此，我想使用 Apache Beam 并在 Dataflow 中运行此管道。而且我的 BQ 查询需要很长时间才能执行。因此，希望使用支持使用流读取数据的 BigQuery 的存储读取 API 来减少时间。虽然 Beam 支持使用 Storage API，但我找不到设置最大流数的文档。有人可以帮助我如何在 Apache Beam 管道中设置流数，以从 BigQuery 读取数据。

参考： BQ Storage API Overview, Apache Beam BQ I/O

【问题讨论】：

标签： google-cloud-platform google-bigquery google-cloud-dataflow apache-beam

【解决方案1】：

BigQueryIO 的所有可调选项都可以在 here 找到。似乎没有读取选项。

您可以使用user@beam.apache.org 仔细检查。如果不支持，您可以在https://issues.apache.org/jira 提出功能请求。

【讨论】：