【发布时间】:2022-08-17 08:46:21
【问题描述】:
Beam 中是否有任何功能可用于将 bigquery tablerows 转换为 avro 通用记录?
我试图为类似的东西找到任何参考,但到目前为止我还没有运气。
标签: google-cloud-platform google-bigquery google-cloud-dataflow apache-beam avro
Beam 中是否有任何功能可用于将 bigquery tablerows 转换为 avro 通用记录?
我试图为类似的东西找到任何参考,但到目前为止我还没有运气。
标签: google-cloud-platform google-bigquery google-cloud-dataflow apache-beam avro
你可能想看看 https://beam.apache.org/releases/javadoc/2.40.0/org/apache/beam/sdk/io/gcp/bigquery/BigQueryUtils.html (TableRow -> 行) 和 https://beam.apache.org/releases/javadoc/2.40.0/org/apache/beam/sdk/schemas/utils/AvroUtils.html(行 -> 通用记录)
不过,您仍然需要一个模式。
【讨论】: