【发布时间】:2019-09-26 14:11:01
【问题描述】:
有没有办法访问存储在 Cloud Bigtable 中的数据作为运行 Apache Beam 管道的输入源?
【问题讨论】:
标签: apache-beam bigtable google-cloud-bigtable apache-beam-io
有没有办法访问存储在 Cloud Bigtable 中的数据作为运行 Apache Beam 管道的输入源?
【问题讨论】:
标签: apache-beam bigtable google-cloud-bigtable apache-beam-io
目前没有为 Bigtable 编写的 Apache Beam Go SDK IO。
可以将它们基于现有的 IO(例如 BigQueryIO),但在 Go SDK 和运行器都支持可移植工作拆分之前,将存在扩展问题,尤其是初始读取的序列化。这正在进行中,但还没有准备就绪的时间表。
另一个即将推出的解决方案是“跨语言 IO”,它将允许 SDK 使用来自其他语言的 IO(特别是让 Python 和 Go 使用 Java IO,它们已经通过生产化)。
目前,几乎没有时间花在开发/测试 Go SDK IO 上,并且不保证它们的可靠性或适合性或完成度。
【讨论】: