用于将 HLL_COUNT.INIT 提取到 BigQuery 的 Google DataFlow API

Question

我正在向 PubSub 发送数据，我正在尝试创建 DataFlow 作业以将数据放入 BigQuery。 我在数据中有一个我想做的唯一列 HLL_COUNT.INIT 在 DataFlow 端是否有等效的方法，以便我可以将 HLL 版本的列直接存储在 BigQuery 中？

Answer 1

不，DataFlow 不支持 BigQuery HLL 草图格式，但它显然是有用的。我在 DataFlow 问题跟踪器中为其创建了功能请求：https://issuetracker.google.com/62153424。

更新：HyperLogLog++ 的 BigQuery 兼容实现已开源到 github.com/google/zetasketch 和设计文档 (docs.google.com/document/d/...)关于将其集成到 Apache Beam 中的信息已发送至 dev@beam.apache.org。