【发布时间】：2022-09-29 16:07:40
【问题描述】：
我正在开发一种工具，它将 BigQuery 查询的结果加载到 Clickhouse 中以进行进一步分析。是否有一种通用模式可以快速将 BigQuery 表中的数据导入 Clickhouse？
到目前为止，似乎我最好的选择是编写一个自定义工具，使用 google bigquery storage api 从查询结果表中读取数据，将其作为 AVRO 写入磁盘，然后将其加载到 clickhouse。
我只是想在花时间之前检查是否有任何好的选择。对我来说最重要的因素是从查询完成到 clickhouse 中数据的时间。
-
而不是 avro，也许更好的是压缩 TSV
标签： google-bigquery clickhouse