【发布时间】：2018-09-02 04:58:44
【问题描述】：
我想运行一项基于 BigQuery 设置进行一些聚合的日常工作。输出是我写回 BigQuery 的单个表，大约 80GB 超过 900M 行。我想让这个数据集可用于在线查询使用模式，而不是用于分析。
查询数据将始终在应该易于按主键或辅助键分段的特定切片上完成。我认为 Spanner 在查询性能和分片方面可能是一个不错的选择，但我无法确定如何定期将大量数据加载到其中，以及如何处理上传之间的“切换”，因为它不支持表重命名。
有没有办法以编程方式执行这种批量加载？我们已经在内部使用 Apache Airflow 进行类似的数据处理和传输任务，所以如果可以在那里处理它会更好。
【问题讨论】：
标签： google-bigquery airflow google-cloud-spanner