将 mysql DB 导入 Bigquery 的最佳方法

Question

目前，我们有一个脚本可以创建数据库转储并将其滚动到 Amazon RDS 服务器上。这种情况每小时发生一次，当新转储到达时，它的先前版本会被删除。

我希望在 Bigquery 中拥有这些数据。最简单的过程是什么？特别是：

1. 有没有办法将转储上传到 BQ 自动删除以前的版本？

2. 有没有办法自动将DB从RDS复制到BQ，去掉BQ端的旧版本？

对此的任何其他见解将不胜感激。

Answer 1

您最好更改转储过程，而不是尝试以这种方式创建导入脚本。将新记录流式传输到 BigQuery 是最简单的方法。如果您对所描述的转储过程感到困惑，那么正如 Mikhail 所建议的那样，Apache Airflow 将是一个不错的选择。