google-cloud-dataflow：如何从数据库中读取数据并写入 BigQuery

Question

我需要从 Oracle、MySQL 等一些源数据库设置数据管道并将数据加载到 BigQuery。

如何使用 google-cloud-dataflow 从数据库（jdbc 连接）读取数据并使用 Python 写入 BigQuery 表。

另外，我在本地 Hadoop 集群中有一些 hive 表，如何将这些数据传输到 BigQuery。

我找不到正确的文档或示例来实现这一点。 你能指出我正确的方向吗？

Answer 1

我在我的项目中应用了一个解决方案来提供这样的东西，您需要按照以下步骤操作：

1. 按照此link 将数据从Google Cloud SQL 加载到CSV 中的Google Cloud storage。

2. 按照此link，将Google cloud storage 中的CSV 数据直接加载到BigQuery。