从本地 SQL Server 将数据导入 Google Bigtable 的最佳方法

Question

我每天需要将大量数据从本地 SQL Server 导入 Bigtable。每天 100-2 亿行。

我尝试通过它的 write API 将数据发送到 Bigtable，但是速度很慢（比如每小时 20M）。

我发现通过 google-cloud 数据流从 google 存储上传到 Bigtable 文件可以更快。但在我看来，从 SQL 导出到文件，然后上传文件，然后导入文件太复杂且没有必要。

我希望找到一个更简单的解决方案，可以在不使用文件的情况下批处理从 SQL 到 Bigtable。

如果有人能给我链接/描述什么应该是最好的，那就太好了。

Answer 1

鉴于没有 SQL Server-Dataflow 连接器，我想不出更好的方法。但是，您可以使用云功能来优化此工作流程。

使用GCS upload trigger，您可以进行设置，以便在上传文件时，您可以通过kick off the dataflow job 导入数据。如果你设置了一个每日 CRON 作业来导出和上传数据，那么整个过程就会自动进行。