将数据从 RDBMS 加载到 Bigquery

【问题标题】：Loading data from RDBMS to Bigquery将数据从 RDBMS 加载到 Bigquery
【发布时间】：2020-01-31 20:19:45
【问题描述】：

我有一个每天运行的App Engine 计划作业，并在PostgreSQL 表（托管在gcp 中而不是cloudsql）中查找符合归档标准的行。如果满足条件，它会连接到BigQuery 并将数据流式传输到大查询。每天很少有符合归档条件的记录，我们写信给BigQuery。这是具有成本效益的方式还是我们可以尝试使用Cloud Functions 加载数据？ https://cloud.google.com/solutions/performing-etl-from-relational-database-into-bigquery

【问题讨论】：

标签： google-bigquery

【解决方案1】：

App Engine 和 Cloud Functions 有不同的用途。如果您想在无服务器环境中部署完整的应用程序，您应该使用 App Engine。如果您需要在云端集成服务，请使用 Cloud Function。在您的情况下，Cloud Functions 似乎更适合。

请务必记住，Cloud Function 有时间限制：您的代码必须运行的最长时间为 9 分钟。你可以找到这个和其他限制here

此外，您还可以找到here GCP 产品的定价计算器。

如果您还有其他问题，请告诉我。

【讨论】：

感谢您的回复。为此，我们将评估云功能。我认为我们的代码不会运行超过 9 分钟。我也会做一些定价计算。
Ravi，如果它适合你，请告诉我