将数据从 Oracle DB 自动加载到 Google BigQuery

【问题标题】：Loading data automatically from Oracle DB to Google BigQuery将数据从 Oracle DB 自动加载到 Google BigQuery
【发布时间】：2019-05-17 05:57:21
【问题描述】：

早安，

我有一个 Oracle 数据库，我需要加载一些表，以便在 BigQuery 中查询它们。

¿有没有办法每 24 小时自动将数据加载到 Google BigQuery？

任何方法都行。它可以加载到数据存储中并从那里创建表，或者从服务器加载到 Google 驱动器中。

我真的需要一些想法，我已经阅读了很多没有运气的文章。

【问题讨论】：

我确信这也是其他不错的选择，但如果您希望找到此类服务的提供商，BigQuery Partners page 列出了一些建议。

标签： oracle google-bigquery

【解决方案1】：

按进度查看本教程：

https://www.progress.com/tutorials/cloud-and-hybrid/etl-on-premises-oracle-data-to-google-bigquery-using-google-cloud-dataflow

在本教程中，主要目标是连接到本地 Oracle 数据库、读取数据、应用简单的转换并将其写入 BigQuery。该项目的代码已上传至GitHub供您参考。

此解决方案使用 Dataflow 和 Progress 的混合数据管道工具：

Google Cloud Dataflow 是一种适用于批处理和实时数据流的数据处理服务。 Dataflow 允许您构建管道以获取数据，然后根据您的需要进行转换和处理，然后再将该数据提供给分析工具。 DataDirect 混合数据管道可用于通过 Google Cloud Dataflow 摄取本地和云数据。

【讨论】：

谢谢。我会尽力让你知道。