从 mongodb 到 bigquery 的 ETL

Question

我正在寻找构建从 mongoDB 到 google BigQuery 的 ETL 流。我在想下面的ETL流程 MongoDB ->谷歌数据融合->谷歌BigQuery

Google 数据融合似乎没有连接到 MongoDb 的连接器。

还有其他方法可以构建此 ETL 流程吗？

Answer 1

首先，您需要按照以下步骤为 MongoDB to Data Fusion 创建 JDBC 驱动程序：

1. 打开您的数据融合实例。

2. 单击 + 以添加实体并上传驱动程序。

1. 在“上传驱动程序”标签上，拖动或浏览重命名的 JAR 文件。

2. 在“驱动程序配置”选项卡上：

• Name：为驱动创建一个名称（cdata.jdbc.mongodb）并记下 的名字。

• 类名：设置JDBC类名： (cdata.jdbc.mongodb.MongoDBDriver)。

5. 点击“完成”

现在您已经创建了 JDBC 驱动程序，您可以将 MongoDB 用于数据融合管道。为此，请务必按照以下步骤操作：

1. 导航到管道工作室以创建新管道。
2. 从“源”选项中，单击“数据库”以添加 JDBC 驱动程序的源。

1. 单击数据库源上的“属性”以编辑属性（注意：要在 Google Data Fusion 中使用 JDBC 驱动程序，您需要许可证（完整版或试用版）和运行时密钥 (RTK)）。李>

• 设置标签

• 将引用名称设置为任何将来引用的值（即： cdata-mongodb)

• 将插件类型设置为“jdbc”

• 将连接字符串设置为 MongoDB 的 JDBC URL。例如：

jdbc:mongodb:RTK=5246...;Server=MyServer;Port=27017;Database=test;User=test;Password=Password;

• 将服务器、数据库、用户和密码连接属性设置为 连接到 MongoDB。

4. 在“接收器”选项卡中，单击以添加目标接收器。

5. 点击 BigQuery 接收器上的“属性”以编辑属性。

• 设置标签

• 将引用名称设置为类似 mongodb-bigquery 的值

• 将项目 ID 设置为特定的 Google BigQuery 项目 ID（或保留默认设置，“自动检测”）

• 将数据集设置为特定的 Google BigQuery 数据集

• 将 Table 设置为您希望将 MongoDB 数据插入到的表的名称

我按照this 页面上的教程进行操作，它帮助了我；希望对你有帮助。