将数据从 Oracle Goldengate On Premise 复制到 AWS（SQL 或 NOSQL）的最佳方式是什么？答案

【问题标题】：What is the best way to replicatedata from Oracle Goldengate Onpremise to AWS (SQL or NOSQL)?将数据从 Oracle Goldengate On Premise 复制到 AWS（SQL 或 NOSQL）的最佳方式是什么？
【发布时间】：2021-07-08 20:05:05
【问题描述】：

将数据从 Oracle Goldengate On 本地复制到 AWS（SQL 或 NOSQL）的最佳方式是什么？

【问题讨论】：

标签： amazon-web-services migration transactional-replication oracle-golden-gate

【解决方案1】：

我只是在检查这个是否为 azure，

我的公司正在寻找将数据迁移到云端的解决方案

对本地遗留/第 3 方系统的影响最小。
云端没有 oracle db 实例。
源和目标之间数据的最小“跳数”。
Paas over IaaS 解决方案。
开箱即用的功能优于原生代码和内部开发。
oracle server 12c 或以上
一些自定义过滤解决方案
一些自定义转换

**过滤可以在goldengate、nifi、azure mapping、ksqldb中完成

解决方案分为：

如果解决方案允许touch.read the oracle server的日志文件

您可以使用 azure ADF、azure synapse、K2view、apache nifi、用于 BigData 的 Orcle CDC 适配器（检查版本）直接将数据移动到由 kafka 缓冲的云端，但是 kafka 中的信息将采用特殊模式 json 格式.

如果您必须使用 GG Trail 文件作为同步/etl 范例的输入，您可以

使用自定义数据提供程序将跟踪文件转换为 nifi 的流文件（您需要编写它，请参阅this 2 star project on github for a direction
将 github project 与 gg 一起用于 bigdata 和 kafka 而不是 kafkaconect 以获得翻译的 SQL dml 和 ddl 语句，这将使解决方案更具可读性

其他解决方案是极端情况，但我希望这能满足您的需求

【讨论】：

【解决方案2】：

在我公司的案例中，我们将 Oracle 作为源数据库，将 Snowflake 作为目标数据库。我们构建了以下处理序列：

本地 OGG 提取可与本地 Oracle 数据库配合使用。
Datapump 将路径发送到另一台主机
在这台主机上，我们有用于大数据复制的 OGG，它处理跟踪，然后将结果作为 json 发送到 AWS S3 存储桶。
由于 Snowflake DB 可以将 JSON 作为数据源处理并与 S3 存储桶一起使用，因此它会将 json 加载到暂存表中进行进一步处理。

您可以在此处阅读有关此方法的更多信息：https://www.snowflake.com/blog/continuous-data-replication-into-snowflake-with-oracle-goldengate/

【讨论】：