【问题标题】:Oracle CDC on Multiple Related Tables多个相关表上的 Oracle CDC
【发布时间】:2015-09-27 04:03:55
【问题描述】:

我需要从一组相关的 Oracle 11g 表(父表和多个子表)中捕获任何更改/删除/添加的数据,并将这组表数据捕获到一个文件中。创建文件后,我可以重置捕获窗口,然后(批处理模式)重复该过程。这些文件可以提供给感兴趣的各方。我不想创建自己开发的东西,而是想利用 Oracle 中的东西,比如 CDC 或类似的东西来执行这个任务。但是,我不确定 Oracle CDC 或等效功能是否可以捕获一组相关的表(即父级发生更改并且所有子级数据也被捕获,或者子级和父级以及所有其他子级发生更改数据被捕获),或者 11g / 12c(即将升级)中的众多特性中的哪一个最能满足要求。

将来,我们希望将这些信息发布给一个或多个订阅者,一些是实时的,一些是批量的,这样我就可以确保所有订阅者在自动删除之前收到完整的更改数据集。

对于上述两种情况的任何建议将不胜感激。最近,我无法跟上所有 Oracle 的进步。需要说明的是,我们还有 SSIS 和 Informatica,它们可能能够帮助解决问题。

【问题讨论】:

  • Striim 将允许您从 oracle 捕获更改数据并将更改流式传输到您的大数据基础架构

标签: oracle batch-processing publish cdc subscribe


【解决方案1】:

我不确定您是否有任何解决方案。

最近我评估了 Oracle 金门和一些使用 Oracle 日志挖掘器从源头捕获更改数据的自定义解决方案提供商(ATTUnity、Striim)。

Oracle 金门允许您指定整个架构或特定表来捕获更改。在您的情况下,您可以指定父子表或所有相关表并开始捕获更改。

在发布方面,他们有一些适配器,比如最近他们获得了大数据适配器,包括 Kafka 适配器。您还可以针对任何特定需求编写自定义适配器。

Golden Gate 的工作方式,它从 DB 中捕获更改并写入自己的文件调用跟踪文件。执行此操作的过程称为提取。 他们还有另一个进程复制器/泵来读取跟踪文件并将其应用到目标数据库或发布到消息传递系统或大数据。

我已经为我的客户开发了实时数据流应用程序,使用 oracle 金门、kafka 和 spark 流,并在源和目标上使用 oracle。

甲骨文金门的唯一问题是价格昂贵。

如果有帮助请告诉我。

谢谢

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-10-21
    • 2018-06-24
    • 1970-01-01
    • 2015-01-23
    • 2021-10-15
    • 2023-03-18
    相关资源
    最近更新 更多