如何实施 ETL 流程

Question

我想在源 SQL 基础数据库和目标 TripleStore 之间实现同步。

不过，为了简单起见，我们只说 2 个数据库。我想知道使用什么方法将源数据库中的每个更改复制到目标数据库中。更具体地说，我希望每次源数据库中的某些行发生更改时，可以通过一个进程看到这一点，该进程将读取更改并相应地填充目标数据库，同时在中间应用一些转换。

我看到了有关通知机制的建议，可以 在数据库中可用，或构建表以便更改可以 被跟踪（意味着手动执行）并让进程轮询它 以不同的时间间隔，或使用日志（变更数据捕获， 等等……）

我对这一切感到非常困惑。我想知道是否有人可以就我的目标的不同方法提供一些指导和解释。含义：方法名称和查找位置。

我的组织主要使用：Postgres 和 Oracle 数据库。

我必须获取关系数据并将它们转换为 RDF，以便将它们存储在三重存储中，并保持三重存储与 SQL 存储中的数据不断同步。

请，

非常感谢

PS：

关于 ETL 和复制技术（如变更数据捕获）中关于我的总体目标的说明，将不胜感激。

我需要再次理解这个主题，知道方法是什么，这样我才能进一步开始为自己挖掘。到目前为止，我已经了解 CDC 是新的发展方向。

Answer 1

假设您不能使用复制，并且您需要使用某种 ETL 过程来实际提取、转换和加载所有更改到目标数据库，您可以使用插入、更新和删除触发器来填充（手动创建的）审计表。列 GeneratedId、TableName、RowId、Action（插入、更新、删除）和一个布尔值，以确定您的 ETL 流程是否已处理此更改。使用该表获取数据库中所有更改的行并将它们传输到目标数据库。然后从审计表中删除已处理的行，使其不会变得太大。您必须多久运行一次 ETL 流程取决于源数据库中发生的更改量。