如何使用 sqoop 工具执行增量加载

Question

实际上，我的数据在 Teradata 表中。我已经使用 sqoop-import 命令将该 teradata 表数据 sqoop 到 Hive 中。

但是，我的 teradata 表会每天获取数据。因此，需要将新添加的数据，即 teradata 中的增量数据，sqoop 到 Hive 表中。

谁能给我一些解决方案来实现这个...

Answer 1

如果您的表中有任何类似于 row-id/timestamp 的列，那么您可以使用：

--incremental [mode] --last-value [value] --check-column [col]

如果您为此保存了作业，则可以跳过--last-value，因为它将自动维护。

--incremental [mode] 有两种模式。 lastmodified 和append，您可以根据自己的需要使用任何一种。