Sqoop 增量导入新记录

【问题标题】：Sqoop Incremental Import for New RecordsSqoop 增量导入新记录
【发布时间】：2017-12-19 04:11:40
【问题描述】：

我有一个 emp_id 从 1 到 10 的表，其中 emp_Id = 6 不存在，我通过创建 Sqoop 作业在追加模式下完成了增量 Sqoop。
在此之后，接下来我想添加两个新的 emp_id来了，即emp_id=6 和emp_id = 12。
现在我的问题是增量sqoop 会导入emp_id =6 还是只导入emp_id = 12？

【问题讨论】：

你能把你在 Sqoop Job 中写的内容放在你的问题中吗？您可以访问this link
这是场景，有些地方我读到 sqoop 只会导入增加的数据，所以我认为它只会追加 emp-id = 12

标签： hadoop sqoop

【解决方案1】：

如果您已将 --check-column emp_id 定义为 --incremental append（并且您已写入 emp_id=6 和其他值为 null），您的工作将只写入 emp_id=12 记录。但如果 --check-column 参数在现有记录中找不到值 6，则作业还将写入 emp_id=6 记录。

如果您想追加新记录和/或修改现有记录，请考虑 --last-value 参数。 See this。请注意，创建作业后，最后一个值已经保存在 /tmp sqoop 目录中。在这种情况下我建议你简单地使用 sqoop import，我验证它效果更好。

【讨论】：