解决streamsets jdbc全量模式数据重复问题

原文链接：

https://anjia0532.github.io/2019/07/22/sdc-jdbc-full-mode/

实际上在官方文档有讲 Full and Incremental Mode

 

 

主要看提示(Tip)部分，如果只想执行一次查询后就停止 pipeline，应该配置 origin 的 generate events 并且使用 Pipeline Finisher 来自动停止 pipeline，更多信息参见 Event Generation.

在 jdbc origin 勾选 Produce Events

 

 

从组件选则 Pipeline Finisher，并且配置 Preconditions 为 ${record:eventType() == 'no-more-data'} 即可

 

 

 

 

 

参考资料

• 我的博客
• 我的掘金
• Full and Incremental Mode
• Event Generation
• Case Study: Stop the Pipeline