在conf中添加部分配置(下图),配置好了以后,可以使用    “:sql_last_value” 来引用追踪字段。

比如:最后一个更新的id为10,那么下一次更新时,如果 id<:sql_last_value的话就不会更新

schedule的五个 * 默认的是每分钟执行一次,这样就可以达到一个简单的增量更新的作用了。

如果是要有修改就更新,可以在数据库添加一个时间列  (es不是东八区时间,自己调整一下),

将时间列保存在文本中,下一个更新的时候

比对该时间列,如果有更新时间大于文本保留时间的,就执行。

ElasticSearch导入数据时的增量更新(logstash)

相关文章:

  • 2021-11-04
  • 2021-05-22
  • 2021-09-19
  • 2021-05-27
  • 2021-05-24
  • 2021-05-25
  • 2022-02-22
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2021-07-01
  • 2021-10-31
  • 2021-10-21
  • 2022-02-01
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案