ElasticSearch - 使用 java 代码仅索引修改过的文档

【问题标题】：ElasticSearch - indexing only the modified documents using java codeElasticSearch - 使用 java 代码仅索引修改过的文档
【发布时间】：2018-10-09 14:01:25
【问题描述】：

我正在使用 Java 代码为从 Oracle 到 ElasticSearch 的大量记录 (200k) 编制索引。我能够正确索引它。现在，如果我的 Oracle 数据库中有任何记录被修改，那么修改后的记录也需要在 ElasticSearch 中建立索引。

因此，我如何才能仅索引修改的记录，而不是索引整个记录。弹性搜索中是否有任何功能可以仅识别修改后的文档和特定文档的索引。

我正在通过网络服务获取我的 Oracle 数据库记录。

【问题讨论】：

您是否正在将整个记录集从 Oracle db 迁移到 ElasticSearch？如果是这种情况，当 Oracle db 中有更新时，是否正在寻找此记录以在 ES 中更新？
@vizsatiz- 是的，两者应该同步。

标签： java elasticsearch

【解决方案1】：

我不确定您正在寻找的方法，但我可以告诉您可以从哪里开始。我在 Oracle db 工作的时间不多，但我有使用 MySQL 的经验。 MySQL 有 binlog 跟踪是在数据库上完成的操作，我希望 Oracle db 中一定有类似的行（在这个答案的上下文中我将称之为binlong）。您可以使用此binlog 跟踪操作，然后将其同步到您的 ES 集群。

为了将内容同步到您的 ES 集群，ES 公开了其创建、更新、删除和读取 API。

为 MySQL 添加一个用于解析 binlog 的开源库：https://github.com/zalora/binlog-parser

希望这会有所帮助！

【讨论】：