将数据（初始加载）从 Oracle 导入 Elastic Search 的最佳方式答案

【问题标题】：Best ways to import data (initial load) from Oracle to Elastic Search将数据（初始加载）从 Oracle 导入 Elastic Search 的最佳方式
【发布时间】：2018-02-20 05:12:59
【问题描述】：

我正在做一个项目，我在 Oracle 中有两个大表（父表和子表）。一个是有 6500 万条记录，另一个是 8000 万条记录。总共需要这些表中的 10 列数据，并将其作为一个文档保存到 Elastic 搜索中。两个表的加载也可以单独完成。将这些表中的数据（一次加载）移动到 Elastic 搜索中以及从这两个中移出的两个可比较的选项是什么，您会推荐哪一个？要求是快速且简单，不仅可以用于一次数据加载，还可以在出现故障需要从头开始重新创建弹性搜索索引时使用。

【问题讨论】：

这个答案应该对你有帮助：stackoverflow.com/questions/37613611/…
所以 logstash 是这样做的一种选择。绝对是一个帮助。我还需要评估另一种解决方案，例如看看是什么让 logstash 成为比其他更好的选择。

标签： elasticsearch data-migration data-import

【解决方案1】：

正如已经建议的那样，logstash 可能是一个选项：logstash 的优点是简单，但监控起来可能很复杂，如果您必须在摄取期间转换某些字段，则可能难以配置。

另一种选择是nifi：它提供 jdbc 和 elasticsearch 插件，您可以直接通过 Web 界面监控、启动和停止摄取。使用 nifi 可以构建更复杂、更健壮的管道：处理异常、转换数据类型和执行数据丰富。

【讨论】：