如何将logstash输出链接到火花输入

Question

我正在处理一些日志，我正在使用 logstash 从日志文件中读取日志并在推送到弹性搜索数据库之前对其进行过滤。 但是我想用我存储在 postgres db 中的一些数据来丰富日志信息，所以我正在考虑在两者之间使用 spark。

是否可以将logstash输出提供给spark，然后丰富我的数据，然后将其推送到弹性搜索

感谢任何帮助。

Answer 1

使用 Logstash 的 Kafka 输出插件，将数据从 Kafka 读取到 Spark Kafka 接收器中并丰富您的数据。丰富后，您可以调用弹性搜索批量发布文档或单个文档并使用 REST API 对其进行索引。