hadoop（特别是 HDFS 文件）与 ELK 堆栈的集成答案

【问题标题】：Integration of hadoop (specifically HDFS files) with ELK stackhadoop（特别是 HDFS 文件）与 ELK 堆栈的集成
【发布时间】：2019-07-25 09:52:57
【问题描述】：

我正在尝试将 hadoop 与 ELK 堆栈集成。我的用例是“我必须从 HDFS 路径中存在的文件中获取数据并在 kibana 仪表板上显示内容”

Hive 不在那里工作，所以我不能使用 hive。有没有其他方法可以做到这一点？

有人有任何一步一步的文章吗？

我尝试通过 logstash 和 filebeat 从 hadoop 服务器上的 linux 位置获取日志，但这也不起作用。

【问题讨论】：

标签： elasticsearch hdfs logstash filebeat elk

【解决方案1】：

我这样做是为了一些 OSINT 工作，一旦可以将内容从 hdfs 获取到本地文件系统中，就很容易做到。这是通过设置HdfsNfsGateway 来完成的。完成后使用filebeat and logstash 将您的内容导入elasticsearch。之后，只需为您使用的索引配置您的 kibana dashboard。

【讨论】：