在 Elasticsearch Logstash Kibana 中加速解析答案

【问题标题】：Speed up parsing in Elasticsearch Logstash Kibana在 Elasticsearch Logstash Kibana 中加速解析
【发布时间】：2017-07-26 12:56:09
【问题描述】：

我是 ELK [Elasticsearch Logstash 和 Kibana] 的新手。我在一台服务器上安装了 Elasticsearch Logstash 和 Kibana。然后在两台机器上安装了 Logstash。每个系统的总 RAM 约为 30 GB。要解析的总文件约为 300 GB。花了 6 天时间过滤掉 searchd 项[我从所有这些日志中搜索了一个 API 的 10 位数字、时间戳和名称]并在 Kibana 中显示。我在这里做错什么了吗。有没有其他方法可以加快这个过程。

提前致谢，保罗

【问题讨论】：

标签： elasticsearch logstash kibana

【解决方案1】：

您可以在 Kibana UI 中根据时间进行过滤。此外，如果您从任何节拍记录器推送到 Logstash，Logstash 需要时间将其推送到 Elastic Search。

有许多节拍应用程序会直接将数据推送到 Elastic Search。

【讨论】：

感谢您的回复。我可以根据 Kibana 中的时间进行过滤。我只需要将过滤后的值推送到 elasticsearch。我会尝试使用节拍记录器。
目前我没有使用任何节拍应用程序。我搜索并发现文件 beat 可用于将数据推送到 logstash 。我需要在所有三台机器上安装 Elasticsearch logstash 和 kibana 吗？到目前为止，我已经在所有三台机器上安装了 logstash，并将输出定向到相同的 elasticsearch。主从设置是否加快了日志解析速度。
在一台高性能机器上设置和配置 ELK。从从机，只需使用文件节拍或任何文件轮询器将其推送到 Logstash 甚至直接推送到 ElasticSearch。如果你想过滤掉，你可以在将它推到弹性之前在 filebeat 本身中做到这一点。阅读它的文档，你会得到它。让我知道这是否有帮助。
在 Slave 机器中，是否需要安装 elasticsearch 和 logstash 的单独实例。
不需要。只需使用任何文件轮询器从文件中读取并将其推送到 ES 或 Logstash{如果使用 Logstash，则需要将其从 Logstash 推送到 ES}