我正在使用 logstash shipper -> redis -> logstash indexer -> elastricsearch -> kibana
我了解 redis 和 elasticsearch 旨在实现可扩展性。 logstash 索引器怎么样，我只在 logstash 主站点上看到了一个仅使用单个 logstash 索引器的示例。
这足以处理所有日志吗？您对拥有多个 logstash 索引器实例有何建议？
【问题讨论】：
如果您的索引器确实是此类设置的瓶颈，您可以轻松地在第二台具有相同配置的机器上添加第二个 Logstash 索引器，您只需更改 redis 源主机和 elasticsearch 目标主机。当它们从同一个 redis 实例中读取时，它们使用阻塞读取来确保一个 redis 条目被恰好一个索引器读取。
与所有组件一样，它们特别擅长水平缩放（更多机器），但索引器也可以缩放到更大的机器上。
如果单个日志事件的处理时间过长，您可以尝试阻止索引器上的工作。这可以例如通过在发货方做一些工作（使用 Logstash 过滤器）或让应用程序编写 JSON 日志而不是“普通”日志行来完成。
【讨论】：
部署“更大”的机器时，将工作人员的数量设置为等于系统中的核心数量。您可以使用命令行标志来设置它。
发件人：http://logstash.net/docs/1.4.2/flags
-w, --filterworkers 计数 运行 COUNT 个过滤器（默认值：1）
您还可以进行一些测试，看看这是否是您的最佳值，就我而言，它是。您不需要一台机器上的额外实例。
【讨论】：