如何将日志从 elk 堆栈流式传输到 python

【问题标题】：How to stream logs from elk stack to python如何将日志从 elk 堆栈流式传输到 python
【发布时间】：2021-06-07 13:55:34
【问题描述】：

我在 python 中有一个 kafka 消费者来处理日志数据（堆栈跟踪分析和自动问题创建），我们还并行使用 elk 堆栈。是否有可能通过 elk 将日志流式传输到 python 以摆脱 kafka？我没有麋鹿的经验，也找不到任何关于流媒体的东西。似乎我每次只能查询一次日志数据，但这似乎不是一个完美的决定。

【问题讨论】：

标签： python elastic-stack

【解决方案1】：

不，您不能单独从 Elasticsearch 中流式传输数据。

如果您的输入是其他内容，您可以使用 Logstash 的各种输出插件（或自己编写），这些插件可以写入支持的 Python 库

例如：pipe、tcp、websocket/http、exec 插件都足够通用，可以与任何语言一起使用

然而，logstash 不像 Kafka 那样持久化事件，所以如果你想要一些可以处理背压并且不会丢弃事件的东西，你可以保留 Kafka

【讨论】：