将nodejs应用程序记录到kafka主题的最佳方法答案

【问题标题】：Best way to log nodejs application to kafka topic将nodejs应用程序记录到kafka主题的最佳方法
【发布时间】：2020-06-11 16:00:22
【问题描述】：

目前我的应用程序使用winston 来记录到控制台和logstash，但我需要将日志发送到kafka，然后将它们流式传输到spark 并将数据写入cassandra。我遇到了几种不同的方法来解决这个问题：

一种是log到一个文件，然后使用filebeats将log输出到kafka
二是从logstash输出数据
还有一些其他的解决方案，包括使用 kafka-logger 包（将数据直接从 winston 发送到 kafka），但我不知道它有多安全，因为 git repo 在 2 年内没有更新。李>

我希望我提供了有关问题的足够信息，如果没有，我将编辑我的问题。

【问题讨论】：

【解决方案1】：

有可用的原生JS客户端，如https://kafka.js.org/

一般来说，您会更愉快地将事件直接发送到 Kafka，而不涉及平面文件。出错只是更多的移动部分（如果你想扩大规模或将执行移到另一个节点，这会让生活变得更难）。

顺便说一句，从 Kafka 获取数据到 Cassandra 只需使用 Kafka Connect :)

【讨论】：

对于 kafka，我已经在使用 kafka-node 包了。我会考虑在 kafka 和 winston logger 周围编写一些包装器，以便在控制台上编写日志时将它们发布到 kafka。无论如何感谢您的回答！