Http Kafka 生产者答案

【问题标题】：Http Kafka producerHttp Kafka 生产者
【发布时间】：2016-01-28 15:53:42
【问题描述】：

我们的应用程序通过 HTTPs 上的 HAProxy 服务器接收事件，这些事件应该被转发并存储到 Kafka 集群。

什么应该是最好的选择？该层应该以可靠和高效的方式接收来自 HAProxy 的事件并将它们生成到 Kafka 集群（并且应该水平扩展）。

请提出建议。

【问题讨论】：

标签： apache-kafka haproxy

【解决方案1】：

我建议用 Java 编写一个简单的应用程序，它只接收事件并将其发送到 Kafka。 Kafka 的 Java 客户端是官方客户端，因此是最可靠的。另一种选择是使用任意语言和the official Kafka REST Proxy。

应用程序的每个实例都应根据某个分区键将消息发送到所有分区。然后，您可以运行应用程序的多个实例，它们甚至不需要相互了解。

【讨论】：

谢谢@Lukáš。计划使用任何开源组件，只是为了使其比我们自己的自定义代码更可靠、更可扩展。同意 Kafka Rest Proxy 是一个选项。除了这些，我们可以使用 Flume，带有 HTTP 源和 Kafka 接收器吗？
很抱歉我从未使用过 Flume，但我认为这是可能的。为此，我们使用了一个简单的 Node.JS 应用程序。它使用 tha kafka-node 客户端将每条消息发送到 Kafka（但我认为它不是最可靠的客户端）。但这已经足够了。

【解决方案2】：

只需编写一个使用来自代理的消息的简单应用程序并通过设置 Kafka 配置producer.data() 将您获得的响应发送给生产者。如果配置成功。您可以使用来自您使用的 代理服务器 的消息，并在 /tmp/kafka-logs/topicname/00000000000000.log 中查看响应输出。

这个链接将帮助你tritw enter link description here

美好的一天

继续编码

【讨论】：