Confluent Kafka Connect MQTT Source 和 Sink 连接器的开源替代方案 [关闭]答案

【问题标题】：Open Source alternative for Confluent Kafka Connect MQTT Source and Sink connectors [closed]Confluent Kafka Connect MQTT Source 和 Sink 连接器的开源替代方案 [关闭]
【发布时间】：2020-04-29 10:32:43
【问题描述】：

我想通过 MQTT 代理连接到 Apache Kafka（非企业版且未使用融合的 kafka 托管服务）。

我使用的是 Confluent 的 Kafka Connect MQTT 源和接收器，但我意识到它带有 30 天的试用期，之后需要许可证。

是否有任何其他开源/免费选项可用作 Apache Kafka 和 mqtt 代理之间的双向桥梁。

【问题讨论】：

这是 mqtt source 和 sink 连接器的另一个开源选项github.com/johanvandevenne/kafka-connect-mqtt

标签： apache-kafka mqtt apache-kafka-connect confluent-platform

【解决方案1】：

你可以使用Lenses' MQTT Source Connector:

从 MQTT 读取事件并将其推送到 Kafka 的连接器。这连接器订阅指定的主题并流式传输记录到 Kafka。

Lenses 还提供 MQTT Sink Connector 用于将记录从 Kafka 流式传输到目标系统。

两个连接器都需要以下内容：

Apache Kafka 0.11.x 以上
Kafka Connect 2.x 或更高版本
MQTT 服务器
Java 1.8

【讨论】：

问题是“还有其他开源/免费选项...”所以他不打算用一个商业许可证替换另一个。 Lenses 是一种需要许可证的商业产品。
@RickO'Shea Lenses 也提供开源产品。
我在所述页面上找不到许可证信息。 MQTT 连接器在哪个许可证下，是免费啤酒吗？

【解决方案2】：

我没有任何详细的代码示例，只有我的 2 美分：

你必须建立自己的桥梁，即 MQTT Kafka (pub/sub producer/consumer)。

在 MQTT 方面恕我直言，Eclipse PAHO 客户端看起来非常漂亮。看看这个方法：https://www.baeldung.com/java-mqtt-client。
在 Kafka 上，使用生产者和消费者的相当简单的实现应该很容易。如果您想将 MQTT QoS 考虑在内（即最多一次 (0)、至少一次 (1)、恰好一次 (2)），事情就会变得复杂。至少有一次，您可以通过控制偏移提交并密切关注 MQTTKafka 消息的处理状态来进行管理，只需查看一次Kafka Transactions。

【讨论】：