从火花流写入kafka的最简单方法是什么

Question

我想从 spark 流数据写入 kafka。 我知道我可以使用KafkaUtils 从kafka 读取。 但是，KafkaUtils 不提供 API 来写入 kafka。

我检查了past question 和sample code。

上面的示例代码是写入kafka的最简单方法吗？ 如果我采用上述示例的方式，我必须创建许多类...

你知道更简单的方法或库来帮助写入 kafka 吗？

Answer 1

看看here:

基本上，这篇博文总结了您提供的链接中以不同变体形式编写的可能性。

如果我们直接看你的任务，我们可以做出几个假设：

• 您的输出数据分为多个分区，这些分区可能（并且经常会）驻留在不同的机器上
• 您希望使用标准 Kafka Producer API 将消息发送到 Kafka
• 您不想在实际发送到 Kafka 之前在机器之间传递数据

鉴于这些假设，您的解决方案集非常有限：您是否必须为每个分区创建一个新的 Kafka 生产者并使用它来发送该分区的所有记录，或者您可以将此逻辑包装在某种工厂 / Sink 但基本操作将保持不变：您仍然会为每个分区请求一个生产者对象并使用它来发送分区记录。

我建议您继续使用提供的链接中的一个示例，代码很短，而且您找到的任何库很可能在幕后执行完全相同的操作。