Apache Kafka 生产者一次从文件中读取答案

【问题标题】：Apache Kafka producer read from file one timeApache Kafka 生产者一次从文件中读取
【发布时间】：2018-11-30 17:29:15
【问题描述】：

我是 Kafka 的新手。我创建了一个生产者主题消费者。当我拿数据手册时，它不是问题生产者总是打开的。

但是当我尝试下面的代码时（从文件中读取）

 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test  --new-producer < /home/beyhan/foo.txt

从文件中读取并返回

WARN 提供了配置主题 = null 但不是已知的配置。 (org.apache.kafka.clients.producer.ProducerConfig)

和生产者停止。我想总是打开生产者，当我添加一个新的 txt 文件时应该总是读取。我如何写一个文件夹以及文件夹何时从生产者读取新的 txt 文件。

【问题讨论】：

不确定。我只是想知道--new-producer 应该是什么？该标志不存在。也许它弄乱了命令行解析......
也许可以，但我必须写那个，否则不会从文件中读取。您是否建议另一种非手动读取数据的方法？
无法关注。这应该工作：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test < /home/beyhan/foo.txt
啊不，它仍然运行一次，我想打开 txt 文件并始终添加此文件或读取新文件，您还有其他建议吗？

【解决方案1】：

关于使用的命令，这对我来说效果很好，尽管 --new-producer 不是必需的

我想打开 txt 文件并始终添加此文件或读取新文件

在这种情况下，我建议研究 Fluentd 或 Filebeat，而不是编写一些生产者代码。

如果你想使用Kafka Connect，可以试试kafka-connect-spooldir

【讨论】：