Kafka消费者可以成为同一个kafka组的生产者吗

Question

我想将 Kafka 用作任务调度程序。这是一个例子：

假设我希望我的服务定期从一组给定帐户下载最新的推文。

生产者：当新的要提取的推特句柄被添加到服务时，生产者将这条消息推送到Kafka：

{ twitter_user: "new_user_handle", start_at: "current_timestamp"}

消费者：每个人都在无限循环中：

1. receive a task from Kafka: say {"elon_musk", "2021-11-29-22:55"}
2. extract all the tweets of user @elon_musk" since 2021-11-29-22:55.
3. produce a new message {"elon_musk", "<timestamp-of-latest-tweet-just-extracted>"}
4. Commit

当然，理想情况下，步骤 3 和 4 应该在单个“事务”中执行。这样，下一个消费者工作人员将在该消费者完成的地方接手。

卡夫卡可以做到吗？

Answer 1

消费者和生产者是独立的过程。没有什么可以阻止您生成消费者将轮询的数据。

如果您使用现有主题中的数据，然后过滤/提取数据以填充新主题，那么这就是 Kafka Streams 和 KSQL 的用例。