【问题标题】:Can i consume based on specific condition in Kafka?我可以根据 Kafka 中的特定条件消费吗?
【发布时间】:2017-01-30 18:06:53
【问题描述】:

我正在向 Kafka 写入一条消息,并在另一端使用它。 在其中做一些处理并将其写回另一个 Kafka 主题。

我想知道哪个消息响应是针对哪个请求的..

当前决定从消费者端捕获偏移 id,然后写入响应并读取响应负载并做出相同的决定。

对于这种方法,我们需要读取每条消息,是否有其他方法可以根据消费者配置条件进行消费?

【问题讨论】:

    标签: apache-kafka kafka-consumer-api kafka-producer-api


    【解决方案1】:

    消费者只能阅读整个主题。您只能通过seek() 跳过消息,但没有条件可以评估代理以过滤消息。

    您需要在客户端使用整个主题的进程/过滤器。

    【讨论】:

    • 感谢 Matthias,我们已经通过分区处理了这个问题。我们有三个消费者向 Kafka 注入数百万行。现在我们已经在生产者和消费者中创建了自定义从业者。这减少了总负载。
    • 我明白了。但这并不真正符合您的问题。 :) 无论如何,很高兴你找到了改进应用程序的方法!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-06-06
    • 1970-01-01
    • 2019-08-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多