【问题标题】:Does KafkaConsumer API 0.9 has solution to below scenario?KafkaConsumer API 0.9 是否有针对以下场景的解决方案?
【发布时间】:2016-02-19 06:17:14
【问题描述】:

我对卡夫卡比较陌生。我已经开始使用 Kafka 0.9 开发应用程序,其中多个模块使用 Kafka 主题进行交互。

我特别卡在一个场景中,场景如下:

系统中有两个模块,即模块 1 和模块 2。这两个模块通过 Kafka 相互交互。模块 1 继续动态创建多个主题,并根据特定条件生成消息并推送到多个主题。现在模块 2 将在整个应用程序的生命周期中处于睡眠模式。只有当模块 2 有任何请求来消费来自特定主题的数据时,模块 2 才会消费数据。消耗数据后,模块 2 将再次进入睡眠模式。

我检查了许多门户网站,但找不到合乎逻辑的解决方案。

如何在 Kafka 0.9 中实现这个场景。 Java 中的小示例代码 sn-p 会有所帮助。

【问题讨论】:

  • 为什么你认为这行不通?这是 Kafka 的基本用例。尝试一下,遇到问题时在这里提问。
  • 没有理由不工作,你试过什么?

标签: java apache-kafka kafka-consumer-api


【解决方案1】:

这是所有(消息)队列的行为方式。 但是,考虑到您如何描述您的问题,我实际上不确定您是否需要 Kafka。

您的这些模块到底是什么?应用模块?
您能否大致指定您期望的负载(例如 msgs/day)?

【讨论】:

  • 它们是系统的两个独立部分。一个处理数据并将其转发到主题以供消费者使用。但是只要系统的用户请求数据,消费者就会调用这些数据。根据用户的请求,消费者将消费来自各个主题的数据。预计数据负载为每天 100 万条消息。
  • 好的,罗杰。每天数百万条消息是花生,您可以使用任何“非大数据”消息队列,但是好的,假设您设置在 Kafka 上。你现在准备好陈述你的问题了吗?你到底做了什么,你到底在哪里卡住了?
  • 我在上周五解决了我的问题。我能够使用 Kafka 的消费者 API 的暂停和恢复方法成功设置和运行上述场景。感谢您有兴趣解决我的问题。 :)
猜你喜欢
  • 2021-11-12
  • 2020-09-07
  • 2019-12-16
  • 2011-01-19
  • 2013-04-08
  • 1970-01-01
  • 2013-06-29
  • 1970-01-01
  • 2022-01-02
相关资源
最近更新 更多