【问题标题】:Ensure Fairness in Publisher/Subscriber Pattern确保发布者/订阅者模式的公平性
【发布时间】:2021-08-27 04:38:44
【问题描述】:

如何确保 Pub/Sub 模式的公平性,例如当一个发布者产生数千条消息而所有其他生产者的消息数量很少时,kafka?无法预测哪个生产者的活跃度高。

如果来自其他生产者的其他消息不必仅仅因为一个生产者非常活跃而等待数小时,那就太好了。

这有什么模式? Kafka 或 Google PubSub 等其他技术是否可行?如果是,怎么做?

在这种情况下,多个分区也不能很好地工作,或者我可以看看。

【问题讨论】:

  • 您可以使用任意数量的生产者向 Kafka 主题发布任意数量的消息。其他生产者不必等到一个生产者完成。
  • @nipuna 我的意思是:想象一下我有一个消费者处理消息,然后生产者 B 的消息一直被处理得很晚,因为生产者 A “垃圾邮件”消息。所以制作人 B 必须等待超长才能看到这个缩略图
  • 他们都是生产到一个流/主题还是生产者 A 发送到一个主题而 B 发送到另一个?
  • @Lalit 全部为一。它基本上是多个客户的缩略图积压。
  • 啊哈。好的。我在这里给出一个答案,如果这有帮助,请告诉我。

标签: apache-kafka message-queue publish-subscribe


【解决方案1】:

在Kafka中,您可以利用配额的概念来防止某些客户端独占集群资源。

有两种类型的配额可以强制执行:

  1. 网络带宽配额
  2. 请求速率配额

可以在the official documentation of Kafka 中找到有关如何配置这些的更多详细信息。

【讨论】:

    猜你喜欢
    • 2016-12-14
    • 2012-07-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-11-09
    • 2015-06-10
    相关资源
    最近更新 更多