confluent kafka - 速率限制

【问题标题】：confluent kafka - Rate limitingconfluent kafka - 速率限制
【发布时间】：2021-01-22 13:05:06
【问题描述】：

速率限制：由于 Kafka 能够以比 MQ 消耗的速率高得多的速率生成消息，我们可以在 kafka 消费者上进行一些配置设置以启用速率限制传输以保护 MQ 的稳定性吗？

Also Exactly-Once Semantic - 了解 kafka 支持 Exactly-Once 语义，这将停止重新传输已被消费者消费的消息。有人可以指导我如何设置此配置吗？

我们在我们的组织中使用 confluent kafka 企业版。

【问题讨论】：

【解决方案1】：

速率限制： Kafka 是基于 pull 的，因此您的消费者可以放心地读取消息并将它们传输到 MQ（但如果第二个系统一直较慢，则未处理消息的缓冲区会在卡夫卡会随着时间的推移而增加）。

Exactly once 语义： 为确保消费者exactly once sematic 需要在消息成功处理后手动提交读取偏移量（默认行为是在小超时后自动提交读取偏移量。它可以导致消息丢失，如果失败发生在提交读取偏移之后但在消息处理结束之前）

【讨论】：