【发布时间】:2019-09-22 14:31:19
【问题描述】:
我正在创建一个 Perl 无状态的水平可扩展微服务,并且正在寻找一个高级 Kafka 消费者组实现。
我找到了这个库 https://metacpan.org/pod/Kafka::Consumer 它具有一些低级功能但有很多限制
- 必须明确说明分区。
-
返回值
$consumer->fetch_offsets( $主题,#主题 0, $组 ); 是一个 HASH 不能用于:
$consumer->commit_offsets( $主题, 0, $偏移量1, $组 ); 方法。
等等……
在较新版本的 Kafka 中,消费者组仅由 Kafka 处理,不需要 Zookeeper 客户端,因此 Java、Python、Scala 中的客户端......只需声明组 ID 并保留默认的自动提交来处理偏移量。轮询逻辑和连接也可以由这些语言的高级库处理,例如https://github.com/dpkp/kafka-python
可以使用这些构建块或 fork 来创建高级库,但我认为可能已经有人完成了这项工作。
Perl 中是否有开源的 Consumer Group 实现?我在哪里可以找到它?
【问题讨论】:
标签: perl apache-kafka kafka-consumer-api