【问题标题】:Is there a Perl Kafka consumer group implementation是否有 Perl Kafka 消费者组实现
【发布时间】:2019-09-22 14:31:19
【问题描述】:

我正在创建一个 Perl 无状态的水平可扩展微服务,并且正在寻找一个高级 Kafka 消费者组实现。

我找到了这个库 https://metacpan.org/pod/Kafka::Consumer 它具有一些低级功能但有很多限制

  1. 必须明确说明分区。
  2. 返回值

    $consumer->fetch_offsets( $主题,#主题 0, $组 ); 是一个 HASH 不能用于:

    $consumer->commit_offsets( $主题, 0, $偏移量1, $组 ); 方法。

  3. 等等……

在较新版本的 Kafka 中,消费者组仅由 Kafka 处理,不需要 Zookeeper 客户端,因此 Java、Python、Scala 中的客户端......只需声明组 ID 并保留默认的自动提交来处理偏移量。轮询逻辑和连接也可以由这些语言的高级库处理,例如https://github.com/dpkp/kafka-python

可以使用这些构建块或 fork 来创建高级库,但我认为可能已经有人完成了这项工作。

Perl 中是否有开源的 Consumer Group 实现?我在哪里可以找到它?

【问题讨论】:

    标签: perl apache-kafka kafka-consumer-api


    【解决方案1】:

    查看Net::Kafka - 它是librdkafka C 库的 Perl 包装器,本机支持现代消费者组协议。

    【讨论】:

    • 非常酷,还提到 liberkafka 是 Kafkastreams KafkaSQL 和 Python 客户端以及 kafkacat 的基础
    猜你喜欢
    • 1970-01-01
    • 2020-09-19
    • 1970-01-01
    • 1970-01-01
    • 2017-01-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多