在终端中从 Kafka 读取 Avro 消息 - kafka-avro-console-consumer 替代方案答案

【问题标题】：Read Avro messages from Kafka in terminal - kafka-avro-console-consumer alternative在终端中从 Kafka 读取 Avro 消息 - kafka-avro-console-consumer 替代方案
【发布时间】：2021-12-28 12:19:48
【问题描述】：

我正在尝试找到最简单的方法来以可读格式从 Kafka 主题中读取 Avro 消息。可以选择通过以下方式使用 Confluent kafka-avro-console-consumer

./kafka-avro-console-consumer \
   --topic topic \
   --from-beginning \
   --bootstrap-server bootstrap_server_url \
   --max-messages 10 \
   --property schema.registry.url=schema_registry_url

但为此，我需要下载整个 Confluent 平台 (1.7 GB)，我认为这在我的场景中是多余的。

有没有其他方法可以轻松地从终端的 Kafka 主题中获取 Avro 消息？

【问题讨论】：

标签： apache-kafka avro confluent-platform

【解决方案1】：

您将需要下载支持 Schema Registry 和 Avro 格式的其他 Kafka 工具，例如 ksqlDB 或 Conduktor 或 AKHQ 或类似的 GUI 工具

kcat 现在可能支持 Avro，我不记得了

您可以编写自己的消费者脚本。 Confluent 的 Python 库不需要太多代码来使用 Avro 记录

您也可以从 Github 克隆 Schema Registry 项目并自行构建，然后使用那里的 CLI 脚本

【讨论】：

感谢您的提示，我使用了 kcat 并稍作调整，终于得到了结果。我有一些 Python 脚本，但我试图找到更简单的 Kcat 绝对是什么。

【解决方案2】：

我能够使用 kcat 以可读形式获取最后的 Avro 消息

kcat -C -b bootstrap_server \
    -t topic \
    -r schema_registry \
    -p 0 -o -1 -s value=avro -e

【讨论】：