使用来自 Kafka docker 镜像的奇怪数据答案

【问题标题】：Consuming wierd data from Kafka docker image使用来自 Kafka docker 镜像的奇怪数据
【发布时间】：2020-07-04 21:33:19
【问题描述】：

我正在使用 confluent kafka docker

confluentinc/cp-server:5.4.0

我正在从 postgresql 生成数据。

当我做一个consumer，想取回kafka消息时，它以这样的格式出现

codesc�����[�c81e728d9d0.9.4.Finalpostgresqlconektatestdb��ך���KЗ��� public

有什么方法可以将其检索为 Json 吗？

【问题讨论】：

您使用什么命令从主题中消费以及数据的格式是什么？ JSON 还是 Avro？
我正在使用afka-console-consumer --bootstrap-server broker:29092 --topic conekta.public.codes --from-beginning 我怎么知道数据的格式？，对不起，我是卡夫卡的新手

标签： apache-kafka apache-kafka-connect

【解决方案1】：

不清楚您在连接器中使用了什么value.converter。

如果您使用 Avro，您将运行 kafka-avro-console-consumer

如果你使用任何其他的，你会运行kafka-console-consumer

【讨论】：

是的，我使用了 kafka-console-consumer 。 kafka-console-consumer --bootstrap-server broker:29092 --topic conekta.public.codes --from-beginning 问题是消息显示就像是加密的一样。
未加密。您看到的是 UTF-8 编码的二进制数据（可能是 Avro）。使用我提到的其他脚本或修复您的连接器属性

【解决方案2】：

在我看来像 Avro。您可以使用kafka-avro-console-consumer阅读它

kafka-avro-console-consumer \
--bootstrap-server broker:9092 \
--property schema.registry.url=http://schema-registry:8081 \
--topic conekta.public.codes \
--from-beginning

确保将 schema-registry 设置为架构注册表的主机名。

参考：

【讨论】：