具有不同类型数据的 Kafka 消息传递和比较性能

【问题标题】：Kafka messaging with different types of Data and Comparing perfomance具有不同类型数据的 Kafka 消息传递和比较性能
【发布时间】：2020-12-07 23:38:45
【问题描述】：

我在 python 中从 Kafka 生产者向消费者发送消息。

在 Producer 中，我正在发送这样的数据：

producer.send(topicName,str.encode( message_data))

在消费者获取数据时：

for msg in consumer:
   # print("Message from Producer on Topic - "+msg.topic+":"+ msg.value.decode())

这里的数据以字节为单位。同样，我需要发送不同数据类型的数据并比较性能。我该怎么做？

【问题讨论】：

【解决方案1】：

Kafka 总是以字节为单位存储数据。你可以使用任何你想要的数据类型，例如，你可以使用pickle 或json（虽然那仍然是一个字符串）而不是仅仅编码一个字符串变量

一些 Kafka Python 库公开了一个序列化程序函数，而不是您显式处理客户端之间的序列化

【讨论】：