通过 Kafka 发送文件

【问题标题】：Sending Files through Kafka通过 Kafka 发送文件
【发布时间】：2017-05-25 16:27:50
【问题描述】：

我们正在使用 Kafka 流将图像文件从一个 Web 服务发送到另一个以保持持久性。在此过程中，我们将图像转换为字节数组，然后将它们转换为 Base64 编码字符串，并将其作为消息与其他文件元数据一起发送。由于图像文件过大，我们的 Kafka 正在下降。

有没有更好的选择通过 Kafka 流式传输这些图像以及文件元数据？

【问题讨论】：

标签： rabbitmq apache-kafka spring-cloud-stream

【解决方案1】：

您可能希望使用 Kafka 生产者的 compression 数据。 Spring Cloud Stream Kafka binder 允许使用属性指定压缩类型：spring.cloud.stream.kafka.bindings.<channelName>.producer.compressionType

此属性接受snappy 和gzip 作为压缩值，none 接受不压缩（这是默认值）。

【讨论】：

感谢 Gopi！您是否还有用于从 kafka 生产者发布文件并从消费者那里接收相同文件的示例代码？
嗨，对不起，我现在没有例子。但是，一旦 kafka 生产者配置了压缩类型，消费者就会根据压缩类型集进行解压缩。