Kafka 生产者和代理压缩

Question

如果设置了 Kafka 生产者压缩（例如 gzip），并且代理配置也设置为相同的编解码器，代理是否会重新压缩来自生产者的任何消息，或者识别其相同的编解码器并跳过和代理-side 重新压缩？

我知道代理可以配置为通过“生产者”设置继承代理编解码器。但是，对于我们的场景，我们可能有可能没有设置任何压缩的生产者（不受我们控制），因此我们希望将代理配置为启用默认压缩，但对于那些在我们控制范围内的生产者，我们更喜欢使用生产者压缩来节省网络带宽，同时减少代理的负载。

Answer 1

将主题压缩设置为producer 等效于将其设置为您在生产者中使用的相同值。 因此，为了实现您的需求，您只需将主题压缩设置为您在生产者中使用的相同算法。使用相同压缩算法的外部生产者将与您的内部生产者一样工作，其余的将触发潜在的解压缩/重新压缩。

这篇文章很好地总结了它： https://newbedev.com/if-i-set-compression-type-at-topic-level-and-producer-level-which-takes-precedence