【发布时间】:2021-10-03 09:03:47
【问题描述】:
我正在运行 Kafka 生产者,并查看指标: 平均压缩率
值是什么意思 - 值越高压缩越好还是相反?
我目前的压缩策略是gzip,生产者缓冲内存是32Mb。每条消息0.5-1M未压缩 推荐的压缩配置是什么?
【问题讨论】:
我正在运行 Kafka 生产者,并查看指标: 平均压缩率
值是什么意思 - 值越高压缩越好还是相反?
我目前的压缩策略是gzip,生产者缓冲内存是32Mb。每条消息0.5-1M未压缩 推荐的压缩配置是什么?
【问题讨论】:
来自documentation(总是一个很好的起点):
平均压缩率
记录批次的平均压缩率, 定义为压缩批量大小与 未压缩的大小。
所以越小越好。
至于使用哪个,请参阅https://developer.ibm.com/articles/benefits-compression-kafka-messaging/(又花了 30 秒的时间在谷歌上搜索)。它有这张表:
Zstd 在我看来不错。
【讨论】: