【问题标题】:What does mean kafka compression-rate-avgkafka压缩率平均是什么意思
【发布时间】:2021-10-03 09:03:47
【问题描述】:

我正在运行 Kafka 生产者,并查看指标: 平均压缩率

值是什么意思 - 值越高压缩越好还是相反?

我目前的压缩策略是gzip,生产者缓冲内存是32Mb。每条消息0.5-1M未压缩 推荐的压缩配置是什么?

【问题讨论】:

    标签: apache-kafka compression


    【解决方案1】:

    来自documentation(总是一个很好的起点):

    平均压缩率

    记录批次的平均压缩率, 定义为压缩批量大小与 未压缩的大小。

    所以越小越好。

    至于使用哪个,请参阅https://developer.ibm.com/articles/benefits-compression-kafka-messaging/(又花了 30 秒的时间在谷歌上搜索)。它有这张表:

    Zstd 在我看来不错。

    【讨论】:

    • 谢谢你,马克
    猜你喜欢
    • 2011-03-09
    • 2015-02-18
    • 2016-06-12
    • 1970-01-01
    • 2021-06-02
    • 1970-01-01
    • 1970-01-01
    • 2018-10-22
    • 2011-07-21
    相关资源
    最近更新 更多