【发布时间】:2021-11-06 18:30:03
【问题描述】:
我对一些消费者 API 配置属性感到有些困惑。似乎它们要么发生冲突,要么相互抵消。谁能帮我理解以下键之间的区别。
定义:
fetch.max.bytes:服务器应为获取请求返回的最大数据量max.partition.fetch.bytes:服务器将返回的每个分区的最大数据量max.poll.records:返回的最大记录数在一次 poll() 调用中
示例:fetch.max.bytes: 30000 (30kb)max.partition.fetch.bytes: 20000000 (20mb)max.poll.records: 1000
在我看来,上面的消费者定义似乎是说它最多可以接受 20mb 的数据/分区,但随后只指定了 30kb 的最大字节,这是没有意义的。最大轮询记录似乎也限制了数据摄入,因为根据每条记录的大小,1000 条可能太低或太高。
【问题讨论】:
标签: java apache-kafka kafka-consumer-api