KafkaProducer 未生成消息 > 1 MB 到主题

Question

我正在使用 kafka_2.11-2.2.1。我在 server.properties 中有以下设置。

message.max.bytes=20971520
replica.fetch.max.bytes=23068672

代码级别的生产者配置。

@Bean("serviceKafkaTemplate")
public KafkaTemplate kafkaTemplate(@Autowired final ProducerFactory producerFactory) {
    return new KafkaTemplate(producerFactory);
}

 @Bean
public ProducerFactory<String, Object> producerFactory() {
    return new DefaultKafkaProducerFactory(props());
}

 private Properties props() {
    Properties properties = new Properties();     
    properties.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip");
    properties.put(ProducerConfig.REQUEST_TIMEOUT_MS_CONFIG, 10000);
    properties.put(ProducerConfig.BATCH_SIZE_CONFIG, 1);
    properties.put(ProducerConfig.LINGER_MS_CONFIG, 1);
    properties.put(ProducerConfig.MAX_REQUEST_SIZE_CONFIG, 15728640);
    properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
    properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
    return properties;
}

@Autowired
private KafkaTemplate serviceKafkaTemplate;

serviceKafkaTemplate.send("topic_name", data);

我只说生产者而不是消费者。当我通过 cmd 检查偏移量时，它不会增加，这意味着生产者没有发送数据。 I 数据大小小于 1 MB，然后它正在工作，当前大小为 1.75 MB。在 kafka server.log 文件中也没有与此相关的内容。如果我错过任何配置，请告诉我。

Answer 1

请看房

max.request.size=1048576

当前文档中的描述：

请求的最大大小（以字节为单位）。此设置将限制生产者在单个请求中发送的记录批次数，以避免发送大量请求。这也有效地限制了最大记录批量大小。请注意，服务器对记录批量大小有自己的上限，可能与此不同。

认为这应该对您有所帮助。另请查看文档。

Apache Kafka documentation - producer configs