如何确认spring kafka中的当前偏移量以进行手动提交答案

【问题标题】：How to acknowledge current offset in spring kafka for manual commit如何确认spring kafka中的当前偏移量以进行手动提交
【发布时间】：2018-05-05 19:02:23
【问题描述】：

我第一次使用 Spring Kafka，我无法在我的消费者代码中使用 Acknowledgement.acknowledge() 方法进行手动提交。如果我的消费者配置或侦听器代码中缺少任何内容，请告诉我。否则还有其他方法可以根据条件处理确认偏移量。在这里，我正在寻找解决方案，例如如果未手动提交/确认偏移量，它应该由消费者选择相同的消息/偏移量。

配置

import java.util.HashMap;
import java.util.Map;

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.serialization.StringDeserializer;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.EnableKafka;
import org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory;
import org.springframework.kafka.core.DefaultKafkaConsumerFactory;
import org.springframework.kafka.listener.AbstractMessageListenerContainer.AckMode;

@EnableKafka
@Configuration
public class ConsumerConfig {

    @Value(value = "${kafka.bootstrapAddress}")
    private String bootstrapAddress;

    @Value(value = "${kafka.groupId}")
    private String groupId;

    @Bean
    public ConcurrentKafkaListenerContainerFactory<String, String> containerFactory() {
        Map<String, Object> props = new HashMap<String, Object>();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapAddress);
        props.put(ConsumerConfig.GROUP_ID_CONFIG, groupId);
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);
        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, 100);
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,
                StringDeserializer.class);
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,
                StringDeserializer.class);
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
        ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<String, String>();
        factory.setConsumerFactory(new DefaultKafkaConsumerFactory<String, String>(
                props));
        factory.getContainerProperties().setAckMode(AckMode.MANUAL_IMMEDIATE);
        factory.getContainerProperties().setSyncCommits(true);
        return factory;
    }
}

听众

private static int value = 1;

@KafkaListener(id = "baz", topics = "${message.topic.name}", containerFactory = "containerFactory")
public void listenPEN_RE(@Payload String message,
        @Header(KafkaHeaders.RECEIVED_PARTITION_ID) int partition,
        @Header(KafkaHeaders.OFFSET) int offsets,
        Acknowledgment acknowledgment) {

    if (value%2==0){
        acknowledgment.acknowledge();
    }
    value++;
}

【问题讨论】：

如果我们将设置从 props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false) 切换到 props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, true) 会发生什么？是否有任何其他代码需要更改或将忽略acknowledgment.acknowledge()？

标签： java apache-kafka spring-kafka

【解决方案1】：

将 enable-auto-commit 属性设置为 false：

propsMap.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);

将确认模式设置为 MANUAL_IMMEDIATE：

factory.getContainerProperties().setAckMode(AbstractMessageListenerContainer.AckMode.MANUAL_IMMEDIATE);

然后，在您的消费者/侦听器代码中，您可以手动提交偏移量，如下所示：

@KafkaListener(topics = "testKafka")
public void receive(ConsumerRecord<?, ?> consumerRecord,  
        Acknowledgment acknowledgment) {

    System.out.println("Received message: ");
    System.out.println(consumerRecord.value().toString());

    acknowledgment.acknowledge();
}

更新：我为此创建了一个小型 POC。看看here，可能对你有帮助。

【讨论】：

对于 Spring 2.3.3，配置为 factory.getContainerProperties().setAckMode(ContainerProperties.AckMode.MANUAL_IMMEDIATE);
我正在尝试提交一条记录，不幸的是正在提交上一条记录或下一条记录，只是一条记录没有做，你知道采取什么方法吗？

【解决方案2】：

您需要执行以下操作

1) 将 enable-auto-commit 属性设置为 false

consumerConfigProperties.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");

2) 将 ACK 模式设置为 MANUL_IMMEDIATE

factory.getContainerProperties().setAckMode(AckMode.MANUAL_IMMEDIATE);

3) 对于已处理的记录，您需要调用 acknowledgement.acknowledge();

4) 对于失败的记录，调用 acknowledgement.nack(10)；注意：nack 方法需要一个 long 参数，即睡眠时间，它应该小于 max.poll.interval.ms

下面是示例代码

@KafkaListener(id = "baz", topics = "${message.topic.name}", containerFactory = "containerFactory")
public void listenPEN_RE(@Payload String message,
        @Header(KafkaHeaders.RECEIVED_PARTITION_ID) int partition,
        @Header(KafkaHeaders.OFFSET) int offsets,
        Acknowledgment acknowledgment) {

    if (value%2==0){
        acknowledgment.acknowledge();
    } else {
        acknowledgment.nack(10); //sleep time should be less than max.poll.interval.ms
    }
    value++;
}

【讨论】：

【解决方案3】：

您可以执行以下操作：
1.将当前记录偏移量存储到文件或数据库中。
2. 使用 ConsumerAware 实现您的 kafka 侦听器类。
3. 调用 registerSeekCallback 如下：

(registerSeekCallback(ConsumerSeekCallback callback) 
      {
      callback.seek(topic, partition, offset)
}

因此，当消费者出现故障或分配了新消费者时，它会开始读取存储在数据库中的偏移量。

【讨论】：

registerSeekCallback(ConsumerSeekCallback 回调){ callback.seek(topic, partition, offset) }

【解决方案4】：

这在 Apache Kafka 中不起作用。

对于当前正在运行的消费者，我们可能永远不会担心提交偏移量。我们需要它们只为同一消费者组中的新消费者持久化。当前一个跟踪它在内存中的偏移量。我猜在 Broker 的某个地方。

如果您需要在下一轮轮询中重新获取同一消费者中的相同消息，您应该考虑使用seek() 功能：https://docs.spring.io/spring-kafka/docs/2.0.1.RELEASE/reference/html/_reference.html#seek

【讨论】：