Kafka抵消滞后远远落后的原因？答案

【问题标题】：Kafka offset lag falls far behind reason?Kafka抵消滞后远远落后的原因？
【发布时间】：2016-11-05 19:59:26
【问题描述】：

我们一直在尝试修复不想使用数据的消费者。它每 4 秒轮询一次，通常只接收大约 100 条记录。最大它拉大约 18000。然后它将原始字节写入文件。所有快速操作。

但是消费群调用显示如下

[xyz@AZ254PP01 kafka]$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --new-consumer --group postproc-red2
GROUP, TOPIC, PARTITION, CURRENT OFFSET, LOG END OFFSET, LAG, OWNER
postproc-red2, targeting-seg, 0, 21921226, 21921388, 162, consumer-2_/192.168.201.121
postproc-red2, targeting-visit, 0, 72891022, 78349037, 5458015, consumer-2_/192.168.201.121
postproc-red2, targeting-vis, 0, 16665679, 18122272, 1456593, consumer-2_/192.168.201.121
postproc-red2, targeting-vc, 0, 50847858, 56468186, 5620328, consumer-2_/192.168.201.121
postproc-red2, targeting-seg, 1, 20733636, 24858954, 4125318, consumer-2_/192.168.201.121
postproc-red2, targeting-visit, 1, 75084847, 89556283, 14471436, consumer-2_/192.168.201.121
postproc-red2, targeting-vis, 1, 19648100, 19648100, 0, consumer-2_/192.168.201.121
postproc-red2, targeting-vc, 1, 66549015, 66549015, 0, consumer-2_/192.168.201.121
postproc-red2, targeting-seg, 2, 24903106, 28041684, 3138578, consumer-2_/192.168.201.121
postproc-red2, targeting-visit, 2, 99480656, 99480656, 0, consumer-2_/192.168.201.121
postproc-red2, targeting-vis, 2, 19982077, 24848188, 4866111, consumer-2_/192.168.201.121
postproc-red2, targeting-vc, 2, 69611742, 76253273, 6641531, consumer-2_/192.168.201.121

当它记录时，它似乎只想从 target-seg-0 消费，但一次只能消费 60-90 条记录。它有时会一次从所有 0 个分区中提取数千个。这些数据无论如何都没有任何意义，当涉及到其他地方寻找问题时，我们不知所措。它只是一个消费者。一个进程消耗这些主题的所有分区。

最近两天的生产者似乎只写入了 0 个分区。我们也不知道这是什么原因。

我只是想看看在 60 秒内没有被拉出的所有分区上 seekToEnd 是否有效。

14:58:33.896 [Kafka-0] INFO  c.t.e.p.s.red2.ConsumerService - Processing records 3263 of Topics [targeting-seg-0, targeting-visit-0, targeting-vis-0, targeting-vc-0]
14:58:38.005 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-seg-1
14:58:38.005 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-visit-2
14:58:38.005 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-seg-2
14:58:38.005 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-visit-1
14:58:38.005 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-vis-1
14:58:38.005 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-vis-2
14:58:38.005 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-vc-1
14:58:38.005 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-vc-2
14:58:38.005 [Kafka-0] INFO  c.t.e.p.s.red2.ConsumerService - Processing records 3284 of Topics [targeting-seg-0, targeting-visit-0, targeting-vis-0, targeting-vc-0]
14:58:42.117 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-seg-1
14:58:42.117 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-visit-2
14:58:42.117 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-seg-2
14:58:42.117 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-visit-1
14:58:42.117 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-vis-1
14:58:42.117 [Kafka-0] INFO  com.twyn.service.kafka.KafkaService - Initiated Seek to END for targeting-vis-2

代码被订阅（主题）。民意调查（500）。寻求结束。然后我希望在下一次民意调查中 seekToEnd 能解决有问题的 offsetcommit。

任何想法可能是 Kafka 设置的问题或如何解决它。它几乎在默认设置下运行。没有一个分区有副本 -> 复制因子 1。我们打算切换到复制因子 3，因为生产者是三台服务器。

【问题讨论】：

标签： apache-kafka kafka-consumer-api kafka-producer-api

【解决方案1】：

生产者根据要“生产”的消息的键的哈希值来选择目标分区。您应该检查过去两天的消息是否始终具有相同的密钥。

在消费者方面，您确定 postproc-red2 仅用于该消费者吗？您确定在同一个组中有唯一的消费者 ID 吗？但是最好的做法是让消费者数量等于源主题的分区号。

希望对你有帮助

【讨论】：