Kafka 不会消耗所有产生的数据答案

【问题标题】：Kafka doesn't consume all produced dataKafka 不会消耗所有产生的数据
【发布时间】：2017-10-28 20:37:36
【问题描述】：

我在具有 8 个内核和 32GB RAM 的 VM 上安装了一个 kafka 实例。

我从 10 台不同的机器向它写入（生产）并从一台机器消费，所有这些机器都在同一个网络中。

我产生的数据大小约为 35MBit / s。

由于某种原因，即使 kafka 和消费者服务器大多空闲（因此我认为这不是保留问题）。

kafka 会忽略一些生成的数据吗？

一些可能对分析有用的参数值：

num.network.threads=32
num.io.threads=16
message.max.bytes=2147483647
num.partitions=10
log.retention.ms=120000 (2 minutes)

【问题讨论】：

您的制作人是否有 acks=1 或全部？
@dawsaw 不确定，这是客户端属性吗？能详细点吗？
是的，它在生产者客户端上。您需要 acks=all 以保证代理已看到该消息。 acks=1 保证一位经纪人看到了它，这可能是你能做的最好的事情。此外，生产者的代码应处理未收到确认以提醒您丢失数据和/或重试发送的情况。
@dawsaw 我刚刚检查过，它设置为“全部”
好的，所以可能对发布有用的一件事是生产者围绕 send() 调用的逻辑。必须对发送消息提供的 Future 做一些事情，否则消息可以被静默忽略。此外，最好知道服务器和客户端使用的是什么版本的 Kafka。

【解决方案1】：

您的保留时间太短了。如果您的消费者比 10 个生产者中的任何一个落后超过 2 分钟，那么消息将丢失。尝试 24 小时或至少与磁盘空间一样多。默认保留期为 7 天。如果消息都成功进入主题，则将消息保留更长的时间也将有助于您调试。

【讨论】：

我尝试将保留时间增加到 1 小时（约 16GB 数据）但无济于事。一个小时过去后，kafka 开始挣扎。当我早些时候尝试保留 10 分钟时，也发生了同样的情况 - 它工作了 10 分钟，然后开始挣扎。
所以听起来你的瓶颈只有在 Kafka 删除过期消息时才会出现。您正在使用的主题的 log.cleanup.policy 是压缩还是删除？您使用哪种存储方式？在同时删除日志段和写入新日志段时，是否会超出磁盘 IO 容量。您的费率不是很高，但如果磁盘很慢，则可能会导致此问题。