Kafka 经纪人突然死亡，没有任何错误日志

Question

我们正在运行 kafka 版本 2.4.0。应用程序运行 4-5 天后，它会死掉，没有任何日志。我们有 20gb 的盒子，xmx 和 xms 设置为 5gb。应用程序的 GC 活动是健康的，没有 GC 问题。从系统日志中检查，我没有看到 OOM 杀手被调用。进程死亡时有 13gb 可用内存。

               total        used        free      shared  buff/cache   available
Mem:              19           5           0           0          13          13
Swap:              0           0           0

Answer 1

根本原因是应用程序达到了 vm.max_map_count 限制（默认为 65k）。我们通过查看得出结论

jmx.java.nio.BufferPool.mapped.Count

jmx mbean 中的指标。

另一种检查方法是

cat /proc/<kafka broker pid>/maps | wc -l

更新 max_map_count 限制为我们解决了这个问题。

解决此问题的另一种方法可能是

1. 在触发段时增加段创建持续时间或记录数。
2. 拥有更多实例，以便为每个实例分配更少数量的分区。