Kafka 服务器节点因“打开的文件过多”错误而关闭

【问题标题】：Kafka server node goes down as with “Too many open files” errorKafka 服务器节点因“打开的文件过多”错误而关闭
【发布时间】：2020-02-26 20:09:43
【问题描述】：

我们使用 3 节点 Kafka 集群，共有 151 个主题，每个主题有 1 个分区。我们已经配置了复制因子=3。当我们启动 kafka 代理时出现以下错误：

ERROR Error while accepting connection (kafka.network.Acceptor)

java.io.IOException: Too many open files

【问题讨论】：

【解决方案1】：

看起来这是因为文件句柄的数量较少。

你能检查下文件描述符限制吗

ulimit -n

尝试将打开的文件描述符更改为更高的值：

ulimit -n <noOfFiles>

可以获得最大允许打开文件数：cat /proc/sys/fs/file-max

【讨论】：

【解决方案2】：

最大值的默认值。在大多数 Unix 系统上，打开的文件是 1024。根据您的吞吐量，您需要配置更高的值。尝试从 32768 或更高版本开始

【讨论】：