如何增加kafka集群上的打开文件

Question

我们有 10 台卡夫卡机器，卡夫卡版本 - 1.X

这个 kafka 集群版本是 HDP 版本的一部分 - 2.6.5

我们注意到/var/log/kafka/server.log下面的消息

ERROR Error while accepting connection {kafka.network.Accetpr}
java.io.IOException: Too many open files

我们还看到了

 Broker 21 stopped fetcher for partition ...................... because they are in the failed log dir /kafka/kafka-logs {kafka.server.ReplicaManager}

和

WARN Received a PartitionLeaderEpoch assignment for an epoch < latestEpoch. this implies messages have arrived out of order. New: {epoch:0, offset:2227488}, Currnet: {epoch 2, offset:261} for Partition: cars-list-75 {kafka.server.epochLeaderEpocHFileCache}

关于这个问题-

ERROR Error while accepting connection {kafka.network.Accetpr}
java.io.IOException: Too many open files

how to increase the MAX open files , in order to avoid this issue

更新：

在 ambari 中，我们从kafka --> config 中看到了以下参数

这是我们应该增加的参数吗？

Answer 1

可以这样做：

echo "* hard nofile 100000
* soft nofile 100000" | sudo tee --append /etc/security/limits.conf

那么你应该重新启动。