kube-scheduler 产生巨大的日志文件答案

【问题标题】：kube-scheduler produces huge log fileskube-scheduler 产生巨大的日志文件
【发布时间】：2019-09-29 07:00:07
【问题描述】：

我们正在使用 kube v1.13.10。我们在集群中有大约 500 个节点。最近，我开始从大师那里收到有关 DiskPressure 的警报。经过一番检查，我们发现原因是 kube-scheduler 日志。它们的大小增加到每个约 20GB，并且可以有 5 个。而主实例只有 80GB 的磁盘空间。
Logrotate 配置为每小时运行一次，延迟压缩（默认 kops 设置）。日志中大部分都是这样的消息

E0929 00:34:27.778731       1 predicates.go:1277] Node not found, ip-10-0-0-1.ec2.internal
E0929 00:34:27.778734       1 predicates.go:1277] Node not found, ip-10-0-0-1.ec2.internal
E0929 00:34:27.778738       1 predicates.go:1277] Node not found, ip-10-0-0-1.ec2.internal
E0929 00:34:27.778742       1 predicates.go:1277] Node not found, ip-10-0-0-1.ec2.internal
E0929 00:34:27.782052       1 predicates.go:1277] Node not found, ip-10-0-0-1.ec2.internal
E0929 00:34:27.782068       1 predicates.go:1277] Node not found, ip-10-0-0-1.ec2.internal
E0929 00:34:27.782073       1 predicates.go:1277] Node not found, ip-10-0-0-1.ec2.internal
E0929 00:34:27.782079       1 predicates.go:1277] Node not found, ip-10-0-0-1.ec2.internal
E0929 00:34:27.782083       1 predicates.go:1277] Node not found, ip-10-0-0-1.ec2.internal

我增加了 master 的磁盘大小。但是为什么会有这么多错误信息？它在 1 小时内生成了 20GB 的日志，我认为这有点极端。如何避免？

【问题讨论】：

运行“kubectl get nodes”时，是否看到节点“ip-10-0-0-1.ec2.internal”？
没有节点消失。我仍然认为它不应该写这么多错误。

标签： logging kubernetes kube-scheduler

【解决方案1】：

开发人员最近将您收到的消息从："Node not found, %v" 更改为 "Pod %s has NodeName %q but node is not found" 新消息指出有一个 Pod 调度到一个不存在的节点。

解决此问题的最佳方法是使用 kubectl delete node <node_name> 删除节点，如果这不起作用，则尝试使用 etcdctl 从 etcd 中删除它。这样，它将帮助调度程序将 pod 移动到另一个节点，从而减少错误日志及其大小。

如果有帮助，请告诉我。

【讨论】：

不，不幸的是它不会帮助我。我们在现场实例上使用自动缩放。节点一直在创建和删除。我无法手动删除节点。我的问题是调度程序日志的大小异常。我不介意收到关于不存在节点的通知，它每小时只有 8 GB 的日志似乎很极端。