无法删除在 AWS 上使用 Kops 部署的 Kubernetes 集群答案

【问题标题】：Can't delete Kubernetes cluster deployed with Kops at AWS无法删除在 AWS 上使用 Kops 部署的 Kubernetes 集群
【发布时间】：2019-06-02 15:51:21
【问题描述】：

我无法删除/更新集群。我得到：

    I0107 19:54:02.618454 8397 request_logger.go:45] AWS request: autoscaling/DescribeAutoScalingGroups
I0107 19:54:02.812764 8397 request_logger.go:45] AWS request: ec2/DescribeNatGateways
W0107 19:54:03.032646 8397 executor.go:130] error running task "ElasticIP/us-east-1a.my.domain" (9m56s remaining to succeed): error finding AssociatedNatGatewayRouteTable: error listing NatGateway %!q(*string=0xc42169eb08): NatGatewayNotFound: NAT gateway nat-083300682d9a0fa74 was not found
status code: 400, request id: 8408a79d-1f8f-4886-83d9-ae0a26c1cc47
I0107 19:54:03.032738 8397 executor.go:103] Tasks: 98 done / 101 total; 1 can run
I0107 19:54:03.032828 8397 executor.go:178] Executing task "ElasticIP/us-east-1a.my.domain": *awstasks.ElasticIP {"Name":"us-east-1a.my.domain","Lifecycle":"Sync","ID":null,"PublicIP":null,"TagOnSubnet":null,"Tags":{"KubernetesCluster":"my.domain","Name":"us-east-1a.my.domain","kubernetes.io/cluster/my.domain":"owned"},"AssociatedNatGatewayRouteTable":{"Name":"private-us-east-1a.my.domain","Lifecycle":"Sync","ID":"rtb-089bd4ffc062a3b15","VPC":{"Name":"my.domain","Lifecycle":"Sync","ID":"vpc-0b638e55c11fc9021","CIDR":"172.10.0.0/16","EnableDNSHostnames":null,"EnableDNSSupport":true,"Shared":true,"Tags":null},"Shared":false,"Tags":{"KubernetesCluster":"my.domain","Name":"private-us-east-1a.my.domain","kubernetes.io/cluster/my.domain":"owned","kubernetes.io/kops/role":"private-us-east-1a"}}}
I0107 19:54:03.033039 8397 natgateway.go:205] trying to match NatGateway via RouteTable rtb-089bd4ffc062a3b15
I0107 19:54:03.033304 8397 request_logger.go:45] AWS request: ec2/DescribeRouteTables
I0107 19:54:03.741980 8397 request_logger.go:45] AWS request: ec2/DescribeNatGateways
W0107 19:54:03.981744 8397 executor.go:130] error running task "ElasticIP/us-east-1a.my.domain" (9m55s remaining to succeed): error finding AssociatedNatGatewayRouteTable: error listing NatGateway %!q(*string=0xc4217e8da8): NatGatewayNotFound: NAT gateway nat-083300682d9a0fa74 was not found
status code: 400, request id: 3be6843a-38e2-4584-b2cd-b29f6a132d2d
I0107 19:54:03.981881 8397 executor.go:145] No progress made, sleeping before retrying 1 failed task(s)
I0107 19:54:13.982261 8397 executor.go:103] Tasks: 98 done / 101 total; 1 can run

我更改 kubectl 版本以对其他集群执行一些任务，然后返回最新版本，我一直在测试新集群删除、创建、更新没有问题......直到现在，我拥有这个集群，我可以' t 修改和花钱，当然我可以删除 kops IAM，但我将它用于同一帐户的其他环境。

至少，是否有一个文件可以让我编辑 kops 对 AWS 的看法，以便我可以删除该对象？我在 config/spec S3 文件中找不到。

我有一个已部署的集群，因此我无法使用，当然我可以拒绝 kops 权限并删除集群，因此 kops 无法重新创建它，但我也有其他集群。

kops 版本：版本 1.10.0 (git-8b52ea6d1)

【问题讨论】：

我使用的是 kops 版本 1.18.2。我能够成功删除集群，如this video 所示。

标签： amazon-web-services kubernetes kops

【解决方案1】：

我手动删除了存储桶，然后删除了所有资源。

对于未来的读者，请在您导出集群配置的存储桶中启用版本控制。

【讨论】：

删除存储桶，kops 将没有地方读取它应该管理的内容。然后转到 AWS 控制台并删除 kops 创建的所有内容（您应该从 EC2 部分下的 Auto Scaling 组、启动配置等开始）。

【解决方案2】：

我们在几分钟前遇到了同样的问题。我们能够通过搜索指向相应 NatGateway（状态为黑洞）的 VPC RouteTable 条目来修复它。删除这些后，我们终于可以删除集群而不会出现任何其他问题。

this issue comment 为我们指明了正确的方向。

【讨论】：

【解决方案3】：

只要删除主节点，集群就会死掉。我在测试 KOPS 时遇到了类似的问题，并导致支付了一点费用。当我删除一个子节点时，会立即创建一个新节点，这是可以理解的。所以我删除了主节点，集群死了。

【讨论】：