ECS-agent断线怎么办？

Question

我的集群中的一个 EC2 实例有时会断开其 ECS 代理的连接。这会默默地从集群中删除 EC2 实例（即不再有资格运行任何服务），并默默地从服务服务器中耗尽我的集群。我有一个自动缩放组支持我的集群，生成服务器以保持健康的数量。但是 ECS-agent 断开的服务器并没有标记为不健康，所以 AS-group 认为一切正常。

我觉得必须有一些东西（容易）来缓解这种情况，或者我在选择 ECS 并在生产中使用它时遇到了很大的问题。

Answer 1

我们有这个问题很长时间了。每个新的 AWS ECS 优化 AMI 都会变得更好，但在 3 个月前它仍然不时发生。正如 mcheshier 提到的，确保始终使用最新的 AMI 或至少是最新的 aws ecs 代理

我们能够解决它的唯一方法是：

1. 定时自动缩放旋转
   1. 我们会尝试通过随机放大和缩小来防止它发生
2. 良好的 cloudwatch 警报
   1. 我们碰巧将我们的应用程序设置为一组基于队列 (SQS) 的微服务。我们可以根据队列扩大和缩小规模。我们设置了不错的监控，让我们可以估计跨多个 ECS 容器的队列速率。当我们检测到速率关闭时，我们将轮换整个 ECS 实例。 IE。假设我们的集群部署了 4 个运行中的 worker-1 容器。我们估计每个工作人员每 5 分钟发送1000 条消息。如果我们的排队率是每 5 分钟 3000 并且我们有 4 名工人，那么 1 名工人没有按预期工作。我们在 lambda 中设置了一些脚本来查找故障脚本并终止运行该容器的整个实例。

我希望这会有所帮助，我知道它特定于我们的内部应用程序，但我可以给您和其他任何人的建议是采取主动并尽可能多地发布指标。这将使您可以进行一些简洁的分析并查找系统中的问题，这就是其中之一。