【发布时间】:2019-09-05 23:07:51
【问题描述】:
我正在解决一个问题,以确定在 AWS ECS 容器中使用更多内存或 CPU 或 IO 的密集 Airflow 任务。我可以从 ECS 容器中看到总体内存和 CPU 利用率。如何按特定流程和任务级别进行?任何帮助将不胜感激。
【问题讨论】:
标签: python amazon-web-services airflow amazon-ecs datadog
我正在解决一个问题,以确定在 AWS ECS 容器中使用更多内存或 CPU 或 IO 的密集 Airflow 任务。我可以从 ECS 容器中看到总体内存和 CPU 利用率。如何按特定流程和任务级别进行?任何帮助将不胜感激。
【问题讨论】:
标签: python amazon-web-services airflow amazon-ecs datadog
ECS 当前不发布通过 RunTask 运行的单个任务的统计信息,仅发布属于服务一部分的任务的汇总统计信息。我会推荐使用第三方服务,比如 DataDog,或者运行你自己的 Prometheus scraper。您可以在集群中将这些工具作为“DAEMON”类型的服务运行,以便它们在集群中的每个主机上运行,并查看跨整个集群启动的每个单独 Docker 容器的 Docker 统计信息。
请注意,任务级别指标目前已在 ECS 路线图中,因此请随时在 Github 中留下您的要求和/或对该路线图项目 +1:https://github.com/aws/containers-roadmap/issues/70
【讨论】: