【问题标题】:Memory, CPU and IO of an Airflow taskAirflow 任务的内存、CPU 和 IO
【发布时间】:2019-09-05 23:07:51
【问题描述】:

我正在解决一个问题,以确定在 AWS ECS 容器中使用更多内存或 CPU 或 IO 的密集 Airflow 任务。我可以从 ECS 容器中看到总体内存和 CPU 利用率。如何按特定流程和任务级别进行?任何帮助将不胜感激。

【问题讨论】:

    标签: python amazon-web-services airflow amazon-ecs datadog


    【解决方案1】:

    ECS 当前不发布通过 RunTask 运行的单个任务的统计信息,仅发布属于服务一部分的任务的汇总统计信息。我会推荐使用第三方服务,比如 DataDog,或者运行你自己的 Prometheus scraper。您可以在集群中将这些工具作为“DAEMON”类型的服务运行,以便它们在集群中的每个主机上运行,​​并查看跨整个集群启动的每个单独 Docker 容器的 Docker 统计信息。

    请注意,任务级别指标目前已在 ECS 路线图中,因此请随时在 Github 中留下您的要求和/或对该路线图项目 +1:https://github.com/aws/containers-roadmap/issues/70

    【讨论】:

      猜你喜欢
      • 2017-01-08
      • 1970-01-01
      • 1970-01-01
      • 2020-06-16
      • 2011-04-12
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多