【问题标题】:Reduce latency when rebuilding/updating Google Cloud Composer?在重建/更新 Google Cloud Composer 时减少延迟?
【发布时间】:2020-05-28 17:10:20
【问题描述】:

我正在使用 Google Cloud Composer,每当我更改环境变量或气流中的任何设置时,都会触发气流环境的重建。

我在想可能有一种方法可以解决包依赖关系(即上传 python 包)以减少重建延迟。

我问是因为重建可能需要 2-15 分钟。

有没有人成功地减少了构建时间(无论是否增加成本)?

【问题讨论】:

    标签: airflow google-cloud-composer


    【解决方案1】:

    在 Cloud Composer 中,环境更新通常需要 5-30 分钟,此时它可以按预期工作。请查看此公开issue tracker 以获取更多信息。您可以单击 +1 以使其对 Cloud Composer 工程团队更加可见。

    请注意,Composer 需要处理大量资源,即在 Google Kubernetes Engine 和 App Engine 中部署 Airflow,这会强制重建容器的映像、更新 Airflow Webserver 等。 我建议您查看以下 Cloud Composer 架构 documentation,您可以在其中找到每次更改都需要更新的所有组件。

    您可以检查您的任何 POD 是否处于 Evicted 状态,这意味着您的节点资源不足,因此您应该考虑使用资源更高的机器而不是标准的 n1-standard-2

    希望以上信息对您有用。

    【讨论】:

      猜你喜欢
      • 2014-06-05
      • 2018-03-01
      • 2018-04-10
      • 1970-01-01
      • 2012-08-10
      • 2019-11-18
      • 1970-01-01
      • 2019-12-12
      • 1970-01-01
      相关资源
      最近更新 更多