Google Cloud Composer vCPU 时间混乱答案

【问题标题】：Google Cloud Composer vCPU time ConfusionGoogle Cloud Composer vCPU 时间混乱
【发布时间】：2019-12-28 23:07:41
【问题描述】：

我最近一直在尝试使用 Composer 来运行我的管道，发现它的成本比我想象的高得惊人，这是我从账单中得到的：

Cloud Composer Cloud Composer vCPU time in South Carolina: 148.749 hours 
[Currency conversion: USD to AUD using rate 1.475] A$17.11
Cloud Composer Cloud Composer SQL vCPU time in South Carolina: 148.749 hours 
[Currency conversion: USD to AUD using rate 1.475] A$27.43

我只用了 Composer 两三天，绝对不是每天 24 小时运行，不知道 148 小时从何而来。

这是否意味着在您将 dag 部署到 composer 之后，即使它没有运行，它仍在使用资源并且 composer 正在累积 vCPU 时间？

如果我想每天使用 Composer 运行我的管道，如何降低成本？谢谢。

【问题讨论】：

标签： google-cloud-composer

【解决方案1】：

据我所知，目前还不是作曲家的功能。

在工作人员级别，您应该能够通过手动修改作曲家的配置来做到这一点，并允许其 Kubernetes 工作人员根据工作负载进行扩展和缩减。

Joshua Hendinata 在以下链接中就启用 Composer [1] 的自动缩放的必要步骤提供了指南。

也许您也对这篇文章感兴趣，其中介绍了节省作曲家成本的方法 [2]。

希望对你有所帮助！

[1]https://medium.com/traveloka-engineering/enabling-autoscaling-in-google-cloud-composer-ac84d3ddd60

[2]https://medium.com/condenastengineering/automating-a-cloud-composer-development-environment-590cb0f4d880

【讨论】：

【解决方案2】：

Cloud Composer 主要对分配环境的计算资源收费，因为即使没有部署 DAG，它的大部分组件也会继续运行。这是因为 Airflow 主要是一个工作流调度器，所以当工作流突然准备好运行时，你没有什么可以关闭并期望在那里。

在您的情况下，计费的 vCPU 时间由您环境的 GKE 节点和您的托管 Airflow 数据库贡献。除了 GKE 节点数之外，您可以减少或关闭的数量不多，因此如果您需要更小的节点，您可能需要完全考虑自我管理的 Airflow 或其他平台。如果您的主要目标只是处理数据并且您不需要 Airflow 提供的调度方面，则同样的评论也适用。

【讨论】：