我可以重新启动 Cloud Composer 环境吗？

Question

我使用Google Cloud composer 几天了，主要是为了将数据从 MySQL 移动到 BigQuery，它工作正常。

在某个时候，它停止了工作：

• 正在运行的任务运行了很长时间然后失败

• 任务未启动

• 新dag有评论This DAG seems to be existing only locally. The master scheduler doesn't seem to be aware of its existence

我已使用 Airflow Web UI 清理了所有 DAG 运行和任务实例，但仍然无法正常工作。

有没有办法在不丢失已完成任务结果的情况下重新启动环境？ 还有其他方法可以让 Airflow 手动运行吗？

Answer 1

这篇文章已有一年多的历史了，但它可能对其他人有所帮助。回答您的 2 个问题：

1. 如何重启 Composer 环境 每次将 Python 包或环境变量添加到 Composer 时，都会重新启动整个环境，安装需要添加的内容。因此，重新启动 Composer 环境的解决方法是添加一个 dummy 环境变量。 请按以下步骤操作：

   • 转到 GCP 中的作曲家实例
   • 环境变量选项卡
   • 编辑、添加您的环境变量并提交

2. 如何手动运行 Airflow 您还可以通过 Composer 命令行访问 Airflow： https://cloud.google.com/composer/docs/gcloud-installation

希望对你有帮助！

Answer 2

您无法停止/重新启动 Cloud Composer 环境。到目前为止，元数据数据库与作曲家环境相关联，因此删除此环境将删除与该任务相关联的所有内容。