如何使用气流安排重新训练 sagemaker 管道模型

Question

我已经实现了一个 sagemaker 管道模型。特别是对于训练模型、构建管道模型并部署它的端到端笔记本，我关注了 this 示例笔记本。

现在我想每天使用 Airflow 重新训练和部署整个管道，但我看到 here 可以只重新训练和部署一个 sagemaker 模型。

有没有办法重新训练和部署整个管道？谢谢

Answer 1

SageMaker 为用户提供了 2 个选项来执行 Airflow 工作：

1. 使用 SageMaker Python SDK 中的 API 生成 Airflow 中所有 SageMaker 运算符的输入。你链接的博客是这样的。例如，他们在 SageMaker Python SDK 中使用 API training_config，在 Airflow 中使用运算符 SageMakerTrainingOperator。

2. 使用 Airflow 提供的 PythonOperator，编写 Python 代码来做你想做的事。

对于 1，SageMaker 仅实现了与训练、调优、单一模型部署和转换相关的 API。因此，您正在做管道模型，我认为它没有您想要的 API。

但是对于 2，如果您可以使用 SageMaker 在任何 Python 代码中完成您想要的。您应该能够将其改编为 Python 可调用对象，并使它们与 PythonOperators 一起使用。以下是 SageMaker 提供的以这种方式进行训练的示例：

https://sagemaker.readthedocs.io/en/stable/using_workflow.html#using-airflow-python-operator

我认为你可以做类似的事情来让 Airflow 与你的管道模型一起工作。