在不创建终端节点的情况下使用 AWS Sagemaker 进行模型性能答案

【问题标题】：Using AWS Sagemaker for model performance without creating endpoint在不创建终端节点的情况下使用 AWS Sagemaker 进行模型性能
【发布时间】：2021-01-05 15:27:44
【问题描述】：

我一直在使用 Amazon Sagemaker Notebooks 为 NLP 任务构建 pytorch 模型。我知道您可以使用 Sagemaker 进行训练、部署、超参数调整和模型监控。

但是，您似乎必须创建一个推理端点才能监控模型的推理性能。

我已经有一个 EC2 实例设置来对我们的模型执行推理任务，该模型目前在开发盒上，而不是使用端点来制作

是否可以在不创建端点的情况下使用 Sagemaker 进行训练、运行超参数调优和模型评估。

【问题讨论】：

标签： pytorch amazon-sagemaker

【解决方案1】：

如果您不想让推理端点保持正常运行，一种选择是使用 SageMaker 处理来运行一项作业，该作业将经过训练的模型和测试数据集作为输入，执行推理并计算评估指标，并将它们保存到 S3在 JSON 文件中。

This Jupyter notebook example 逐步完成 (1) 预处理训练和测试数据，(2) 训练模型，然后 (3) 评估模型

【讨论】：

【解决方案2】：

您可以使用两种方法在 AWS SageMaker 上部署模型：设置终端节点和创建批量转换作业。我想你可能可以试试后者。

使用批量转换作业的好处是您可以为输入和输出数据指定 S3 存储桶路径。作业完成后，会直接将输出上传到s3路径。

【讨论】：