如何将 AWS Sagemaker 与较新版本的 Huggingface Estimator 一起使用？答案

【问题标题】：How to use AWS Sagemaker with newer version of Huggingface Estimator?如何将 AWS Sagemaker 与较新版本的 Huggingface Estimator 一起使用？
【发布时间】：2022-11-24 07:53:33
【问题描述】：

当尝试在 sagemaker 上使用 Huggingface estimator 时，在 Amazon SageMaker 上运行训练，例如

# create the Estimator
huggingface_estimator = HuggingFace(
        entry_point='train.py',
        source_dir='./scripts',
        instance_type='ml.p3.2xlarge',
        instance_count=1,
        role=role,
        transformers_version='4.17',
        pytorch_version='1.10',
        py_version='py38',
        hyperparameters = hyperparameters
)

当我尝试将版本增加到 transformers_version='4.24' 时，它抛出一个错误，支持的最大版本是 4.17。

如何将 AWS Sagemaker 与较新版本的 Huggingface Estimator 一起使用？

在 https://discuss.huggingface.co/t/deploying-open-ais-whisper-on-sagemaker/24761/9 上有关于使用更新版本进行推理的注释，但看起来使用它与 Huggingface 估计器进行训练的方式有点复杂 https://discuss.huggingface.co/t/huggingface-pytorch-versions-on-sagemaker/26315/5?u=alvations 并且尚未确认复杂的步骤是否可行。

【问题讨论】：

标签： python docker pytorch amazon-sagemaker huggingface

【解决方案1】：

您可以使用 Pytorch 估算器，并在您的源目录中放置一个 requirements.txt，其中添加了 Transformers。这将确保两件事

与 huggingface 估计器中的 1.10.2 相比，您可以使用更高版本的 pytorch 1.12（当前）。
安装新版本的 HuggingFace Transformers 库。
为此，您需要像这样构建源目录

剧本 /火车.py /requirements.txt

并将 source_dir 属性传递给 pytorch 估计器
```
pt_estimator = PyTorch(
entry_point="train.py",
source_dir="scripts",
role=sagemaker.get_execution_role(),
```

【讨论】：