在 AWS Sagemaker 中安装 Pytorch 转换器答案

【问题标题】：Installing Pytorch Transformers in AWS Sagemaker在 AWS Sagemaker 中安装 Pytorch 转换器
【发布时间】：2020-04-24 18:49:26
【问题描述】：

我正在尝试为我的 AWS Sagemaker 笔记本实例安装 pytorch 转换器包。但是，当我运行我的入口点脚本时，它不断给我包“找不到模块”的错误。

我在 TensorFlowModel 的示例中看到需要设置 env，但对于 Pytorch，情况并非如此 (How do I load python modules which are not available in Sagemaker?)。无论如何，下面是我的代码：

estimator = PyTorch(entry_point='model.py',
                role=role,
                framework_version='1.4.0',
                train_instance_count=2,
                train_instance_type='ml.c4.xlarge',
                source_dir = 'src',
                hyperparameters={
                    'train_path': 's3://bucket-train',
                    'validation_path': 's3://bucket-val',
                    'epochs': 3,
                    'backend': 'gloo'
                })

【问题讨论】：

标签： pytorch amazon-sagemaker

【解决方案1】：

尽管您可能从 SageMaker 笔记本运行该命令，但您使用 PyTorch 估计器启动的训练作业不会在笔记本上运行。它运行在远程、短暂的基础设施上。你需要在远程机器上安装你的包。您需要在srcsource 目录中添加一个requirements.txt 文件，其中包含您要安装的额外包的列表，例如transformers 包

【讨论】：

【解决方案2】：

Olivier 是正确的，您可以在部署估算器之前将转换器包添加到 requirements.txt 文件中。这个documentation 显示了您需要的适当目录结构。有关不同 PyTorch 版本要求的更多信息，请访问here。

【讨论】：