Sagemaker 本地模式：RuntimeError：放弃，端点：未正确启动

【问题标题】：Sagemaker Local Mode: RuntimeError: Giving up, endpoint: didn't launch correctlySagemaker 本地模式：RuntimeError：放弃，端点：未正确启动
【发布时间】：2022-11-24 08:54:45
【问题描述】：

在本地模式下运行 sagemaker 时。我正在使用 docker 容器在本地模式下试验推理端点。但是一旦我的 model.tar.gz 文件超过一定大小，即大约 200 mb，部署就会失败并返回错误： RuntimeError: Giving up, endpoint: didn't launch correctly

当我将它部署在 sagemaker 实例上时，它工作正常。您知道我是否可以做些什么，也许我可以更改一些 docker 设置以确保本地部署也适用于更大的 model.tar.gz？

【问题讨论】：

标签： python docker docker-compose amazon-sagemaker amazon-sagemaker-studio

【解决方案1】：

除了使用 SageMaker SDK 本地模式，您还可以自己运行 vanilla docker 命令来模拟托管环境：

如：

启动“本地端点”

image=$1

docker run -v $(pwd)/test_dir:/opt/ml -p 8080:8080 --rm ${image} serve

调用“本地端点”

payload=$1
content=${2:-text/csv}

curl --data-binary @${payload} -H "Content-Type: ${content}" -v http://localhost:8080/invocations

https://github.com/aws/amazon-sagemaker-examples/tree/main/advanced_functionality/scikit_bring_your_own/container/local_test

【讨论】：