如何在 AWS sagemaker 中自定义编码推理管道？

Question

我正在构建一个时间序列用例来自动化预处理和重新训练任务。首先使用 numpy、pandas、statsmodels 等对数据进行预处理，然后应用机器学习算法进行预测。 使用推理管道的原因是它重用相同的预处理代码进行训练和推理。我已经检查了 AWS sagemaker 团队使用 spark 和 sci-kit learn 给出的示例。在这两个示例中，他们都使用 sci-kit 学习容器来适应和转换他们的预处理代码。我是否还必须创建一个在我的用例中不需要的容器，因为我没有使用任何 sci-kit-learn 代码？

谁能给我一个使用这些管道的自定义示例？任何帮助表示赞赏！

来源调查：

https://github.com/awslabs/amazon-sagemaker-examples/tree/master/sagemaker-python-sdk/scikit_learn_inference_pipeline https://github.com/awslabs/amazon-sagemaker-examples/tree/master/advanced_functionality/inference_pipeline_sparkml_blazingtext_dbpedia

Answer 1

对迟到的回复表示歉意。

以下是有关推理管道的一些文档： https://docs.aws.amazon.com/sagemaker/latest/dg/inference-pipelines.html https://docs.aws.amazon.com/sagemaker/latest/dg/inference-pipeline-real-time.html

由于我没有使用任何 sci-kit-learn 代码，我是否还必须创建一个在我的用例中不需要的容器？

您的容器是您的自定义代码正常运行所需的环境的封装。根据上面列出的要求numpy, pandas, statsmodels etc & later a machine learning algorithm，如果您希望隔离您的依赖项或修改现有的预定义 SageMaker 容器（例如 scikit-learn 容器），我将创建一个容器，并将您的依赖项添加到其中。

谁能给我一个使用这些管道的自定义示例？任何帮助表示赞赏！

不幸的是，上面引用的两个示例笔记本是使用推理管道的唯一示例。最大的障碍很可能是创建容器来完成您正在寻找的预处理和预测任务，然后将这两者结合到推理管道中。