为什么使用多容器端点而不是多模型端点？

Question

在 SageMaker 文档中，Multi-Model Endpoints 和 Multi-Container Endpoints with Direct Invocation 都被描述为在单个端点上托管多个模型的非常相似的方法。除了多模型端点包含许多更高级的功能之外，给定的用例看起来相同。

例如，多模型端点可以托管 n 个模型并支持资源共享和模型缓存等功能，而 具有 Direct 的多容器端点调用仅限于托管 5 个模型并且缺少模型缓存。

什么时候使用多容器端点直接调用而不是多模型端点？

Answer 1

如果您想使用同一端点为同一框架中的多个模型提供服务，那么您可以使用多模型端点。由于使用相同的框架（例如仅 sklearn 模型），多模型端点在调用时会到达端点。您可以在一个端点下拥有数千个这样的模型。另一方面，多容器端点允许从多个框架提供模型，例如一个 TensorFlow，一个 XGBoost 等等，再次直接调用。但是在这种情况下，limit of 5 different models 在单个端点上。

因此，根据您正在处理的问题，如果您需要在单个端点上使用多个框架，那么您将需要使用直接调用的多容器端点。否则，您可以使用多模型端点。

Reference