Deploying 和 Serving ML 模型有什么区别？

Question

最近我开发了一个用于分类问题的 ML 模型，现在想投入到生产中对实际生产数据进行分类，在探索时我遇到了两种部署和服务 ML 模型的方法，它们之间的基本区别是什么?

Answer 1

根据我自己的阅读和理解，区别如下：

1. 部署 = 这意味着您想要创建一个服务器/api（例如 REST API），以便它能够预测新的未标记数据

2. Serving = 它充当专门用于预测模型的服务器。这个想法是它可以为具有不同请求的多个模型提供服务。

基本上，如果您的用例需要部署多个 ML 模型，您可能希望寻找像 torchServe 这样的服务。但如果只是一个模型，对我来说，Flask 已经足够好了。

参考：

Pytorch Deploying using flask

TorchServe