如何使用 tensorflow 服务为 pytorch 或 sklearn 模型提供服务答案

【问题标题】：how to serve pytorch or sklearn models using tensorflow serving如何使用 tensorflow 服务为 pytorch 或 sklearn 模型提供服务
【发布时间】：2018-09-12 11:14:43
【问题描述】：

我发现教程和帖子只说使用张量服务来服务 tensorflow 模型。在 model.conf 文件中，有一个参数 model_platform ，其中可以提及 tensorflow 或任何其他平台。但是，我们如何以 tensorflow 的方式导出其他平台模型，以便它可以被 tensorflow 服务加载。

【问题讨论】：

标签： tensorflow scikit-learn pytorch tensorflow-serving

【解决方案1】：

我不确定你是否可以。 tensorflow 平台被设计为灵活的，但如果你真的想使用它，你可能需要实现一个 C++ 库来加载你保存的模型（在 protobuf 中）并为 tensorflow 服务平台提供一个可服务的平台。 Here 也有类似的问题。

我还没有见过这样的实现，我所看到的努力通常会朝着另外两个方向发展：

例如，通过 HTTP 或 GRPC 为模型提供服务的纯 Python 代码。比如Pipeline.AI正在开发什么
将模型转储到 PMML format，并使用 java 代码提供服务。

【讨论】：

【解决方案2】：

不回答问题，但由于尚无更好的答案：作为 adrin 的替代方向的补充，这些可能会有所帮助：

Clipper（Apache 许可证 2.0）能够为 PyTorch 和 scikit-learn 模型等提供服务
进一步阅读：
- https://www.andrey-melentyev.com/model-interoperability.html
- https://medium.com/@vikati/the-rise-of-the-model-servers-9395522b6c58

【讨论】：