【问题标题】:How to export a pyspark mlib machine learning model and deploy as a web service?如何导出 pyspark mlib 机器学习模型并部署为 Web 服务?
【发布时间】:2017-05-01 20:05:22
【问题描述】:

我有一个使用 spark mlib 构建的线性回归模型。现在我想导出模型并通过 Web 服务使用模型。 我正在研究 PMML 无法找到合适的来源,因为我该如何使用它。我是否需要安装任何特定的 PMML 库或如何安装。

我尝试使用 joblib 导出为 pickle 文件并通过烧瓶将其部署为 Web 服务的相同模型。我想对 Spark mlib 中开发的模型做类似的事情。

谁能帮助我或指出我的正确来源?

【问题讨论】:

    标签: web-services rest pyspark apache-spark-mllib


    【解决方案1】:

    对于使用 PMML 的简单 REST Web 服务,您可以查看 https://github.com/openscoring/openscoring。它虽然使用 JAVA。对于 Python+Flask 我不知道,但 PMML 只不过是一个需要评估的 XML 文件。因此,您可以尝试编写自己的 Python 逻辑来执行此操作。我也找到了这个https://github.com/maxkferg/pmml-scoring-engine,但它没有多少星。

    值得注意的是,PMML 的使用非常有限。并非所有型号都受支持,例如肌萎缩侧索硬化症。另一种方法是通过其二进制文件部署 PySpark 应用程序。我在博客上写了这个here。我们使用 Cloud Foundry 部署它,但如果您需要公共端点,您也可以使用 buildpack 将其部署在 Heroku 上。希望这会有所帮助。

    【讨论】:

      猜你喜欢
      • 2018-05-17
      • 1970-01-01
      • 2016-10-27
      • 2019-01-29
      • 1970-01-01
      • 1970-01-01
      • 2017-08-27
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多