【问题标题】:Can Scala load SparkR-saved model?Scala 可以加载 SparkR 保存的模型吗?
【发布时间】:2017-05-11 04:42:08
【问题描述】:

我是一名数据分析师。我想训练一个模型(例如随机森林),这个模型可以由 Scala 保存和加载。由于 Scala 和 R 都使用 MLlib 进行机器学习,Scala 是否也可以加载在 SparkR 中训练并保存的模型?

我发现一篇文章说不兼容: https://databricks.com/blog/2016/05/31/apache-spark-2-0-preview-machine-learning-model-persistence.html

但它几乎是一年前写的。 SparkR 的最新甚至开发版本是否支持这种模型的交叉兼容性?

【问题讨论】:

    标签: scala sparkr


    【解决方案1】:

    代码:在 Spark 中保存和加载模型

     val model = pipeline.fit(training)
    
     // Now we can optionally save the fitted pipeline to disk
     model.write.overwrite().save("/tmp/spark-logistic-regression-model")
    
     // We can also save this unfit pipeline to disk
     pipeline.write.overwrite().save("/tmp/unfit-lr-model")
    
     // And load it back in during production
     val sameModel = PipelineModel.load("/tmp/spark-logistic-regression-model")
    

    更多详情请参考

    https://spark.apache.org/docs/latest/ml-pipeline.html#example-pipeline

    希望对您有所帮助!!!...

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-12-06
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2022-10-14
      • 1970-01-01
      相关资源
      最近更新 更多