如何从磁盘加载 spark-nlp 预训练模型

【问题标题】：How to load a spark-nlp pre-trained model from disk如何从磁盘加载 spark-nlp 预训练模型
【发布时间】：2019-02-04 10:12:52
【问题描述】：

我从 spark-nlp Github page 下载了一个 .zip 文件，其中包含一个预训练的 NerCRFModel。 zip 包含三个文件夹：嵌入、字段和元数据。

如何将它加载到 Scala NerCrfModel 中以便我可以使用它？我是否必须将其放入 HDFS 或启动 Spark Shell 的主机中？如何引用？

【问题讨论】：

标签： scala apache-spark nlp apache-spark-mllib johnsnowlabs-spark-nlp

【解决方案1】：

您只需要提供您提到的文件夹所在的路径，

import com.johnsnowlabs.nlp.annotators.ner.crf.NerCrfModel
val path = "path/to/unziped/file/folder"
val model = NerCrfModel.read.load(path)
// use your model
model.setInputCols(someCol)
model.transform(yourData) // which contains 'someCol',

只要我记得，你可以将文件夹放在本地FS或分布式FS，希望这对其他用户也有帮助！。

最好，阿尔贝托。

【讨论】：

对于Java用户：您需要将load(...)的结果转换为所需的类。而且我觉得这里的 SparkNLP API 应该和 Spark 的 PretrainedPipeline.fromDisk() 一致。