在 spark-nlp 中加载 BERT 嵌入模型时出现“Param poolingLayer 不存在”错误答案

【问题标题】："Param poolingLayer does not exist" error coming while loading BERT embedding model in spark-nlp在 spark-nlp 中加载 BERT 嵌入模型时出现“Param poolingLayer 不存在”错误
【发布时间】：2021-06-28 20:20:09
【问题描述】：

我的 NLP 管道使用来自 johnsnowlabs 的预训练 BERT 嵌入模型“bert_base_uncased”。但是在加载这个下载的模型时，我遇到了异常。

Caused by: java.util.NoSuchElementException: Param poolingLayer does not exist.
    at org.apache.spark.ml.param.Params$$anonfun$getParam$2.apply(params.scala:729)
    at org.apache.spark.ml.param.Params$$anonfun$getParam$2.apply(params.scala:729)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.ml.param.Params$class.getParam(params.scala:728)
    at org.apache.spark.ml.PipelineStage.getParam(Pipeline.scala:42)
    at org.apache.spark.ml.util.DefaultParamsReader$Metadata$$anonfun$setParams$1.apply(ReadWrite.scala:591)
    at org.apache.spark.ml.util.DefaultParamsReader$Metadata$$anonfun$setParams$1.apply(ReadWrite.scala:589)
    at scala.collection.immutable.List.foreach(List.scala:392)
    at org.apache.spark.ml.util.DefaultParamsReader$Metadata.setParams(ReadWrite.scala:589)
    at org.apache.spark.ml.util.DefaultParamsReader$Metadata.getAndSetParams(ReadWrite.scala:577)
    at org.apache.spark.ml.util.DefaultParamsReader.load(ReadWrite.scala:497)
    at com.johnsnowlabs.nlp.FeaturesReader.load(ParamsAndFeaturesReadable.scala:12)
    at com.johnsnowlabs.nlp.FeaturesReader.load(ParamsAndFeaturesReadable.scala:8)
    at org.apache.spark.ml.util.MLReadable$class.load(ReadWrite.scala:380)
    at com.johnsnowlabs.nlp.embeddings.BertEmbeddings$.load(BertEmbeddings.scala:302)
    at com.johnsnowlabs.nlp.embeddings.BertEmbeddings.load(BertEmbeddings.scala)

【问题讨论】：

标签： nlp johnsnowlabs-spark-nlp

【解决方案1】：

您可能有混合版本的模型和库。异常所抱怨的那个参数最近已从 Bert 模型中删除。所以你应该尝试不同的预训练 Bert 模型，

bert_large_uncased or bert_base_cased

【讨论】：

【解决方案2】：

基于 spark-nlp slack 频道的帮助。我通过使用来自 spark-nlp 的最新训练模型解决了这个问题。对于 BERT，我使用了模型“bert_base_cased_en_2.6.0_2.4_1598340336670”

之前我使用的是 2.4.0 版本的模型，在使用 2.6.0 版本的模型之后，我没有看到任何错误。 poolingLayer 参数不再存在于新模型中。

【讨论】：