spark nlp中的多语言bert答案

【问题标题】：multilingual bert in spark nlpspark nlp中的多语言bert
【发布时间】：2021-02-01 15:30:54
【问题描述】：

我想知道 sparknlp 中是否提供预训练的多语言 Bert？如您所知，Bert 已针对 109 种语言进行了预训练。我想知道是否所有这些语言也都在 spark bert 中？

谢谢

【问题讨论】：

标签： apache-spark bert-language-model johnsnowlabs-spark-nlp

【解决方案1】：

从 spark nlp 中可以看到documentation：

Models
Spark NLP offers more than 250 pre-trained models in 46 languages.

List of languages: Afrikaans, Arabic, Armenian, Basque, Bengali, Breton, Bulgarian, Catalan, Czech, Dutch, English, Esperanto, Finnish, French, Galician, German, Greek, Hausa, Hebrew, Hindi, Hungarian, Indonesian, Irish, Italian, Japanese, Latin, Latvian, Marathi, Norwegian, Persian, Polish, Portuguese, Romanian, Russian, Slovak, Slovenian, Somali, Southern Sotho, Spanish, Swahili, Swedish, Tswana, Turkish, Ukrainian, Zulu

还有这个repository，它保留了 Spark NLP 库的预训练版本的管道和模型。

【讨论】：