pyspark：如何在 spark 1.6.3 上使用法语配置 StopWordsRemover答案

【问题标题】：pyspark : how to configure StopWordsRemover with french language on spark 1.6.3pyspark：如何在 spark 1.6.3 上使用法语配置 StopWordsRemover
【发布时间】：2018-08-07 08:22:52
【问题描述】：

我想知道如何在 spark 1.6.3 中使用法语配置 stopwordsremover。

我目前正在使用 pyspark。

感谢您的帮助。

最好的问候，

【问题讨论】：

pyspark.ml.feature.StopWordsRemover 有一个参数stopWords，您可以使用它来指定您自己的列表。您可以使用 StopWordsRemover.loadDefaultStopWords('french') 获取法语停用词列表，但这似乎不适用于基于 docs 的 v1.6.3。

标签： pyspark stop-words

【解决方案1】：

基于 Python Spark 1.6.3 docs，pyspark.ml.feature.StopWordsRemover 没有语言参数。但是，您始终可以通过“stopWords”参数提供自己的停用词列表。

【讨论】：

【解决方案2】：

看看nltk 包

我用它来表示葡萄牙语：

from pyspark.ml.feature import StopWordsRemover
import nltk
nltk.download("stopwords")

...

stopwordList = nltk.corpus.stopwords.words('portuguese')
remover = StopWordsRemover(inputCol=tokenizer.getOutputCol(), outputCol="stopWordsRem", stopWords=stopwordList)

希望对你有帮助

【讨论】：